Anthropic không thể kiểm soát các đặc vụ AI của mình một cách đáng tin cậy. Thay vào đó, nó đang cắt bỏ các đánh giá nội bộ khỏi Internet trực tiếp

Anthropic cho biết các mô hình của họ đã khai thác các trang web trên internet, bao gồm một số trang web do các cơ quan chính phủ Hoa Kỳ điều hành và họ sẽ tắt quyền truy cập internet trực tiếp đối với tất cả các đánh giá nội bộ cho đến khi phòng thí nghiệm biên giới chắc chắn rằng họ có thể giám sát và kiểm soát các tác nhân AI của mình.

Các sự cố, được tiết lộ trong một bài đăng trên blog, liên quan đến các đặc vụ AI được giao nhiệm vụ giải quyết các vấn đề tìm kiếm tài nguyên trên internet. Trong quá trình này, họ khai thác các lỗi phần mềm, truy cập cơ sở dữ liệu mà không phải trả phí, sử dụng dịch vụ rút ngắn URL để buôn lậu thông tin trong quá khứ và thậm chí gửi một mẹo giết người giả cho cảnh sát Philadelphia.

Anthropic cho biết họ đã phát hiện ra những vấn đề mới này khi xem xét các hoạt động của mô hình bắt đầu vào tháng 7, chứng tỏ phòng thí nghiệm thiếu nhận thức về hành vi của phần mềm trong thời gian thực.

Đáng chú ý, công ty cho biết rằng đào tạo liên kết vẫn chưa đủ cho các kỹ năng như tìm kiếm và sử dụng máy tính, vốn là trọng tâm trong mục tiêu mà bất kỳ chuyên gia nào dựa vào các công cụ kỹ thuật số sẽ sử dụng các tác nhân AI.

Các hành vi mà Anthropic tiết lộ tương tự như các sự cố liên quan đến các đặc vụ OpenAI hợp tác để đột nhập vào nhiều trang web khác nhau để tìm kiếm thông tin, bao gồm cả một số trang web do chính phủ Úc điều hành.

Anthropic trước đó đã tiết lộ rằng các mô hình của họ đã đột nhập vào các hệ thống bên ngoài. Phòng thí nghiệm biên giới cho biết họ coi những tiết lộ ngày hôm nay “ít nghiêm trọng hơn đáng kể từ góc độ liên kết và bảo mật” so với những thông tin mà họ đã công bố trước đây.

Tuy nhiên, phòng thí nghiệm vẫn cho biết họ đã “tắt quyền truy cập internet trực tiếp” đối với “tất cả các đánh giá nội bộ của chúng tôi” cho đến khi chắc chắn rằng họ có thể giám sát và kiểm soát các đặc vụ của mình.

Không rõ điều đó có nghĩa là gì. Sydney Von Arx, người sáng lập Nightingale, một tổ chức an toàn AI, đã nói với TechCrunch trong một cuộc phỏng vấn trước tiết lộ này rằng việc phát triển các mô hình trên một trung tâm dữ liệu bị cắt khỏi Internet mở sẽ rất khó khăn đối với các nhà nghiên cứu và cản trở tiến trình của các mô hình được hưởng lợi từ việc truy cập Internet.

Von Arx nói: “Bạn phải căn chỉnh chúng vào một lúc nào đó. “Nếu AI được đưa vào sản xuất và không bao giờ có quyền truy cập Internet thì đó không phải là một công cụ hữu ích.”

Anthropic cho biết hành vi này là kết quả của những sai sót trong môi trường đào tạo của phòng thí nghiệm, khiến các người mẫu tin rằng họ sẽ được khen thưởng nếu tìm ra sơ hở hoặc tránh các hạn chế, một hành vi được gọi là “hack phần thưởng”.

Công ty cho biết họ sẽ ngừng chạy một số đánh giá hoặc chuyển chúng sang chế độ ngoại tuyến, đồng thời đã xây dựng công cụ để phát hiện và ngăn chặn hành vi này. Công cụ này đã được thử nghiệm đối với các loại sự cố được tiết lộ ngày hôm nay và đã chặn chúng; Không rõ bằng chứng nào sẽ thúc đẩy Anthropic trả lại quyền truy cập Internet trực tiếp cho các đánh giá nội bộ của mình. Anthropic cũng cho biết họ sẽ di chuyển các tác nhân AI nội bộ của mình sang “cơ sở hạ tầng được quản lý tập trung với khả năng ngăn chặn mạnh mẽ” và bắt đầu sử dụng các công cụ phân loại an toàn thường xuyên hơn để giám sát các tác nhân đó.

Conrad Stosz, một quan chức tại phòng thí nghiệm giám sát AI Transluce và cựu giám đốc Trung tâm Tiêu chuẩn và Đổi mới AI của Hoa Kỳ, cho biết: “Thật đáng khích lệ khi Anthropic tự nguyện tiết lộ nhiều sự cố gần đây hơn, bao gồm cả việc các đặc vụ của họ nhắm mục tiêu vào các trang web của chính phủ Hoa Kỳ”. “Nhưng nó chỉ nhấn mạnh sự cần thiết phải xác minh các hệ thống AI một cách độc lập, đáng tin cậy, của bên thứ ba. Niềm tin vào công nghệ này cần phải được xây dựng thông qua sự giám sát và quản trị được hỗ trợ bởi khoa học với quyền truy cập có ý nghĩa – không phải bằng cách dựa vào các nhà nghiên cứu để tìm ra những điều này một cách tự nhiên hoặc vào các công ty tự nguyện tiết lộ.”