Cohere cho biết mô hình Qwen của Alibaba đã cố gắng gửi một tập tin đến Bắc Kinh

Công ty AI của Canada Cohere cho biết hôm thứ Hai rằng họ đã tìm thấy một trong những mô hình AI mới nhất của Alibaba, Qwen3.8-Flash-Next, đang cố tải tệp lên máy chủ ở Bắc Kinh trong một cuộc kiểm tra an ninh mạng định kỳ, mặc dù mô hình này đã nói trong ghi chú riêng rằng nó sẽ không sử dụng bất kỳ công cụ nào.

Vụ việc ban đầu làm dấy lên lo ngại rằng mô hình này đã làm suy yếu lời hứa cơ bản với các doanh nghiệp – rằng việc tự lưu trữ một mô hình trọng lượng mở sẽ giữ dữ liệu nội bộ. Nhưng những lo ngại ban đầu về hoạt động gián điệp của công ty chỉ tồn tại trong thời gian ngắn. Các nhà nghiên cứu nhanh chóng bác bỏ mối đe dọa, nói rằng đó có thể là sản phẩm phụ của môi trường đào tạo lộn xộn khiến người mẫu bất ngờ hành động ngoài hướng dẫn của họ chứ không phải là nỗ lực cố tình gửi bí mật thông tin nhạy cảm đến Trung Quốc.

Sự việc bắt đầu vào thứ Sáu trong một cuộc đánh giá, trong đó mô hình Qwen được yêu cầu viết quy tắc để phát hiện các lượt tải xuống phần mềm độc hại. Theo một bài đăng trên blog từ Cohere, lý do bằng văn bản của mô hình nêu rõ rằng nó sẽ không sử dụng bất kỳ công cụ bên ngoài nào. Tuy nhiên, ở bước tiếp theo, nó đã cố gắng gửi một chuỗi thử nghiệm (một đoạn văn bản giữ chỗ ngắn) đến máy chủ bên ngoài trước khi bị hộp cát bảo mật chặn.

Cohere cho biết họ không thể biết liệu hành vi này là cố ý hay là kết quả còn sót lại sau quá trình huấn luyện.

Khi được hỏi về cuộc tranh luận về mục đích của mô hình, đồng sáng lập Cohere, Ivan Zhang, nói với TechCrunch rằng Cohere đã chứng kiến ​​​​các mô hình của chính mình có những thói quen kỳ lạ khi đào tạo trình mô phỏng.

Zhang nói: “Thật sự rất khó để xác định ý định hoặc động lực. Chúng tôi đã đọc dấu vết mô hình của chính mình, chúng tôi đã thấy các phần thưởng và đôi khi những mô hình này thực sự sáng tạo khi cố gắng phá vỡ hộp cát của họ”. (Phần thưởng là những lối tắt mà một mô hình tìm thấy để kiếm tín dụng mà không cần thực hiện nhiệm vụ như dự định.)

Để dạy một mô hình AI hoạt động như một tác nhân tự thực hiện các hành động, các công ty như Alibaba đào tạo nó trong hàng nghìn thiết lập thực hành, giống như phần mềm mô phỏng chuyến bay. Mô hình này được khen thưởng mỗi khi hoàn thành một nhiệm vụ trong trình mô phỏng và nó sẽ hình thành các thói quen trong quá trình thực hiện. Nếu các thiết lập thực hành này thường xuyên lưu trữ các tệp trên máy chủ đám mây của Alibaba, thì các mô hình có thể học cách lưu tệp ở đó theo mặc định.

Các nhà phê bình cũng cho rằng sự cố có thể xảy ra do cách Cohere điều tra hành vi, điều khiển mô hình theo hướng đó thay vì tự đo lường tần suất Qwen thực hiện hành vi đó.

Để tìm ra nguyên nhân đã kích hoạt nỗ lực tải lên, Cohere đã cung cấp phần đầu của lệnh mạng (lệnh yêu cầu một máy tính kết nối với máy tính khác) và để mô hình hoàn thành việc đó. Vì đã xử lý hàng nghìn lệnh mạng thông thường trong quá trình đào tạo nên mô hình này hoạt động giống như một trình tự động hoàn thành rất tiên tiến — thường điền các địa chỉ web, một số trong số đó dành cho máy chủ của Alibaba.

Cohere cho biết nỗ lực tải lên ban đầu diễn ra mà không có bất kỳ sự trợ giúp nào như vậy, nhưng hành vi này rất hiếm.

Sau khi các nhà phát triển yêu cầu thêm bằng chứng, Cohere đã công bố các dấu vết thô từ các thử nghiệm của mình vào tối thứ Hai trên nền tảng nhà phát triển AI Ôm mặt, cùng với một tập lệnh để những người khác có thể cố gắng tái tạo hành vi.

Một người hoài nghi ban đầu, sau khi xem xét các dấu vết, đánh giá bằng chứng mạnh mẽ cho thấy Qwen có thể bịa ra các địa chỉ web đáng ngờ, nhưng không tìm thấy bằng chứng nào cho thấy Alibaba đã cài đặt cửa sau hoặc Qwen đang cố tình che giấu ý định của mình.

Vụ việc xảy ra khi các chính phủ đang quyết định xem nên đẩy lùi AI của Trung Quốc đến mức nào. Tuần trước, Bộ An ninh Nội địa đã ra lệnh cho các cơ quan dân sự liên bang loại bỏ các sản phẩm của nhà phát triển AI DeepSeek của Trung Quốc khỏi hệ thống của họ.

Trong bài đăng trên blog của mình, Cohere kêu gọi các chính phủ làm rõ liệu các hạn chế của họ đối với AI của Trung Quốc có áp dụng cho các mô hình chạy trên máy tính của chính phủ hay không

Zhang nói với TechCrunch: “Tôi không yêu cầu quy định đầy đủ về các mô hình trọng lượng mở này”, đồng thời nói thêm rằng các công ty nên coi các mô hình mở giống như bất kỳ chương trình nào được tải xuống từ internet.

Cohere, công ty bán các mô hình AI của riêng mình cho các chính phủ, sẽ được hưởng lợi nếu các quan chức ngày càng cảnh giác hơn với các lựa chọn thay thế miễn phí của Trung Quốc.