Cố vấn khoa học Nhà Trắng Michael Kratsios cho biết Moonshot, công ty Trung Quốc đứng sau Kimi K3, LLM trọng lượng mở lớn nhất hiện có, đã xây dựng mô hình của mình bằng cách sao chép LLM Fable của Anthropic trong khi sử dụng chip chưa được phép xuất khẩu sang Trung Quốc.
Kratsios viết: “Việc chưng cất công nghiệp bí mật, quy mô lớn nhằm mục đích đánh cắp công nghệ độc quyền của Hoa Kỳ và phá hoại nghiên cứu của Mỹ là không thể chấp nhận được,” Kratsios viết, trong bối cảnh có các cuộc thảo luận về việc cấm các mô hình trọng lượng mở của Trung Quốc đã làm sôi động lĩnh vực AI. Moonshot không trả lời các câu hỏi về quá trình đào tạo của mình và Kratsios cũng không chia sẻ thêm thông tin chi tiết về nguồn gốc của những cáo buộc của mình.
Dòng tweet của Kratsios lặp lại nhận xét của Bộ trưởng Tài chính Scott Bessent rằng “chúng tôi đang tìm thấy hình mờ của các mô hình ngôn ngữ lớn của Hoa Kỳ trên nhiều mô hình của Trung Quốc và điều đó là không thể chấp nhận được”. Không rõ những hình mờ đó bao gồm những gì và Bộ Tài chính đã không trả lời câu hỏi nào.
Tuy nhiên, các chuyên gia nghi ngờ rằng quá trình chưng cất — quá trình truy vấn LLM để xác định hoạt động bên trong của nó và sao chép các khả năng của nó — chịu trách nhiệm về các khả năng nâng cao mà Kimi K3 thể hiện.
Braden Hancock, nhà nghiên cứu tại Viện Laude và đồng sáng lập của Snorkel AI, nói với TechCrunch: “Tôi không nghĩ bạn sẽ có được một mô hình mạnh mẽ và nhanh chóng như vậy sau khi Fable thực hiện quá trình chưng cất nghiêm ngặt”. “Thành thật mà nói, thậm chí không có thời gian, phải không? Fable chỉ được công bố rộng rãi kể từ ngày 1 tháng 7. Bạn không thể chắt lọc nhiều dữ liệu như vậy, đào tạo một mô hình và phát hành nó trong hai tuần.”
Nathan Lambert, một nhà nghiên cứu AI tại Viện AI của Allen, cho biết trong một podcast phát hành ngày hôm qua: “Tôi cho rằng quá trình chưng cất ngày càng trở nên ít tác động hơn theo thời gian khi các mô hình Trung Quốc tiến gần hơn đến biên giới và chế độ đào tạo chuyển sang (học tăng cường). “(Tôi) nếu đúng như vậy, mọi người sẽ có thể dễ dàng bắt kịp GLM hoặc K3 bằng cách sử dụng dữ liệu của nó để chưng cất. Nhưng chúng tôi chưa hoặc sẽ không thấy điều này chỉ từ việc tinh chỉnh có giám sát.”
Việc thực hiện quá trình chưng cất đòi hỏi phòng thí nghiệm phải truy vấn một cách có hệ thống mô hình mục tiêu của mình để tạo ra dữ liệu có thể sử dụng cho quá trình đào tạo sau. Đôi khi điều này liên quan rõ ràng đến việc yêu cầu mô hình trình bày rõ ràng chuỗi suy nghĩ của nó để hiểu cách nó giải quyết vấn đề. Đôi khi, lời nhắc và phản hồi từ một mô hình được sử dụng để huấn luyện một mô hình mới trong quy trình được gọi là tinh chỉnh có giám sát hoặc SFT.
Chính quá trình tinh chỉnh này có thể dẫn đến một mô hình có vẻ như được tạo ra bởi bên thứ ba tuyên bố rằng đó là Claude. Tinh chỉnh là ở chỗ, theo quan điểm của Lambert, “mô hình chọn cách cư xử của nó”.
Nhưng Lambert nói rằng lợi ích của SFT đang trở nên ít quan trọng hơn khi các mô hình trở nên phức tạp hơn. Để chắt lọc những khả năng giống như Truyện ngụ ngôn có thể sẽ cần đến các kỹ thuật học tăng cường. Trong nhiều trường hợp, điều đó có nghĩa là có một tác nhân của mô hình lớn hơn sẽ chấm điểm các phản hồi của mô hình nhỏ hơn và điều chỉnh dựa trên điểm đó.
Các kỹ thuật tiên tiến hơn cũng đòi hỏi cơ sở hạ tầng quan trọng hơn. Các đợt học tăng cường lớn có thể cần tới hàng chục triệu tác nhân. Việc sử dụng API của phòng thí nghiệm biên giới để làm điều đó “sẽ cực kỳ tốn kém và có thể sẽ gây tắc nghẽn về thời gian vì những mô hình này khá chậm và thành thật mà nói, thậm chí có thể không giúp bạn nâng cao hiệu suất”.
Có vẻ như các mô hình biên giới trước đây có thể đã đóng góp cho Kimi; Anthropic đã công khai cáo buộc Moonshot, DeepSeek và MiniMax đã chắt lọc một cách có hệ thống các mô hình của mình vào đầu năm nay. Anthropic cho biết họ đã phát hiện ra hàng triệu trao đổi giữa các mô hình và người dùng mà họ xác định được tại các công ty đó thông qua địa chỉ IP và dữ liệu meta khác. Những truy vấn đó “khác biệt với các kiểu sử dụng thông thường, phản ánh việc khai thác khả năng có chủ ý hơn là sử dụng hợp pháp”. Anthropic đã không trả lời các câu hỏi của TechCrunch về quá trình chưng cất Fable.
Tuy nhiên, việc chưng cất được coi là phổ biến ở các công ty AI, không chỉ ở Trung Quốc. Elon Musk đã làm chứng vào đầu năm nay rằng công ty SpaceXAI của ông đã chắt lọc các mô hình OpenAI để phát triển Grok và cách làm này là phổ biến trong ngành. Ví dụ, ranh giới giữa quá trình chưng cất và phát triển các tập dữ liệu tổng hợp có thể khá mờ nhạt.
“(Tôi) nói chung, người Mỹ đang đánh giá thấp chuyên môn kỹ thuật của các đội Trung Quốc này,” Hancock nói. “Một trong những người sáng lập Moonshot là nghiên cứu sinh tiến sĩ của CMU. Đây là những nhà nghiên cứu và kỹ sư hợp pháp đang làm việc chăm chỉ. …nếu các mô hình của Mỹ bị đình trệ, tôi nghĩ sự tiến bộ của Trung Quốc sẽ chậm lại, nhưng vẫn sẽ tiếp tục. Họ không chỉ chạy theo đuôi ở đây.”
Cũng khó có thể hiểu được sự chắt lọc từ phần thứ hai trong nhận xét của Kratsios – rằng Moonshot đã có được Chip Nvidia tiên tiến, Grace Blackwell 300 và cũng đã truy cập vào các máy chủ được trang bị GB300 ở Thái Lan. Theo Sam Bresnick, nhà nghiên cứu tại Trung tâm An ninh và Công nghệ mới nổi của Georgetown, những con chip này bị cấm xuất khẩu sang Trung Quốc, nhưng vẫn tồn tại thị trường chợ đen. Vào tháng 5, người sáng lập Supermicro, một công ty xây dựng máy chủ của Mỹ, đã bị truy tố vì buôn lậu chip tiên tiến vào Trung Quốc.
Bresnick nói: “Tôi là người đề xuất tìm hiểu luật khách hàng của bạn đối với các trung tâm dữ liệu trên toàn thế giới. “Nếu bạn để một công ty tiến hành các hoạt động đào tạo quy mô lớn về phần cứng hiện đại của mình thì cần phải có cơ chế báo cáo cho biết công ty đó là ai và họ đang làm gì.”
Bộ Thương mại của Tổng thống Joe Biden đã đề xuất các quy tắc liên bang về hiểu biết khách hàng của bạn cho các trung tâm dữ liệu vào năm 2024, nhưng dường như không có thêm tiến bộ nào đạt được dưới thời Donald Trump. Tuy nhiên, các nhà xuất khẩu vận chuyển chip tiên tiến ra nước ngoài phải đảm bảo chúng chỉ được sử dụng cho các mục đích đã được phê duyệt.
Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể kiếm được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập biên tập của chúng tôi.