Vào tháng 10, hơn một trong bốn yêu cầu trên bộ định tuyến mô hình AI của Vercel thuộc về các mô hình quyết định chứ không phải LLM – một phần công việc khổng lồ dành cho một loại trí thông minh máy tính mới được phát minh chỉ một tháng trước đó.
Các mô hình quyết định là LLM không tạo ra mã thông báo đầu ra; thay vào đó, họ được điều chỉnh để sử dụng trí thông minh chung của mình để quyết định nhanh chóng và ít tốn kém giữa các lựa chọn đặt trước, đồng thời ghi nhận mức độ tin cậy của lựa chọn đó. Chúng hữu ích trong môi trường sản xuất, trong đó các quyết định nhanh chóng có thể quan trọng hơn lý do được đưa ra bởi mô hình biên giới chậm hơn và tốn kém hơn.
TypeSafe đã trở thành công ty trị giá 7,5 tỷ USD sau khi phát hành dòng mô hình Jev, tiếp tục thống trị việc sử dụng (ít nhất là ở nơi chúng ta có thể thấy số liệu từ các dịch vụ như OpenRouter, đã xử lý hơn 1,5 tỷ truy vấn đối với các mô hình của TypeSafe vào tuần trước).
Tuy nhiên, thật dễ dàng để đưa ra một mô hình quyết định và hàng chục mô hình đã được phát hành sau Jev. Một kỹ sư của Amazon đã tạo ra một chiếc trong một ngày cuối tuần và chẳng bao lâu sau, mỗi siêu quy mô đều có lựa chọn riêng. Hôm thứ Ba, Giám đốc điều hành Microsoft Satya Nadella cho biết công ty của ông sẽ triển khai mô hình quyết định của mình, Microsoft-Decision-1.1, để sử dụng rộng rãi trên Azure ngay lập tức.
Hành động đang diễn ra ở cả hai đầu của hệ sinh thái: Sqwish, một công ty khởi nghiệp AI có trụ sở tại Vương quốc Anh đứng sau mô hình quyết định có tên là kettei fat, hôm nay đã công bố vòng tiền hạt giống trị giá 3 triệu đô la. Các nhà đồng sáng lập Ushnish Sengupta và Federica Freddi, những người gặp nhau khi còn là sinh viên tốt nghiệp Cambridge, đã phát triển LLM nhỏ khi Jev đến hiện trường và họ nhận ra rằng kiến trúc của họ có thể được tái sử dụng thành một mô hình ra quyết định mạnh mẽ.
Dữ liệu dường như là chìa khóa cho một mô hình thành công trong danh mục này – Giám đốc điều hành TypeSafe Diogo Almedia nói với TechCrunch rằng phần khó nhất trong việc xây dựng Jev là hiệu chỉnh chính xác phán đoán của mình bằng cách sử dụng dữ liệu tổng hợp được điều chỉnh theo thống kê. Sqiwsh cũng đang làm việc với dữ liệu tổng hợp, nhưng sản phẩm độc đáo của nó là các công cụ đào tạo sau được tích hợp sẵn sử dụng dữ liệu của chính khách hàng để cải thiện khả năng phán đoán của mô hình.
“Tôi nghĩ điều khiến chúng tôi không phải là hàng hóa là thực tế là chúng tôi đang cung cấp cho khách hàng sức mạnh tương tự…họ có thể tiếp tục tải lên dữ liệu sản xuất của mình và giống như cách chúng tôi đã đào tạo mô hình của mình, mô hình của họ cũng có thể tiếp tục hoàn thiện tốt hơn các nhiệm vụ mà họ quan tâm,” CEO Ushnish Sengupta nói với TechCrunch.
Việc cố gắng xếp hạng các mô hình quyết định là rất khó; Mô hình “kettei fat” của Sqwish đã hoạt động tốt trên một số điểm chuẩn, nhưng hầu hết các nhà xây dựng công nghệ đều nói rằng bằng chứng thực sự nằm ở bánh pudding: các nhà phát triển thường đơn giản đăng ký mô hình này cho mô hình khác và xem nó hoạt động như thế nào trong một bối cảnh cụ thể.
Sengupta nói: “Điểm chuẩn giống như một lời mời dùng thử mô hình và sau đó việc điều chỉnh liên tục là lý do tại sao họ nên theo đuổi chúng tôi”.
Mô hình Quyết định 1.1 của Microsoft cũng là kết quả của việc công ty cân bằng cẩn thận giữa chi phí, độ trễ, trí thông minh và hiệu chuẩn. Achint Srivastava, phó chủ tịch kỹ thuật, người đứng đầu dự án, đồng ý rằng việc tập trung quá nhiều vào điểm chuẩn là một sai lầm.
Srivastava viết trong một email: “Những gì chúng tôi thấy là các mô hình ‘benchmax’ không phù hợp với việc sử dụng thực tế của doanh nghiệp rất nhanh chóng. “Thử nghiệm của chúng tôi nhấn mạnh thách thức của việc cung cấp độ chính xác, độ tin cậy, tốc độ và hiệu quả chi phí trong một mô hình duy nhất. Microsoft-Decision-1.1 và Jev nằm trong số ít các mô hình hoạt động mạnh mẽ trên cả bốn khía cạnh, ngay cả khi được đánh giá dựa trên ‘tiêu chuẩn được tổ chức’ hoặc các tiêu chuẩn không được nhìn thấy phản ánh các trường hợp sử dụng thực tế.”
Đối với các công ty khởi nghiệp như Sqwish, sự cạnh tranh với các công ty siêu quy mô và phòng thí nghiệm tiên phong là một cơ hội. Freddi dự đoán rằng các hệ thống trong tương lai sẽ thấy cái gọi là trí thông minh của Hệ thống Một, giống như các mô hình quyết định, hoạt động phối hợp với trí thông minh của Hệ thống Hai, giống như các LLM biên giới.
Cô nói với TechCrunch: “Ngay cả trong tương lai đó, System One có thể trị giá 10 tỷ đô la, 50 tỷ đô la (cơ hội) và OpenAI đang thực hiện đợt IPO này với giá trị thị trường mà bạn biết là 1 nghìn tỷ đô la, 2 nghìn tỷ đô la”. “Đây là tất cả những gì chúng tôi quan tâm; trong khi đối với họ, đây chỉ là một dự án phụ.”
Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể kiếm được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập biên tập của chúng tôi.