Một loại mô hình AI mới của nhà phát minh ChatGPT đang khiến các nhà phát triển phấn khích

ChatGPT đã làm tan nát trái tim Diogo Almeida.

Almeida là một nhà nghiên cứu OpenAI, người đã giúp xây dựng chatbot và sau đó phát minh ra phương pháp học tăng cường từ phản hồi của con người (RLHF), kỹ thuật đào tạo mô hình có lẽ chịu trách nhiệm chính cho thời đại AI hiện tại của chúng ta. Nhưng bất chấp khả năng của nó, anh vẫn thất vọng.

Almeida nói với TechCrunch: “Chúng tôi có tia sét trong chai nhưng nó không hữu ích. “Tôi đã đấu tranh với vấn đề đó kể từ đó. Tôi phải mất một thời gian mới đi đến kết luận: vấn đề là chúng ta đang tối ưu hóa ngôn ngữ của con người… Chúng ta đã rất giỏi về ngôn ngữ của con người trong 4 năm, nhưng nó không hữu ích cho tự động hóa vì máy tính nói một ngôn ngữ khác.”

Hai năm trước, Almeida rời OpenAI để thành lập TypeSafe AI, một công ty khởi nghiệp đang cố gắng khắc phục vấn đề đó. Tuần này, công ty đã phát hành một mô hình dựa trên máy biến áp mới, Jev, đây không phải là mô hình ngôn ngữ lớn (LLM). Nó không xuất ra văn bản mà thay vào đó tạo ra các xác suất, hay cái mà công ty gọi là “các quyết định đã được hiệu chỉnh”.

Ngôn ngữ Eschewing thực hiện một số điều: Nó làm cho mô hình cực kỳ rẻ và nhanh, và bởi vì người dùng xác định trước kết quả đầu ra nên nó không thể gây ảo giác. Mã thông báo đầu ra của nó là miễn phí và mã thông báo đầu vào được tính bằng tỷ chứ không phải triệu.

Các nhà phát triển đang rất quan tâm đến sản phẩm; công ty đã mất khả năng phục vụ người dùng từ API của mình trong một thời gian ngắn vì nhu cầu quá cao. Jev tỏ ra hữu ích nhất cho việc tự động hóa phần mềm. Cho đến nay, các nhà phát triển phần mềm coi đây là cách rẻ hơn và mạnh mẽ hơn để kết hợp trí thông minh vào mã của họ.

Ví dụ, Pranit Sharma, kỹ sư phần mềm tại Vercel, một công ty sản xuất cơ sở hạ tầng đại lý, cho biết công ty của ông đã sử dụng ChatGPT Luna 5.6 của OpenAI để chạy trình phân loại nhằm xem xét các lệnh đảm bảo an toàn. Khi Vercel thay thế Luna của OpenAI bằng Jev, nó nhận được kết quả nhanh hơn từ 5 đến 18 lần và độ chính xác cao hơn.

Một nhà phát triển khác, Bryo AI CTO Nikhil Mudholkar, đã thử nghiệm Jev với Gemini về khả năng phân loại email doanh nghiệp. Trong thử nghiệm của mình, Gemini chính xác hơn một chút nhưng đắt hơn từ 10 đến 20 lần. Điều thú vị hơn đối với Mudholkar là điểm tin cậy của Jev – “đó là điểm duy nhất mang lại xác suất thực sự khiến nó trở nên lý tưởng để tự động hóa quy trình công việc!!”

Bên cạnh việc thay thế LLM trong một số trường hợp sử dụng nhất định, mô hình mới cũng có thể tăng cường chúng, hoạt động như một công cụ kiểm tra thông minh về hành vi sai trái. Almeida lập luận rằng việc sử dụng các đặc vụ để giám sát các đặc vụ có thể nhanh chóng trở nên tốn kém, nhưng sử dụng Jev để làm như vậy là hợp lý. Anh ta thấy người dùng triển khai Jev để theo dõi dấu vết của tác nhân LLM và ngăn chặn việc bẻ khóa.

Armin Ronacher, CTO của Earendil, công ty xây dựng mô hình nguồn mở khai thác Pi, giải thích: “Cuối cùng, nó giao phó vấn đề ảo giác một chút cho người dùng”. “Người dùng phải nói, được thôi, nếu điều này chỉ xảy ra với xác suất 50%, có thể đây là trò tung đồng xu và tôi bỏ qua nó. Nhưng nếu là 95% thì chắc chắn, thì tôi có thể làm gì đó với nó.”

Ronacher cho biết một ứng dụng tiềm năng khác của Jev là định tuyến mô hình. Việc dự đoán liệu một khối lượng công việc nhất định có yêu cầu một mô hình cụ thể hay không sẽ hữu ích nhưng việc sử dụng LLM cho công việc sẽ rất tốn kém. Chi phí thấp và tốc độ của Jev giúp cho việc sắp xếp theo thời gian thực đó trở nên khả thi.

Và đó là hy vọng của Almeida. Mô hình này được đặt theo tên của William Stanley Jevons, nhà kinh tế học thế kỷ 19, người có nghịch lý cùng tên mô tả việc giá hàng hóa giảm có thể khiến nó được sử dụng ngày càng nhiều như thế nào. Trong trường hợp này, chi phí tình báo giảm sẽ dẫn tới việc triển khai rộng rãi nó.

“Chúng tôi nghĩ rằng sẽ có phần mềm thông minh ở khắp mọi nơi theo cách xuất hiện và phân phối… giống Internet thời kỳ đầu hơn những gì bạn biết, giống như các ứng dụng lớn mà mọi người đang cố gắng xây dựng ngay bây giờ,” Almeida nói.

Almeida rất kín tiếng về kiến ​​trúc của mô hình, điều mà các nhà quan sát bên ngoài nghi ngờ là được xây dựng dựa trên LLM trọng lượng mở. Công ty gọi Jev là “mô hình Hệ thống Một”, tập trung vào trực giác hơn là lý luận và đặc biệt tập trung vào đúng nhiệm vụ. Almeida cho biết Jev được đào tạo riêng về dữ liệu tổng hợp bằng cách sử dụng một kỹ thuật mà anh gọi là “học tăng cường từ các quyết định đã được hiệu chỉnh”.

“Chúng tôi đã đặt cược sớm rằng chúng tôi sẽ tạo ra tất cả dữ liệu của mình và đó là một trong những vụ đặt cược tốt nhất mà tôi từng thực hiện trong đời — tốt hơn so với lần ra mắt của chúng tôi, theo ý kiến ​​​​của tôi, tốt hơn RLHF,” anh ấy nói với TechCrunch. “Một nửa (công ty của chúng tôi) là một phòng thí nghiệm về cơ bản sở hữu toàn bộ trường con chứa dữ liệu tổng hợp được hiểu rõ về mặt thống kê và đó hiện là niềm vui cuộc sống của tôi.”

Hiện tại, Jev đứng một mình với tư cách là loại mô hình này, nhưng Ronacher kỳ vọng rằng các đối thủ cạnh tranh sẽ xuất hiện khi tiện ích của nó trở nên rõ ràng.

Ông nói: “Lẽ ra chúng ta phải thấy điều này sớm hơn theo nhiều cách, nhưng có lẽ vì LLM quá rẻ và được trợ cấp nên bạn thường chưa cần phải sáng tạo”.

Bản thân TypeSafe sẽ xây dựng nhiều phiên bản hơn của mô hình này với các phương thức mới. Khi được hỏi liệu TypeSafe có phải là một phòng thí nghiệm tiên phong hay không, Almeida nói: “sản phẩm chính của Frontier Labs là sự sợ hãi hoặc cường điệu. Tôi muốn sản phẩm chính của chúng tôi là trí thông minh… (nhưng chúng tôi) không phải là một phòng thí nghiệm theo nghĩa, bạn biết đấy, như đặt cược vào sự giàu có vô hạn, hay một tôn giáo, hay xây dựng Chúa trong một trung tâm dữ liệu, hay bất cứ điều gì của thời nay.”