PrismML hy vọng LLM nhỏ bé của nó sẽ thay đổi cách tất cả chúng ta sử dụng AI

Nếu phòng thí nghiệm AI PrismML chưa nằm trong tầm ngắm của bạn, thì điều đó sẽ xảy ra – không phải vì nó đã huy động được rất nhiều tiền (chưa, chỉ là vòng hạt giống trị giá 22,25 triệu đô la), mà vì những bộ óc kỹ thuật có liên quan và công nghệ có khả năng thay đổi ngành mà nó đang phát triển.

PrismML đang đặt cược rằng trên thực tế, các mô hình ngôn ngữ lớn có khả năng, hiệu suất cao, lý luận không nhất thiết phải lớn.

Nó đang tạo ra những mô hình suy luận nhỏ đến mức có thể vừa với PC và điện thoại thông minh. (Thậm chí còn có tin đồn là họ đang đàm phán với Apple, mặc dù CEO Babak Hassibi đã từ chối bình luận về điều đó với TechCrunch.)

Vào thứ Năm, PrismML đã phát hành Bonsai 2 27B, phiên bản mới nhất trong dòng mô hình, nén Qwen3.8 27B, một mô hình nguồn mở được sử dụng rộng rãi của Alibaba, xuống còn 5,9 GB. Nó đủ nhỏ để vừa với PC và có thể cả điện thoại thông minh cao cấp. Bộ nhớ giảm từ 9 đến 10 lần so với ban đầu.

PrismML được thành lập bởi một nhóm các nhà nghiên cứu Caltech và được lãnh đạo bởi Hassibi, giáo sư Caltech và chuyên gia về công nghệ nén. Công ty khởi nghiệp này cũng coi Ion Stoica là cố vấn. Stoica là người đồng sáng lập Databricks (và các công ty khác) đồng thời là giám đốc Phòng thí nghiệm điện toán Sky nổi tiếng của Berkeley, nơi đã khai sinh ra nhiều công nghệ và công ty khởi nghiệp, từ Letta đến SGLang.

PrismML cũng được hỗ trợ bởi các nhà đầu tư Khosla Ventures, Cerberus Capital và Caltech.

Công ty khởi nghiệp này chắc chắn không phải là công ty duy nhất làm việc về công nghệ nén LLM. Máy tính đa vũ trụ, được thành lập bởi một giáo sư nổi tiếng từ Trung tâm Vật lý Quốc tế Donostia của Tây Ban Nha, là một trường hợp khác. (Và Multiverse Computing đã huy động được rất nhiều tiền mặt.)

Nhưng Hassibi nói rằng công nghệ nén của PrismML là duy nhất vì LLM của nó hầu như không mất hiệu suất so với bản gốc. Bonsai 2 phù hợp với 98% điểm chuẩn tổng hợp của Qwen. Con số này tăng so với cây Bonsai đầu tiên, được phát hành vài tháng trước vào tháng 3, đạt 95%. Công ty cho biết mô hình ban đầu đó đã được tải xuống hơn 11 triệu lần và các mô hình nhỏ hơn của PrismML đã được tải xuống thêm 2,6 triệu lần nữa.

Vì vậy, điều này cho thấy kết quả nén của PrismML đã được cải thiện từ bản phát hành này sang bản phát hành tiếp theo. Liệu nó có thể đạt được hiệu suất tương đương 100% điểm chuẩn hay không vẫn còn là một câu hỏi. Nén có thể sẽ luôn có một số tác động, Hassibi nói.

Tuy nhiên, dù sao thì điểm chuẩn tương đương hoàn hảo cũng khá mang tính hàn lâm. LLM không chính xác lắm ở dạng không nén và điểm chuẩn không phản ánh hoàn hảo các nhiệm vụ thực tế, đến mức độ suy giảm 2% có thể sẽ ảnh hưởng đáng kể đến cách mô hình hoạt động trong sử dụng thực tế. (Ngoài ra, phần mềm xung quanh – dây nịt mà mô hình chạy bên trong – cũng rất quan trọng khi nói đến độ chính xác.)

PrismML cho biết họ đạt được điều này bằng cách thu nhỏ các “trọng số” tạo nên một mô hình – về cơ bản, các trọng số là thông tin mà một mô hình học và lưu trữ trong quá trình đào tạo. Thông thường, mỗi trọng số cần 16 bit. Cách tiếp cận của PrismML, được gọi là trọng số “ternary”, đơn giản hóa giá trị đó xuống còn 3: +1, −1 hoặc 0. Với các giá trị nhỏ hơn nhiều để lưu trữ cho mỗi trọng số, mô hình sẽ chiếm ít không gian hơn đáng kể. (Để tìm hiểu sâu hơn về kỹ thuật nén, đây là trang Ôm mặt của dự án.)

Mục tiêu tiếp theo của startup là áp dụng kỹ thuật nén này cho các mô hình lớn hơn nữa. Hassibi nói với TechCrunch: “Hy vọng rằng các mô hình tiếp theo mà chúng tôi sẽ phát hành trong vài tháng tới sẽ nằm trong phạm vi vài trăm tỷ thông số và tôi hy vọng việc duy trì thông tin ở đó sẽ dễ dàng hơn”.

Ông nói thêm, khi kích thước mô hình tăng lên, “Có nhiều chỗ hơn để có thể nén chúng mà không làm mất đi tính thông minh. Vì vậy, tôi chỉ muốn nói, theo xu hướng chung, đối với các mô hình lớn hơn, việc đạt tới 100% sẽ dễ dàng hơn.”

Stoica cho chúng tôi biết rằng anh ấy rất hào hứng với công nghệ này vì nó giúp các mẫu máy tiên tiến có thể chạy trên thiết bị của người dùng. “Bạn sẽ có trí thông minh trong tầm tay và nó sẽ miễn phí vì nó sẽ chạy trên thiết bị bạn đã mua. Nó cũng sẽ ở chế độ riêng tư vì bạn sẽ không gửi nó lên đám mây.”