Công ty khởi nghiệp ZML nổi tiếng của Pháp phát hành sản phẩm miễn phí để tăng tốc độ suy luận trên nhiều chip AI

Thời kỳ thống trị thị trường vô song của Nvidia vẫn chưa kết thúc, nhưng những thách thức và lựa chọn đang xuất hiện từ mọi hướng.

ZML, một công ty khởi nghiệp AI nổi tiếng của Pháp được xác nhận bởi Yann LeCun, người đoạt giải Turing, đã phát hành phần mềm hiệu suất suy luận cho phép nhiều mô hình ngôn ngữ lớn nguồn mở chạy trên nhiều loại chip – bao gồm Nvidia, AMD, Google’s TPU, Apple Metal và Intel Arc.

Với ZML/LLMD, máy chủ suy luận LLM mới ra mắt, tham vọng của công ty là phá vỡ các kho lưu trữ hiện có và cung cấp các chip khác nhau cho các trường hợp sử dụng AI ở tốc độ tối đa sẵn có và đôi khi nhanh hơn, người sáng lập ZML, Steeve Morin, nói với TechCrunch.

Khi AI được tích hợp vào công việc và cuộc sống hàng ngày của chúng ta, việc tối ưu hóa suy luận – hay còn gọi là xử lý lời nhắc – đã vượt xa tầm quan trọng của mô hình, nhưng thường có cảm giác chắp vá ở hậu trường, với các rào cản về phần mềm và kiến ​​trúc dẫn đến việc khóa nhà cung cấp, Morin nói.

Lời hứa đạt được hiệu suất cao nhất trên nhiều loại chip là một thành tựu công nghệ, nhưng nó cũng có thể là kẻ gây rối loạn thị trường, trong bối cảnh lo ngại về chi phí liên quan đến AI ngày càng gia tăng.

ZML hy vọng sẽ cung cấp cho các doanh nghiệp và đám mây tùy chọn sử dụng hỗn hợp chip, một số chip có thể ít tốn kém hơn hoặc tiêu thụ ít năng lượng hơn. Morin cho biết: “Ý tưởng là mang lại cho mọi người sức mạnh để tạo ra hệ thống của riêng họ và đạt được những lợi ích hiệu quả thực sự cho phép phổ biến (AI).

Morin nhận xét, sự hỗ trợ phần mềm như vậy có thể giúp ích cho các nhà sản xuất chip AI mới, nhiều trong số đó đến từ Châu Âu, trích dẫn Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud và VSORA. Nhưng hơn cả khu vực xuất xứ của họ, điều quan trọng đối với anh ấy là ZML có thể hợp tác với họ về “những điều chưa từng được thực hiện trước đây ở bất kỳ nơi nào trên thế giới”.

Điều đó không có nghĩa là Morin có quan điểm giảm giá đối với Nvidia. Anh ấy thì không, một phần vì nguồn cung hiện có của nó. Ông nói với TechCrunch rằng ZML có mối quan hệ tốt với gã khổng lồ chip AI, hãng đang chuẩn bị cho sự phát triển của suy luận.

Suy luận là một lĩnh vực được đầu tư mạnh mẽ đến mức xu hướng này được ca ngợi là “cơn sốt vàng suy luận”. Vì vậy ZML có sự cạnh tranh như Baseten, gần đây được định giá 13 tỷ USD; Suy luận, từ những người tạo ra vLLM dự án nguồn mở; cũng như RadixArk, công ty thương mại đứng sau SGLang.

Cả vLLM và SGLang đều cạnh tranh một phần với LLMD, nhưng tham vọng của Morin đối với ZML bao trùm phạm vi rộng hơn. Ông nói: “Chúng tôi đã đạt đến mức có thể cùng thiết kế silicon. Ông còn ghi nhận thêm đội ngũ tinh gọn gồm 20 người của ZML là lý do khiến công ty khởi nghiệp có trụ sở tại Paris này có thể phát triển nhanh chóng với nhiều bản phát hành hơn trong kế hoạch.

Nó cũng giúp nhóm nhỏ này được tài trợ tốt cho quy mô của nó. Nhờ thành tích phó chủ tịch kỹ thuật của Zenly mà Snapchat mua lại với giá chín con số vào năm 2017, Morin đã huy động được 20 triệu USD từ các công ty đầu tư mạo hiểm bao gồm 20VC của Harry Stebbings, >commit, AALVC, Drysdale Ventures, Kima Ventures của Xavier Niel, Kindred Capital, LocalGlobe và Puzzle Ventures.

Không giống như dự án công khai đầu tiên của ZML, khung ML tập trung vào suy luận được phát hành vào năm 2024 và được cập nhật vào tháng 3, ZML/LLMD không phải là nguồn mở. Nhưng nó được ra mắt dưới dạng sản phẩm miễn phí với mục tiêu tìm hiểu cách sử dụng. Morin nói: “Tôi muốn đo lường và (sau đó tạo ra doanh thu) ở nơi hiệu quả nhất mà không cản trở sự phát triển của mình một cách ngu ngốc vì tôi đã quá tham lam ngay từ đầu”.

Còn quá sớm để biết khi nào ZML/LLMD có thể trở thành sản phẩm trả phí và việc áp dụng nó sẽ như thế nào. Nhưng bảng giới hạn của công ty khởi nghiệp xác nhận rằng các nhà sáng lập khác đang chú ý, bao gồm cả người sáng lập Dagger và Docker, Solomon Hykes, Clément Delangue và Julien Chaumond từ Hugging Face, cũng như LeCun, hiện đang làm việc cho AMI Labs. Điều này cũng tạo cơ sở cho việc các công ty khởi nghiệp AI của Châu Âu giờ đây có thể xây dựng tại nhà. “Tôi không thể làm ZML ở bất cứ đâu ngoài Paris,” Morin nói.