Tại sao các nhà tài trợ GPU đầu tiên lại chuyển sang chip suy luận trong một thỏa thuận trị giá 400 triệu USD

General Computer, một công ty khởi nghiệp về đám mây suy luận AI, đã nhận được khoản vay 400 triệu USD từ Upper90, một công ty đầu tư công nghệ. Đây có thể là thỏa thuận đầu tiên sử dụng các chip dành riêng cho suy luận làm tài sản thế chấp – các chip được xây dựng để chạy các mô hình AI đã được đào tạo một cách nhanh chóng và hiệu quả, thay vì các chip đắt tiền hơn được sử dụng để xây dựng các mô hình ngay từ đầu.

Khoản tài trợ này là tín hiệu mới nhất cho thấy thị trường đang phản ứng trước những lo ngại về giá của các công cụ và mã thông báo AI bằng cách chuyển sang cơ sở hạ tầng chạy các mô hình nguồn mở với giá rẻ hơn so với LLM mới nhất từ ​​các phòng thí nghiệm biên giới.

Được thành lập bởi Giám đốc điều hành Finn Puklowski, General Computer đã huy động được vòng hạt giống trị giá 15 triệu đô la vào tháng 5 để xây dựng một neocloud suy luận xung quanh silicon từ SambaNova, một nhà sản xuất chip được Intel hậu thuẫn. (Neocloud được xây dựng có mục đích cho khối lượng công việc AI, không giống như cơ sở hạ tầng đa năng được cung cấp bởi các công cụ siêu quy mô truyền thống như AWS hoặc Azure.)

Chip SN50 của công ty được thiết kế để suy luận. Chúng tiết kiệm điện và không yêu cầu hệ thống làm mát bằng nước đắt tiền, nghĩa là chúng có thể được triển khai nhanh hơn GPU trên nhiều trung tâm dữ liệu lớn hơn. General Computer cho biết các chip mới sẽ cung cấp khả năng suy luận nhanh hơn 16 lần so với các đám mây dựa trên GPU.

Thách thức là có được nhiều con chip này, đặc biệt khi bạn là một công ty hoàn toàn mới.

Người đồng sáng lập và Giám đốc điều hành Upper90, Billy Libby, cựu nhà giao dịch định lượng của Goldman Sachs, đã có một cuốn cẩm nang về vấn đề này: Vào năm 2021, công ty của ông đã tài trợ cho việc mua GPU của Crusoe, công ty khởi nghiệp về trung tâm dữ liệu tập trung vào năng lượng, mà ông tin rằng đây là khoản vay đầu tiên dựa trên giá trị của các con chip tiên tiến.

Những người cho vay truyền thống tránh những giao dịch như vậy vào thời điểm đó vì những rủi ro và sự không chắc chắn xung quanh việc giảm giá GPU. Nhưng khi CoreWeave biến các khoản vay được hỗ trợ bằng chip thành một mô hình kinh doanh và sau đó là nền tảng của một đợt IPO bom tấn, loại hình tài trợ này đã trở nên phổ biến.

Libby nói với TechCrunch: “Khi chúng tôi tài trợ cho GPU Nvidia với tư cách là nhóm đầu tiên làm điều đó, thị trường hoạt động kém hiệu quả. “Chúng tôi thực sự có thể tập hợp được thứ gì đó với tư cách là người tham gia sớm và phần nào được đền bù cho rủi ro.”

Giờ đây, GPU đã được hiểu tương đối rõ và có lẽ được mua quá nhiều, Upper90 đang chuyển sang các công ty như General Computer để thúc đẩy làn sóng bùng nổ AI tiếp theo. Libby cho biết: “Chúng tôi nghĩ rằng các mô hình nguồn mở sẽ trở nên quan trọng và năm ngoái chúng tôi đã đi tìm một trình phát có khả năng suy luận”. “Mọi người không cần siêu máy tính, nhưng họ cần khả năng suy luận và AI.”

Luận điểm đó ngày càng trở nên mạnh mẽ hơn, khi các công ty cung cấp quyền truy cập vào các mô hình mở, như OpenRouter và Fireworks, đang huy động các vòng gọi vốn mới với mức định giá khổng lồ. Các mẫu mới như K3 của Kimi đã được chứng minh là có khả năng cạnh tranh với các phiên bản mới nhất của Anthropic và OpenAI về điểm chuẩn mã hóa. Và các nhà sản xuất chip mới như Groq và Cerebras đã thu hút được sự quan tâm từ những người mua lại cũng như thị trường đại chúng.

Khả năng truy cập các chip bên ngoài hệ sinh thái của Nvidia của General Computing cũng quan trọng vì lý do tương tự. TensorWave, một công ty cơ sở hạ tầng AI khác, cũng đang đặt cược tương tự vào mối quan hệ hợp tác với AMD. Khi có nhiều lựa chọn thay thế cho Nvidia xuất hiện, các nhà cung cấp máy tính không bị ràng buộc trong các giao dịch của Nvidia có thể có lợi thế trong việc cung cấp suy luận hiệu quả về mặt chi phí.

Puklowski nói: “Có một loạt chip đang bắt đầu mở rộng quy mô với tổng chi phí sở hữu đáng kinh ngạc hoặc có thể hoạt động nhanh hơn nhiều so với Nvidia, nhưng không có quá nhiều người mua chúng”. “Bằng cách hợp tác với Upper90, đây không chỉ là ‘một công ty khởi nghiệp thú vị có được tiền để mua một số máy tính.’ Giống như, đây là tín hiệu đầu tiên về việc vốn tự tổ chức và sự phân mảnh của sự thống trị độc quyền của Nvidia.”