Nvidia hôm thứ Năm đã ra mắt các mẫu máy có trọng lượng mở mới được thiết kế dành cho các đại lý luôn hoạt động và điện toán biên.
Nemotron 3.5 Super VL là một mẫu lớn, có 120 tỷ thông số dành cho các đại lý được doanh nghiệp sử dụng. Mặc dù nó sử dụng ít tham số hơn so với mẫu Nemotron 3 Ultra, Nvidia cho biết nó có thể mang lại độ chính xác tương tự trong các tác vụ làm theo hướng dẫn và sử dụng công cụ.
Ở đầu bên kia, công ty cũng tung ra hai mẫu Bolt nhẹ. Chúng dự định chạy cục bộ trên PC AI mới (chạy chip Nvidia RTX Spark) và máy trạm chạy DGX Spark. Những chiếc PC như vậy, hướng tới người tiêu dùng, lập trình viên và nhân viên tri thức doanh nghiệp, hiện đang được tung ra thị trường thông qua các đối tác như Microsoft và Dell.
Phó chủ tịch Mô hình và Phần mềm Mở của Nvidia, Kari Briski, đã viết trong bài đăng trên blog công bố các mô hình này: “Bất kỳ tổ chức nào muốn vận hành các đại lý trên cơ sở hạ tầng Nvidia hiện đều có một mô hình mở, được tối ưu hóa cho cấp độ của họ mà không cần phải lựa chọn giữa khả năng và khả năng triển khai”.
Nvidia tuyên bố rằng Super VL hoàn thành nhiệm vụ nhanh hơn so với các mô hình cạnh tranh từ Anthropic và OpenAI (Opus 5, GPT 6.1 Sol, Luna, Astra) khi được đào tạo sau về các nhiệm vụ tác nhân cụ thể. Những nhiệm vụ này bao gồm thu thập thông tin tài liệu, kế toán tài chính, thử nghiệm khoa học, yêu cầu bảo hiểm y tế và khả năng phục hồi sau các cuộc tấn công bảo mật.
Mặc dù những tuyên bố như vậy là tiêu chuẩn bất cứ khi nào một công ty công nghệ lớn công bố một mẫu máy mới, Nvidia đã hỗ trợ nó bằng một danh sách các công ty có ảnh hưởng nặng nề mà họ cho biết đang sử dụng Super VL. Chúng bao gồm Skydance, EY, Ramp, Crowdstrike, Perplexity và Salesforce.
Tất nhiên, đây không phải là mẫu máy mở đầu tiên mà Nvidia phát hành cạnh tranh với các phòng thí nghiệm biên giới độc quyền – những công ty vừa là khách hàng vừa là khoản đầu tư của Nvidia. Gã khổng lồ GPU có cả một dòng mô hình Nemotron có thể làm mọi thứ, từ trí tuệ nhân tạo đa phương thức đến lý luận, mã hóa, toán học và tự động hóa doanh nghiệp.
Tuy nhiên, các phòng thí nghiệm AI độc quyền đang phát triển nhanh chóng này hiện đang tìm kiếm nhiều nhà sản xuất chip và hệ thống AI khác ngoài Nvidia để đáp ứng nhu cầu của họ (như Trainium và Cerebras của AWS cũng như xây dựng chip tự trồng trong nước).
Vì vậy, Nvidia đang hướng mạnh vào xu hướng các công ty doanh nghiệp muốn chạy các mô hình mở của riêng họ trong trung tâm dữ liệu của riêng họ. Briski viết: “Không giống như các mô hình biên giới khép kín, các tổ chức có thể đào tạo sau Super VL trên dữ liệu của riêng họ, triển khai nó trên cơ sở hạ tầng của riêng họ và sở hữu những gì họ xây dựng”.
Nhưng với thông báo này hoặc các mẫu PC địa phương nhỏ hơn, họ cũng đang cố gắng thúc đẩy xu hướng mới nổi của trợ lý AI dành cho người tiêu dùng. Mặc dù có vẻ như một trợ lý AI mới được giới thiệu hàng ngày bởi các công ty khởi nghiệp cũng như công nghệ lớn, nhưng những người tiêu dùng mệt mỏi về quyền riêng tư có thể không muốn mời những đại lý như vậy đi sâu vào cuộc sống của họ để họ có thể truy cập thông tin về gia đình, sức khỏe, tài chính, v.v.
Vì vậy, Nvidia hy vọng sẽ tạo ra một thị trường mới cho chính mình khi bán PC chạy chip của mình bằng cách tạo ra các máy chạy mô hình và đại lý cục bộ, người dùng PC “có thể ủy quyền các dự án hàng ngày… mà không cần gửi khối lượng công việc đó lên đám mây,” Briski viết.
Trong số hai mẫu Bolt, Nemotron 3.5 Bolt 74B-A9B 24GB là mẫu tham số 74 tỷ được thiết kế cho các tác vụ cục bộ. Nó nhằm mục đích cân bằng tốc độ với lý luận để xử lý lý luận nhiều bước, gọi công cụ và duyệt web. Bolt E4B nhỏ nhất nhắm đến các tác nhân đàm thoại.
Nvidia cho biết Super VL và Bolt 74B-A9B hiện đã có sẵn, còn Bolt E4B sẽ ra mắt vào cuối tháng này.
Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể kiếm được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập biên tập của chúng tôi.