Hôm thứ Hai, Amazon Web Services đã phát hành một công cụ có tên TorchNeuron cho phép các công ty khởi nghiệp AI dễ dàng di chuyển các ứng dụng AI của họ sang chip AI của Amazon, Trainium. Khi làm như vậy, Amazon cũng đang trực tiếp tấn công vào lợi thế phần mềm đã giúp Nvidia trở thành lựa chọn phần cứng mặc định cho các ứng dụng AI và thúc đẩy sự nổi lên của họ với tư cách là nhà cung cấp phần cứng AI được lựa chọn.
TorchNeuron hoạt động với PyTorch, một bộ công cụ mã nguồn mở miễn phí mà các nhà phát triển sử dụng để xây dựng, đào tạo và chạy các mô hình AI. Theo Amazon, nó cho phép các ứng dụng AI được viết bằng PyTorch chạy trên Trainium bằng cách chỉ thay đổi một dòng cấu hình, theo Amazon – không cần viết lại mã.
Amazon cho biết khoảng 85% ứng dụng AI được viết bằng PyTorch. Facebook ban đầu phát triển nó, nhưng kể từ năm 2022, nó đã trở thành một phần của Linux Foundation, tổ chức duy trì các dự án nguồn mở. Nvidia đã dành nhiều năm để đảm bảo phần mềm CUDA của mình — cơ sở hạ tầng phần mềm cho phép các ứng dụng chạy trên GPU Nvidia và phần cứng khác của nó — hỗ trợ liền mạch các ứng dụng AI được viết bằng PyTorch. Kết quả là phần cứng của Nvidia hiện đã được nhúng sâu vào bộ công cụ, về cơ bản là theo mặc định.
TorchNeuron được chuyển thể từ PyTorch nên các nhà phát triển biết đến PyTorch đều đã biết cách sử dụng nó. Amazon không phải là công ty đầu tiên cố gắng dễ dàng đưa chip của họ lên nền tảng này. Người dùng PyTorch cũng có thể chuyển ứng dụng của họ sang GPU AMD hoặc thậm chí là chip của Apple chỉ bằng một thay đổi cấu hình đơn giản.
Tuy nhiên, Amazon lập luận rằng việc chuyển sang Trainium không chỉ dễ dàng; nó cũng cung cấp cho các công ty khởi nghiệp AI quyền truy cập vào toàn bộ đám mây của Amazon. Không có gì đáng ngạc nhiên, AWS tuyên bố rằng đây là lựa chọn tốt hơn cho các công ty khởi nghiệp so với sử dụng neocloud, nhiều trong số đó gắn liền với Nvidia và phần cứng của nó, như Coreweave, Nebius và Firmus.
Colin Brace, Phó Giám đốc Phần mềm Công nghệ tại AWS Annapurna Labs (đơn vị sản xuất chip tùy chỉnh của Amazon) nói với TechCrunch qua email: “Bạn đang xây dựng trên AWS. Bạn không đặt cược vào một nhà cung cấp điện toán có mục đích duy nhất và tranh giành để xây dựng mọi thứ khác xung quanh nó”. Ông tiếp tục: “Trên AWS, cơ sở hạ tầng để chuyển từ nguyên mẫu sang sản xuất đã có sẵn, cho phép người sáng lập phát triển nhanh chóng và mở rộng quy mô khi họ cần.”
AWS cho biết vì cùng một con chip vừa xử lý việc đào tạo (dạy mô hình AI) vừa suy luận (đưa mô hình hoàn thiện vào hoạt động, như khi nó trả lời câu hỏi của người dùng) và được tích hợp chặt chẽ với cơ sở hạ tầng đám mây mà các công ty khởi nghiệp cần, nên đám mây của nó sẽ giúp họ tiết kiệm tiền, ngay cả khi AWS không cung cấp mức giá cho mỗi mã thông báo rẻ nhất.
“Giá trị của Trainium là hiệu suất về giá cộng với thực tế là nó là một nền tảng cho cả đào tạo và suy luận, giúp cải thiện tính kinh tế trên toàn bộ khối lượng công việc,” Brace nói. “Hãy nhìn vào Deepgram – họ đã chuyển sang Trainium bằng cách sử dụng PyTorch gốc, hỗ trợ và họ đang xử lý âm thanh nhiều hơn 70% trên mỗi đô la với độ chính xác ở cấp độ sản xuất.” Deepgram là nhà cung cấp ứng dụng giọng nói AI, đối thủ cạnh tranh của ElevenLabs.
Nhưng Amazon không hài lòng khi chỉ cung cấp cho các nhà phát triển ứng dụng PyTorch một tùy chọn dễ dàng để chuyển sang đám mây của họ.
Amazon cũng cho biết họ đang thúc đẩy PyTorch ít tự động tập trung vào Nvidia hơn và họ sẽ đóng góp mã để thực hiện điều đó cho dự án PyTorch chính. Trong bài đăng trên blog thông báo về công cụ mới, công ty đã viết:
“Cách tiếp cận của Amazon vượt ra ngoài phần cứng của chính họ. Công ty đang đóng góp những thay đổi ngược dòng cho chính PyTorch, hợp tác với cộng đồng PyTorch để loại bỏ mã liên kết khung với các chip cụ thể. Mục tiêu là làm cho PyTorch trở nên bất khả tri hơn về phần cứng đối với toàn bộ cộng đồng nhà phát triển, không chỉ người dùng Trainium.”
Mặc dù chiến thuật như vậy chắc chắn là tốt cho những người đang bán dịch vụ phần cứng và đám mây cạnh tranh với Nvidia, nhưng một trong những điểm của PyTorch là che giấu tất cả những khó khăn phiền toái khi có được mã AI để chạy trên phần cứng. Chúng ta sẽ phải chờ xem liệu việc đẩy Nvidia đi xa đến mức đó có mang lại cho các nhà phát triển nhiều sự lựa chọn hơn và các tùy chọn hợp lý hơn như Amazon hứa hẹn hay chỉ là những cơn đau đầu về cấu hình hơn.
Dù bằng cách nào, nếu Amazon thành công trong việc tách rời PyTorch khỏi Nvidia, điều này có thể mang lại sự phân nhánh lớn hơn nhiều cho gã khổng lồ GPU thay vì chỉ đối phó với các đối thủ cạnh tranh chip. Như Brace đã nói: “Câu chuyện thực sự là việc loại bỏ sự ràng buộc khiến các nhà phát triển không có được sự lựa chọn thực sự nào cả”.
Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể kiếm được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập biên tập của chúng tôi.