Kết quả cuộc thi MLPerf Inference v4.1 cho thấy sự cạnh tranh gay gắt trong thị trường suy luận AI. Dưới đây là một số điểm nổi bật từ các bài dự thi và công bố mới nhất:

1. Sự Thống Trị của Nvidia: Nvidia vẫn giữ ưu thế trong lĩnh vực đào tạo AI, nhưng đang đối mặt với sự cạnh tranh mạnh mẽ trong lĩnh vực suy luận AI, đặc biệt là về hiệu quả năng lượng. Chip Blackwell mới của Nvidia đã thể hiện hiệu suất ấn tượng, vượt trội hơn tất cả các thế hệ chip trước đó 2,5 lần trong nhiệm vụ Hỏi & Đáp của LLM.

2. Kết Quả Của Cuộc thi MLPerf Inference v4.1:

   - Blackwell của Nvidia: Chiếm ưu thế trong hiệu suất tuyệt đối, đặc biệt là với khả năng chạy các mô hình LLM bằng độ chính xác dấu phẩy động 4 bit và băng thông bộ nhớ tăng cường.

   - UntetherAI: Công ty khởi nghiệp UntetherAI đã tỏa sáng trong việc sử dụng năng lượng với chip speedAI240 Preview, cho hiệu suất cao và tiêu thụ điện năng thấp hơn đáng kể so với Nvidia.

   - Google Trillium và AMD Instinct: Trillium hoạt động tốt hơn một nửa so với H100 và H200 trong việc tạo hình ảnh, trong khi Instinct của AMD gần ngang bằng với H100 trong nhiệm vụ Hỏi & Đáp.

3. Danh Mục và Tiêu Chuẩn: MLPerf có nhiều danh mục và chuẩn mực, từ “datacenter-closed” đến “edge-closed”, kiểm tra hiệu suất trong các điều kiện và loại tác vụ khác nhau, từ phân loại hình ảnh đến Hỏi & Đáp LLM.

4. Công Bố Mới:

- Cerebras, Furiosa bỏ qua MLPerf nhưng công bố chip mới:

• Cerebras: Công ty tuyên bố nền tảng của họ đánh bại H100 của Nvidia và chip Groq về số lượng token LLM được tạo ra mỗi giây, nhờ vào thiết kế chip lớn bằng một tấm wafer silicon.

• Furiosa: Chip RNGD của Furiosa cho thấy hiệu suất tương đương với Nvidia L40S nhưng tiêu thụ điện năng thấp hơn nhiều.

- IBM: IBM cũng công bố chip Spyre mới, dự kiến ra mắt vào quý đầu năm 2025, dành cho khối lượng công việc AI doanh nghiệp.

5. Định Hướng Tương Lai: Sự phát triển trong công nghệ điện toán tại bộ nhớ và các công nghệ mới từ các công ty như Cerebras, Furiosa cho thấy thị trường suy luận AI sẽ tiếp tục phát triển nhanh chóng với các giải pháp hiệu quả và tiên tiến hơn.

#AMD #BLACKWELL #CEREBRAS #FURIOSA #NVIDIA #POWEREFFICIENCY #UNTETHERAI #MLPERF