Tin Kinh doanh – Ngày 13 tháng 11, 2024

1 - Mô hình AI lớn tiếp theo

Đó là một cảnh báo cho toàn bộ ngành công nghiệp AI.

Phân tích của Hasan Chowdhury và Beatrice Nolan. Ngày 11 tháng 11 năm 2024.

• Mô hình tiếp theo của OpenAI đang cho thấy tốc độ cải thiện chậm hơn.

• Nó đã thúc đẩy một cuộc tranh luận ở Thung lũng Silicon về việc liệu các mô hình AI có đạt đến đỉnh cao hiệu suất hay không.

• Sự bùng nổ AI đã di chuyển với tốc độ vì các bản phát hành mới đã khiến người dùng ngạc nhiên với những bước nhảy vọt về hiệu suất.

Mô hình trí tuệ nhân tạo hàng đầu tiếp theo của OpenAI đang cho thấy những cải tiến nhỏ hơn so với các lần lặp lại trước đó, Trong một dấu hiệu cho thấy ngành công nghiệp AI tạo sinh đang bùng nổ có thể đang tiến gần đến một đỉnh cao.

Mô hình tiếp theo của nhà sản xuất ChatGPT, Orion, chỉ cho thấy sự cải thiện vừa phải so với GPT-4. Bước nhảy vọt trong Orion đã nhỏ hơn so với giữa GPT-3 và GPT-4, đặc biệt là trong các nhiệm vụ mã hóa.

Nó khơi lại một cuộc tranh luận về tính khả thi của việc phát triển các mô hình ngày càng tiên tiến và luật mở rộng quy mô AI - các quy tắc lý thuyết về cách các mô hình cải thiện.

Giám đốc điều hành OpenAI Sam Altman cho biết trên X vào tháng Hai rằng "luật mở rộng được quyết định bởi Chúa; Các hằng số được xác định bởi các thành viên của đội ngũ kỹ thuật."

Các "định luật" mà Altman trích dẫn cho thấy các mô hình AI trở nên thông minh hơn khi chúng tăng kích thước và có quyền truy cập vào nhiều dữ liệu và sức mạnh tính toán hơn.

Altman vẫn có thể tán thành quan điểm rằng một công thức được định sẵn quyết định AI có thể thông minh hơn bao nhiêu, nhưng báo cáo cho thấy các nhân viên kỹ thuật đang đặt câu hỏi về những luật đó trong bối cảnh tranh luận gay gắt ở Thung lũng Silicon về bằng chứng ngày càng tăng cho thấy các mô hình hàng đầu đang gặp phải bức tường hiệu suất.

Luật mở rộng quy mô đã đi vào ngõ cụt?

Mặc dù quá trình đào tạo của Orion vẫn chưa hoàn tất, OpenAI đã sử dụng các biện pháp bổ sung để tăng hiệu suất, như cải thiện sau đào tạo dựa trên phản hồi của con người.

Mô hình, lần đầu tiên được công bố cách đây một năm, vẫn có thể thấy những cải tiến đáng kể trước khi phát hành. Nhưng đó là dấu hiệu cho thấy các thế hệ mô hình AI trong tương lai đã giúp các công ty huy động hàng tỷ đô la và định giá cao có thể trông kém ấn tượng hơn với mỗi lần lặp lại.

Có hai lý do chính khiến điều này có thể xảy ra.

Dữ liệu, một yếu tố quan trọng của phương trình luật tỷ lệ, khó tiếp cận hơn vì các công ty đã nhanh chóng cạn kiệt dữ liệu có sẵn trực tuyến.

Họ đã thu thập một lượng lớn dữ liệu do con người tạo - gồm văn bản, video, tài liệu nghiên cứu và tiểu thuyết - để đào tạo các mô hình đằng sau các công cụ và tính năng AI của họ, nhưng nguồn cung bị hạn chế. Công ty nghiên cứu Epoch AI dự đoán vào tháng 6 rằng các công ty có thể cạn kiệt dữ liệu văn bản có thể sử dụng được vào năm 2028. Các công ty đang cố gắng vượt qua những hạn chế bằng cách chuyển sang dữ liệu tổng hợp do chính AI tạo ra, nhưng điều đó cũng đi kèm với các vấn đề.

"Đối với các câu hỏi kiến thức chung, bạn có thể lập luận rằng hiện tại chúng ta đang thấy một cao nguyên trong hiệu suất của mô hình ngôn ngữ lớn", Ion Stoica, đồng sáng lập và chủ tịch điều hành của công ty phần mềm doanh nghiệp Databricks, nói rằng "dữ liệu thực tế" hữu ích hơn dữ liệu tổng hợp.

Sức mạnh tính toán, một yếu tố khác đã thúc đẩy hiệu suất AI, cũng không phải là vô hạn. Trong một chủ đề Reddit "hỏi tôi bất cứ điều gì" vào tháng trước, Altman thừa nhận rằng công ty phải đối mặt với "rất nhiều hạn chế và quyết định khó khăn" về việc phân bổ tài nguyên máy tính.

Không có gì ngạc nhiên khi một số chuyên gia trong ngành đã bắt đầu lưu ý rằng các mô hình AI được phát hành trong năm nay, cũng như các mô hình trong tương lai, cho thấy bằng chứng về việc tạo ra những bước nhảy vọt nhỏ hơn về hiệu suất so với phiên bản trước đây

'Lợi nhuận giảm dần'

Gary Marcus, giáo sư của Đại học New York và là nhà phê bình thẳng thắn về sự cường điệu của AI