GPT-4 là một mô hình hỗn hợp gồm 8x220 tỷ tham số? Tin đồn này đã phát điên ngày hôm nay

Nguồn: Trái Tim Máy

George Hotz: Ngoại trừ Apple, lý do tại sao hầu hết các công ty giữ bí mật không phải là để che giấu một số công nghệ đen, mà là để che giấu một số thứ "không hay lắm".

"Khối lượng tham số của GPT-4 cao tới 100 nghìn tỷ" Tôi tin rằng nhiều người vẫn còn nhớ tin tức "khủng" vuốt màn hình vào đầu năm nay và một biểu đồ được lan truyền mạnh mẽ.

Nhưng ngay sau đó, CEO OpenAI Sam Altman đã lên tiếng bác bỏ tin đồn, khẳng định đây là tin giả và cho biết: "Tin đồn về GPT-4 thật nực cười. Tôi thậm chí còn không biết nó đến từ đâu".

Trên thực tế, nhiều người tin tưởng và lan truyền những tin đồn như vậy bởi vì cộng đồng AI đã tăng kích thước tham số của các mô hình AI trong những năm gần đây. Switch Transformer được Google phát hành vào tháng 1 năm 2021 đã nâng thông số của mô hình lớn AI lên 1,6 nghìn tỷ. Kể từ đó, nhiều tổ chức đã liên tiếp tung ra các mô hình lớn nghìn tỷ tham số của riêng họ. Dựa vào đây, người ta có mọi lý do để tin rằng GPT-4 sẽ là một mô hình khổng lồ với hàng nghìn tỷ tham số, và 100 nghìn tỷ tham số không phải là không thể.

Mặc dù tin đồn của Sam Altman đã giúp chúng ta thoát khỏi một câu trả lời sai, nhưng nhóm OpenAI đứng sau ông ấy vẫn rất kín tiếng về thông số thực của GPT-4, thậm chí cả báo cáo kỹ thuật chính thức của GPT-4 cũng không tiết lộ bất kỳ thông tin nào.

Mãi đến gần đây, bí ẩn này mới bị nghi ngờ là do "hacker thiên tài" George Hotz vạch trần.

George Hotz nổi tiếng nhờ bẻ khóa iPhone năm 17 tuổi và hack Sony PS3 năm 21 tuổi. Anh hiện là ông chủ của một công ty (comma.ai) chuyên phát triển hệ thống hỗ trợ lái xe tự động.

Gần đây, anh ấy đã được phỏng vấn bởi một podcast công nghệ AI có tên là Không gian tiềm ẩn. Trong cuộc phỏng vấn, anh ấy đã nói về GPT-4, nói rằng GPT-4 thực sự là một mô hình lai. Cụ thể, nó sử dụng một hệ thống tập hợp gồm 8 mô hình chuyên gia, mỗi mô hình có 220 tỷ tham số (nhiều hơn một chút so với 175 tỷ tham số của GPT-3) và các mô hình này đã được đào tạo về đào tạo phân phối nhiệm vụ và dữ liệu khác nhau.

Sau khi podcast này được phát sóng, Soumith Chintala, người tạo ra PyTorch, nói rằng dường như ông cũng đã nghe thấy "tin đồn" tương tự, và nhiều người có thể đã nghe thấy nó, nhưng chỉ có George Hotz nói trước công chúng.

George Hotz châm biếm: "Mô hình lai là thứ bạn cân nhắc khi không có việc gì làm. Các mô hình lai ra đời vì bạn không thể làm cho mô hình lớn hơn 220 tỷ tham số. Họ muốn mô hình tốt hơn, nhưng nếu nó Chỉ là Thời gian đào tạo lâu hơn và hiệu quả đã giảm đi.Do đó, họ đã áp dụng tám mô hình chuyên gia để cải thiện hiệu suất.” Về cách thức hoạt động của mô hình lai này, George Hotz không nói rõ.

Tại sao OpenAI lại giữ bí mật về điều này? George Hotz cho rằng, ngoại trừ Apple, lý do khiến hầu hết các công ty giữ bí mật không phải là để che giấu một số công nghệ đen, mà là che giấu một số thứ “không hay lắm”, và không muốn người khác biết rằng “miễn là bạn bỏ ra Gấp 8 lần tiền là mua được mẫu này".

Đối với xu hướng trong tương lai, anh ấy tin rằng mọi người sẽ đào tạo các mô hình nhỏ hơn và cải thiện hiệu suất thông qua tinh chỉnh lâu dài và khám phá nhiều thủ thuật khác nhau. Ông đề cập rằng so với trước đây, hiệu quả đào tạo đã được cải thiện đáng kể, mặc dù tài nguyên máy tính không thay đổi, điều này cho thấy việc cải tiến phương pháp đào tạo đã đóng một vai trò lớn.

Hiện tại, "tin nóng" về GPT-4 của George Hotz đã được lan truyền rộng rãi trên Twitter.

Ai đó đã lấy cảm hứng từ nó và tuyên bố sẽ huấn luyện một nhóm LLaMA chống lại GPT-4.

Người ta cũng nói rằng nếu như George Hotz đã nói, GPT-4 là một mô hình lai bao gồm 8 mô hình chuyên gia với 220 tỷ tham số, thì thật khó để tưởng tượng lý do đằng sau nó đắt đỏ như thế nào.

Cần phải chỉ ra rằng vì George Hotz không đề cập đến nguồn, nên hiện tại chúng tôi không thể đánh giá liệu khẳng định trên có đúng hay không.