Bước tiếp theo trong mô hình lớn AI có thể là giải pháp giá rẻ những năm đầu của Google

Nguồn: Vương Kiến Sóc

Tác giả: Vương Kiến Sóc

Sự xuất hiện của những máy chủ đầu tiên của Google đã đọng lại trong tâm trí tôi trong nhiều năm và nó đã trở thành chuẩn mực cho sự hiểu biết của tôi về công nghệ và các công ty khởi nghiệp.

Đây là cái tôi thấy ở bảo tàng máy tính ở Thung lũng Silicon năm 2007:

Trong ảnh bên dưới, đường màu xanh lá cây và màu trắng là đường reset, được kết nối với một nút và đường còn lại là đèn ổ cứng của PC thông thường. Bốn nút và đèn như vậy được cố định trực tiếp trên bìa cứng bằng bốn ốc vít.

Không có gì được nhét vào vị trí card đồ họa, các khe cắm mở rộng khác cũng trống rỗng.

Chỉ có một card mạng và cáp mạng.

CPU là Ben II.

Toàn bộ bo mạch chủ trông như thế này.

HP Switch này có tổng cộng 80 đường vào.

Chiếc tủ này có tổng cộng 20 tầng. Mỗi kệ được phủ một lớp ván thông, trên đó đặt 4 bo mạch chính giống hệt nhau và 4 ổ cứng đặt ở giữa.

Ngoài ra còn có một cái hiện có trong trung tâm khách truy cập của Google.

Trong những ngày đầu của Internet, rất nhanh chóng, tìm kiếm đã trở thành một thứ hữu ích và đầy hứa hẹn. Vào thời điểm đó, các công cụ tìm kiếm độc quyền là Lycos, AltaVista, InfoSeek, v.v., rất giống với các công ty mô hình quy mô lớn gần đây đang tranh giành quyền bá chủ.

Nhưng tương tự như các công ty kiểu mẫu lớn hiện nay, các công ty tìm kiếm này sử dụng hệ thống của Sun Micro và các máy chủ cao cấp như HP, có độ ổn định hạng nhất và chi phí đáng kinh ngạc. Hồi đó vận hành một công cụ tìm kiếm là một công việc tốn kém. Khi lưu lượng truy cập tiếp tục tăng, chi phí cũng tăng đáng báo động. Đồng thời, do hạn chế về khả năng tính toán nên tìm kiếm của họ vẫn là tìm kiếm cơ bản, là bảng chỉ mục đảo ngược của văn bản, hiệu quả tìm kiếm ở mức trung bình.

Google ban đầu nghĩ đến thuật toán PageRank, dùng để tính toán tầm quan trọng của một trang web dựa trên trọng số của các liên kết từ các trang web khác. Đây là một ý tưởng hay nhưng cần rất nhiều sức mạnh tính toán để hiện thực hóa nó, quá trình này về cơ bản giống với mô hình lớn hiện nay để tính toán vectơ của văn bản. Nếu tôi muốn biết trọng lượng của một trang web, tôi cần đọc toàn bộ trang web để xem trang web nào khác trỏ đến trang web này và trọng lượng của các trang web này và trọng lượng của các trang web này cần được tính lại theo logic như vậy, gần như là một vòng lặp vô tận. Yêu cầu về năng lực tính toán giống nhau.

Giải pháp của Google không mua một máy chủ cao cấp trị giá hàng chục nghìn USD từ nhà sản xuất máy chủ chính xác duy nhất vào thời điểm đó mà đặt bốn bo mạch chủ nhỏ lên một mảnh giấy nút chai, sau đó buộc một ổ cứng, cắm card mạng, và nó đã kết thúc.

Rõ ràng, loại ổn định này khác xa so với máy tính lớn của nhà sản xuất. Vì vậy, Google sử dụng phần mềm để tạo ra một hệ thống tập tin do Google File phân phối, cho phép các tập tin được ghi lại ở nhiều nơi. Nếu phần cứng nào bị hỏng, dữ liệu có thể được xây dựng lại ở nơi khác ngay lập tức, để bạn lao tới và đập nát vài cái" Máy tính nhỏ" không bị ảnh hưởng. Bằng cách thêm khung MapReduce của riêng chúng tôi, điện toán có thể được phân phối (bản đồ) trên các máy tính nhỏ này và sau đó kết quả được tổng hợp (Reduce), để sức mạnh tính toán của rất nhiều máy tính có thể được cộng lại với nhau mà không cần sử dụng một hoặc nhiều máy tính. máy tính rất mạnh.

Tóm lại, sau rất nhiều nỗ lực như vậy, nhờ phần cứng rẻ, sức mạnh tính toán vừa đủ và dung lượng lưu trữ rẻ, Google đủ sức hỗ trợ mức tiêu thụ năng lượng tính toán khổng lồ của PageRank và rất nhanh chóng đánh bại gã khổng lồ lúc bấy giờ từ một trạm nhỏ vô danh ở Stanford. , đã trở thành Google của ngày nay. Vì vậy, ở một góc độ nào đó, lợi thế chi phí rất lớn của phần cứng để đổi lấy phần mềm là yếu tố không thể bỏ qua trong thành công ban đầu của Google.

Liệu lịch sử này có truyền cảm hứng cho bối cảnh AI hiện tại không?

Mô hình ChatGPT của OpenAI được trang bị card đồ họa Nvdia V100 chắc chắn đã giúp chúng tôi hoàn thành bước đầu tiên từ không có gì đến thành hiện thực, từ nhìn thấy khả năng đến chứng minh khả năng, giống như công cụ tìm kiếm đắt tiền do dịch vụ Lycos Same xây dựng. Tuy nhiên, liệu có cách nào như Google, khả năng sử dụng phần mềm để giảm giá phần cứng một cách điên cuồng? Tất nhiên, chúng ta đã qua thời đại máy chủ được xây dựng bằng tay và việc hàn GPU bằng mỏ hàn dường như không phải là một cách đáng tin cậy (thời đó Google không làm điều này mà sử dụng trực tiếp CPU Intel Pentium II), nhưng Liệu sẽ có một số giải pháp tuyệt vời có thể giảm chi phí trên quy mô lớn?

Tôi không phải là người mẫu lớn và tôi không thể nghĩ ra giải pháp nào. Nhưng nếu một kế hoạch như vậy tồn tại, nó có thể thay đổi đáng kể mô hình cạnh tranh của ngành công nghiệp mô hình quy mô lớn.