Nâng cấp lớn về chip AI của Google: nhắm mục tiêu vào các mô hình lớn và AI tổng quát, đồng thời tích hợp các khung học sâu chính thống

Nguồn hình ảnh: Được tạo bởi AI không giới hạn

Trong một thời gian dài, Google đã xây dựng các khả năng AI hàng đầu trong ngành, chẳng hạn như kiến trúc Transformer dẫn đầu sự phát triển của thế hệ trí tuệ nhân tạo mới và cơ sở hạ tầng được tối ưu hóa với AI. Trong số đó, Google Cloud cam kết cung cấp các dịch vụ cơ sở hạ tầng AI tiên tiến, bao gồm GPU và TPU.

Vào ngày 29 tháng 8, giờ địa phương, Google Cloud đã tổ chức hội nghị thường niên Google Cloud Next '23 và ra mắt sản phẩm TPU mới - Cloud TPU v5e, đây là danh mục sản phẩm cơ sở hạ tầng được tối ưu hóa cho AI và sẽ trở thành sản phẩm tiết kiệm chi phí nhất cho đến nay. , đám mây TPU linh hoạt và có thể mở rộng. Một phiên bản xem trước hiện có sẵn.

Chúng tôi đã biết rằng TPU v5e có thể được tích hợp với Google Kubernetes Engine (GKE), Vertex AI, một công cụ dành cho nhà phát triển để xây dựng mô hình và ứng dụng AI cũng như các khung học sâu như Pytorch, JAX, TensorFlow, v.v., mang lại một giải pháp dễ sử dụng sử dụng và giao diện quen thuộc, rất dễ dàng để bắt đầu.

Google Cloud cũng ra mắt siêu máy tính GPU A3 VM dựa trên GPU NVIDIA H100 để cung cấp hỗ trợ cho các mô hình AI quy mô lớn. Sản phẩm này thường sẽ có sẵn vào tháng Chín.

*Giám đốc điều hành Google Pichai. *

• **Tweet từ Jeff Dean, nhà khoa học trưởng của Google và là học giả nổi tiếng. *

Ngoài ra, tại sự kiện, Google cũng thông báo sẽ bổ sung các công cụ AI (như Llama 2 và Claude 2) từ các công ty như Meta và Anthropic vào nền tảng đám mây của mình, tích hợp các khả năng AI mạnh mẽ vào các sản phẩm đám mây. Hiện tại, bao gồm cả Llama 2 và Claude 2, khách hàng của Google Cloud có quyền truy cập vào hơn 100 mô hình và công cụ AI mạnh mẽ.

So với TPU v4, TPU v5e đã được nâng cấp ở những khía cạnh nào

Hiệu năng và tính dễ sử dụng của TPU v5e được Google Cloud ra mắt lần này như thế nào? Hãy xem nào.

Theo dữ liệu chính thức, Cloud TPU v5e mang lại hiệu suất cao và tiết kiệm chi phí cho hoạt động đào tạo và suy luận quy mô vừa và lớn. Thế hệ TPU này có thể nói là được chế tạo đặc biệt cho các mô hình ngôn ngữ lớn và mô hình AI tổng quát. So với TPU v4 thế hệ trước, hiệu suất đào tạo trên mỗi đô la được cải thiện tới 2 lần và hiệu suất suy luận trên mỗi đô la được cải thiện bởi lên tới 2,5 lần. Và giá thành của TPU v5e thấp hơn một nửa so với TPU v4, mang lại cho nhiều tổ chức hơn cơ hội đào tạo và triển khai các mô hình AI lớn hơn và phức tạp hơn.

*Chip TPU v5e. *

Điều đáng nói là nhờ đổi mới công nghệ, những lợi ích về chi phí này không đòi hỏi bất kỳ sự hy sinh nào về hiệu suất hoặc tính linh hoạt. Google Cloud sử dụng nhóm TPU v5e để cân bằng hiệu suất, tính linh hoạt và hiệu quả, cho phép kết nối tối đa 256 chip với tổng băng thông hơn 400 Tb/s và hiệu suất INT8 là 100 petaOps.

* Chi tiết lát cắt 2D của TPU v5e. *

TPU v5e cũng có tính linh hoạt mạnh mẽ, hỗ trợ tám cấu hình máy ảo khác nhau và số lượng chip trong một chip có thể dao động từ một đến 256, cho phép khách hàng lựa chọn cấu hình phù hợp để hỗ trợ các mô hình ngôn ngữ lớn và AI tổng hợp có kích cỡ khác nhau.

Ngoài việc mạnh mẽ hơn và tiết kiệm chi phí hơn, TPU v5e còn đưa tính dễ sử dụng lên một tầm cao mới. Giờ đây, khách hàng có thể sử dụng Google Kubernetes Engine (GKE) để quản lý việc điều phối khối lượng công việc AI quy mô lớn trên TPU v5e và TPU v4, từ đó nâng cao hiệu quả phát triển AI. Đối với các tổ chức thích lưu trữ đơn giản, Vertex AI hiện hỗ trợ sử dụng máy ảo Cloud TPU để đào tạo các khung và thư viện khác nhau.

Ngoài ra, như đã đề cập trước đó, Cloud TPU v5e cung cấp hỗ trợ tích hợp cho các khung AI hàng đầu như JAX, PyTorch và TensorFlow, cũng như các công cụ nguồn mở phổ biến (Transformers và Accelerate của Huggingface, PyTorch Lightning và Ray). Phiên bản PyTorch/XLA 2.1 sắp tới sẽ hỗ trợ TPU v5e và các tính năng mới như lập mô hình và song song dữ liệu để đào tạo mô hình quy mô lớn.

Cuối cùng, để giúp mở rộng công việc đào tạo dễ dàng hơn, Google Cloud đã giới thiệu công nghệ Multislice trong phiên bản xem trước TPU v5e, cho phép người dùng dễ dàng mở rộng các mô hình AI vượt ra ngoài phạm vi vỏ TPU vật lý để chứa tới hàng chục nghìn TPU v5e hoặc TPU chip v4..

*Sử dụng nhiều miếng TPU để đạt được khả năng mở rộng hiệu suất tuyến tính. *

Tính đến thời điểm hiện tại, các công việc đào tạo sử dụng TPU chỉ giới hạn ở một chip TPU duy nhất, với TPU v4 có số lát tối đa là 3.072. Với Multislice, các nhà phát triển có thể mở rộng quy mô khối lượng công việc lên hàng chục nghìn chip bằng công nghệ ICI (Kết nối nội bộ chip) trong một Pod duy nhất hoặc trên nhiều Pod trên Mạng trung tâm dữ liệu (DCN).

Kỹ thuật cắt nhiều lớp này cung cấp hỗ trợ cho Google xây dựng mô hình PaLM hiện đại của mình. Giờ đây khách hàng của Google Cloud cũng có thể trải nghiệm công nghệ này.

TPU v5e nâng cấp đã được khách hàng đánh giá cao. Domenic Donato, phó chủ tịch công nghệ tại AssemblyAI, cho biết khi sử dụng TPU v5e để chạy suy luận trên mô hình ASR (nhận dạng giọng nói tự động) của họ, hiệu suất trên mỗi đô la luôn cao hơn 4 lần so với các giải pháp tương tự trên thị trường. Sự kết hợp mạnh mẽ giữa phần cứng và phần mềm này có thể cung cấp các giải pháp AI tiết kiệm chi phí hơn cho khách hàng của họ.

Khi Google Cloud tiếp tục nâng cấp cơ sở hạ tầng AI của mình, ngày càng có nhiều khách hàng chọn sử dụng dịch vụ Google Cloud. Theo lời giới thiệu trước đây của công ty mẹ Alabet của Google, hơn một nửa số công ty khởi nghiệp về AI đang sử dụng nền tảng điện toán đám mây của Google.

Đối với Google, Cloud TPU v5e này đánh dấu sự khởi đầu của những thay đổi sâu hơn về mẫu mã sản phẩm và trao quyền cho khách hàng trên nền tảng đám mây.

Liên kết tham khảo: