Mở giao diện camera, người dẫn chương trình chụp ảnh phong cảnh trước mặt. Trong album, tìm hình ảnh này và chọn chức năng "Mở rộng", nhưng phần ngoại vi không được chụp trong ảnh đã được "mở rộng" một cách kỳ diệu đến ngoại vi.
Mặt khác, điện thoại di động dường như được sử dụng để chụp ảnh tự sướng cho khách truy cập và khi bạn vào khu vực camera phía trước của nó, bạn sẽ thấy rằng nền của hình ảnh của người đó trong ảnh được thay thế trong thời gian thực, ngay cả khi người selfie tiếp tục di chuyển, nền ảo không bị mòn và độ trễ gần như không cảm nhận được.
Sửa đổi nền của ảnh tự chụp trong thời gian thực |
Và nếu bạn nhìn kỹ hơn một chút, bạn sẽ thấy rằng tất cả các điện thoại được sử dụng để trình diễn đều ở chế độ máy bay - nghĩa là tất cả các biến chứng trên đều chạy trên chip cục bộ của điện thoại.
Đây là phòng trải nghiệm demo của Hội nghị thượng đỉnh Qualcomm Snapdragon 2023 và các chức năng AI được thể hiện qua các điện thoại di động trên đều dựa vào sức mạnh tính toán của chip vi xử lý Snapdragon 8 Gen 3 (Snapdragon 8 thế hệ thứ ba) vừa được trình diễn tại hội nghị.
Ở thời điểm AI đang thịnh hành, Qualcomm đã phát hành hai sản phẩm mới tại buổi họp báo năm nay là chip Snapdragon X Elite và Snapdragon 8 Gen 3 lần lượt trên các thiết bị di động được đại diện bởi PC và điện thoại thông minh, hiện thực hóa hoạt động cục bộ của hàng chục tỷ mẫu lớn tham số, biến khả năng kỳ diệu của AI tạo ra trở thành "chức năng tích hợp" của thiết bị di động.
Ngoài "AI đám mây", với sự phát triển nhanh chóng của chip, "AI đầu cuối" đã được hiện thực hóa và kỷ nguyên của "AI lai" trong đó cả hai làm việc cùng nhau có thể đã đến.
**01 AI, từ trung tâm dữ liệu đến điện thoại di động và PC **
"Chúng ta vừa chứng kiến sự khởi đầu của sự chuyển đổi tiếp theo, và nó rất sâu rộng. **」
Chủ tịch kiêm Giám đốc điều hành Qualcomm, Cristiano Amon đã đưa ra dự đoán này về "AI lai" kết hợp các thiết bị và đám mây khi mô tả điện thoại di động từ điện thoại phổ thông đến điện thoại thông minh và sau đó đến tương lai.
Tại Hội nghị thượng đỉnh Qualcomm Snapdragon, Ammon giải thích rằng kỷ nguyên của "AI đầu cuối" đã đến | Geek Park
AI trong đám mây, chẳng hạn như nhiều ứng dụng hội thoại AI phát sinh hiện nay, có thể không còn xa lạ, nhưng việc triển khai AI đầu cuối có yêu cầu phần cứng cao, đó là lý do tại sao hai con chip mới tại buổi họp báo của Qualcomm - Snapdragon X Elite và Snapdragon 8 Gen 3 - đặc biệt bắt mắt.
Có lẽ điều thú vị nhất trong ngày là CPU Ryon trên Snapdragon X Elite không chỉ đánh bại chip M2 MAX đáng tự hào của Apple ** và i9-13980HX của Intel về hiệu suất trên một luồng duy nhất, mà còn tiêu thụ năng lượng ít hơn 70% so với chip sau trên cùng hiệu suất.
Hơn nữa, CPU Oryon mạnh mẽ, Hexagon NPU và GPU Adreno, với sự hỗ trợ của công cụ AI không đồng nhất của X Elite, có thể đạt được sức mạnh tính toán tổng thể là 75 TOP trong ba đơn vị xử lý.
Sức mạnh siêu tính toán cho phép trải nghiệm hội thoại AI tạo ra, trước đây chỉ có sẵn trên đám mây, được triển khai thành công trong môi trường cục bộ của máy tính được trang bị chip Snapdragon X Elite, có thể chạy các mô hình ngôn ngữ lớn với tối đa 13 tỷ thông số ở phía PC và tốc độ tạo Token đạt 30 mã thông báo mỗi giây, nhanh hơn tốc độ đọc của người dùng; Đồng thời, hình ảnh được tạo ra với Stable Diffusion nhanh đáng ngạc nhiên trong vòng chưa đầy 1 giây.
Tốc độ CPU Oryon mới ra mắt và mức tiêu thụ năng lượng là một trong những tốc độ tốt nhất trên thế giới
Trong lĩnh vực này, khi bạn nhấp vào nút tạo bằng ngón tay và hình ảnh có thể được hoàn thành ngay lập tức, trải nghiệm thật tuyệt vời, bởi vì mọi người từ lâu đã quen với việc chờ đợi cuộc đối thoại tạo ra một hình ảnh, từ mờ đến rõ ràng.
Là con chip điện thoại thông minh hàng đầu, Snapdragon 8 Gen 3 không thua xa X Elite và về AI, nó không chỉ có thể chạy một model lớn với hàng chục tỷ thông số cục bộ mà còn tạo ra hình ảnh chỉ trong 0,6 giây.
Chỉ trong quý đầu tiên của năm nay, bản demo của Qualcomm chỉ có thể chạy một mô hình lớn với 1 tỷ thông số cục bộ và tốc độ tạo hình ảnh được kiểm soát đến 15 giây. Qualcomm sử dụng loại "ma thuật" nào để biến "AI thiết bị đầu cuối" tạo ra những bước nhảy vọt?
Trong trường hợp của Snapdragon 8 Gen 3, Qualcomm ** lần đầu tiên định lượng một mô hình lớn như Llama 2, nén nó bằng cách sử dụng ngăn xếp phần mềm AI và tải mô hình lượng tử hóa vào bộ nhớ DDR tốc độ cực cao **, có thể nhập mô hình vào NPU Hexagon với thông lượng cực nhanh để hoạt động.
AI Engine của Qualcomm được tối ưu hóa đặc biệt cho AI |
Qualcomm đã có những cải tiến đáng kể đối với vi kiến trúc. Ngoài việc nâng cấp phần cứng suy luận microslicence, nhóm nghiên cứu cũng bổ sung các rãnh phân phối điện riêng biệt vào máy gia tốc tensor để có hiệu suất tối ưu và hiệu quả năng lượng. Đồng thời, Qualcomm đã tăng tốc độ xung nhịp của máy gia tốc vô hướng và vectơ và tăng gấp đôi băng thông của bộ nhớ chia sẻ lớn. Những cải tiến này đối với NPU Hexagon làm cho nó trở thành một máy gia tốc hàng đầu cho suy luận mô hình lớn.
Qualcomm cũng sử dụng kỹ thuật "giải mã suy đoán" trong các cuộc hội thoại dựa trên giọng nói, cũng đang được sử dụng lần đầu tiên trên thiết bị đầu cuối. Công nghệ này sử dụng thuật toán "mô hình nháp" có kích thước gần bằng một nửa mô hình ban đầu và nhanh chóng tạo ra 3 mã thông báo đầu cơ sau khi thực hiện một lượng lớn suy luận trên CPU.
Mô hình tổng thể xử lý tất cả 3 thẻ cùng một lúc và quyết định thẻ nào sẽ chấp nhận. Một mô hình nháp tốt dự đoán mã thông báo tiếp theo với tỷ lệ chấp nhận cao, tăng gấp đôi tỷ lệ tạo mã thông báo trong khi vẫn duy trì độ chính xác. Cuối cùng, giọng nói được tạo ra bởi trợ lý AI được tạo ra bởi mô hình AI chuyển văn bản thành giọng nói chạy trên CPU.
Đây là quá trình của Qualcomm AI Engine, hay NPU, kết hợp với CPU, GPU, Qualcomm Sensor Hub và bộ nhớ cực nhanh, hoạt động cùng nhau để hoàn thành trường hợp sử dụng AI phía thiết bị.
Tuy nhiên, đằng sau các trường hợp ứng dụng AI phức tạp nhưng hiệu quả là sự tích lũy và khám phá lâu dài của Qualcomm theo hướng AI phía thiết bị.
02 Sự phát triển của Terminal AI
Nếu chúng ta nói về sự phát triển của phần cứng AI đám mây trong kịch bản trung tâm dữ liệu, biểu tượng là card đồ họa của NVIDIA; Sau đó, sự phát triển của AI về phía thiết bị được đánh dấu bằng công cụ Qualcomm AI, tất nhiên, phần quan trọng nhất của cấp độ phần cứng là bộ xử lý NPU Snapdragon Hexagon không ngừng phát triển.
Trở lại năm 2007, Qualcomm đã giới thiệu bộ vi xử lý Hexagon đầu tiên trên nền tảng Snapdragon.
Vào năm 2015, Qualcomm đã tích hợp công nghệ AI vào bộ xử lý của mình, sử dụng AI để tăng cường tính toán hình ảnh, âm thanh và cảm biến.
Vào năm 2017, Qualcomm đã giới thiệu Hexagon 685 DSP trong chip Snapdragon 845, cho phép điện thoại thông minh thực hiện các tác vụ AI phức tạp như nhận dạng hình ảnh và xử lý giọng nói nhanh hơn.
Năm sau, vào năm 2018, Snapdragon 855 đã nâng cấp công cụ AI thế hệ thứ tư, thêm bộ tăng tốc tensor vào bộ xử lý Hexagon, dẫn đến tăng hiệu suất gấp 3 lần trong xử lý AI.
Trong Snapdragon 865, Hexagon 698 DSP đã được giới thiệu, cung cấp hiệu suất và hiệu quả AI cao hơn. Bản phát hành này nhấn mạnh khả năng tăng tốc AI và tối ưu hóa việc thực thi các mô hình AI để chạy các ứng dụng AI nhanh hơn trong điện thoại thông minh. Hexagon 780 DSP trong Snapdragon 888 vào cuối năm 2020 mang lại hiệu suất AI lên đến 26TOPS.
Sau hơn một thập kỷ phát triển, khả năng AI của nền tảng điện toán Snapdragon đã tăng gấp 100 lần
Cho đến nay, chip Snapdragon X Elite và 8 Gen 3 đã có thể cung cấp 75 TOP sức mạnh tính toán - nếu bạn vẽ biểu đồ sức mạnh xử lý AI của chip Qualcomm trong bảy năm qua, bạn có thể thấy rằng "đường cong AI" đã cho thấy xu hướng tăng dốc và nó vẫn chưa dừng lại.
Ngoài phần cứng, những nỗ lực của Qualcomm ở cấp độ phần mềm AI cũng không thể thiếu để cải thiện khả năng của AI đầu cuối. Ngăn xếp phần mềm AI của Qualcomm tích hợp tất cả các sản phẩm phần mềm AI của mình vào một giải pháp thống nhất. Các OEM và nhà phát triển có thể tạo, tối ưu hóa và triển khai các ứng dụng AI dựa trên các sản phẩm của Qualcomm, tận dụng tối đa hiệu suất Qualcomm AI Engine, cho phép các nhà phát triển AI tạo mô hình AI một lần và triển khai chúng trên các sản phẩm khác nhau.
Tại Hội nghị thượng đỉnh Snapdragon, Qualcomm cũng đã tiết lộ các mô hình ngăn xếp phần mềm AI - một bộ mô hình đáp ứng nhu cầu của các nhà phát triển đã được Qualcomm tối ưu hóa, thử nghiệm và xác thực hoàn toàn để hỗ trợ các nền tảng Snapdragon 8 và Snapdragon X Elite thế hệ thứ ba.
Qualcomm Neural Network Processing SDK và Qualcomm AI Engine Direct là trung tâm của ngăn xếp phần mềm Qualcomm AI, kết nối chip với tất cả các khung AI chính. Với các mô hình được quản lý TF Lite và ONNX RT, người dùng cũng có thể sử dụng Tensorflow và ONNX trực tiếp, cho phép các nhà phát triển tự do lựa chọn môi trường làm việc ưa thích của họ.
Qualcomm đang xây dựng một hệ sinh thái AI thiết bị đầu cuối với nhiều gã khổng lồ và các công ty mô hình lớn
Qualcomm đã hợp tác với một số gã khổng lồ và các công ty khởi nghiệp mô hình lớn, và tại thời điểm phát hành mô hình ngăn xếp phần mềm AI của Qualcomm, đã có hơn 30 mô hình lớn được hỗ trợ và con số này vẫn đang tăng lên và mô hình ngăn xếp phần mềm cũng sẽ xuất hiện trên nền tảng lưu trữ mô hình phổ biến Hugging Face.
Bây giờ ở thế hệ thứ tám, AI Engine của Qualcomm, bao gồm nhiều thành phần phần cứng và phần mềm, cho phép tăng tốc AI phía thiết bị trên nền tảng Snapdragon và Qualcomm.
Có thể thấy, dựa trên phần cứng cơ bản của chip, Qualcomm đang hợp nhất một số lượng lớn các đối tác để thiết lập một hệ sinh thái "đầu cuối AI".
Tại sao "AI thiết bị đầu cuối" lại quan trọng như vậy, và Qualcomm và các đối tác của họ không nên nỗ lực đầu tư vào nó?
03 Tương lai của "AI lai"
Trong các trình duyệt, trong các ứng dụng di động, nhiều người đang sử dụng các ứng dụng AI tạo ra và có vẻ như loại "AI đám mây" này đã đáp ứng nhu cầu của mọi người. Ưu điểm của AI trên thiết bị so với AI trên đám mây là gì?
Đầu tiên là trả lời ngay lập tức. Trước đây, các nhà phát triển đã cố gắng nén mô hình Stable Diffusion để tạo ra hình ảnh trên máy tính xách tay Mac và kết quả được đo bằng giờ. Tuy nhiên, nếu thao tác cục bộ được thực hiện trên thiết bị đầu cuối, trong bản demo do Qualcomm hiển thị, tốc độ Fast ** Stable Diffusion để tạo ra hình ảnh đã giảm xuống dưới 1 giây **.
Đặc biệt là trong các tình huống có yêu cầu độ trễ cao, chẳng hạn như con người ảo và nền ảo thời gian thực, tính trực tiếp của tính toán cục bộ của AI đầu cuối được làm nổi bật.
Ngoài ra, trong trường hợp mạng kém, khả năng AI của thiết bị cục bộ trở thành lựa chọn duy nhất cho người dùng.
Chip Snapdragon 8 thế hệ thứ ba có thể đạt được khả năng mở rộng ảnh cục bộ trên điện thoại | Qualcomm
Đồng thời, khi dữ liệu chạy cục bộ trên thiết bị đầu cuối, bảo mật cũng an toàn hơn so với trên đám mây. Ví dụ, Snapdragon X Elite hỗ trợ bảo mật end-to-end mới nhất, bảo vệ tất cả các điểm cuối trong doanh nghiệp, từ chip đến đám mây. Bộ xử lý bảo mật Qualcomm chuyên dụng hỗ trợ kiến trúc bảo mật Microsoft Pluton và được thiết kế để lưu trữ dữ liệu nhạy cảm.
Cuối cùng, việc cải thiện khả năng AI đầu cuối thực sự có thể mang lại cho các trợ lý AI cơ hội thoát khỏi sự kỳ thị về "khuyết tật trí tuệ nhân tạo" và thực sự trở thành một trợ lý thông minh cá nhân có trình độ và được cá nhân hóa cao. Cũng giống như trình diễn trực tiếp, với sự trợ giúp của thông tin cá nhân, thói quen sử dụng và các dữ liệu khác được ghi lại và lưu trữ ở phía thiết bị đầu cuối, trợ lý thông minh có thể trực tiếp đặt khách sạn và vé máy bay sau khi nhận lệnh thoại, thay vì nhảy xung quanh trong các ứng dụng khác nhau trên điện thoại di động. Tất cả đều chưa từng có AI trên đám mây.
Khoảng mười năm trước, Mark Anderson, người sáng lập a16z, đã từng đưa ra dự đoán rằng "phần mềm sẽ nuốt chửng thế giới", nhưng tiếc là thực tế đã bị làm sai lệch; Dưới làn sóng AI gây ra bởi các mô hình lớn, "ứng dụng nuốt chửng AI" đang dần trở thành hiện thực.
Terminal AI + cloud AI sẽ thay đổi mô hình tập trung vào ứng dụng của điện thoại thông minh | Geek Park
"Sức mạnh dự đoán của AI, cùng với thực tế là thiết bị đầu cuối được xây dựng cho bạn, làm cho thiết bị đầu cuối và hệ điều hành, cũng như ứng dụng và đám mây, trở nên thông minh."
Ammon mô tả cách "AI lai" bao gồm AI đầu cuối + AI đám mây sẽ thay đổi thói quen sử dụng thiết bị của mọi người.
Tính đến thời điểm hiện tại, số lượng thiết bị đầu cuối sử dụng nền tảng Snapdragon đã lên tới 3 tỷ.
Giống như CPU Oryon sẽ đi vào các dòng sản phẩm khác nhau của Qualcomm trong tương lai, khả năng của AI đầu cuối sẽ sớm được chuyển từ PC và điện thoại di động sang XR và các thiết bị xe hơi thông minh - một tương lai nơi "AI lai" có mặt khắp nơi.
AI sẽ tìm đường vào tất cả các loại thiết bị
Khai mạc Hội nghị thượng đỉnh Snapdragon, một buổi lễ đặc biệt dành cho người dân địa phương Maui, những người lạ từ nước ngoài, thông qua các nhạc cụ và tiếng gọi ốc xà cừ độc đáo, thể hiện sự ngây thơ của họ; Người dân địa phương trên đảo đã trả lời bằng một "câu thần chú" độc đáo để xác nhận rằng bên kia không có ý định xấu và đáng tin cậy.
Buổi lễ di chuyển này giống như sự hội tụ của "Terminal AI" và "Cloud AI" để mang tương lai của "AI lai" ra thế giới.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Mô hình lớn được đưa lên điện thoại di động, mở ra bức màn về AI để thay đổi thế giới
Nguồn gốc: Geek Park
Tác giả: Jing Yu
Mở giao diện camera, người dẫn chương trình chụp ảnh phong cảnh trước mặt. Trong album, tìm hình ảnh này và chọn chức năng "Mở rộng", nhưng phần ngoại vi không được chụp trong ảnh đã được "mở rộng" một cách kỳ diệu đến ngoại vi.
Mặt khác, điện thoại di động dường như được sử dụng để chụp ảnh tự sướng cho khách truy cập và khi bạn vào khu vực camera phía trước của nó, bạn sẽ thấy rằng nền của hình ảnh của người đó trong ảnh được thay thế trong thời gian thực, ngay cả khi người selfie tiếp tục di chuyển, nền ảo không bị mòn và độ trễ gần như không cảm nhận được.
Và nếu bạn nhìn kỹ hơn một chút, bạn sẽ thấy rằng tất cả các điện thoại được sử dụng để trình diễn đều ở chế độ máy bay - nghĩa là tất cả các biến chứng trên đều chạy trên chip cục bộ của điện thoại.
Đây là phòng trải nghiệm demo của Hội nghị thượng đỉnh Qualcomm Snapdragon 2023 và các chức năng AI được thể hiện qua các điện thoại di động trên đều dựa vào sức mạnh tính toán của chip vi xử lý Snapdragon 8 Gen 3 (Snapdragon 8 thế hệ thứ ba) vừa được trình diễn tại hội nghị.
Ở thời điểm AI đang thịnh hành, Qualcomm đã phát hành hai sản phẩm mới tại buổi họp báo năm nay là chip Snapdragon X Elite và Snapdragon 8 Gen 3 lần lượt trên các thiết bị di động được đại diện bởi PC và điện thoại thông minh, hiện thực hóa hoạt động cục bộ của hàng chục tỷ mẫu lớn tham số, biến khả năng kỳ diệu của AI tạo ra trở thành "chức năng tích hợp" của thiết bị di động.
Ngoài "AI đám mây", với sự phát triển nhanh chóng của chip, "AI đầu cuối" đã được hiện thực hóa và kỷ nguyên của "AI lai" trong đó cả hai làm việc cùng nhau có thể đã đến.
**01 AI, từ trung tâm dữ liệu đến điện thoại di động và PC **
"Chúng ta vừa chứng kiến sự khởi đầu của sự chuyển đổi tiếp theo, và nó rất sâu rộng. **」
Chủ tịch kiêm Giám đốc điều hành Qualcomm, Cristiano Amon đã đưa ra dự đoán này về "AI lai" kết hợp các thiết bị và đám mây khi mô tả điện thoại di động từ điện thoại phổ thông đến điện thoại thông minh và sau đó đến tương lai.
AI trong đám mây, chẳng hạn như nhiều ứng dụng hội thoại AI phát sinh hiện nay, có thể không còn xa lạ, nhưng việc triển khai AI đầu cuối có yêu cầu phần cứng cao, đó là lý do tại sao hai con chip mới tại buổi họp báo của Qualcomm - Snapdragon X Elite và Snapdragon 8 Gen 3 - đặc biệt bắt mắt.
Có lẽ điều thú vị nhất trong ngày là CPU Ryon trên Snapdragon X Elite không chỉ đánh bại chip M2 MAX đáng tự hào của Apple ** và i9-13980HX của Intel về hiệu suất trên một luồng duy nhất, mà còn tiêu thụ năng lượng ít hơn 70% so với chip sau trên cùng hiệu suất.
Hơn nữa, CPU Oryon mạnh mẽ, Hexagon NPU và GPU Adreno, với sự hỗ trợ của công cụ AI không đồng nhất của X Elite, có thể đạt được sức mạnh tính toán tổng thể là 75 TOP trong ba đơn vị xử lý.
Sức mạnh siêu tính toán cho phép trải nghiệm hội thoại AI tạo ra, trước đây chỉ có sẵn trên đám mây, được triển khai thành công trong môi trường cục bộ của máy tính được trang bị chip Snapdragon X Elite, có thể chạy các mô hình ngôn ngữ lớn với tối đa 13 tỷ thông số ở phía PC và tốc độ tạo Token đạt 30 mã thông báo mỗi giây, nhanh hơn tốc độ đọc của người dùng; Đồng thời, hình ảnh được tạo ra với Stable Diffusion nhanh đáng ngạc nhiên trong vòng chưa đầy 1 giây.
Trong lĩnh vực này, khi bạn nhấp vào nút tạo bằng ngón tay và hình ảnh có thể được hoàn thành ngay lập tức, trải nghiệm thật tuyệt vời, bởi vì mọi người từ lâu đã quen với việc chờ đợi cuộc đối thoại tạo ra một hình ảnh, từ mờ đến rõ ràng.
Là con chip điện thoại thông minh hàng đầu, Snapdragon 8 Gen 3 không thua xa X Elite và về AI, nó không chỉ có thể chạy một model lớn với hàng chục tỷ thông số cục bộ mà còn tạo ra hình ảnh chỉ trong 0,6 giây.
Chỉ trong quý đầu tiên của năm nay, bản demo của Qualcomm chỉ có thể chạy một mô hình lớn với 1 tỷ thông số cục bộ và tốc độ tạo hình ảnh được kiểm soát đến 15 giây. Qualcomm sử dụng loại "ma thuật" nào để biến "AI thiết bị đầu cuối" tạo ra những bước nhảy vọt?
Trong trường hợp của Snapdragon 8 Gen 3, Qualcomm ** lần đầu tiên định lượng một mô hình lớn như Llama 2, nén nó bằng cách sử dụng ngăn xếp phần mềm AI và tải mô hình lượng tử hóa vào bộ nhớ DDR tốc độ cực cao **, có thể nhập mô hình vào NPU Hexagon với thông lượng cực nhanh để hoạt động.
Qualcomm đã có những cải tiến đáng kể đối với vi kiến trúc. Ngoài việc nâng cấp phần cứng suy luận microslicence, nhóm nghiên cứu cũng bổ sung các rãnh phân phối điện riêng biệt vào máy gia tốc tensor để có hiệu suất tối ưu và hiệu quả năng lượng. Đồng thời, Qualcomm đã tăng tốc độ xung nhịp của máy gia tốc vô hướng và vectơ và tăng gấp đôi băng thông của bộ nhớ chia sẻ lớn. Những cải tiến này đối với NPU Hexagon làm cho nó trở thành một máy gia tốc hàng đầu cho suy luận mô hình lớn.
Qualcomm cũng sử dụng kỹ thuật "giải mã suy đoán" trong các cuộc hội thoại dựa trên giọng nói, cũng đang được sử dụng lần đầu tiên trên thiết bị đầu cuối. Công nghệ này sử dụng thuật toán "mô hình nháp" có kích thước gần bằng một nửa mô hình ban đầu và nhanh chóng tạo ra 3 mã thông báo đầu cơ sau khi thực hiện một lượng lớn suy luận trên CPU.
Mô hình tổng thể xử lý tất cả 3 thẻ cùng một lúc và quyết định thẻ nào sẽ chấp nhận. Một mô hình nháp tốt dự đoán mã thông báo tiếp theo với tỷ lệ chấp nhận cao, tăng gấp đôi tỷ lệ tạo mã thông báo trong khi vẫn duy trì độ chính xác. Cuối cùng, giọng nói được tạo ra bởi trợ lý AI được tạo ra bởi mô hình AI chuyển văn bản thành giọng nói chạy trên CPU.
Đây là quá trình của Qualcomm AI Engine, hay NPU, kết hợp với CPU, GPU, Qualcomm Sensor Hub và bộ nhớ cực nhanh, hoạt động cùng nhau để hoàn thành trường hợp sử dụng AI phía thiết bị.
Tuy nhiên, đằng sau các trường hợp ứng dụng AI phức tạp nhưng hiệu quả là sự tích lũy và khám phá lâu dài của Qualcomm theo hướng AI phía thiết bị.
02 Sự phát triển của Terminal AI
Nếu chúng ta nói về sự phát triển của phần cứng AI đám mây trong kịch bản trung tâm dữ liệu, biểu tượng là card đồ họa của NVIDIA; Sau đó, sự phát triển của AI về phía thiết bị được đánh dấu bằng công cụ Qualcomm AI, tất nhiên, phần quan trọng nhất của cấp độ phần cứng là bộ xử lý NPU Snapdragon Hexagon không ngừng phát triển.
Trở lại năm 2007, Qualcomm đã giới thiệu bộ vi xử lý Hexagon đầu tiên trên nền tảng Snapdragon.
Vào năm 2015, Qualcomm đã tích hợp công nghệ AI vào bộ xử lý của mình, sử dụng AI để tăng cường tính toán hình ảnh, âm thanh và cảm biến.
Vào năm 2017, Qualcomm đã giới thiệu Hexagon 685 DSP trong chip Snapdragon 845, cho phép điện thoại thông minh thực hiện các tác vụ AI phức tạp như nhận dạng hình ảnh và xử lý giọng nói nhanh hơn.
Năm sau, vào năm 2018, Snapdragon 855 đã nâng cấp công cụ AI thế hệ thứ tư, thêm bộ tăng tốc tensor vào bộ xử lý Hexagon, dẫn đến tăng hiệu suất gấp 3 lần trong xử lý AI.
Trong Snapdragon 865, Hexagon 698 DSP đã được giới thiệu, cung cấp hiệu suất và hiệu quả AI cao hơn. Bản phát hành này nhấn mạnh khả năng tăng tốc AI và tối ưu hóa việc thực thi các mô hình AI để chạy các ứng dụng AI nhanh hơn trong điện thoại thông minh. Hexagon 780 DSP trong Snapdragon 888 vào cuối năm 2020 mang lại hiệu suất AI lên đến 26TOPS.
Cho đến nay, chip Snapdragon X Elite và 8 Gen 3 đã có thể cung cấp 75 TOP sức mạnh tính toán - nếu bạn vẽ biểu đồ sức mạnh xử lý AI của chip Qualcomm trong bảy năm qua, bạn có thể thấy rằng "đường cong AI" đã cho thấy xu hướng tăng dốc và nó vẫn chưa dừng lại.
Ngoài phần cứng, những nỗ lực của Qualcomm ở cấp độ phần mềm AI cũng không thể thiếu để cải thiện khả năng của AI đầu cuối. Ngăn xếp phần mềm AI của Qualcomm tích hợp tất cả các sản phẩm phần mềm AI của mình vào một giải pháp thống nhất. Các OEM và nhà phát triển có thể tạo, tối ưu hóa và triển khai các ứng dụng AI dựa trên các sản phẩm của Qualcomm, tận dụng tối đa hiệu suất Qualcomm AI Engine, cho phép các nhà phát triển AI tạo mô hình AI một lần và triển khai chúng trên các sản phẩm khác nhau.
Tại Hội nghị thượng đỉnh Snapdragon, Qualcomm cũng đã tiết lộ các mô hình ngăn xếp phần mềm AI - một bộ mô hình đáp ứng nhu cầu của các nhà phát triển đã được Qualcomm tối ưu hóa, thử nghiệm và xác thực hoàn toàn để hỗ trợ các nền tảng Snapdragon 8 và Snapdragon X Elite thế hệ thứ ba.
Qualcomm Neural Network Processing SDK và Qualcomm AI Engine Direct là trung tâm của ngăn xếp phần mềm Qualcomm AI, kết nối chip với tất cả các khung AI chính. Với các mô hình được quản lý TF Lite và ONNX RT, người dùng cũng có thể sử dụng Tensorflow và ONNX trực tiếp, cho phép các nhà phát triển tự do lựa chọn môi trường làm việc ưa thích của họ.
Qualcomm đã hợp tác với một số gã khổng lồ và các công ty khởi nghiệp mô hình lớn, và tại thời điểm phát hành mô hình ngăn xếp phần mềm AI của Qualcomm, đã có hơn 30 mô hình lớn được hỗ trợ và con số này vẫn đang tăng lên và mô hình ngăn xếp phần mềm cũng sẽ xuất hiện trên nền tảng lưu trữ mô hình phổ biến Hugging Face.
Bây giờ ở thế hệ thứ tám, AI Engine của Qualcomm, bao gồm nhiều thành phần phần cứng và phần mềm, cho phép tăng tốc AI phía thiết bị trên nền tảng Snapdragon và Qualcomm.
Có thể thấy, dựa trên phần cứng cơ bản của chip, Qualcomm đang hợp nhất một số lượng lớn các đối tác để thiết lập một hệ sinh thái "đầu cuối AI".
Tại sao "AI thiết bị đầu cuối" lại quan trọng như vậy, và Qualcomm và các đối tác của họ không nên nỗ lực đầu tư vào nó?
03 Tương lai của "AI lai"
Trong các trình duyệt, trong các ứng dụng di động, nhiều người đang sử dụng các ứng dụng AI tạo ra và có vẻ như loại "AI đám mây" này đã đáp ứng nhu cầu của mọi người. Ưu điểm của AI trên thiết bị so với AI trên đám mây là gì?
Đầu tiên là trả lời ngay lập tức. Trước đây, các nhà phát triển đã cố gắng nén mô hình Stable Diffusion để tạo ra hình ảnh trên máy tính xách tay Mac và kết quả được đo bằng giờ. Tuy nhiên, nếu thao tác cục bộ được thực hiện trên thiết bị đầu cuối, trong bản demo do Qualcomm hiển thị, tốc độ Fast ** Stable Diffusion để tạo ra hình ảnh đã giảm xuống dưới 1 giây **.
Đặc biệt là trong các tình huống có yêu cầu độ trễ cao, chẳng hạn như con người ảo và nền ảo thời gian thực, tính trực tiếp của tính toán cục bộ của AI đầu cuối được làm nổi bật.
Ngoài ra, trong trường hợp mạng kém, khả năng AI của thiết bị cục bộ trở thành lựa chọn duy nhất cho người dùng.
Đồng thời, khi dữ liệu chạy cục bộ trên thiết bị đầu cuối, bảo mật cũng an toàn hơn so với trên đám mây. Ví dụ, Snapdragon X Elite hỗ trợ bảo mật end-to-end mới nhất, bảo vệ tất cả các điểm cuối trong doanh nghiệp, từ chip đến đám mây. Bộ xử lý bảo mật Qualcomm chuyên dụng hỗ trợ kiến trúc bảo mật Microsoft Pluton và được thiết kế để lưu trữ dữ liệu nhạy cảm.
Cuối cùng, việc cải thiện khả năng AI đầu cuối thực sự có thể mang lại cho các trợ lý AI cơ hội thoát khỏi sự kỳ thị về "khuyết tật trí tuệ nhân tạo" và thực sự trở thành một trợ lý thông minh cá nhân có trình độ và được cá nhân hóa cao. Cũng giống như trình diễn trực tiếp, với sự trợ giúp của thông tin cá nhân, thói quen sử dụng và các dữ liệu khác được ghi lại và lưu trữ ở phía thiết bị đầu cuối, trợ lý thông minh có thể trực tiếp đặt khách sạn và vé máy bay sau khi nhận lệnh thoại, thay vì nhảy xung quanh trong các ứng dụng khác nhau trên điện thoại di động. Tất cả đều chưa từng có AI trên đám mây.
Khoảng mười năm trước, Mark Anderson, người sáng lập a16z, đã từng đưa ra dự đoán rằng "phần mềm sẽ nuốt chửng thế giới", nhưng tiếc là thực tế đã bị làm sai lệch; Dưới làn sóng AI gây ra bởi các mô hình lớn, "ứng dụng nuốt chửng AI" đang dần trở thành hiện thực.
"Sức mạnh dự đoán của AI, cùng với thực tế là thiết bị đầu cuối được xây dựng cho bạn, làm cho thiết bị đầu cuối và hệ điều hành, cũng như ứng dụng và đám mây, trở nên thông minh."
Ammon mô tả cách "AI lai" bao gồm AI đầu cuối + AI đám mây sẽ thay đổi thói quen sử dụng thiết bị của mọi người.
Tính đến thời điểm hiện tại, số lượng thiết bị đầu cuối sử dụng nền tảng Snapdragon đã lên tới 3 tỷ.
Giống như CPU Oryon sẽ đi vào các dòng sản phẩm khác nhau của Qualcomm trong tương lai, khả năng của AI đầu cuối sẽ sớm được chuyển từ PC và điện thoại di động sang XR và các thiết bị xe hơi thông minh - một tương lai nơi "AI lai" có mặt khắp nơi.
Khai mạc Hội nghị thượng đỉnh Snapdragon, một buổi lễ đặc biệt dành cho người dân địa phương Maui, những người lạ từ nước ngoài, thông qua các nhạc cụ và tiếng gọi ốc xà cừ độc đáo, thể hiện sự ngây thơ của họ; Người dân địa phương trên đảo đã trả lời bằng một "câu thần chú" độc đáo để xác nhận rằng bên kia không có ý định xấu và đáng tin cậy.
Buổi lễ di chuyển này giống như sự hội tụ của "Terminal AI" và "Cloud AI" để mang tương lai của "AI lai" ra thế giới.