Impliqué dans le grand modèle, le nouveau récit des fabricants de téléphones mobiles

Auteur｜Wu Jingjing

Modifier｜Châtaignes

Source : Jiazi Guangnian

Le grand modèle de Xiaomi a fait ses débuts publics lors du discours annuel de Lei Jun en 2023.

Lei Jun a mentionné que, contrairement à de nombreuses plates-formes Internet, la principale direction de percée du grand modèle de Xiaomi est ** la légèreté et le déploiement local **, qui peuvent fonctionner sans problème du côté du téléphone mobile.

Il a déclaré qu'à l'heure actuelle, le modèle MiLM1.3B avec une échelle de 1,3 milliard de paramètres a été exécuté sur des téléphones mobiles, et l'effet est comparable aux résultats de grands modèles avec 6 milliards de paramètres dans le cloud computing. Dans le bulletin qu'il a publié, le grand modèle Xiaomi de bout en bout a obtenu de meilleurs résultats que le modèle ChatGLM2-6B de Zhipu AI dans divers sujets de l'évaluation chinoise CMMLU, et l'écart de score avec le grand modèle Baichuan-13B de Baichuan Intelligent était d'environ environ 5 minutes.

(Source : Xiaomi)

Auparavant, le modèle de langage de pré-formation à grande échelle MiLM-6B / 1.3B développé par Xiaomi a atterri sur GitHub, la plate-forme d'hébergement de code, et s'est classé dixième dans la liste générale C, se classant premier dans la même ampleur de paramètre, et classé premier dans le grand modèle de référence chinois "CMMLU", "MiLM-6B" au premier rang.

Bien entendu, étant donné que les dimensions de ces listes de tests sont toutes publiques, il n'est pas difficile pour de nombreuses entreprises de modèles à grande échelle de noter en fonction des tâches de test.Par conséquent, ces résultats d'évaluation ne peuvent être utilisés qu'à titre de référence et ne signifient pas que les résultats sont absolument excellents.

Dans le même temps, Lei Jun a également annoncé que Xiao Ai, en tant que première entreprise d'application du grand modèle de Xiaomi, a subi une nouvelle mise à niveau et a officiellement ouvert le test d'invitation.

Il s'agit de la réalisation de modèles à grande échelle réalisée par Xiaomi en quatre mois depuis l'annonce de la nouvelle équipe de modèles à grande échelle en avril de cette année.

Quelle nouvelle réflexion la pratique de Xiaomi apporte-t-elle à la mise en œuvre de grands modèles ? Qu'est-ce que cela signifie pour les fabricants de téléphones mobiles qui s'appuient sur les nouvelles itérations technologiques ?

** 1. Xiaomi ne fabrique pas de grands modèles à usage général et l'équipe principale compte environ 30 personnes **

Xiaomi appartient à l'école rationnelle sur la voie des modèles à grande échelle-** ne poursuit pas l'échelle des paramètres et ne fabrique pas de modèles à grande échelle à usage général. **

Plus tôt dans la conférence téléphonique sur les résultats, Lu Weibing, président du groupe Xiaomi, a déclaré que Xiaomi adopterait activement les modèles à grande échelle, et que la direction était d'intégrer profondément les produits et les entreprises, et ne créerait pas de modèles à grande échelle à usage général comme OpenAI. .

Selon les rapports précédents de Shenran, le Dr Wang Bin, directeur du laboratoire d'intelligence artificielle du groupe Xiaomi, a déclaré un jour que Xiaomi ne publierait pas seul un produit de type ChatGPT, et que le grand modèle auto-développé serait finalement mis en évidence par le produit, et le gouvernement concerné investira des dizaines de millions de niveau RMB. **

Il a déclaré: "Pour les grands modèles, nous appartenons à l'école rationnelle. Xiaomi a des avantages dans les scénarios d'application, et ce que nous voyons est une énorme opportunité pour la combinaison de grands modèles et de scénarios."

Il a révélé qu'avant la naissance de ChatGPT, Xiaomi avait fait de la recherche et du développement internes et de l'application de grands modèles.A cette époque, il utilisait une pré-formation + une supervision des tâches en aval et un réglage fin pour mener un dialogue homme-machine, avec une échelle de paramètres. de 2,8 milliards à 3 milliards. Ceci est principalement réalisé grâce au réglage fin des données de dialogue sur la base du modèle de base pré-entraîné, et non du grand modèle à usage général comme on l'appelle maintenant.

Selon des informations publiques, l'actuel chef de la grande équipe de modèles de Xiaomi est Luan Jian, un expert dans la direction de la voix de l'IA, relevant de Wang Bin, vice-président du comité technique et directeur du laboratoire d'IA. Toute l'équipe du grand modèle compte environ ** 30 personnes **.

Luan Jian était le scientifique en chef de la voix et le chef de l'équipe vocale du robot vocal intelligent "Microsoft Xiaoice", un chercheur à l'Institut de recherche de Toshiba (Chine) et un scientifique principal de la voix à l'Académie d'ingénierie de Microsoft (Chine). Après avoir rejoint Xiaomi, Luan Jian a successivement été en charge de la génération vocale, de la PNL et d'autres équipes, ainsi que de la mise en œuvre des technologies associées dans des produits tels que Xiao Ai. Wang Bin a rejoint Xiaomi en 2018 et est responsable du laboratoire d'IA depuis 2019. Avant de rejoindre Xiaomi, il a été chercheur et directeur de thèse à l'Institut d'ingénierie de l'information de l'Académie chinoise des sciences.Il a près de 30 ans de recherche. expérience dans les domaines de la recherche d'information et du traitement du langage naturel.

Le modèle à grande échelle s'appuie également sur l'équipe d'IA derrière Xiaomi. Lei Jun a déclaré qu'après 7 ans et 6 extensions, l'équipe d'IA de Xiaomi compte plus de 3 000 personnes, couvrant CV, NLP, imagerie AI, conduite autonome, robotique et autres. champs. .

(Source : Xiaomi)

2. Google, Qualcomm et Huawei sont entrés dans le jeu les uns après les autres

En plus de Xiaomi, faire fonctionner de grands modèles sur des téléphones mobiles est l'objectif clé actuel de nombreuses entreprises technologiques.

Les entreprises technologiques imaginent la possibilité de grands modèles : peu importe ce que vous ouvrez, c'est WPS, des documents en graphite ou des e-mails, tant que vous entrez des commandes telles que l'écriture, le téléphone mobile peut appeler des capacités locales pour générer un article complet ou un e-mail. Sur le téléphone mobile, toutes les applications peuvent appeler le modèle local à grande échelle à tout moment pour aider à gérer le travail et résoudre les problèmes de la vie. L'interaction entre les personnes et les différentes applications sur le téléphone mobile n'est plus des clics fréquents, mais peut être appelée intelligemment par la voix.

De nombreuses entreprises essaient de compresser la taille du modèle, ce qui rend plus pratique et économique l'exécution de grands modèles localement sur les téléphones mobiles. Lors de la conférence Google I/O en mai de cette année, lorsque Google a publié PaLM2, il a été divisé en quatre spécifications selon la taille, de petite à grande dans l'ordre de Gecko, Otter, Bison et Unicorn. Parmi eux, le plus petit Gecko peut Et c'est rapide, il peut traiter 20 jetons par seconde, à peu près l'équivalent de 16 ou 17 mots, et il peut également prendre en charge les téléphones mobiles pour fonctionner hors ligne. Mais à l'époque, Google n'avait pas précisé dans quel téléphone le modèle serait utilisé.

À l'heure actuelle, c'est Qualcomm qui a fourni des résultats spécifiques. Au 2023MWC en mars de cette année, Qualcomm a exécuté Stable Diffusion, un modèle graphique de Wensheng avec plus d'un milliard de paramètres, sur un smartphone équipé du Snapdragon 8 de deuxième génération. Dans la démonstration, le personnel a utilisé Stable Diffusion pour générer des images sur un téléphone Android sans connexion Internet, et l'ensemble du processus a pris 15 secondes.

Lors de CVPR, la plus grande conférence des universitaires en vision par ordinateur en juin, Qualcomm a présenté le modèle ControlNet fonctionnant sur un téléphone Android avec une échelle de 1,5 milliard de paramètres, et le temps de dessin n'était que de 11,26 secondes. Ziad Asghar, vice-président senior de la gestion des produits et responsable de l'IA chez Qualcomm, a déclaré : ** Techniquement, il faut moins d'un mois pour transférer ces grands modèles avec plus d'un milliard de paramètres dans les téléphones mobiles. **

La dernière action est que Qualcomm a annoncé la coopération avec Meta pour explorer les applications et les applications basées sur le modèle Llama 2 sur les smartphones, les PC, les dispositifs d'affichage montés sur la tête AR/VR, les voitures et autres appareils basés sur la puce Qualcomm Snapdragon sans mise en réseau. Servir. Selon Qualcomm, par rapport au LLM basé sur le cloud, l'exécution de modèles de langage à grande échelle tels que Llama 2 localement sur l'appareil a non seulement un coût inférieur et de meilleures performances, mais n'a pas non plus besoin de se connecter à des services en ligne **, et le service est plus personnalisé et plus efficace, plus sûr et plus privé.

Apple, qui n'a officiellement annoncé aucune action de modèle à grande échelle, explore également l'atterrissage de modèles à grande échelle du côté des appareils. Selon le rapport du "Financial Times", Apple recrute entièrement des ingénieurs et des chercheurs pour compresser de grands modèles de langage afin qu'ils puissent fonctionner efficacement sur l'iPhone et l'iPad, et l'équipe principalement responsable est l'intelligence artificielle et la conception neuronale ( L'équipe MIND).

À l'heure actuelle, sur Github, un projet populaire de modèle open source MLC LLM peut prendre en charge le déploiement local.Il résout les contraintes de mémoire en planifiant soigneusement l'allocation et en compressant activement les paramètres du modèle, et peut exécuter des modèles d'IA sur divers périphériques matériels tels que l'iPhone. Le projet a été développé conjointement par le professeur adjoint de la CMU, OctoML CTO Chen Tianqi et d'autres chercheurs.L'équipe utilise la technologie Machine Learning Compilation (MLC) comme base pour déployer efficacement des modèles d'IA. Moins de deux jours après la mise en ligne de MLC-LLM, le nombre d'étoiles sur GitHub a approché les 1 000. Quelqu'un a testé l'exécution locale d'un grand modèle de langue en mode avion de l'iPhone.

Contrairement à Google et Qualcomm étrangers qui soulignent que les grands modèles peuvent être déployés localement côté appareil et peuvent être exécutés hors ligne, les fabricants nationaux de téléphones mobiles donnent actuellement la priorité au déploiement de grands modèles sur les assistants vocaux des téléphones mobiles ou les fonctions de recherche d'images existantes. cette mise à niveau consiste à appeler Plus de fonctionnalités cloud pour utiliser de grands modèles.

Cette fois, Xiaomi a utilisé le grand modèle sur l'assistant vocal Xiao Ai. Cependant, étant donné que les informations pertinentes sur le grand modèle Xiaomi de bout en bout n'ont pas été divulguées, il est impossible de juger avec précision de la voie de développement du grand modèle Xiaomi à l'avenir. À en juger par la direction du déploiement local et la légèreté soulignée par Lei Jun, Xiaomi pourrait essayer d'exécuter le grand modèle hors ligne sur le téléphone mobile à l'avenir.

Huawei tente également d'implémenter des modèles à grande échelle sur les téléphones mobiles, mais l'accent est toujours mis sur les assistants vocaux pour téléphones mobiles et les scènes de recherche d'images. Plus tôt en avril, sur le nouveau téléphone mobile P60 de Huawei, derrière la nouvelle fonction de recherche intelligente d'images se trouvait la technologie de modèle multimodal à grande échelle, et le modèle a été miniaturisé du côté du téléphone mobile au cours du processus. Récemment, l'assistant intelligent du terminal récemment mis à niveau de Huawei, Xiaoyi, a également optimisé l'expérience basée sur le grand modèle, et peut recommander des restaurants en fonction des invites vocales et exécuter de nouvelles fonctions telles que les résumés.

OPPO et vivo font également des efforts dans cette direction. Le 13 août, OPPO a annoncé que le nouvel assistant Xiaobu basé sur AndesGPT commencera bientôt à faire l'expérience. On peut voir d'après les données qu'après que Xiaobu Assistant intègre les capacités des grands modèles, il sera plus efficace dans le dialogue et la rédaction.La capacité à écrire et d'autres aspects seront renforcés. AndesGPT est un grand modèle de langage génératif basé sur une architecture de cloud hybride créée par OPPO Andes Intelligent Cloud Team.

Pour les fabricants de téléphones mobiles, qu'il s'agisse d'un déploiement local ou de l'utilisation de capacités cloud, les grands modèles sont une nouvelle opportunité à ne pas manquer pour les téléphones mobiles.

**3. Le grand modèle fonctionne sur le téléphone mobile, où est le problème clé ? **

Ce n'est pas une tâche facile de faire fonctionner un grand modèle sur un téléphone mobile.

La puissance de calcul est le principal problème. L'utilisation du grand modèle sur le téléphone mobile nécessite non seulement d'appeler la puissance de calcul du cloud mais également la puissance de calcul du terminal. En raison de la grande consommation de ressources du grand modèle, chaque appel implique un coût élevé. Le président d'Alphabet, John Hennessy, a mentionné un jour que le coût de recherche de l'utilisation d'un grand modèle de langue est 10 fois plus élevé que le coût de recherche par mot-clé précédent. L'année dernière, Google a enregistré 3,3 billions de requêtes de recherche, coûtant environ un cinquième de cent chacune. Les analystes de Wall Street prédisent que si Google utilise de grands modèles linguistiques pour gérer la moitié de ses requêtes de recherche, chacune fournissant une réponse d'environ 50 mots, ** Google pourrait faire face à une augmentation de 6 milliards de dollars de ses dépenses d'ici 2024. **

(Source : Reuters)

L'exécution de grands modèles sur le téléphone mobile est confrontée à des problèmes de coût similaires, comme l'indique le rapport "Hybrid AI is the Future of AI" publié par Qualcomm, tout comme l'informatique traditionnelle est passée d'un mainframe et d'un client à une combinaison de terminaux cloud et edge. Dans le même mode, l'exécution d'un grand modèle côté terminal nécessite également une architecture d'IA hybride pour permettre la distribution et la coordination des charges de travail de l'IA entre le cloud et les terminaux périphériques,** permettant aux fabricants de téléphones mobiles d'utiliser la puissance de calcul des terminaux périphériques. pour réduire les coûts. C'est en dehors de cette considération de coût que de grands modèles peuvent être déployés localement.

De plus, comme les effets personnels de chacun, le téléphone mobile est le lieu où les données sont générées, et une grande quantité de données privées est également stockée localement.Si un déploiement local peut être réalisé, il assurera la protection des individus en termes de sécurité et de confidentialité. .

Cela soulève le deuxième problème : si vous souhaitez utiliser davantage de fonctionnalités côté terminal pour exécuter de grands modèles, comment pouvez-vous rendre la consommation d'énergie du téléphone mobile très faible et en même temps rendre le modèle plus efficace ?

Qualcomm a déclaré un jour que la capacité clé de déployer de grands modèles sur des appareils locaux tels que les téléphones mobiles réside dans l'optimisation IA complète du matériel et des logiciels de Qualcomm, y compris Qualcomm AI Model Enhancement Toolkit (AIMET), Qualcomm AI Engine et Qualcomm Technologies liées telles que la pile logicielle AI peut compresser le volume du modèle, accélérer le raisonnement et réduire le délai d'exécution et la consommation d'énergie. Hou Jilei, vice-président mondial de Qualcomm et responsable de la recherche sur l'IA de Qualcomm, a mentionné un jour qu'une partie importante de la recherche et du développement de l'IA à haut rendement de Qualcomm est la recherche sur l'efficacité globale du modèle, l'objectif étant de réduire le modèle d'IA dans plusieurs directions. afin qu'il puisse fonctionner efficacement sur le matériel. .

La compression d'un modèle unique n'est pas une mince affaire. Certaines compressions de modèles entraîneront une perte de performances de grands modèles, et certaines méthodes techniques peuvent atteindre une compression sans perte, qui nécessitent toutes des tentatives d'ingénierie dans différentes directions à l'aide de divers outils.

Ces capacités logicielles et matérielles clés représentent un défi de taille pour les fabricants de téléphones mobiles. Aujourd'hui, de nombreux fabricants de téléphones mobiles ont fait le premier pas pour exécuter de grands modèles sur des téléphones mobiles. Ensuite, comment faire tomber un meilleur grand modèle dans chaque téléphone mobile de manière plus économique et plus efficace est une étape plus difficile et plus critique.

L'aventure ne fait que commencer.