Le vent commence à la fin de Qingping, et les accidents et les fatalités du destin sont souvent entremêlés.
2019 est l’année la plus sombre de toute l’histoire de l’intelligence artificielle. Après la défaite d’AlphaGo contre Lee Sedol en 2016, l’émergence de l’architecture Tansformer en 2017, qui a conduit à une explosion technologique à grande échelle, et le boom entrepreneurial en 2018. En 2019, le reflux des capitaux, la période de goulots d’étranglement techniques et la difficulté des scènes d’atterrissage ont ouvert une « ère chaotique » dans l’histoire de l’intelligence artificielle.
Personne ne sait quand l’IA générale arrivera, tout comme un trisolaire ne sait pas quand le soleil se lèvera. **
Cette année-là, un grand nombre d’entreprises d’IA ont été licenciées, ont brisé des chaînes de capital et ont eu des difficultés à produire des produits, et il en restait peu pour persister.
Mais c’est aussi en 2019 qu’un nouvel espoir pour l’IA a commencé à être conçu : OpenAI a accepté l’investissement de Microsoft et sa coopération profonde avec lui en juillet, et c’est à partir de cette année-là que GPT-3, qui choque aujourd’hui le monde, a commencé à être développé ; Baidu, le premier à avoir mis en place une stratégie d’IA en Chine, a procédé à un réaménagement du personnel de six mois depuis le début de l’année, et il semble maintenant que le réarrangement des troupes semble avoir ouvert une période de persévérance de quatre ans.
En 2019, Wang Haifeng a été promu au poste de directeur technique du groupe et a continué à occuper le poste de directeur général du système de plateforme technologique d’IA (AIG) et du système de technologie de base (TG), qui sont les fondations techniques les plus importantes de Baidu ; Shen a été promu au poste de vice-président principal, responsable du groupe d’activité de l’écosystème mobile, puis transféré chez Baidu Intelligent Cloud en 2022, devenant ainsi le pionnier de la deuxième courbe de croissance de Baidu. Parmi les nouvelles forces introduites en 2019, He Junjie est le seul vice-président de Baidu après les années 80, d’abord responsable des fusions et acquisitions d’investissements et des investissements stratégiques, puis réutilisé, responsable du groupe d’entreprises écologiques mobiles vacant de Shen Jing, avec plus de pouvoir réel.
Le temps est venu pour 2023, et la capacité de Transformer a finalement franchi le plafond d’OpenAI cette année, passant à un nouveau niveau, et la percée technologique a fait d’OpenAI l’entreprise la plus regardée au monde. Microsoft a éclipsé le génie technologique de Google.
** Au cours des quatre dernières années, l’activité principale de Baidu a formé une structure triangulaire dirigée par le cloud intelligent Shen Tian, He Junjie est responsable de l’écologie mobile, Wang Haifeng pressant la technologie de réseau, et Baidu a finalement mis fin à la période de silence et a commencé à transformer la défense en attaque, et l’action est continue. **
« Refaire chaque application » est la première épée brillante après six mois d’accumulation de puissance, et maintenant Baidu est comme une planète, sur le point de rencontrer un énorme « champ gravitationnel technologique » et de changer complètement son orbite.
Veille de l’émergence des grands modèles
En 2017, Google a proposé l’architecture Transformer dans un article intitulé « Attention Is All You Need » pour remplacer les modèles de boucle RNN et CNN traditionnels, qui ont montré que la précision d’apprentissage du Transformer est supérieure à celle de tous les modèles précédents, que le temps d’apprentissage est nettement inférieur à celui du modèle précédent et que l’effet d’entraînement est également bon lorsque le contenu de l’ensemble d’entraînement est petit.
Depuis lors, l’architecture Transformer a été rapidement acceptée et appliquée dans le domaine du NLP et du CV, en particulier dans le domaine du NLP, où le mécanisme d’attention permet aux machines de comprendre la sémantique avec plus de précision et de les générer, ainsi que de réduire la duplication de l’information.
En tant que l’une des premières entreprises à découvrir et à suivre la voie de la technologie des transformateurs, Baidu fait des recherches dans le domaine de la NLP depuis plus de dix ans et a formé une équipe de NLP allégée formée par des experts de premier plan tels que Wang Haifeng, Wu Tian, Wu Hua, etc.
Wang Haifeng
À cette époque, la première tâche importante de l’équipe NLP était de construire la traduction Baidu. Wang Haifeng applique avec audace l’apprentissage profond et les réseaux neuronaux à la traduction pour améliorer la compréhension du contexte par la machine et former une traduction plus fluide. Cette tentative audacieuse a également fait de Baidu Translate le premier système de traduction à prendre en charge plus de 200 langues, même un an et 3 mois avant Google.
**C’est aussi le prototype de la capacité de compréhension dans les quatre capacités de base du grand modèle « compréhension, génération, logique et mémoire ». **
Mais Wang Haifeng estime que la PNL ne suffit pas. Il s’est spécialement rendu au bureau de Li Yanhong pour faire un rapport et a proposé le prochain « débarquement de Normandie » - la reconnaissance vocale. Son raisonnement est que la technologie de reconnaissance vocale est sur le point d’atteindre le point critique de l’industrialisation, et qu’une fois qu’elle aura percé, elle sera bientôt commercialisée à grande échelle.
Avec son propre jugement sur la technologie, Li Yanhong a décidé de soutenir Wang Haifeng à nouveau, et a successivement créé le « département de reconnaissance vocale », le « département de reconnaissance d’images » et le « département de graphe de connaissances » parallèlement au département de NLP.
L’opération de Wang Haifeng a laissé perplexes de nombreux étudiants de Baidu : « Ces technologies n’ont rien à voir avec les produits actuels de Baidu, est-ce pour économiser pour la nouvelle année de créer autant de départements dans un seul cerveau ? » "
À ce moment-là, Wang Haifeng a vu que les données de recherche ont un très fort soutien pour la logique de la formation de grands modèles. « Baidu possède le plus grand moteur de recherche au monde, qui a non seulement une grande actualité de l’information, mais aussi un taux de précision élevé, ce qui peut construire le graphe de connaissances le plus complet », a expliqué Wang dans une interview publique. **
Avant de créer Wenxin, Baidu a précipité un graphe de connaissances multi-hétérogène à très grande échelle avec plus de 5 milliards d’entités et 55 milliards de faits, et a pu obtenir une compréhension unifiée du monde à travers le langage, l’ouïe, la vision, etc. Son modèle d’amélioration des connaissances publié en 2021, ERNIE (Wenxin) 3.0, est le prédécesseur de Wenxin Yiyan, et le projet est principalement responsable de Wu Tian.
Wu Tian
En 2019 encore, Baidu Wenxin 1.0 est sorti, et 3 versions ont été itérées en 4 ans. En novembre 2022, Wu Tian a annoncé simultanément 11 modèles industriels que Wenxin a accumulés lors du sommet public, couvrant l’électricité, le gaz, la finance, l’aérospatiale et d’autres domaines, et l’écologie industrielle s’est initialement formée.
** Tout cela a préfiguré et ouvert la voie à Baidu pour publier de manière préventive les mots de Wen Xin. Le 16 mars, après la publication des mots de Wen Xin, Baidu est revenu sur le devant de la scène, mais plus qu’affirmé, c’était douteux. **
« Dans le cas d’une demande aussi forte sur le marché, il est toujours très important de savoir qui le fait en premier », a déclaré Li Yanhong dans une interview, même si le produit n’est pas encore complètement mature, mais doit encore être commercialisé : « Après la publication des mots de Wenxin, d’innombrables personnes, des gens qui n’ont pas été en contact avec moi dans le passé ou qui sont loin de moi dans l’industrie se demandent, comment pouvons-nous coopérer avec Baidu, comment l’essayer dès que possible. »
**D’un point de vue technique, les grands modèles sont des itérations à grande vitesse de « plus en plus utilisés ». ** « Pendant le test interne, l’employé a demandé, comment Wen Xin peut-il cacher sa tête et écrire un poème mal ? J’ai dit attends, je suppose que je peux l’apprendre après-demain, et qu’il pourra être utilisé le lendemain, et la progression du grand modèle est aussi un processus d’apprentissage continu », a déclaré Wang Haifeng avec un sourire.
En six mois, Wenxin Yiyan a effectué trois itérations de la version 3.0 à la version 3.5, puis à la version 4.0, selon Wang Haifeng lors de la réunion, l’échelle des utilisateurs de Wenxin Yiyan a atteint 45 millions, 54 000 développeurs, 4 300 scénarios, 825 applications et plus de 500 plug-ins.
L’eau arrosée en NLP, l’engrais appliqué, ont finalement inauguré une récolte exceptionnelle en 2023, et comme l’a dit Li Yanhong, la voie du développement technologique est le processus de « deux vies, deux vies trois, trois vies et toutes choses ».
Force interne derrière les grands modèles
Après l’apparition de l’intelligence artificielle générale, l’attention de l’informatique en nuage et l’attention des entreprises ont atteint leur apogée, et c’est également arrivé le « moment iPhone ».
L’émergence de grands modèles, entraînant un énorme écart de puissance de calcul, l’informatique en nuage non seulement pour le grand modèle pour fournir un support de puissance de calcul en nuage, mais aussi le meilleur point d’atterrissage pour les grandes entreprises d’atterrissage de modèles, qu’il s’agisse de Baidu ou de toute entreprise avec un grand modèle, lorsque le grand modèle sort, l’objectif suivant est de promouvoir sur le marché, de laisser les entreprises utiliser.
**Pour Baidu, un tel fardeau repose sur les épaules de Shen Shu. **
Shen trembla
Parmi les six dirigeants du groupe d’affaires de Baidu, à l’exception du directeur technique Wang Haifeng, Shen est le seul vice-président principal. Bien qu’ils soient tous deux issus d’une formation technique, contrairement au rôle d'« ingénieur » de Wang Haifeng, Shen est responsable de la croissance d’entreprises clés depuis qu’il a rejoint Baidu.
Au cours des 10 années qui ont suivi son arrivée chez Baidu, Shen a successivement intégré le système publicitaire et amélioré la capacité de monétisation du système. Combinez les flux de recherche et de flux ; Il intègre le groupe d’activités de l’écosystème mobile mis à niveau par la recherche pour compléter le territoire de l’écosystème mobile de Baidu.
** Si Wang Haifeng a créé un couteau tranchant, alors Shen Shu est un fonctionnaire pionnier qui peut utiliser ce couteau tranchant pour ouvrir un territoire, selon les mots de Li Yanhong, « oser mener une bataille difficile et peut gagner une bataille ». **
En mai 2022, Shen Jixing a été nommé président du groupe d’affaires Baidu Intelligent Cloud (ACG). Pour Baidu, il n’a pas misé entièrement sur le cloud computing au début, mais c’est précisément avec le développement continu de la technologie de l’intelligence artificielle que Baidu s’est rendu compte des lacunes du cloud computing et a commencé à cultiver secrètement la deuxième courbe de croissance.
**En raison de l’absence d’avantage du premier arrivé, l’objectif de Baidu Cloud au cours des 10 dernières années est très clair, non pas de rivaliser avec les « vieux canons » à l’échelle de la couche IaaS, mais grâce à la combinaison de PaaS + SaaS et de capacités intelligentes, de jouer la différenciation et de réduire la numérisation des entreprises dans de petites batailles. **
Lors de la conférence mondiale Baidu 2023, Shen a une fois de plus proposé la stratégie « d’intégration cloud-intelligence » : « La combinaison profonde de l’intelligence artificielle et du cloud computing est la clé pour que les entreprises mettent rapidement en œuvre des applications natives de l’IA. À l’heure actuelle, toutes les applications et tous les services du groupe Baidu fonctionnent sur Baidu Intelligent Cloud sur la base de l’architecture technologique 'Cloud-Intelligence Integration'.
**Selon l’observation du cône optique, le cœur de la stratégie d’intégration cloud-intelligence est que, d’une part, en s’appuyant sur Baidu Intelligent Cloud, il peut rapidement fournir aux entreprises un ensemble complet de services de grande taille ; D’autre part, les grands modèles abaissent également le seuil de la numérisation des entreprises. **
Dans les cinq mois qui ont suivi sa prise de contrôle d’ACG, Shen a rapidement intégré la « super usine de services de grands modèles » - Wen Xin Qianfan en réponse aux besoins fondamentaux des entreprises à l’ère des grands modèles, et a divisé les utilisateurs en cinq catégories d’utilisateurs en fonction de leurs besoins.
Tout d’abord, compte tenu de l’écart de demande causé par les ressources en puissance de calcul, la plate-forme Qianfan fournit différents types de puissance de calcul hétérogènes. Par exemple, dans la liaison d’entraînement la plus coûteuse, grâce à l’entraînement parallèle distribué et aux capacités d’interconnexion au niveau de la microseconde, la plate-forme Qianfan peut atteindre un taux d’accélération de l’entraînement de 95 % et un rapport de temps d’entraînement effectif de 96 %, ce qui réduit considérablement la puissance de calcul et les coûts de temps des clients.
Deuxièmement, au niveau du modèle, pour les clients qui souhaitent appeler directement de grands modèles existants, les entreprises peuvent rapidement appeler plusieurs grands modèles, y compris Wen Xin Yiyan, tandis que la plate-forme Qianfan fournit des outils tels que l’amélioration du chinois, l’amélioration des performances et l’amélioration du contexte. Selon Shen Ji, la plateforme Qianfan a servi plus de 17 000 clients.
**Pour les clients ayant des besoins de développement secondaires, la plate-forme Qianfan fournit une chaîne d’outils tout au long du cycle de vie, telle que le réentraînement, le réglage fin, l’évaluation et le déploiement pour les grands modèles, avec le plus grand nombre de 41 ensembles de données sectorielles de haute qualité du secteur, et les optimise rapidement pour leurs propres scénarios commerciaux.
La conférence a également réalisé une démonstration pratique de la façon de développer rapidement des applications de questions-réponses de connaissances pour Sany Heavy Industry basées sur le cadre de génération d’amélioration de la récupération (RAG, Retri Augmented Generation) : il suffit de sélectionner le cadre RAG prédéfini dans l’atelier d’application natif de Qianfan AI et de configurer les paramètres correspondants pour réaliser rapidement le développement et le lancement de l’application de service client intelligent sur le site officiel de Sany Heavy Industry.
Shen a déclaré que la construction d’un tel « petit assistant », même s’il doit traiter des milliers de milliers de documents de plusieurs milliers de mots, le coût n’est que de quelques centaines de yuans ; Après cela, chaque consultation de l’utilisateur ne coûte que quelques centimes. **
Pendant longtemps, l’industrie à grande échelle, l’industrie manufacturière et l’agriculture ont été des domaines en eau profonde de la numérisation, et la raison principale en est que la complexité de l’industrie a conduit à un seuil élevé pour la numérisation et qu’il est difficile d’atterrir.
Cependant, grâce au grand modèle, non seulement le seuil d’utilisation est réduit, mais aussi le coût d’utilisation est réduit. Il n’est pas nécessaire de construire un nouveau système, ni de participer manuellement, il s’agit d’une méthode d’application plus avancée des composants techniques, ** la combinaison des deux, mais aussi de faire tourner le volant d’inertie de l’intelligence du nuage, s’accumulant progressivement. **
Défis d’innovation pour les grands modèles
Le passé est connu d’avance, mais l’avenir peut changer.
Tous les fournisseurs disposant de grands modèles ont trouvé des opportunités dans la couche applicative. Microsoft a commencé à travailler sur la gamme complète de produits, y compris les systèmes Bing, Office et Windows en mars, et Ali Daniel Zhang a déclaré : « Nous devons utiliser le grand modèle pour refaire tous les produits », mais cette phrase, simple à dire, est le plus grand défi d’innovation à l’ère des grands modèles.
Comment l’IA refactorise-t-elle les applications ? Cela nécessite non seulement des compétences commerciales, mais aussi de l’imagination, et face à une nouvelle ère de l’IA, Baidu a également mis le relais entre les mains des jeunes. **
Après mai 2022, Shen Jie a été remplacé à la tête du groupe d’affaires MEG par He Junjie, le vice-président de la génération post-80 introduite dans le plan de construction de l’échelon des talents de Baidu. Si Shen Zhan est une « faction de guerre dure », alors He Junjie est une véritable « faction jeune et forte ». Comme l’a dit Ren Zhengfei, il est nécessaire de « laisser ceux qui entendent le canon commander la bataille ».
** La refactorisation de l’application n’est pas cassée ou permanente, en revanche, Baidu est en effet « particulièrement impitoyable » envers lui-même. **
Lors de la conférence mondiale de Baidu, axée sur « l’écologie », He Junjie a donné les réponses de « l’écologie mobile », de « l’écologie du contenu » et de « l’écologie des entreprises ».
Parmi eux, l’écosystème mobile couvre des applications natives de l’IA telles que « New Search », « New Wenku », Wenxin Yiyan APP et Baidu e-commerce « Huibexing » ; Au niveau de l’écologie du contenu, une série d’applications telles que Baidu APP « AI Editor » renforcent l’écosystème des créateurs ; Au niveau de l’écologie d’entreprise, la plateforme de marketing AI Native « Light » a été lancée. En outre, He Junjie a également annoncé l’écologie du plug-in Wen Xin Yiyan - « Spirit Matrix », qui est maintenant entièrement ouvert.
**La nouvelle recherche définie par Baidu est exactement la logique de calcul de boîte proposée par Robin Li en 2010. **Il présente trois caractéristiques : la satisfaction ultime, la stimulation de la recommandation et l’interaction à plusieurs niveaux. C’est-à-dire que lorsque les utilisateurs recherchent des questions, « ne vous donnent plus un tas de liens », mais grâce à la compréhension du contenu, génèrent des réponses multimodales telles que du texte, des images et des graphiques dynamiques ; La stimulation de la recommandation peut recommander les problèmes qui préoccupent les utilisateurs en temps réel ; En réponse à des besoins complexes, l’interaction multi-tours peut répondre aux besoins de recherche personnalisés des utilisateurs par le biais d’invites, d’ajustements, etc.
Le processus de correspondance de la demande à la correspondance, également connu sous le nom de recherche « de bout en bout », mais cela brisera le modèle de classement des enchères sur lequel Baidu s’appuyait autrefois, et les revenus publicitaires ont toujours été la plus grande vache à lait de Baidu.
Les capacités de l’AIGC ont donné une nouvelle vitalité à certaines des anciennes applications de Baidu, telles que les documents Baidu passés d’outils de récupération de contenu à des outils de production de contenu, et Baidu Editor est devenu un outil de génération de contenu ; L’autre partie explore également de nouveaux scénarios, tels que la génération unique de contenu marketing de Baidu Diager via AIGC et la livraison intelligente, combinée à la plate-forme de génération humaine numérique « Huaicast Star » pour aider les commerçants à élargir leur portée et leurs scénarios marketing.
Dans le même temps, avec l’arrivée progressive des applications de grands modèles, Baidu s’est également rendu compte que le fait de compter sur sa propre force est finalement limité, et que l’infini est vertical et horizontal. **
C’est la valeur de Spirit Matrix, une plate-forme qui réduit considérablement le coût de développement de plug-ins de grands modèles, permettant aux gens ordinaires avec de la créativité et des idées de devenir des développeurs de plug-ins. Li Yanhong a déclaré que le plug-in est une application native spéciale de l’IA, et c’est aussi l’application native de l’IA avec le seuil le plus bas et la plus facile à démarrer.
La caractéristique du plug-in est « l’interface universelle », qui peut connecter la recherche, les mini-programmes, les plates-formes de contenu ou n’importe quelle entrée, de sorte que l’utilisation du « plug and play » permet aux développeurs et aux créateurs de rejoindre rapidement l’écosystème.
He Junjie a révélé qu’un mois après son lancement, Lingjing Matrix a reçu 27 000 demandes d’enregistrement de développeurs, couvrant plus de 20 domaines verticaux, y compris des entreprises, des institutions et des développeurs individuels.
Un initié de Baidu a déclaré à Light Cone Intelligence : « Le plug-in grand modèle de la couche d’application prend Lingjing comme plate-forme principale et sera placé dans Wenxin Yiyan et Baidu App. Qianfan est plus au niveau inférieur, et le domaine spirituel est plus élevé, et il est même possible de remplacer Qianfan au niveau des plug-ins d’application à l’avenir.
Conclusion
En 2016, M. Li a déclaré que Baidu n’était qu’à 30 jours de la faillite. « Le dinosaure a marché sur une pelle sur son pied, et il a fallu des heures à son cerveau pour réagir. Donc, quelle que soit la taille des dinosaures, ils disparaîtront.
Baidu ne veut pas être un dinosaure, et au niveau de la conscience, il pense toujours à dix pas.
Heureusement, Baidu a attendu la nouvelle ère et a traversé les moments les plus difficiles ; Malheureusement, à l’aube de cette nouvelle ère, tout arrachage minutieux semblera insignifiant sous la longue concurrence.
Mais obtenir un nouveau billet est au moins un nouveau départ.
Référence:
Experts transfrontaliers dans divers domaines de l’intelligence artificielle - Transformer »
Le voyage est loin : ils sculptent des âmes pour l’intelligence artificielle
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
L’IA générative peut-elle générer l’avenir de Baidu ?
Source originale : Light Cone Intelligence
Auteur : Liu Yuqi
Le vent commence à la fin de Qingping, et les accidents et les fatalités du destin sont souvent entremêlés.
2019 est l’année la plus sombre de toute l’histoire de l’intelligence artificielle. Après la défaite d’AlphaGo contre Lee Sedol en 2016, l’émergence de l’architecture Tansformer en 2017, qui a conduit à une explosion technologique à grande échelle, et le boom entrepreneurial en 2018. En 2019, le reflux des capitaux, la période de goulots d’étranglement techniques et la difficulté des scènes d’atterrissage ont ouvert une « ère chaotique » dans l’histoire de l’intelligence artificielle.
Personne ne sait quand l’IA générale arrivera, tout comme un trisolaire ne sait pas quand le soleil se lèvera. **
Cette année-là, un grand nombre d’entreprises d’IA ont été licenciées, ont brisé des chaînes de capital et ont eu des difficultés à produire des produits, et il en restait peu pour persister.
Mais c’est aussi en 2019 qu’un nouvel espoir pour l’IA a commencé à être conçu : OpenAI a accepté l’investissement de Microsoft et sa coopération profonde avec lui en juillet, et c’est à partir de cette année-là que GPT-3, qui choque aujourd’hui le monde, a commencé à être développé ; Baidu, le premier à avoir mis en place une stratégie d’IA en Chine, a procédé à un réaménagement du personnel de six mois depuis le début de l’année, et il semble maintenant que le réarrangement des troupes semble avoir ouvert une période de persévérance de quatre ans.
En 2019, Wang Haifeng a été promu au poste de directeur technique du groupe et a continué à occuper le poste de directeur général du système de plateforme technologique d’IA (AIG) et du système de technologie de base (TG), qui sont les fondations techniques les plus importantes de Baidu ; Shen a été promu au poste de vice-président principal, responsable du groupe d’activité de l’écosystème mobile, puis transféré chez Baidu Intelligent Cloud en 2022, devenant ainsi le pionnier de la deuxième courbe de croissance de Baidu. Parmi les nouvelles forces introduites en 2019, He Junjie est le seul vice-président de Baidu après les années 80, d’abord responsable des fusions et acquisitions d’investissements et des investissements stratégiques, puis réutilisé, responsable du groupe d’entreprises écologiques mobiles vacant de Shen Jing, avec plus de pouvoir réel.
Le temps est venu pour 2023, et la capacité de Transformer a finalement franchi le plafond d’OpenAI cette année, passant à un nouveau niveau, et la percée technologique a fait d’OpenAI l’entreprise la plus regardée au monde. Microsoft a éclipsé le génie technologique de Google.
** Au cours des quatre dernières années, l’activité principale de Baidu a formé une structure triangulaire dirigée par le cloud intelligent Shen Tian, He Junjie est responsable de l’écologie mobile, Wang Haifeng pressant la technologie de réseau, et Baidu a finalement mis fin à la période de silence et a commencé à transformer la défense en attaque, et l’action est continue. **
« Refaire chaque application » est la première épée brillante après six mois d’accumulation de puissance, et maintenant Baidu est comme une planète, sur le point de rencontrer un énorme « champ gravitationnel technologique » et de changer complètement son orbite.
Veille de l’émergence des grands modèles
En 2017, Google a proposé l’architecture Transformer dans un article intitulé « Attention Is All You Need » pour remplacer les modèles de boucle RNN et CNN traditionnels, qui ont montré que la précision d’apprentissage du Transformer est supérieure à celle de tous les modèles précédents, que le temps d’apprentissage est nettement inférieur à celui du modèle précédent et que l’effet d’entraînement est également bon lorsque le contenu de l’ensemble d’entraînement est petit.
Depuis lors, l’architecture Transformer a été rapidement acceptée et appliquée dans le domaine du NLP et du CV, en particulier dans le domaine du NLP, où le mécanisme d’attention permet aux machines de comprendre la sémantique avec plus de précision et de les générer, ainsi que de réduire la duplication de l’information.
En tant que l’une des premières entreprises à découvrir et à suivre la voie de la technologie des transformateurs, Baidu fait des recherches dans le domaine de la NLP depuis plus de dix ans et a formé une équipe de NLP allégée formée par des experts de premier plan tels que Wang Haifeng, Wu Tian, Wu Hua, etc.
À cette époque, la première tâche importante de l’équipe NLP était de construire la traduction Baidu. Wang Haifeng applique avec audace l’apprentissage profond et les réseaux neuronaux à la traduction pour améliorer la compréhension du contexte par la machine et former une traduction plus fluide. Cette tentative audacieuse a également fait de Baidu Translate le premier système de traduction à prendre en charge plus de 200 langues, même un an et 3 mois avant Google.
**C’est aussi le prototype de la capacité de compréhension dans les quatre capacités de base du grand modèle « compréhension, génération, logique et mémoire ». **
Mais Wang Haifeng estime que la PNL ne suffit pas. Il s’est spécialement rendu au bureau de Li Yanhong pour faire un rapport et a proposé le prochain « débarquement de Normandie » - la reconnaissance vocale. Son raisonnement est que la technologie de reconnaissance vocale est sur le point d’atteindre le point critique de l’industrialisation, et qu’une fois qu’elle aura percé, elle sera bientôt commercialisée à grande échelle.
Avec son propre jugement sur la technologie, Li Yanhong a décidé de soutenir Wang Haifeng à nouveau, et a successivement créé le « département de reconnaissance vocale », le « département de reconnaissance d’images » et le « département de graphe de connaissances » parallèlement au département de NLP.
L’opération de Wang Haifeng a laissé perplexes de nombreux étudiants de Baidu : « Ces technologies n’ont rien à voir avec les produits actuels de Baidu, est-ce pour économiser pour la nouvelle année de créer autant de départements dans un seul cerveau ? » "
À ce moment-là, Wang Haifeng a vu que les données de recherche ont un très fort soutien pour la logique de la formation de grands modèles. « Baidu possède le plus grand moteur de recherche au monde, qui a non seulement une grande actualité de l’information, mais aussi un taux de précision élevé, ce qui peut construire le graphe de connaissances le plus complet », a expliqué Wang dans une interview publique. **
Avant de créer Wenxin, Baidu a précipité un graphe de connaissances multi-hétérogène à très grande échelle avec plus de 5 milliards d’entités et 55 milliards de faits, et a pu obtenir une compréhension unifiée du monde à travers le langage, l’ouïe, la vision, etc. Son modèle d’amélioration des connaissances publié en 2021, ERNIE (Wenxin) 3.0, est le prédécesseur de Wenxin Yiyan, et le projet est principalement responsable de Wu Tian.
En 2019 encore, Baidu Wenxin 1.0 est sorti, et 3 versions ont été itérées en 4 ans. En novembre 2022, Wu Tian a annoncé simultanément 11 modèles industriels que Wenxin a accumulés lors du sommet public, couvrant l’électricité, le gaz, la finance, l’aérospatiale et d’autres domaines, et l’écologie industrielle s’est initialement formée.
** Tout cela a préfiguré et ouvert la voie à Baidu pour publier de manière préventive les mots de Wen Xin. Le 16 mars, après la publication des mots de Wen Xin, Baidu est revenu sur le devant de la scène, mais plus qu’affirmé, c’était douteux. **
« Dans le cas d’une demande aussi forte sur le marché, il est toujours très important de savoir qui le fait en premier », a déclaré Li Yanhong dans une interview, même si le produit n’est pas encore complètement mature, mais doit encore être commercialisé : « Après la publication des mots de Wenxin, d’innombrables personnes, des gens qui n’ont pas été en contact avec moi dans le passé ou qui sont loin de moi dans l’industrie se demandent, comment pouvons-nous coopérer avec Baidu, comment l’essayer dès que possible. »
**D’un point de vue technique, les grands modèles sont des itérations à grande vitesse de « plus en plus utilisés ». ** « Pendant le test interne, l’employé a demandé, comment Wen Xin peut-il cacher sa tête et écrire un poème mal ? J’ai dit attends, je suppose que je peux l’apprendre après-demain, et qu’il pourra être utilisé le lendemain, et la progression du grand modèle est aussi un processus d’apprentissage continu », a déclaré Wang Haifeng avec un sourire.
En six mois, Wenxin Yiyan a effectué trois itérations de la version 3.0 à la version 3.5, puis à la version 4.0, selon Wang Haifeng lors de la réunion, l’échelle des utilisateurs de Wenxin Yiyan a atteint 45 millions, 54 000 développeurs, 4 300 scénarios, 825 applications et plus de 500 plug-ins.
L’eau arrosée en NLP, l’engrais appliqué, ont finalement inauguré une récolte exceptionnelle en 2023, et comme l’a dit Li Yanhong, la voie du développement technologique est le processus de « deux vies, deux vies trois, trois vies et toutes choses ».
Force interne derrière les grands modèles
Après l’apparition de l’intelligence artificielle générale, l’attention de l’informatique en nuage et l’attention des entreprises ont atteint leur apogée, et c’est également arrivé le « moment iPhone ».
L’émergence de grands modèles, entraînant un énorme écart de puissance de calcul, l’informatique en nuage non seulement pour le grand modèle pour fournir un support de puissance de calcul en nuage, mais aussi le meilleur point d’atterrissage pour les grandes entreprises d’atterrissage de modèles, qu’il s’agisse de Baidu ou de toute entreprise avec un grand modèle, lorsque le grand modèle sort, l’objectif suivant est de promouvoir sur le marché, de laisser les entreprises utiliser.
**Pour Baidu, un tel fardeau repose sur les épaules de Shen Shu. **
Parmi les six dirigeants du groupe d’affaires de Baidu, à l’exception du directeur technique Wang Haifeng, Shen est le seul vice-président principal. Bien qu’ils soient tous deux issus d’une formation technique, contrairement au rôle d'« ingénieur » de Wang Haifeng, Shen est responsable de la croissance d’entreprises clés depuis qu’il a rejoint Baidu.
Au cours des 10 années qui ont suivi son arrivée chez Baidu, Shen a successivement intégré le système publicitaire et amélioré la capacité de monétisation du système. Combinez les flux de recherche et de flux ; Il intègre le groupe d’activités de l’écosystème mobile mis à niveau par la recherche pour compléter le territoire de l’écosystème mobile de Baidu.
** Si Wang Haifeng a créé un couteau tranchant, alors Shen Shu est un fonctionnaire pionnier qui peut utiliser ce couteau tranchant pour ouvrir un territoire, selon les mots de Li Yanhong, « oser mener une bataille difficile et peut gagner une bataille ». **
En mai 2022, Shen Jixing a été nommé président du groupe d’affaires Baidu Intelligent Cloud (ACG). Pour Baidu, il n’a pas misé entièrement sur le cloud computing au début, mais c’est précisément avec le développement continu de la technologie de l’intelligence artificielle que Baidu s’est rendu compte des lacunes du cloud computing et a commencé à cultiver secrètement la deuxième courbe de croissance.
**En raison de l’absence d’avantage du premier arrivé, l’objectif de Baidu Cloud au cours des 10 dernières années est très clair, non pas de rivaliser avec les « vieux canons » à l’échelle de la couche IaaS, mais grâce à la combinaison de PaaS + SaaS et de capacités intelligentes, de jouer la différenciation et de réduire la numérisation des entreprises dans de petites batailles. **
Lors de la conférence mondiale Baidu 2023, Shen a une fois de plus proposé la stratégie « d’intégration cloud-intelligence » : « La combinaison profonde de l’intelligence artificielle et du cloud computing est la clé pour que les entreprises mettent rapidement en œuvre des applications natives de l’IA. À l’heure actuelle, toutes les applications et tous les services du groupe Baidu fonctionnent sur Baidu Intelligent Cloud sur la base de l’architecture technologique 'Cloud-Intelligence Integration'.
Dans les cinq mois qui ont suivi sa prise de contrôle d’ACG, Shen a rapidement intégré la « super usine de services de grands modèles » - Wen Xin Qianfan en réponse aux besoins fondamentaux des entreprises à l’ère des grands modèles, et a divisé les utilisateurs en cinq catégories d’utilisateurs en fonction de leurs besoins.
Tout d’abord, compte tenu de l’écart de demande causé par les ressources en puissance de calcul, la plate-forme Qianfan fournit différents types de puissance de calcul hétérogènes. Par exemple, dans la liaison d’entraînement la plus coûteuse, grâce à l’entraînement parallèle distribué et aux capacités d’interconnexion au niveau de la microseconde, la plate-forme Qianfan peut atteindre un taux d’accélération de l’entraînement de 95 % et un rapport de temps d’entraînement effectif de 96 %, ce qui réduit considérablement la puissance de calcul et les coûts de temps des clients.
Deuxièmement, au niveau du modèle, pour les clients qui souhaitent appeler directement de grands modèles existants, les entreprises peuvent rapidement appeler plusieurs grands modèles, y compris Wen Xin Yiyan, tandis que la plate-forme Qianfan fournit des outils tels que l’amélioration du chinois, l’amélioration des performances et l’amélioration du contexte. Selon Shen Ji, la plateforme Qianfan a servi plus de 17 000 clients.
**Pour les clients ayant des besoins de développement secondaires, la plate-forme Qianfan fournit une chaîne d’outils tout au long du cycle de vie, telle que le réentraînement, le réglage fin, l’évaluation et le déploiement pour les grands modèles, avec le plus grand nombre de 41 ensembles de données sectorielles de haute qualité du secteur, et les optimise rapidement pour leurs propres scénarios commerciaux.
La conférence a également réalisé une démonstration pratique de la façon de développer rapidement des applications de questions-réponses de connaissances pour Sany Heavy Industry basées sur le cadre de génération d’amélioration de la récupération (RAG, Retri Augmented Generation) : il suffit de sélectionner le cadre RAG prédéfini dans l’atelier d’application natif de Qianfan AI et de configurer les paramètres correspondants pour réaliser rapidement le développement et le lancement de l’application de service client intelligent sur le site officiel de Sany Heavy Industry.
Shen a déclaré que la construction d’un tel « petit assistant », même s’il doit traiter des milliers de milliers de documents de plusieurs milliers de mots, le coût n’est que de quelques centaines de yuans ; Après cela, chaque consultation de l’utilisateur ne coûte que quelques centimes. **
Pendant longtemps, l’industrie à grande échelle, l’industrie manufacturière et l’agriculture ont été des domaines en eau profonde de la numérisation, et la raison principale en est que la complexité de l’industrie a conduit à un seuil élevé pour la numérisation et qu’il est difficile d’atterrir.
Cependant, grâce au grand modèle, non seulement le seuil d’utilisation est réduit, mais aussi le coût d’utilisation est réduit. Il n’est pas nécessaire de construire un nouveau système, ni de participer manuellement, il s’agit d’une méthode d’application plus avancée des composants techniques, ** la combinaison des deux, mais aussi de faire tourner le volant d’inertie de l’intelligence du nuage, s’accumulant progressivement. **
Défis d’innovation pour les grands modèles
Le passé est connu d’avance, mais l’avenir peut changer.
Tous les fournisseurs disposant de grands modèles ont trouvé des opportunités dans la couche applicative. Microsoft a commencé à travailler sur la gamme complète de produits, y compris les systèmes Bing, Office et Windows en mars, et Ali Daniel Zhang a déclaré : « Nous devons utiliser le grand modèle pour refaire tous les produits », mais cette phrase, simple à dire, est le plus grand défi d’innovation à l’ère des grands modèles.
Comment l’IA refactorise-t-elle les applications ? Cela nécessite non seulement des compétences commerciales, mais aussi de l’imagination, et face à une nouvelle ère de l’IA, Baidu a également mis le relais entre les mains des jeunes. **
Après mai 2022, Shen Jie a été remplacé à la tête du groupe d’affaires MEG par He Junjie, le vice-président de la génération post-80 introduite dans le plan de construction de l’échelon des talents de Baidu. Si Shen Zhan est une « faction de guerre dure », alors He Junjie est une véritable « faction jeune et forte ». Comme l’a dit Ren Zhengfei, il est nécessaire de « laisser ceux qui entendent le canon commander la bataille ».
** La refactorisation de l’application n’est pas cassée ou permanente, en revanche, Baidu est en effet « particulièrement impitoyable » envers lui-même. **
Lors de la conférence mondiale de Baidu, axée sur « l’écologie », He Junjie a donné les réponses de « l’écologie mobile », de « l’écologie du contenu » et de « l’écologie des entreprises ».
Parmi eux, l’écosystème mobile couvre des applications natives de l’IA telles que « New Search », « New Wenku », Wenxin Yiyan APP et Baidu e-commerce « Huibexing » ; Au niveau de l’écologie du contenu, une série d’applications telles que Baidu APP « AI Editor » renforcent l’écosystème des créateurs ; Au niveau de l’écologie d’entreprise, la plateforme de marketing AI Native « Light » a été lancée. En outre, He Junjie a également annoncé l’écologie du plug-in Wen Xin Yiyan - « Spirit Matrix », qui est maintenant entièrement ouvert.
**La nouvelle recherche définie par Baidu est exactement la logique de calcul de boîte proposée par Robin Li en 2010. **Il présente trois caractéristiques : la satisfaction ultime, la stimulation de la recommandation et l’interaction à plusieurs niveaux. C’est-à-dire que lorsque les utilisateurs recherchent des questions, « ne vous donnent plus un tas de liens », mais grâce à la compréhension du contenu, génèrent des réponses multimodales telles que du texte, des images et des graphiques dynamiques ; La stimulation de la recommandation peut recommander les problèmes qui préoccupent les utilisateurs en temps réel ; En réponse à des besoins complexes, l’interaction multi-tours peut répondre aux besoins de recherche personnalisés des utilisateurs par le biais d’invites, d’ajustements, etc.
Les capacités de l’AIGC ont donné une nouvelle vitalité à certaines des anciennes applications de Baidu, telles que les documents Baidu passés d’outils de récupération de contenu à des outils de production de contenu, et Baidu Editor est devenu un outil de génération de contenu ; L’autre partie explore également de nouveaux scénarios, tels que la génération unique de contenu marketing de Baidu Diager via AIGC et la livraison intelligente, combinée à la plate-forme de génération humaine numérique « Huaicast Star » pour aider les commerçants à élargir leur portée et leurs scénarios marketing.
Dans le même temps, avec l’arrivée progressive des applications de grands modèles, Baidu s’est également rendu compte que le fait de compter sur sa propre force est finalement limité, et que l’infini est vertical et horizontal. **
C’est la valeur de Spirit Matrix, une plate-forme qui réduit considérablement le coût de développement de plug-ins de grands modèles, permettant aux gens ordinaires avec de la créativité et des idées de devenir des développeurs de plug-ins. Li Yanhong a déclaré que le plug-in est une application native spéciale de l’IA, et c’est aussi l’application native de l’IA avec le seuil le plus bas et la plus facile à démarrer.
La caractéristique du plug-in est « l’interface universelle », qui peut connecter la recherche, les mini-programmes, les plates-formes de contenu ou n’importe quelle entrée, de sorte que l’utilisation du « plug and play » permet aux développeurs et aux créateurs de rejoindre rapidement l’écosystème.
He Junjie a révélé qu’un mois après son lancement, Lingjing Matrix a reçu 27 000 demandes d’enregistrement de développeurs, couvrant plus de 20 domaines verticaux, y compris des entreprises, des institutions et des développeurs individuels.
Un initié de Baidu a déclaré à Light Cone Intelligence : « Le plug-in grand modèle de la couche d’application prend Lingjing comme plate-forme principale et sera placé dans Wenxin Yiyan et Baidu App. Qianfan est plus au niveau inférieur, et le domaine spirituel est plus élevé, et il est même possible de remplacer Qianfan au niveau des plug-ins d’application à l’avenir.
Conclusion
En 2016, M. Li a déclaré que Baidu n’était qu’à 30 jours de la faillite. « Le dinosaure a marché sur une pelle sur son pied, et il a fallu des heures à son cerveau pour réagir. Donc, quelle que soit la taille des dinosaures, ils disparaîtront.
Baidu ne veut pas être un dinosaure, et au niveau de la conscience, il pense toujours à dix pas.
Heureusement, Baidu a attendu la nouvelle ère et a traversé les moments les plus difficiles ; Malheureusement, à l’aube de cette nouvelle ère, tout arrachage minutieux semblera insignifiant sous la longue concurrence.
Mais obtenir un nouveau billet est au moins un nouveau départ.
Référence:
Experts transfrontaliers dans divers domaines de l’intelligence artificielle - Transformer »
Le voyage est loin : ils sculptent des âmes pour l’intelligence artificielle