Grand modèle, l'open source ne peut pas tuer la source fermée

Source : Corps cérébropolaire

Source de l'image : générée par l'IA illimitée

L'impact des grands modèles open source sur les grands modèles fermés est devenu très violent.

En mars de cette année, Meta a publié Llama (alpaga), qui est rapidement devenu le grand modèle open source le plus puissant de la communauté AI et le modèle de base de nombreux modèles. Certaines personnes ont plaisanté en disant que le groupe actuel de modèles à grande échelle n'était qu'un groupe d '"alpagas" de différentes couleurs.

Et il y a quelques jours à peine, Meta a lancé une version commerciale gratuite de "Alpaca 2" - Llama2, dont les performances seraient comparables à celles de GPT-3.5.

C'est très explosif dans tout le cercle des modèles à grande échelle.

Nous savons que diverses entreprises Internet et technologiques se font concurrence pour former et lancer leurs propres modèles à grande échelle, investissant beaucoup de ressources informatiques et de coûts. S'ils ne peuvent pas être commercialisés efficacement, il sera difficile de récupérer le coût de ces modèles à grande échelle. Les itérations, mises à jour et mises à niveau ultérieures deviendront des problèmes. Non seulement les entreprises de R&D perdront de l'argent, mais les utilisateurs qui "abandonnent tous leurs efforts antérieurs" seront probablement plus affligés.

Mais maintenant qu'il existe des modèles open source gratuits, ouverts et puissants, qui est prêt à donner de l'argent aux modèles à source fermée ?

Il y en a vraiment.

L'open source est la tendance générale, mais le grand modèle de source fermée a toujours son importance d'existence et sa valeur commerciale. Selon l'expérience actuelle dans l'industrie de l'IA, pour bien utiliser les grands modèles, il faut encore s'appuyer sur des sources fermées.

Aujourd'hui, nous allons parler de cette question. Qui a besoin d'un grand modèle à source fermée ?

Allez à l'industrie, allez à l'industrie

Le point final de la commercialisation des grands modèles est l'industrie, et il doit s'agir d'un consensus qui ne nécessite pas trop d'explications.

Il n'y a pas longtemps, j'ai participé à une réunion de communication interne d'un modèle national à grande échelle, et les cadres supérieurs de l'autre partie ont clairement déclaré qu'ils utilisaient tous du code à source fermée et insistent sur la voie à source fermée, car ils envisagent de former des modèles à grande échelle et de coopérer avec des partenaires de l'industrie, et de nombreuses données privées ne conviennent pas à l'open source.

Vous pouvez avoir un aperçu de la situation dans son ensemble, du moins à court terme, des modèles à grande échelle iront à l'industrie et la mise en œuvre dépend toujours de sources fermées.

** En termes de modèles, la qualité des grands modèles fermés est supérieure. **

Prenons Llama 2, qui est actuellement le plus performant, par exemple. Meta a comparé les résultats de Llama 2 70B avec le modèle à source fermée. Les résultats sont proches de GPT-3.5 sur MMLU et GSM8K, mais il y a encore un écart important dans le benchmark de codage, et de nombreuses données manquent de diversité et de qualité.

Bien sûr, la vitesse d'itération d'optimisation des grands modèles open source est très rapide. Mais l'essence de l'open source est très similaire à la "reproduction sexuée", c'est-à-dire à travers la reproduction de masse et la mutation, tout comme le "cluster alpaga" au début, face à un avenir incertain, avec l'aide de la "survie du plus apte" de l'évolution, la meilleure qualité de progéniture continuera à émerger. Par conséquent, il existe de nombreuses branches de logiciels open source.Pour les utilisateurs, le coût de ce choix est très élevé.En plus du grand nombre de développeurs, le contrôle de version est un problème.

**En termes de sécurité, les grands modèles à source fermée sont plus fiables. **

Les grands modèles open source doivent respecter l"accord open source et l"utilisation commerciale doit être autorisée. Les grands modèles open source étrangers doivent également être soumis à la juridiction territoriale. GitHub a autrefois interdit les comptes de développeurs russes. L'utilisation de grands modèles open source étrangers pour développer des produits et les risques de la chaîne d'approvisionnement existent objectivement.

Alors, qu'en est-il de l'utilisation de grands modèles nationaux open source ? La sécurité est garantie, mais d'un point de vue commercial, de nombreux clients, tels que les grandes entreprises publiques, attachent également une grande importance à la fiabilité des grands modèles en entreprise et exigent souvent l'approbation de la marque des grandes entreprises lors de l'achat. D'une part, l'investissement en R&D est plus important et le bouche-à-oreille est plus important ; d'autre part, dans le cas où le grand modèle est généré de manière incorrecte, entraînant des pertes commerciales ou des problèmes de clientèle, l'utilisation du grand modèle open-source peut responsabiliser le fournisseur de services, et l'utilisation du grand modèle open-source ne peut pas régler les comptes avec les développeurs mondiaux, n'est-ce pas ?

Par exemple, Huging Face, une start-up de modèles à grande échelle, fournit des conseils en IA aux clients et est un pilier de la communauté open source.Il a déclaré qu'un grand nombre de clients souhaitent utiliser leurs données privées/données professionnelles pour former des modèles et ne veulent pas donner ces données à OpenAl.

** En termes d'industrialisation, la capacité de service à long terme des grands modèles fermés est plus forte et plus utilisable. **

L'obtention d'un grand modèle ne se limite pas à l'accès aux API, à l'insertion de données et au réglage des paramètres. En tant que technologie émergente, il existe encore de nombreux défis dans l'intégration de grands modèles et de scénarios commerciaux. Par exemple, les grands modèles doivent être compressés par distillation pour réduire la taille du modèle avant de pouvoir être déployés côté appareil.De nombreuses entreprises n'ont tout simplement pas de tels professionnels.

Autre exemple, la combinaison de grands modèles et d'une entreprise nécessite la participation de plusieurs rôles tels que les ingénieurs de produit, d'exploitation et de test.Ces capacités de service sont difficiles à fournir pour les équipes open source qui sont principalement des codeurs. De plus, l'application à long terme de grands modèles, la puissance de calcul, le stockage, le réseau et d'autres installations de support doivent suivre, et la communauté open source ne peut pas aider les utilisateurs à résoudre ces problèmes détaillés.

Il existe également des problèmes de confidentialité des données.Les grands modèles ne peuvent pas être directement utilisés par l'industrie, mais doivent être optimisés grâce à des données de scène propriétaires, et les modèles formés sur ces données seront open source et publiés, ce qui inquiète beaucoup les entreprises.

Nous avons interrogé une fois une équipe de recherche et développement médicale intelligente. L'autre partie a déclaré qu'une grande quantité de données médicales est distribuée dans les grands hôpitaux et instituts de recherche, et que cela implique également la confidentialité des patients. Tout le monde a des inquiétudes quant à l'utilisation des données pour former conjointement un modèle industriel. D'une part, la sécurité ne peut être garantie, et d'autre part, la qualité de leurs propres données est élevée, mais ils ne peuvent pas en tirer un rendement adéquat.Comme d'autres organisations avec des données de mauvaise qualité, il est difficile de se coordonner. Dans la co-construction de grands modèles open source, il reste encore de nombreuses difficultés pour obtenir des données, saisir la formule et déterminer les contributions de toutes les parties.

Les grands modèles open source doivent équilibrer le conflit entre la liberté d'innovation technologique et les avantages du droit d'auteur, tandis que les grands modèles à source fermée n'ont pas ce problème. Les droits de propriété et d'utilisation des données et des modèles sont très clairs et ils sont fermement entre les mains de l'entreprise elle-même.

On peut dire que le grand modèle open source actuel ne peut pas répondre aux besoins réels des entreprises. Cependant, les utilisateurs de grands modèles open source et les intégrateurs ISV doivent obtenir des retours commerciaux. Si le grand modèle open source n'est pas disponible dans le commerce, l'effet n'est pas bon et il est difficile de gagner de l'argent, même s'il est gratuit, l'entreprise examinera attentivement s'il faut investir dans des personnes pour le développer.

Par conséquent, pendant un certain temps encore, la source fermée sera toujours un choix populaire pour l'industrie des modèles réduits d'atterrissage à grande échelle.

Allez aux masses, allez aux masses

Certaines personnes peuvent ne pas comprendre, l'open source est gratuit pour un usage commercial, et tout le monde peut utiliser un gros modèle au prix d'un chou. C'est tellement convivial pour les développeurs et les utilisateurs en entreprise, pourquoi continuez-vous de dire que le code source fermé est meilleur ? Est-ce la plate-forme d'une grande usine axée sur l'argent ?

Non.

Quiconque comprend l'open source soutiendra l'open source. Quiconque soutient l'open source prêtera attention à la commercialisation de l'open source.

L'académicien Mei Hong de l'Académie chinoise des sciences a dit un jour que l'open source est né de l'idéalisme et qu'il est vigoureusement alimenté par la commercialisation : c'est un modèle d'innovation ouverte. Sans commercialisation, il ne peut y avoir d'open source.

Par conséquent, qu'il soit open source ou fermé, celui qui peut être "commercial" plus tôt aura un meilleur avenir. À cet égard, les modèles à grande échelle à source fermée peuvent avoir un avantage.Après tout, les fabricants qui ont la confiance nécessaire pour fermer la source ont encore deux balais et une expérience en R&D.

Alors, quels sont les avantages des grands modèles open source ? Si le modèle à grande échelle à source fermée va à l'industrie, alors le modèle à grande échelle à source ouverte doit aller aux masses, en se concentrant sur la force d'une personne.

(LeCun pense que Llama-v2 va changer la structure du marché de LLM)

Le grand modèle open source est différent des logiciels open source traditionnels, où le code source est mis dessus, puis les développeurs du monde entier contribuent au code et c'est tout. La collaboration et la co-construction de grands modèles se reflètent davantage dans la prospérité de la communauté. Tout le monde travaille ensemble pour optimiser le modèle, enrichir les données, améliorer les outils et rendre l'application complète...

À l'heure actuelle, le modèle open source peut apporter plusieurs avantages :

1. Innovation technologique. La communauté open source peut rassembler un grand nombre d'entreprises technologiques, d'instituts de recherche et de développeurs pour optimiser, améliorer et accélérer les itérations du modèle, rendant la technologie du modèle et les ensembles de données de support, les outils d'application, etc. riches et de haute qualité, afin de garder une longueur d'avance.

2. Concours de talents. En tant que technologie émergente, les grands modèles manquent de talents.L'écart peut être creusé en attirant des talents exceptionnels du monde entier pour contribuer par le biais de communautés open source et en accélérant la mise à niveau des grands modèles. Il y a une pression quand il y a de la concurrence, donc après la sortie de LLama 2, il a été rapidement signalé qu'OpenAI avait également commencé à envisager l'open-sourcing GPT-3.5 dans un délai de six mois.

3. Fermeture écologique. À l'heure actuelle, les solutions informatiques et la transformation numérique dans tous les domaines de la vie utilisent un grand nombre de technologies et d'applications open source pour créer un écosystème open source à grande échelle, permettant aux talents informatiques et aux entreprises d'utiliser des technologies connexes, ce qui est très utile pour une commercialisation ultérieure. Par exemple, Microsoft, le partenaire/investisseur d'OpenAI, a également choisi de devenir cette fois-ci le partenaire principal de Llama 2, en aidant les développeurs individuels et les petites et moyennes entreprises à faire appel à Llama 2 au moindre coût, ce qui est sans aucun doute un grand avantage pour azur.

Tous les grands modèles open source ne peuvent pas réussir, et l'écologie est la principale douve.

**Biscuit sandwich, où vas-tu ? **

Tout comme iOS et Android, le système d'exploitation mobile, la concurrence entre l'open source et la source fermée n'est pas un combat "à mort" dans un certain domaine, mais chacun prend un chemin différencié et inaugure son propre monde. Il en va de même pour les grands modèles.

Les modèles à grande échelle à source fermée sont ouverts pour accueillir les clients, les modèles à grande échelle à source ouverte sont en plein essor et tout le monde a un bel avenir.

Cela étant, pourquoi certains experts pensent-ils que l'open source de Llama 2 est un énorme bond en avant pour l'open source, mais un coup dur pour les grandes entreprises de modèles fermés ?

Qui a-t-il touché ?

La réponse devrait être qu'il s'agit d'un fabricant de modèles de base à grande échelle qui n'est pas disposé à être uniquement une couche d'application, mais également incapable de submerger un grand fabricant.

Les chercheurs de Google ont écrit un jour qu'en raison de la communauté open source, nous (Google et OpenAI) n'avons pas de fossé. Cependant, OpenAI a également de grands modèles à source fermée tels que GPT-4 comme fonctionnalité qui tue.Ce n'est que lorsqu'il est obligé d'ouvrir la source qu'il envisage l'open source GPT-3.5.Il y a une lacune technique dedans. De plus, la source ouverte de GPT-3.5 n'a révélé que le bouche à oreille, et les progrès spécifiques sont encore inconnus.

Par conséquent, ces principaux fabricants de technologies et géants du cloud, tels que Google à l'étranger, OpenAI et BATH national, ont des avantages en termes de cartes, d'argent, de talents, de données, de connaissance du marché et de clientèle.. Prendre la voie des sources fermées pour achever la commercialisation et l'industrialisation de grands modèles présente certains avantages et obstacles de premier arrivé.

C'est une douleur pour les fabricants de deuxième et troisième rangs qui veulent former le grand modèle de base à usage général.

Auparavant, de grandes et petites entreprises technologiques et diverses institutions de recherche scientifique du monde entier se sont rassemblées pour former de grands modèles de base, tels que certaines licornes d'IA de vision artificielle, qui sont accidentellement devenues des "biscuits sandwich" entre la couche de base et la couche d'application.

Il ne peut pas battre GPT en termes de résistance et ne peut pas battre Llama en termes de coût.Le grand modèle de base à usage général entraîné est déjà obsolète avant son ouverture officielle à un usage commercial, et il est destiné à appartenir au passé. Le marché ne peut pas concurrencer les géants, le degré d'ouverture n'est pas aussi bon que celui de la communauté open source et il est quasiment impossible de récupérer les coûts de développement élevés.

Il peut être judicieux de renoncer au plus vite au grand modèle.

Par exemple, le modèle à grande échelle d'une entreprise nationale d'IA a été précédemment privatisé au prix de 300 000 yuans par an, puis il a été annoncé qu'il était complètement ouvert à la recherche universitaire et qu'il a été autorisé pour une utilisation commerciale gratuite. Il y a aussi la possibilité de commercialisation (comme Linux/Android/Red Hat) dans la communauté open source des modèles à grande échelle, et en même temps, cela peut éviter le "tête-à-tête" avec le modèle général à grande échelle de la tête.

Pour les développeurs de couches d'application et les intégrateurs ISV, une bonne utilisation des grands modèles à source fermée avec une forte acceptation de l'industrie peut permettre aux clients de les accepter plus rapidement, d'être plus adaptés aux besoins commerciaux d'un déploiement personnalisé privatisé, et d'accélérer l'atterrissage commercial et la croissance des revenus.

Pour les start-ups d'IA, l'open source peut être utilisé directement et éviter la création de roues répétées. Il peut s'agir d'une méthode de commercialisation par essais et erreurs plus idéale et peu coûteuse. "Signaler le groupe pour s'échauffer" contribue à des projets open source à grande échelle, favorise le développement de communautés open source à grande échelle et recevra également des commentaires de la communauté et des commentaires des entreprises.

Le développement du modèle à grande échelle de la Chine à un niveau élevé nécessite non seulement le premier modèle à grande échelle à source fermée au monde pour prendre les devants, mais également une communauté de modèles à grande échelle à source ouverte avec une influence mondiale.

La route est obstruée et longue, mais le voyage approche. Peut souhaiter adopter une attitude constructive pour examiner les différends entre les sources ouvertes et les sources fermées, donner une certaine confiance au grand modèle national de sources fermées, et également encourager et soutenir la communauté open source nationale.