Rapport de recherche| "IA générative" : application, recherche et supervision travaillent ensemble pour ouvrir la voie de l'innovation de l'intelligence artificielle générative
Titre original : "Qiming Headlines | Qiming Venture Partners et Unfinished Research ont publié conjointement le rapport "Generative AI" | L'état de l'IA générative 2023"
Lors de la Conférence mondiale sur l'intelligence artificielle 2023 (WAIC)** Forum Qiming Venture Partners "Generative AI and Large-scale Models: Change and Innovation", Qiming Venture Partners s'est associé à Unfinished Research pour publier conjointement un rapport à succès "Generative IA 》| État de l'IA générative 2023. **
Si 2022 est appelée l'année de l'intelligence artificielle générative, des percées ont été faites dans l'application des modèles de diffusion, ChatGPT est né, et une série d'articles de recherche révolutionnaires ont été publiés. En 2023, le grand modèle sera poussé à son apogée, avec la sortie de GPT-4 en tant que Le signe, l'intelligence artificielle générative, est entré dans la phase d'application innovante vers la direction de l'intelligence artificielle générale.
**La caractéristique la plus importante de cette étape est que l'application, la recherche et la supervision travaillent ensemble pour ouvrir la voie innovante de l'intelligence artificielle générative. **
APPLICATIONS INNOVANTES
Les gens ont rapidement vu l'émergence d'une nouvelle écologie d'entreprise à partir de l'intelligence artificielle générative, vu couche après couche de technologie, comme les calculs, les modèles et les applications ; vu le contenu généré, comme le texte, les images, les vidéos, les codes, les structures 3D, les multi -modalité ; voir aussi données ouvertes, données verticales, données synthétiques, données vectorielles, pour grands et petits modèles.
L'intelligence artificielle générative semble être acceptée avec plus d'enthousiasme en Chine : le gouvernement encourage le développement de l'intelligence artificielle générale ; aucune grande entreprise ne peut l'ignorer ; de nombreuses petites et moyennes entreprises engagées dans le travail de la connaissance l'ont déjà utilisée en premier. ** Face à cette technologie révolutionnaire, toutes les entreprises sont concernées. Ils ont des rythmes différents et des degrés d'implication différents, et ils sont devenus des défenseurs, des innovateurs et des adoptants sous la vague des nouvelles technologies. Leurs marges bénéficiaires sont modifiées en permanence. **
La puissance de calcul est actuellement la ressource la plus rare, et elle est aussi dans la position la plus rentable. ** La puissance de calcul est la plus grande partie de la structure de coûts du grand modèle, et les performances du GPU déterminent en fait le rythme de cette industrie émergente. ** Avec l'avancement de la puissance de calcul et des modèles, de plus en plus de start-ups affluent. Elles ont saisi le dividende du temps, mais elles sont également confrontées à la concurrence et à un éventuel écrasement géant. On peut dire que c'est l'océan bleu des start-ups, et il y a aussi des récifs cachés sous le canal.
**La concurrence favorise l'innovation. ** Contrairement à l'émergence rapide des startups vers les outils de productivité en 2022, en 2023, une plus grande proportion de nouvelles entreprises se concentrera sur l'innovation des technologies sous-jacentes ; les startups à grande échelle ont également commencé à se différencier, et à l'ascendant startups générales à grande échelle Dans le même temps, de nombreuses entreprises verticales à grande échelle dans des directions spécifiques telles que les soins médicaux, le commerce électronique, la recherche scientifique, l'industrie, la conduite autonome et la robotique ont commencé à émerger. **
Recherche aux frontières
2022 et 2023 sont les deux années où la technologie de l'intelligence artificielle générative fera des percées. Nous avons trié les articles et constaté qu'une caractéristique importante dans le domaine de l'intelligence artificielle générative est l'intégration étroite des processus de recherche et d'innovation, dont beaucoup sont mis en œuvre au sein de entreprises. , déployer rapidement des cas d'utilisation et des produits. ** Cette intégration de la recherche et de l'entrepreneuriat, des start-ups et du capital-risque a joué un rôle important, et l'investissement dans la recherche et les talents des géants américains de la technologie et des grandes sociétés d'intelligence artificielle, y compris la recherche de certaines technologies sous-jacentes, ont dépassé les universités au cours des années. années et d'autres institutions de recherche.
**Les frontières de l'intelligence artificielle se projettent dans le futur. ** Bien que des rapports techniques de GPT-4 aux documents de recherche de Microsoft, il ait montré qu'il possède une capacité de traitement de texte proche de l'homme, une capacité de raisonnement mathématique et des connaissances dans de nombreux domaines professionnels. "Nous pensons qu'il peut raisonnablement être considéré comme une version précoce (bien qu'encore incomplète) d'un système d'intelligence générale artificielle (AGI)." trop. Tels que l'étalonnage de la confiance, la mémoire à long terme, l'apprentissage continu, la personnalisation, la planification et le saut de concept, la transparence, les erreurs cognitives et l'irrationalité, etc. **
**L'axe de recherche le plus important de ces six derniers mois est de déchiffrer et de comprendre "l'émergence" mystérieuse et passionnante de l'intelligence dans les grands modèles. ** Les grands modèles doivent non seulement surpasser la capacité de prédire le mot suivant, mais également avoir besoin d'un mécanisme profond plus riche et plus complexe de « réflexion lente » pour superviser le mécanisme de « réflexion rapide » pour prédire le mot suivant.
**La meilleure recherche de pointe doit être d'étudier et de résoudre les problèmes rencontrés dans l'application de la technologie à grande échelle. **Recherche sur la façon de réduire les hallucinations, d'ajuster le grand modèle pour produire du contenu réel avec plus de précision et d'entraîner une capacité de raisonnement plus forte ; comment entraîner le modèle de manière plus intensive, abaisser le seuil, lancer de nouveaux produits et laisser plus de gens de tous horizons la vie et les consommateurs Comment interagir avec le monde physique réel comme un être humain ; comment devenir un assistant des êtres humains dans un travail complexe, concevoir et aider à réaliser des expériences scientifiques ; comment influencer l'emploi et apporter des réponses politiques ; comment faire de l'intelligence artificielle sûr et crédible.
Réglementation| Sécurité| Politique| Talent
La réponse réglementaire du gouvernement à l'intelligence artificielle générative est assez opportune et différentes caractéristiques sont apparues dans différents pays. ** Tout en introduisant rapidement des mesures réglementaires pour l'intelligence artificielle générative et en sollicitant des avis, la Chine encourage également le développement de l'intelligence artificielle générale. Pékin, Shanghai et Shenzhen sont les premiers échelons les plus ambitieux et ont tous proposé des recherches plus ambitieuses sur l'intelligence artificielle, l'innovation et les objectifs industriels. ** L'UE continue de montrer la voie en matière de réglementation et de législation, puisqu'elle a lancé le RGPD il y a 5 ans. Les États-Unis sont plus préoccupés par la position de leader de la technologie de l'intelligence artificielle et élaborent un cadre réglementaire basé sur le principe de la gestion des risques.
** À long terme, le talent aura plus d'impact sur l'avenir de l'intelligence artificielle que la puissance de calcul. ** Le nombre d'articles publiés par des chercheurs chinois a dépassé celui des États-Unis, mais les États-Unis ont toujours un net avantage au sommet de la pyramide, qu'il s'agisse de recherche ou d'entrepreneuriat. À l'échelle mondiale, l'accent de la recherche et de l'innovation sur l'intelligence artificielle se déplace des universités vers les entreprises.Les trois principales institutions aux États-Unis avec le plus grand nombre de chercheurs sont Google, Microsoft et Meta, qui recrutent ensemble 30 % des meilleurs chercheurs aux États-Unis. . La Chine est toujours dominée par les universités, et seul Alibaba se classe parmi les 10 premiers.
Le ministère de la Science et de la Technologie a proposé que les entreprises d'intelligence artificielle acceptent l'examen d'éthique scientifique et technologique ; le sujet de l'examen devrait créer un comité (d'examen) d'éthique scientifique et technologique. Les entreprises américaines d'intelligence artificielle ont commencé à mettre en place plus tôt un département d'intelligence artificielle responsable et crédible.De l'année dernière à cette année, certains ajustements ont été apportés, reflétant que lorsque l'intelligence artificielle générative subit des changements, les entreprises cherchent à utiliser de meilleures technologies et solutions. Déployez les nouvelles technologies de manière sûre et responsable.
Dix prospects
Modèle de grande langue
En 2024, la Chine disposera d'un modèle polyvalent multilingue comparable au GPT-4 ;
Long Context mènera la prochaine percée dans la technologie LLM;
Avant qu'un grand modèle de langage plus prometteur n'émerge, afin d'obtenir de meilleurs résultats dans le domaine vertical, les trois méthodes suivantes coexisteront :
i) Sans modifier la distribution des données, utilisez des données plus générales pour la pré-formation générale du modèle à grande échelle et n'introduisez pas spécifiquement de données de l'industrie,
ii) Utiliser des données spécifiques à l'industrie pour affiner (Fine-Tuning) le grand modèle général,
iii) Utiliser des ensembles de données avec une proportion plus élevée de données de l'industrie pour la pré-formation du modèle vertical.
Modèle multimodal
4 Le modèle de diagramme de Vinsen actuel de CLIP + Diffusion est un état transitoire, et une structure de modèle intégré apparaîtra dans les 2 prochaines années ;
Le modèle Text-to-Image de nouvelle génération aura une contrôlabilité plus forte.Il combinera les capacités du modèle sous-jacent et de la méthode de contrôle frontale, et la conception du modèle se concentrera sur la combinaison avec la méthode de contrôle ;
Avant 2025, les modes vidéo et 3D inaugureront des modèles jalons, améliorant considérablement l'effet de génération;
L'intelligence incarnée (IA incarnée) représentée par PALM-E a montré un grand potentiel dans le sens de la perception, de la compréhension et de la prise de décision des robots, mais il existe de grands défis dans la formation et la fiabilité actuelles ;
À court terme, Transformer devient la structure de réseau dominante de plusieurs modalités, mais une méthode générale de compression de l'ensemble du monde numérique n'est pas encore apparue. Transformer n'est pas la fin de la technologie de l'intelligence artificielle.
Opportunité commerciale
D'ici 3 ans, le cœur des applications subversives de l'IA viendra de l'innovation du modèle sous-jacent, les deux ne peuvent pas être découplés, et le rôle du modèle sera plus important que celui de la conception du produit ;
Le marché actuel de l'IA générative en est aux premiers stades de la domination technologique, et il existe des opportunités pour les sociétés de plates-formes d'une valeur marchande de centaines de milliards de dollars.
Lire le texte original
Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Rapport de recherche| "IA générative" : application, recherche et supervision travaillent ensemble pour ouvrir la voie de l'innovation de l'intelligence artificielle générative
Source : Qiming Venture Partners
Titre original : "Qiming Headlines | Qiming Venture Partners et Unfinished Research ont publié conjointement le rapport "Generative AI" | L'état de l'IA générative 2023"
Lors de la Conférence mondiale sur l'intelligence artificielle 2023 (WAIC)** Forum Qiming Venture Partners "Generative AI and Large-scale Models: Change and Innovation", Qiming Venture Partners s'est associé à Unfinished Research pour publier conjointement un rapport à succès "Generative IA 》| État de l'IA générative 2023. **
**La caractéristique la plus importante de cette étape est que l'application, la recherche et la supervision travaillent ensemble pour ouvrir la voie innovante de l'intelligence artificielle générative. **
APPLICATIONS INNOVANTES
Les gens ont rapidement vu l'émergence d'une nouvelle écologie d'entreprise à partir de l'intelligence artificielle générative, vu couche après couche de technologie, comme les calculs, les modèles et les applications ; vu le contenu généré, comme le texte, les images, les vidéos, les codes, les structures 3D, les multi -modalité ; voir aussi données ouvertes, données verticales, données synthétiques, données vectorielles, pour grands et petits modèles.
L'intelligence artificielle générative semble être acceptée avec plus d'enthousiasme en Chine : le gouvernement encourage le développement de l'intelligence artificielle générale ; aucune grande entreprise ne peut l'ignorer ; de nombreuses petites et moyennes entreprises engagées dans le travail de la connaissance l'ont déjà utilisée en premier. ** Face à cette technologie révolutionnaire, toutes les entreprises sont concernées. Ils ont des rythmes différents et des degrés d'implication différents, et ils sont devenus des défenseurs, des innovateurs et des adoptants sous la vague des nouvelles technologies. Leurs marges bénéficiaires sont modifiées en permanence. **
La puissance de calcul est actuellement la ressource la plus rare, et elle est aussi dans la position la plus rentable. ** La puissance de calcul est la plus grande partie de la structure de coûts du grand modèle, et les performances du GPU déterminent en fait le rythme de cette industrie émergente. ** Avec l'avancement de la puissance de calcul et des modèles, de plus en plus de start-ups affluent. Elles ont saisi le dividende du temps, mais elles sont également confrontées à la concurrence et à un éventuel écrasement géant. On peut dire que c'est l'océan bleu des start-ups, et il y a aussi des récifs cachés sous le canal.
**La concurrence favorise l'innovation. ** Contrairement à l'émergence rapide des startups vers les outils de productivité en 2022, en 2023, une plus grande proportion de nouvelles entreprises se concentrera sur l'innovation des technologies sous-jacentes ; les startups à grande échelle ont également commencé à se différencier, et à l'ascendant startups générales à grande échelle Dans le même temps, de nombreuses entreprises verticales à grande échelle dans des directions spécifiques telles que les soins médicaux, le commerce électronique, la recherche scientifique, l'industrie, la conduite autonome et la robotique ont commencé à émerger. **
Recherche aux frontières
2022 et 2023 sont les deux années où la technologie de l'intelligence artificielle générative fera des percées. Nous avons trié les articles et constaté qu'une caractéristique importante dans le domaine de l'intelligence artificielle générative est l'intégration étroite des processus de recherche et d'innovation, dont beaucoup sont mis en œuvre au sein de entreprises. , déployer rapidement des cas d'utilisation et des produits. ** Cette intégration de la recherche et de l'entrepreneuriat, des start-ups et du capital-risque a joué un rôle important, et l'investissement dans la recherche et les talents des géants américains de la technologie et des grandes sociétés d'intelligence artificielle, y compris la recherche de certaines technologies sous-jacentes, ont dépassé les universités au cours des années. années et d'autres institutions de recherche.
**Les frontières de l'intelligence artificielle se projettent dans le futur. ** Bien que des rapports techniques de GPT-4 aux documents de recherche de Microsoft, il ait montré qu'il possède une capacité de traitement de texte proche de l'homme, une capacité de raisonnement mathématique et des connaissances dans de nombreux domaines professionnels. "Nous pensons qu'il peut raisonnablement être considéré comme une version précoce (bien qu'encore incomplète) d'un système d'intelligence générale artificielle (AGI)." trop. Tels que l'étalonnage de la confiance, la mémoire à long terme, l'apprentissage continu, la personnalisation, la planification et le saut de concept, la transparence, les erreurs cognitives et l'irrationalité, etc. **
**L'axe de recherche le plus important de ces six derniers mois est de déchiffrer et de comprendre "l'émergence" mystérieuse et passionnante de l'intelligence dans les grands modèles. ** Les grands modèles doivent non seulement surpasser la capacité de prédire le mot suivant, mais également avoir besoin d'un mécanisme profond plus riche et plus complexe de « réflexion lente » pour superviser le mécanisme de « réflexion rapide » pour prédire le mot suivant.
**La meilleure recherche de pointe doit être d'étudier et de résoudre les problèmes rencontrés dans l'application de la technologie à grande échelle. **Recherche sur la façon de réduire les hallucinations, d'ajuster le grand modèle pour produire du contenu réel avec plus de précision et d'entraîner une capacité de raisonnement plus forte ; comment entraîner le modèle de manière plus intensive, abaisser le seuil, lancer de nouveaux produits et laisser plus de gens de tous horizons la vie et les consommateurs Comment interagir avec le monde physique réel comme un être humain ; comment devenir un assistant des êtres humains dans un travail complexe, concevoir et aider à réaliser des expériences scientifiques ; comment influencer l'emploi et apporter des réponses politiques ; comment faire de l'intelligence artificielle sûr et crédible.
Réglementation| Sécurité| Politique| Talent
La réponse réglementaire du gouvernement à l'intelligence artificielle générative est assez opportune et différentes caractéristiques sont apparues dans différents pays. ** Tout en introduisant rapidement des mesures réglementaires pour l'intelligence artificielle générative et en sollicitant des avis, la Chine encourage également le développement de l'intelligence artificielle générale. Pékin, Shanghai et Shenzhen sont les premiers échelons les plus ambitieux et ont tous proposé des recherches plus ambitieuses sur l'intelligence artificielle, l'innovation et les objectifs industriels. ** L'UE continue de montrer la voie en matière de réglementation et de législation, puisqu'elle a lancé le RGPD il y a 5 ans. Les États-Unis sont plus préoccupés par la position de leader de la technologie de l'intelligence artificielle et élaborent un cadre réglementaire basé sur le principe de la gestion des risques.
** À long terme, le talent aura plus d'impact sur l'avenir de l'intelligence artificielle que la puissance de calcul. ** Le nombre d'articles publiés par des chercheurs chinois a dépassé celui des États-Unis, mais les États-Unis ont toujours un net avantage au sommet de la pyramide, qu'il s'agisse de recherche ou d'entrepreneuriat. À l'échelle mondiale, l'accent de la recherche et de l'innovation sur l'intelligence artificielle se déplace des universités vers les entreprises.Les trois principales institutions aux États-Unis avec le plus grand nombre de chercheurs sont Google, Microsoft et Meta, qui recrutent ensemble 30 % des meilleurs chercheurs aux États-Unis. . La Chine est toujours dominée par les universités, et seul Alibaba se classe parmi les 10 premiers.
Le ministère de la Science et de la Technologie a proposé que les entreprises d'intelligence artificielle acceptent l'examen d'éthique scientifique et technologique ; le sujet de l'examen devrait créer un comité (d'examen) d'éthique scientifique et technologique. Les entreprises américaines d'intelligence artificielle ont commencé à mettre en place plus tôt un département d'intelligence artificielle responsable et crédible.De l'année dernière à cette année, certains ajustements ont été apportés, reflétant que lorsque l'intelligence artificielle générative subit des changements, les entreprises cherchent à utiliser de meilleures technologies et solutions. Déployez les nouvelles technologies de manière sûre et responsable.
Dix prospects
Modèle de grande langue
En 2024, la Chine disposera d'un modèle polyvalent multilingue comparable au GPT-4 ;
Long Context mènera la prochaine percée dans la technologie LLM;
Avant qu'un grand modèle de langage plus prometteur n'émerge, afin d'obtenir de meilleurs résultats dans le domaine vertical, les trois méthodes suivantes coexisteront :
i) Sans modifier la distribution des données, utilisez des données plus générales pour la pré-formation générale du modèle à grande échelle et n'introduisez pas spécifiquement de données de l'industrie,
ii) Utiliser des données spécifiques à l'industrie pour affiner (Fine-Tuning) le grand modèle général,
iii) Utiliser des ensembles de données avec une proportion plus élevée de données de l'industrie pour la pré-formation du modèle vertical.
Modèle multimodal
4 Le modèle de diagramme de Vinsen actuel de CLIP + Diffusion est un état transitoire, et une structure de modèle intégré apparaîtra dans les 2 prochaines années ;
Le modèle Text-to-Image de nouvelle génération aura une contrôlabilité plus forte.Il combinera les capacités du modèle sous-jacent et de la méthode de contrôle frontale, et la conception du modèle se concentrera sur la combinaison avec la méthode de contrôle ;
Avant 2025, les modes vidéo et 3D inaugureront des modèles jalons, améliorant considérablement l'effet de génération;
L'intelligence incarnée (IA incarnée) représentée par PALM-E a montré un grand potentiel dans le sens de la perception, de la compréhension et de la prise de décision des robots, mais il existe de grands défis dans la formation et la fiabilité actuelles ;
À court terme, Transformer devient la structure de réseau dominante de plusieurs modalités, mais une méthode générale de compression de l'ensemble du monde numérique n'est pas encore apparue. Transformer n'est pas la fin de la technologie de l'intelligence artificielle.
Opportunité commerciale
D'ici 3 ans, le cœur des applications subversives de l'IA viendra de l'innovation du modèle sous-jacent, les deux ne peuvent pas être découplés, et le rôle du modèle sera plus important que celui de la conception du produit ;
Le marché actuel de l'IA générative en est aux premiers stades de la domination technologique, et il existe des opportunités pour les sociétés de plates-formes d'une valeur marchande de centaines de milliards de dollars.
Lire le texte original