Grand débat sur le café AIGC: comment surfer sur le vent et les vagues dans le boom de l'IA

Source : Filet Lei Feng

Auteur : Dong Zibo Wang Yue

Titre original : « AIGC : Sous la recrudescence, où est la frontière ?丨GAIR 2023》

Du dessin d'images à l'écriture de poèmes, du copywriting à la création de tableaux, du PPT à l'écriture de codes, si quelqu'un disait que l'IA peut faire toutes ces tâches il y a plus de dix mois, peu de gens le croiraient.

Cependant, la vitesse du développement technologique est toujours explosive : avant la fin de 2023, la vague de l'IA générative a balayé tout le cercle technologique, fasciné et afflué.

Lors de la 7e conférence mondiale GAIR sur l'intelligence artificielle et la robotique, parrainée conjointement par le GAIR Research Institute, Leifeng.com, World Science and Technology Publishing House et Kotler Consulting Group, tous les grands noms du domaine AIGC se sont réunis à l'hôtel Orchard à Singapour pour présenter Le monde partage ses connaissances de première main et les plus récentes sur l'IA générative.

Les intervenants qui ont participé au sous-forum GAIR AIGC et generative content sont :

Pan Xingang, professeur adjoint, École d'informatique et d'ingénierie, Université technologique de Nanyang Congxing Cai, Fondateur de joinrealm.ai Fondateur de la communauté Help&Grow à Singapour, Wang Tong Directeur technique du groupe Lizhi, Ding Ning Chercheur principal, Nanyang Technological University ; Fondateur, Deepir Inc., Wu Pengcheng Directeur de Tencent Overseas Game Publishing Algorithm Center, Lang Jun

Dans la piste actuelle de l'IA, comment garder l'esprit clair et affiner les innovations en matière de technologie, de produits et de modèles commerciaux ? Quelles sont les idées des invités à la réunion, afin qu'ils puissent surfer sur le vent et les vagues dans la montée en puissance de l'IA générative ?

Nanyang Technological University Pan Xingang : Faites glisser et déposez les points clés du contenu visuel, nous n'avons pas utilisé le modèle de diffusion

En ce qui concerne AIGC, dans la voie actuelle, tout le monde pensera toujours à MidJourney, qui est très apprécié à l'étranger, et au support technique qui le sous-tend - le modèle de diffusion.

Cependant, Pan Xingang, professeur adjoint à l'École d'informatique et d'ingénierie de l'Université technologique de Nanyang, qui a déjà étudié auprès du professeur Tang Xiaoou à Hong Kong, a résolument abandonné le modèle de diffusion dans son dernier "édition par glisser-déposer des clés points de contenu visuel". Une technique plus "ancienne" est utilisée - le réseau de confrontation générative (GAN).

Beaucoup de gens voient la puissante capacité de l'IA à générer des images et pensent que l'ère de l'AIGC est arrivée ; mais Pan Xingang a découvert que la « génération d'images » n'est souvent pas la dernière étape du processus créatif de l'utilisateur.

Les ajustements ultérieurs de l'image, en particulier les éléments d'image générés par l'IA, sont souvent pleins d'incertitude. Pour répondre aux besoins des utilisateurs, il est nécessaire de permettre à chaque élément de l'image d'être affiné par l'utilisateur à un stade ultérieur.

Par exemple, l'IA a généré un lion très réaliste. Si les utilisateurs veulent tourner la tête du lion, déplacer sa position ou même changer l'expression du lion, il est difficile de le faire dans la forme actuelle du produit.

Ces opérations semblent simples, mais elles concernent toutes le contrôle fin des propriétés spatiales des objets, et elles font toujours face à d'énormes défis techniques.

Dans le passé, il y avait un moyen de suivre l'idée du diagramme de Vincent, de modifier l'image en fonction des indications du texte, par exemple, "déplacer le nez du lion vers la droite de 30 pixels".

Mais il y a aussi des problèmes avec cette solution :

D'une part, le modèle de texte doit avoir une compréhension suffisamment forte des attributs spatiaux des objets pour répondre aux différents besoins et méthodes d'édition des utilisateurs et rendre l'interaction plus intuitive ;

D'autre part, pour un modèle de langage, il est difficile de comprendre avec précision la longueur et la taille d'une image, ce qui apporte également beaucoup de problèmes à l'édition du contenu visuel.

Au niveau de l'interaction, pour les utilisateurs, la plus intuitive et la plus facile à utiliser est sans aucun doute l'interaction glisser-déposer ; tandis qu'au niveau de la mise en œuvre technique, les utilisateurs n'ont qu'à spécifier un point de capture rouge et un point cible bleu, et AI volonté La partie sémantique de l'image correspondant au point rouge est déplacée vers la position du point bleu pour obtenir l'effet d'édition des attributs spatiaux de l'image.

Dans le passé, certaines personnes ont développé des fonctions similaires, mais généralement l'image à éditer doit être maillée, et il y a certaines hypothèses sur la hauteur de l'objet - l'image éditée n'est qu'une distorsion 2D de l'image d'origine, il y a no ne peut pas générer de nouveau contenu.

Il doit être à la fois précis et générer du contenu.Pan Xingang n'a pas utilisé le modèle de diffusion le plus en vogue actuel lors de la recherche technique et du jugement, mais a choisi la technologie du réseau de confrontation générative. Premièrement, l'espace image décrit par GAN est très continu, beaucoup plus continu que le modèle de diffusion ; deuxièmement, l'espace latent du contact de GAN est très adapté à l'édition des propriétés.

Avec le développement de la recherche de l'équipe de Pan Xingang, ils ont pris en charge l'édition multipoint sur la base d'origine, qui peut changer la posture des objets dans l'image, redessiner la forme d'une voiture ou changer la perspective d'une voiture, donc qu'un chaton Ouvrez un œil et fermez un œil, changez la coiffure ou l'expression, la posture ou la longueur des vêtements du portrait, afin que les utilisateurs puissent éditer l'image plus facilement, et même compléter la génération de contenu vidéo de cette manière.

À l'heure actuelle, ce travail est en open source sur GitHub et a obtenu 32 000 étoiles.

À l'avenir, la combinaison du GAN et du modèle de diffusion est la vision de Pan Xingang pour le travail en cours - non seulement la capacité de génération du modèle de diffusion, mais également les avantages du GAN dans l'édition d'images, et il peut également être possible d'appliquer ces capacités à la vidéo et aux contenus 3D et 4D, le futur AIGC sera plus intelligent et plus facile à utiliser.

joinrealm.ai Congxing Cai : Créer un réseau social basé sur AIGC

Congxing Cai de joinrealm.ai rêve d'être un réseau social AIGC.

A rejoint Snapchat vers 2016 et était responsable du développement de produits de courtes vidéos dans l'entreprise. Cai Congxing a connu la période de développement ultra-rapide de l'industrie de la vidéo courte. Et après que TikTok soit devenu un produit phénoménal à l'étranger sans aucune contestation, Cai Congxing a eu d'autres pensées :

"Nous pensons que sur la voie du contenu vidéo court productif, tout le monde a déjà évolué dans une certaine direction ; et à l'avenir, dans le domaine de la vidéo générative, l'industrie aura certainement une nouvelle percée."

Alors Congxing Cai et ses amis ont fondé joinrealm.ai.

Cai Congxing estime que l'AIGC est un concept particulièrement large et abstrait, et la direction de joinrealm.ai se situe principalement à mi-chemin entre "fournir directement l'API" et "compléter l'innovation de l'interaction homme-ordinateur" - l'exploration du modèle commercial de création de contenu.

"Pourquoi le mode de création de contenu est-il important ? D'après notre observation de courtes vidéos au cours des dix dernières années, un grand changement est en fait dû à l'émergence des caméras intelligentes. La popularité des caméras intelligentes, dans une large mesure, n'est pas Au lieu de donner à tout le monde un téléphone portable, il a donné au monde des milliards d'infrastructures mobiles."

Du "mot" à "l'histoire" est une clé essentielle de l'esprit d'entreprise de joinrealm.ai - avec l'aide de l'IA, les utilisateurs peuvent présenter le contenu dans leur esprit sous forme d'images, tout comme une "caméra pensante".

Pour obtenir cet effet, Cai Congxing a découvert dans l'exploration de joinrealm.ai qu'il reste encore de nombreux problèmes à résoudre :

Tout d'abord, il existe encore des différences avec le langage naturel - en fin de compte, il s'agit toujours d'un langage de programmation difficile à comprendre intuitivement pour le public. Les utilisateurs doivent encore passer par de nombreuses étapes "try-fail-try" pour générer le contenu qu'ils souhaitent ;

Deuxièmement, le modèle de base ne répond toujours pas pleinement aux besoins des utilisateurs d'AIGC aujourd'hui : si l'on prend l'exemple de Stable Diffusion, la proportion de nouveaux utilisateurs prêts à partager le contenu généré est probablement inférieure à 20 % aujourd'hui ;

Le manque de concepts affinables par les utilisateurs est également le premier problème majeur auquel l'AIGC est actuellement confrontée : il est difficile pour les utilisateurs de contrôler la génération d'IA à travers un ensemble de concepts définis, et il est également difficile de contrôler leur propre "conte" ;

Enfin, c'est l'équilibre entre l'efficacité des résultats de génération d'images et le coût.Comment générer un contenu de meilleure qualité à un prix inférieur est également un problème qui ne peut être ignoré par l'AIGC pour le moment.

Afin de relever ces défis, Cai Congxing et son équipe ont rencontré près d'une centaine de créateurs d'IA influents et ont constaté que la plupart de leurs méthodes de production sont uniques et rarement identiques, et qu'ils utilisent tous un grand nombre d'outils pour déboguer et s'ajuster en permanence.

En fin de compte, joinrealm.ai a décidé de terminer la mise à niveau en trois points clés après recherche et jugement :

Le premier est la chaîne d'outils, qui améliore l'expérience utilisateur en complétant l'optimisation de l'interface utilisateur ;

La seconde est de permettre aux utilisateurs de créer leur propre réglage. Par exemple, en utilisant la description de "I", le produit peut utiliser la propre image de l'utilisateur comme base pour générer plus précisément l'image qu'il souhaite.

La troisième consiste à créer une communauté par vous-même, afin que les utilisateurs puissent obtenir plus d'enseignement et d'inspiration dans la communauté.

Table ronde : AIGC "Going Global"

Wang Tong, fondateur de la communauté Help&Grow à Singapour, a servi de modérateur et a discuté avec Cai Congxing, fondateur de joinrealm.ai, Ding Ning, CTO de Lychee Group, Wu Pengcheng, chercheur principal à l'Université technologique de Nanyang et fondateur de Deepir Inc. , et Lang Jun, directeur de Tencent Overseas Game Publishing Algorithm Center Le sujet brûlant actuel de l'AIGC et du contenu génératif.

Est-il plus facile pour le modèle de commercialisation de l'AIGC d'atterrir dans le domaine To B ou dans le domaine To C ? Les invités ont envisagé le futur pied à terre en se basant sur leurs propres expériences.

Lang Jun pense que To B n'est pas facile à faire, car une solution doit être abstraite et affinée en fonction de plusieurs cas réels différents. En termes de To C, cela peut aider de nombreux joueurs à s'intégrer rapidement dans le jeu lors de l'utilisation du jeu. jeu. Lorsqu'ils travaillent sur l'algorithme en interne, Lang Jun et l'équipe jugeront également en permanence quel type de modèle peut mieux approfondir la scène de l'atterrissage AIGC.

Wu Pengcheng a déclaré que To B et To C ont des opportunités, mais qu'une grande entreprise doit être To C. Il a combiné la caméra Miaoya, les lunettes Apple VR, le streaming humain numérique en direct et d'autres sociétés qui ont réalisé des réalisations au niveau de la ToC cette année, soulignant que l'AIGC To C donnera naissance à de nombreuses applications intéressantes.

Ding Ning pense que la commercialisation de l'AIGC n'en est encore qu'à ses débuts.Bien que certaines entreprises aient pris l'initiative de réaliser des réalisations, la plupart d'entre elles sont encore en cours. Il a particulièrement souligné que pour les entrepreneurs technologiques, ils ne devraient pas seulement être immergés dans le toucher de la technologie, mais devraient également tenir davantage compte des besoins et des points faibles des utilisateurs. En ce qui concerne la mise en œuvre de To B et To C, il a déclaré que To B a un grand marché et a besoin de capacités et de ressources, tandis que To C a une grande concurrence et nécessite un sens aigu du marché et la capacité de faire fonctionner la communauté. prometteur à l'avenir.

En ce qui concerne l'internationalisation de l'AIGC et la mondialisation, plusieurs invités ont partagé leurs expériences.

Lang Jun a observé que l'équipe nationale a un avantage de talent très dense, des canaux de partage des connaissances efficaces et un fort intérêt pour l'industrie Internet.En fait, il n'y a pas beaucoup de ressources pour cette allocation à l'étranger. Il a souligné qu'actuellement, l'AIGC n'a pas un modèle commercial particulièrement mature, donc celui qui a une meilleure capacité à combiner les ressources sera plus susceptible de "s'épuiser".

Ding Ning estime que lorsque AIGC va à l'étranger, il faut d'abord sortir et baisser son chiffre. Il ne doit pas nécessairement atteindre un certain niveau de produit. Il se rend compte qu'il est difficile de réussir sur le marché d'un coup en deux à trois années. Il a ajouté qu'il est très important de respecter le marché étranger.Il existe d'énormes différences de culture, de langue, de lois et de réglementations, et il est nécessaire d'avoir une compréhension claire du marché local.

Wu Pengcheng estime qu'il existe une grande opportunité pour l'AIGC d'aller à l'étranger. D'une part, la technologie chinoise peut être utilisée à l'étranger ; d'autre part, les pays étrangers ont également des besoins locaux. Les deux peuvent être profondément intégrés, ce qui générera d'énormes valeur. Dans le même temps, il faut également considérer qu'aller en mer n'est que la première étape, et il est également nécessaire de réfléchir à la manière de mieux voyager à l'étranger.