Depuis le second semestre de cette année, Kuaishou développe fréquemment une grande activité de mannequin.
GenAI New World a appris de première main que les derniers progrès de Kuaishou dans le domaine de l'AIGC : le modèle graphique Vincent « Kolors » auto-développé a été entièrement lancé au sein de l'entreprise pour des tests internes.
Après le lancement du grand modèle linguistique « KwaiYii » le mois dernier, Kuaishou a lancé le grand modèle graphique Wensheng « Kolors » en moins d'un mois. « Par la suite, le territoire de « Vincent Pictures » a été ajouté.
GenAI New World a appris des membres de recherche et développement de l'équipe du projet Ketu que le grand modèle « Ketu » Wenshengtu possède trois caractéristiques exceptionnelles, à savoir une compréhension puissante du texte, une caractérisation riche des détails et une transformation de style diversifiée.
Dès la présentation de la page d'accueil de la version test de la plateforme interne grand modèle « Ketu », on voit qu'elle dispose déjà d'un prototype de produit mature.
Page d'accueil bêta de la plateforme interne grand modèle "Ketu"
Bien que le grand modèle « Ketu » n'ait pas encore commencé les tests externes, nous pouvons encore avoir un aperçu de ses performances spécifiques grâce à la fonction « AI Game Review » lancée par Kuaishou App il y a deux jours.
"AI Game Review" a été lancé pour des tests internes sur le site principal de Kuaishou le 15 septembre, avec le support technique fourni par le grand modèle "Ketu" Wenshengtu.
Juste au moment où nous pensions qu'il s'agissait d'un autre outil Wenshengtu uniquement destiné aux créateurs de vidéos courtes et qu'il apparaîtrait dans le backend de montage vidéo, Kuaishou a étonnamment mis la fonction « AI Play Review » dans la zone de commentaires.
En d'autres termes, lorsque vous commenterez une certaine courte vidéo à l'avenir, vous n'aurez peut-être plus besoin de rechercher minutieusement un package image/émoticône approprié. Kuaishou peut en générer un directement pour vous.
Le jour du lancement de « AI Game Review », les utilisateurs qualifiés pour les tests avaient déjà commencé à laisser des messages de « souhaits » dans la zone de commentaires officielle de Kuaishou.
GenAI New World a également obtenu la qualification pour les tests internes pour la première fois. Jetons un coup d'œil à notre expérience directe.
Tout d'abord, ouvrez la zone de commentaire de n'importe quelle vidéo dans l'application Kuaishou et recherchez le bouton "AI" sur le côté droit de la zone de saisie des commentaires. Vous pouvez facilement accéder à l'interface fonctionnelle "AI Play Review".
La condition préalable pour générer des images est que vous devez saisir un texte d'au moins six mots. Après la saisie, l'icône AI à droite s'allumera automatiquement, vous indiquant que vous pouvez commencer à générer.
Essayez d'abord des descriptions plus conventionnelles pour voir s'il le comprend, comme « un enfant jouant sur une plage ensoleillée ».
Après quelques secondes, un ensemble d'images générées par l'IA apparaîtra ci-dessous. Chaque image est marquée d'un style différent, notamment Makoto Shinkai, pixel art, animation réaliste, style chinois, cyberpunk, Pixar, etc. On dit qu'il y a plus d'une douzaine de types. . Si vous n'êtes pas satisfait des ensembles d'images générés, vous pouvez également cliquer sur « Modifier » dans le coin supérieur droit pour générer un nouvel ensemble d'images.
À en juger par les images générées, la compréhension est plutôt bonne.
Entrez quelques poèmes chinois anciens supplémentaires, et il les comprend réellement :
A en juger par les détails de l'image, qu'il s'agisse de la texture subtile des feuilles et des pétales, ou des étamines clairement définies, il est rare qu'elles soient bien manipulées (les bords morts à la périphérie des feuilles se reflètent également).
On dit que l'équipe de recherche de Kuaishou AI a modifié la formule sous-jacente et la formule d'ajout de bruit de l'algorithme de débruitage, et a en même temps sélectionné un lot de données de haute qualité avec des détails élevés et une esthétique élevée pour mener un apprentissage ciblé dans les étapes ultérieures. d’apprentissage de modèles. Cela peut enrichir les détails et la texture des images générées, ce qui doit être lié à cela.
Entrons quelques phrases avec des significations spécifiques dans le contexte chinois :
Pas mal, au moins le porc effiloché au goût de poisson n'est pas représenté comme un poisson et un morceau de viande, et on sent le piquant du mapo tofu à travers l'écran (il est même garni d'oignon vert haché).
Il peut même comprendre ce qu'est une personne Gan Fan (« Gan Fan » est à l'origine un dialecte mandarin du sud-ouest) :
On peut dire que la compréhension des expressions chinoises dans le grand modèle « Ketu » a été prise en considération dès le début.
Selon le personnel R&D de Kuaishou, Kuaishou AI possède des milliards de données de formation d'images et de textes, qui sont synthétisées à partir de la communauté open source et de la technologie d'IA auto-développée, et couvrent 30 millions de concepts d'entités chinois courants. Modèle CLIP chinois.
Le LLM chinois auto-développé combiné aux fonctionnalités graphiques et textuelles de CLIP est utilisé comme module de compréhension du texte du graphique vincentien, permettant au grand modèle « graphable » de mieux comprendre les concepts caractéristiques chinois et de réduire les problèmes courants dans le domaine des graphiques vincentiens. tels que les concepts complexes et la confusion des attributs.
Cependant, étant donné que la fonction « Revue du jeu AI » est placée dans la zone de commentaire, nous devrions également examiner son fonctionnement dans le scénario de commentaire.
Profitant d'un sujet brûlant, j'ai saisi la description de mon humeur "Je suis très frustré car je n'arrive pas à obtenir un billet de train". "AI Play Review" a quand même généré quelques images intéressantes qui peuvent mieux refléter cette émotion :
Et lorsque j'ai tapé l'expression classique "Je ne comprends pas, mais j'ai été choqué", j'ai trouvé que le style de bonhomme allumette généré et celui de Makoto Shinkai étaient les plus appropriés (le style généré le plus populaire programmé ?) :
Après l'expérience globale, la "AI Game Review" est toujours remarquable. Bien sûr, le principe est toujours que l'IA peut être invitée à fournir des descriptions appropriées et relativement courantes. Et si l'on prend en compte les caractéristiques générales des internautes exprimant librement leurs humeurs et leurs expressions familières lorsqu'ils commentent, cette fonction peut encore être beaucoup explorée.
À partir de la fonction « AI Game Review », nous pouvons en fait voir certaines des réflexions de Kuaishou sur l'application de grands modèles, c'est-à-dire que l'accent est fortement mis sur « l'atterrissage ».
Contrairement à de nombreuses entreprises antérieures qui s'étaient engagées à créer des produits à grand modèle à usage général, les communautés de contenu vidéo court comme Kuaishou devraient accorder plus d'attention à l'intégration avec la communauté dans le développement des fonctions de produits à grand modèle et se soucier de savoir si les utilisateurs peuvent réellement les utiliser. .
Tout comme la fonction « IA dialogue » lancée en août sur la base du grand modèle « Ruyi », une partie de celle-ci est basée sur des scénarios de recherche, permettant aux utilisateurs de trouver le contenu sur la plateforme de manière plus pratique et plus précise (les réponses seront également accompagnées de vidéos, lien Encyclopédie), l'idée de servir les utilisateurs s'étend également aux "revues de jeux IA".
Quant à savoir pourquoi le grand modèle « Ketu » a été publié pour la première fois dans la zone de commentaires du site Kuaishou, la réponse officielle de Kuaishou est :
« Le nombre cumulé de paires d'utilisateurs mutuellement liées des applications Kuaishou dépasse 31,1 milliards, soit une augmentation d'une année sur l'autre de près de 50 %, et l'interaction quotidienne moyenne (y compris les likes, les commentaires et les transferts, etc.) s'élève à 8 milliards de fois. . De courtes vidéos avec une forte adhésion de l'utilisateur La zone de commentaires est devenue l'un des meilleurs scénarios d'application pour les capacités AIGC... (passer du temps et de l'énergie à trouver des images correspondantes) a considérablement inhibé la volonté des utilisateurs de publier des commentaires. L'examen de l'IA peut augmenter considérablement le nombre d'utilisateurs. "Enthousiasme et enthousiasme pour participer aux commentaires. Satisfaction."
Bien sûr, maintenant que le grand modèle « imaginable » est devenu un produit, Kuaishou pourrait avoir de plus grandes ambitions derrière lui.
Lors de la conférence téléphonique sur les résultats du premier trimestre en mai de cette année, le PDG de Kuaishou, Cheng Yixiao, a révélé pour la première fois au monde extérieur les progrès de l'activité de grands modèles de Kuaishou : une grande équipe de recherche et développement de modèles a été créée, s'appuyant sur les technologies passées de l'AIGC. algorithmes et modèles de langage à grande échelle.Accumuler et promouvoir le développement et la formation de grands modèles comme prévu.
Deux mois plus tard, Kuaishou a annoncé le 8 juillet qu'il commencerait les tests internes de son « produit de recherche intelligente de questions et réponses », donnant ainsi le coup d'envoi du lancement d'applications modèles à grande échelle.
Ce qui suit est une sortie relativement intensive de produits et de fonctions : le 8 août, Kuaishou a commencé les tests internes de la fonction « AI Conversation », le 21 août, le grand modèle de langage « Ruyi » a commencé les tests internes et le 15 septembre, le principal Le site Web a lancé des tests internes de la fonction « AI Game Review », jusqu'à aujourd'hui, le grand modèle de « Ketu » Wenshengtu a fait surface...
Il convient de noter que Kuaishou a présenté officiellement et en détail pour la première fois les progrès de son activité de grands modèles lors de la conférence des créateurs photosynthétiques organisée pour les créateurs de plates-formes le 10 août de cette année.
Kuaishou a annoncé lors de cette conférence un certain nombre de développements concernant son activité de modélisme à grande échelle, qui ont été peu divulgués au monde extérieur jusqu'à présent. Cela inclut diverses fonctionnalités de génération de texte, d'image, de vidéo et même de matériel 3D et de musique audio, couvrant tous les aspects de la stimulation créative, de l'extraction et de l'édition de matériaux et de la production de création vidéo. Il se concentre également sur la scène de diffusion en direct pour créer rapidement le propre son de l'utilisateur. La solution humaine numérique jumelle « Kuaishou Zhibo ».
Même la conférence annuelle elle-même, y compris les affiches et les apparitions d'invités, est rarement remplie d'éléments AIGC.
Kuaishou, qui a choisi de développer son propre grand modèle à partir de zéro, a accumulé beaucoup de choses sans le savoir et a lentement construit ce qu'il appelle une « solution AIGC grand modèle plein mode ».
On peut donc dire que Kuaishou est cette fois bien préparé lorsqu'il s'agit de lancer un grand modèle « tutuable ».
Bien que les grandes entreprises nationales aient commencé cette année à lancer leurs propres produits de grands modèles, en ce qui concerne les sociétés de contenu, nous n'avons pas vu de produit vraiment impressionnant. Comment pouvons-nous former un modèle fiable ? Sur la base de grands modèles, davantage de nouveaux des façons de jouer pour les sociétés de contenu seront explorées, ce qui est assez passionnant à imaginer.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Première main | Le grand modèle Wenshengtu « Ketu » auto-développé par Kuaishou est ici et a commencé les tests internes dans un avenir proche
Source originale : GenAI Nouveau Monde
Auteur｜Li Hezi
Depuis le second semestre de cette année, Kuaishou développe fréquemment une grande activité de mannequin.
GenAI New World a appris de première main que les derniers progrès de Kuaishou dans le domaine de l'AIGC : le modèle graphique Vincent « Kolors » auto-développé a été entièrement lancé au sein de l'entreprise pour des tests internes.
Après le lancement du grand modèle linguistique « KwaiYii » le mois dernier, Kuaishou a lancé le grand modèle graphique Wensheng « Kolors » en moins d'un mois. « Par la suite, le territoire de « Vincent Pictures » a été ajouté.
GenAI New World a appris des membres de recherche et développement de l'équipe du projet Ketu que le grand modèle « Ketu » Wenshengtu possède trois caractéristiques exceptionnelles, à savoir une compréhension puissante du texte, une caractérisation riche des détails et une transformation de style diversifiée.
Dès la présentation de la page d'accueil de la version test de la plateforme interne grand modèle « Ketu », on voit qu'elle dispose déjà d'un prototype de produit mature.
Bien que le grand modèle « Ketu » n'ait pas encore commencé les tests externes, nous pouvons encore avoir un aperçu de ses performances spécifiques grâce à la fonction « AI Game Review » lancée par Kuaishou App il y a deux jours.
"AI Game Review" a été lancé pour des tests internes sur le site principal de Kuaishou le 15 septembre, avec le support technique fourni par le grand modèle "Ketu" Wenshengtu.
Juste au moment où nous pensions qu'il s'agissait d'un autre outil Wenshengtu uniquement destiné aux créateurs de vidéos courtes et qu'il apparaîtrait dans le backend de montage vidéo, Kuaishou a étonnamment mis la fonction « AI Play Review » dans la zone de commentaires.
En d'autres termes, lorsque vous commenterez une certaine courte vidéo à l'avenir, vous n'aurez peut-être plus besoin de rechercher minutieusement un package image/émoticône approprié. Kuaishou peut en générer un directement pour vous.
Le jour du lancement de « AI Game Review », les utilisateurs qualifiés pour les tests avaient déjà commencé à laisser des messages de « souhaits » dans la zone de commentaires officielle de Kuaishou.
Tout d'abord, ouvrez la zone de commentaire de n'importe quelle vidéo dans l'application Kuaishou et recherchez le bouton "AI" sur le côté droit de la zone de saisie des commentaires. Vous pouvez facilement accéder à l'interface fonctionnelle "AI Play Review".
Essayez d'abord des descriptions plus conventionnelles pour voir s'il le comprend, comme « un enfant jouant sur une plage ensoleillée ».
Après quelques secondes, un ensemble d'images générées par l'IA apparaîtra ci-dessous. Chaque image est marquée d'un style différent, notamment Makoto Shinkai, pixel art, animation réaliste, style chinois, cyberpunk, Pixar, etc. On dit qu'il y a plus d'une douzaine de types. . Si vous n'êtes pas satisfait des ensembles d'images générés, vous pouvez également cliquer sur « Modifier » dans le coin supérieur droit pour générer un nouvel ensemble d'images.
À en juger par les images générées, la compréhension est plutôt bonne.
Entrons quelques phrases avec des significations spécifiques dans le contexte chinois :
Il peut même comprendre ce qu'est une personne Gan Fan (« Gan Fan » est à l'origine un dialecte mandarin du sud-ouest) :
Selon le personnel R&D de Kuaishou, Kuaishou AI possède des milliards de données de formation d'images et de textes, qui sont synthétisées à partir de la communauté open source et de la technologie d'IA auto-développée, et couvrent 30 millions de concepts d'entités chinois courants. Modèle CLIP chinois.
Le LLM chinois auto-développé combiné aux fonctionnalités graphiques et textuelles de CLIP est utilisé comme module de compréhension du texte du graphique vincentien, permettant au grand modèle « graphable » de mieux comprendre les concepts caractéristiques chinois et de réduire les problèmes courants dans le domaine des graphiques vincentiens. tels que les concepts complexes et la confusion des attributs.
Cependant, étant donné que la fonction « Revue du jeu AI » est placée dans la zone de commentaire, nous devrions également examiner son fonctionnement dans le scénario de commentaire.
Profitant d'un sujet brûlant, j'ai saisi la description de mon humeur "Je suis très frustré car je n'arrive pas à obtenir un billet de train". "AI Play Review" a quand même généré quelques images intéressantes qui peuvent mieux refléter cette émotion :
À partir de la fonction « AI Game Review », nous pouvons en fait voir certaines des réflexions de Kuaishou sur l'application de grands modèles, c'est-à-dire que l'accent est fortement mis sur « l'atterrissage ».
Contrairement à de nombreuses entreprises antérieures qui s'étaient engagées à créer des produits à grand modèle à usage général, les communautés de contenu vidéo court comme Kuaishou devraient accorder plus d'attention à l'intégration avec la communauté dans le développement des fonctions de produits à grand modèle et se soucier de savoir si les utilisateurs peuvent réellement les utiliser. .
Tout comme la fonction « IA dialogue » lancée en août sur la base du grand modèle « Ruyi », une partie de celle-ci est basée sur des scénarios de recherche, permettant aux utilisateurs de trouver le contenu sur la plateforme de manière plus pratique et plus précise (les réponses seront également accompagnées de vidéos, lien Encyclopédie), l'idée de servir les utilisateurs s'étend également aux "revues de jeux IA".
Quant à savoir pourquoi le grand modèle « Ketu » a été publié pour la première fois dans la zone de commentaires du site Kuaishou, la réponse officielle de Kuaishou est :
Bien sûr, maintenant que le grand modèle « imaginable » est devenu un produit, Kuaishou pourrait avoir de plus grandes ambitions derrière lui.
Lors de la conférence téléphonique sur les résultats du premier trimestre en mai de cette année, le PDG de Kuaishou, Cheng Yixiao, a révélé pour la première fois au monde extérieur les progrès de l'activité de grands modèles de Kuaishou : une grande équipe de recherche et développement de modèles a été créée, s'appuyant sur les technologies passées de l'AIGC. algorithmes et modèles de langage à grande échelle.Accumuler et promouvoir le développement et la formation de grands modèles comme prévu.
Deux mois plus tard, Kuaishou a annoncé le 8 juillet qu'il commencerait les tests internes de son « produit de recherche intelligente de questions et réponses », donnant ainsi le coup d'envoi du lancement d'applications modèles à grande échelle.
Ce qui suit est une sortie relativement intensive de produits et de fonctions : le 8 août, Kuaishou a commencé les tests internes de la fonction « AI Conversation », le 21 août, le grand modèle de langage « Ruyi » a commencé les tests internes et le 15 septembre, le principal Le site Web a lancé des tests internes de la fonction « AI Game Review », jusqu'à aujourd'hui, le grand modèle de « Ketu » Wenshengtu a fait surface...
Il convient de noter que Kuaishou a présenté officiellement et en détail pour la première fois les progrès de son activité de grands modèles lors de la conférence des créateurs photosynthétiques organisée pour les créateurs de plates-formes le 10 août de cette année.
Kuaishou a annoncé lors de cette conférence un certain nombre de développements concernant son activité de modélisme à grande échelle, qui ont été peu divulgués au monde extérieur jusqu'à présent. Cela inclut diverses fonctionnalités de génération de texte, d'image, de vidéo et même de matériel 3D et de musique audio, couvrant tous les aspects de la stimulation créative, de l'extraction et de l'édition de matériaux et de la production de création vidéo. Il se concentre également sur la scène de diffusion en direct pour créer rapidement le propre son de l'utilisateur. La solution humaine numérique jumelle « Kuaishou Zhibo ».
Même la conférence annuelle elle-même, y compris les affiches et les apparitions d'invités, est rarement remplie d'éléments AIGC.
Kuaishou, qui a choisi de développer son propre grand modèle à partir de zéro, a accumulé beaucoup de choses sans le savoir et a lentement construit ce qu'il appelle une « solution AIGC grand modèle plein mode ».
On peut donc dire que Kuaishou est cette fois bien préparé lorsqu'il s'agit de lancer un grand modèle « tutuable ».
Bien que les grandes entreprises nationales aient commencé cette année à lancer leurs propres produits de grands modèles, en ce qui concerne les sociétés de contenu, nous n'avons pas vu de produit vraiment impressionnant. Comment pouvons-nous former un modèle fiable ? Sur la base de grands modèles, davantage de nouveaux des façons de jouer pour les sociétés de contenu seront explorées, ce qui est assez passionnant à imaginer.