Les talents pour les modèles à grande échelle sont très rares et la « sélection » est plus importante que la « culture »｜Conversation avec Kunlun Wanwei
Récemment, la « bataille de centaines de modèles » s'est intensifiée. Dans le boom des grands modèles, le « talent » est devenu le centre d'une concurrence féroce entre les grandes entreprises technologiques, les équipes entrepreneuriales et les instituts de recherche. Cependant, il existe encore un manque important de talents de pointe dans le domaine de l'AIGC.
Quels types de talents faut-il recruter pour faciliter le développement du modèle ?
Où recruter de grands talents mannequins ?
Comment cultiver les talents R&D des grands modèles ?
Afin de répondre aux questions ci-dessus, Qubit Think Tank invite spécialement les praticiens, experts et universitaires dans le domaine des grands modèles d'IA à partager les opportunités et défis et les perspectives de développement futur des talents des grands modèles avec les équipes d'entreprise. et les demandeurs d'emploi.
Cet article est une chronique d'entretiens approfondis de la série « Big Model Talent » de Qubit Think Tank. Pour plus d'informations, veuillez prêter attention au prochain « Rapport panoramique sur le développement des talents des grands modèles AIGC 2023 ».
Présentation du personnage de l'interview
Fang Han, président-directeur général de Kunlun Wanwei, l'un des fondateurs de Linux chinois, a dirigé le développement du premier accélérateur national DUDU de logiciels de téléchargement P2P.
** **###### △Fang Han, président-directeur général de Kunlun Wanwei
Il a rejoint Kunlun Wanwei en 2008 et a dirigé le développement de « Three Kingdoms » et du jeu Web RPG « Martial Arts », et a remporté de nombreux prix.
Vues magnifiques
D'ici 1 à 2 ans, la pénurie de talents algorithmiques sera grandement atténuée.
La conscience de l'innovation des talents que je comprends fait référence à la manière de résoudre les problèmes de manière innovante et d'améliorer les indicateurs d'un point de vue technique et technique.
La « sélection » est plus importante que la « culture », et l'apprentissage indépendant est plus important qu'un maître dirigeant un apprenti.
Dans un domaine nouveau comme celui des grands modèles, les doctorants nouvellement diplômés peuvent devenir experts du domaine après six mois de formation.
Du point de vue de l'offre, les grands talents du mannequin sont actuellement en phase de pénurie et la situation sera grandement améliorée d'ici 3 à 5 ans.
D'un point de vue macro, par rapport aux industries traditionnelles, la difficulté de cultiver des talents modèles à grande échelle réside dans la puissance de calcul actuellement insuffisante des universités.
Les entreprises qui créent de nouveaux modèles économiques au niveau des applications basés sur l'IA et de grands modèles récolteront les plus gros dividendes.
Dossier d'entretien
**Comment définir le talent des grands mannequins ? **
**Qubit Think Tank : Comment Kunlun Wanwei divise-t-il les talents des grands modèles ? **
Fang Han : Je pense que la formation des modèles devrait être divisée en deux parties principales, l'inférence de formation et le développement d'applications. Selon le processus de formation du modèle, nous divisons les talents en talents côté algorithme, talents côté architecture et talents côté développement d'applications. Les talents algorithmiques de base sont subdivisés en pré-formation, traitement des données, réglage fin de l'optimisation des inférences, etc.
**Qubit Think Tank : Selon vous, quel type de talent est le plus rare parmi les talents en algorithmique, les talents en architecture et les talents en développement d'applications ? Et cela risque de se faire rare pendant encore longtemps. **
Fang Han : À l'heure actuelle, les talents les plus rares sont certainement les talents de base en matière d'algorithmes, mais la situation de l'offre et de la demande s'améliorera rapidement. Parce qu'il y a ici un phénomène très intéressant. À l'heure actuelle, la puissance de calcul des diverses universités est sérieusement insuffisante et l'orientation liée aux grands modèles est actuellement un sujet brûlant. De nombreux talents peuvent se tourner vers ce domaine de recherche, comme la PNL. Tous les talents en PNL se tournent vers les grands modèles.
Par conséquent, mon opinion personnelle est que d'ici 1 à 2 ans, la pénurie de talents algorithmiques sera considérablement atténuée. Parce qu'il y a tellement de talents algorithmiques avec des salaires élevés, je pense que la Chine est toujours très orientée vers le marché en termes de ratio de talents.
Éléments de compétences que les talents des grands modèles devraient posséder
**Qubit Think Tank : lors du recrutement de talents, quelles qualités des talents eux-mêmes sont les plus importantes ? **
Fang Han : En termes de résultats académiques, d'expérience pratique, de formation académique et de sensibilisation à l'innovation que vous avez mentionnés, notre priorité est l'expérience pratique et la sensibilisation à l'innovation : Tout d'abord, La formation sur grands modèles est essentiellement un problème d’ingénierie, donc l’expérience pratique est certainement très importante. Deuxièmement, les grands modèles sont des projets innovants, car toutes les grandes entreprises modèles rivalisent main dans la main. S'il n'y a pas de sens de l'innovation, il sera difficile de garder une longueur d'avance sur les autres, car il s'agit d'une direction d'ingénierie complètement nouvelle.
**Qubit Think Tank : Que pensez-vous de ce sens de l'innovation ? **
Fang Han : L'innovation que je comprends est différente de l'innovation définie par le public. Dans le passé, il s'agissait plutôt d'une innovation algorithmique. Ce que j'entends par innovation, c'est avant tout suivre les progrès de pointe des grands modèles. De nombreuses personnes étudient la formation sur les grands modèles dans le monde. Cette direction progresse très rapidement. Des centaines de nouveaux articles sont publiés chaque jour. , apportant des améliorations dans diverses directions et domaines. La seconde est d'être capable d'utiliser de nouvelles méthodes pour résoudre les problèmes rencontrés en ingénierie en fonction des besoins réels.L'innovation ici est davantage axée sur la manière de résoudre les problèmes de manière innovante et d'améliorer les indicateurs d'un point de vue technique et technique.
**Qubit Think Tank : Pensez-vous que la conscience innovante des talents à grande échelle peut être jugée à l'aune de leurs réalisations académiques, de leurs brevets, etc. ? **
Fang Han : Je pense qu'il est déraisonnable de juger la conscience d'innovation des talents sur la base des résultats des brevets. **OpenAI ne prête pas beaucoup d'attention aux performances des talents dans les demandes de brevet. La meilleure innovation repose en fait sur l'accumulation d'expériences internes. Il est déraisonnable de juger uniquement du point de vue des brevets.
Cependant, ** les résultats académiques peuvent être utilisés comme base de jugement plus importante. **Par exemple, les premiers à réaliser le modèle Vicuna et les premiers à réaliser ControlNet étaient tous deux des doctorants. De ce point de vue, les résultats académiques peuvent être utilisés comme une certaine référence.
Cependant, dans le processus opérationnel lui-même, outre les grandes innovations liées à l'édition de journaux, il existe d'innombrables petites innovations techniques à réaliser. **Par conséquent, la sensibilisation à l'innovation doit toujours être jugée en fonction de la rapidité et de la capacité des talents à résoudre les problèmes dans la pratique.
#### Comment cultiver les talents des grands modèles
**Qubit Think Tank : lorsque le modèle Tiangong passera de la version 1.0 à la version 3.5, sur quels domaines de talents se concentrera-t-on à différentes étapes ? **
Fang Han : Au début, nous avons vraiment besoin de talents en algorithmie qui connaissent mieux l'architecture sous-jacente des grands modèles, de CNN et de Transformer. Bien sûr, cela inclut également le nettoyage et le traitement des données. Lorsque les grands modèles mûriront progressivement et devront se tourner vers la multimodalité, un groupe de talents faisant de la vision par ordinateur sera nécessaire ; si les grands modèles doivent être diffusés vers le monde extérieur, les talents d'audit de sécurité seront nécessaire.
**Qubit Think Tank : Comment Kunlun Wanwei cultive-t-il ses propres talents de grands mannequins ? **
Fang Han : Kunlun Wanwei a commencé à former de grands modèles en 2020. À cette époque, il y avait très peu de talents sur le marché pour réaliser de grands modèles. Il y avait plus de personnes qui suivaient la voie BERT et moins de personnes qui prenaient la voie GPT. , nous** A cette époque, nous avons choisi de cultiver nous-mêmes les talents des grands modèles. **
La méthode de formation consiste à permettre aux talents ayant une formation en algorithmique d'apprendre l'orientation de la formation des modèles.Ensuite, lors du recrutement, il faut envisager de sélectionner des talents qui sont familiers avec l'apprentissage automatique et l'apprentissage profond, et qui ont une forte force d'autonomie et une vitesse d'apprentissage rapide. Des talents, des talents avec une formation en algorithme. Au départ, nous avions certains talents qui étudiaient des directions techniques telles que CNN, mais maintenant ils se tourneront davantage vers la formation GPT.
**Qubit Think Tank : Que pensez-vous de ce modèle de formation de « la grosse vache mène le veau » ? **
Fang Han : Chaque entreprise axée sur la technologie choisira en fait la méthode de formation des « grosses vaches dirigeant de jeunes vaches », mais ** la sélection des talents est plus importante que la culture des talents, et l'apprentissage indépendant est plus important que les maîtres dirigeant les apprentis, ** donc lors du recrutement, nous attachons également une grande importance à la capacité d'apprentissage autonome des talents.
Pour les domaines techniques traditionnels, tels que Java, vous devez vous appuyer sur une riche expérience, et les nouveaux diplômés ont besoin d'une période de formation plus longue pour devenir des experts du domaine. Cependant, la formation sur de grands modèles est un domaine émergent, et l'accumulation dans l'industrie n'est pas beaucoup plus profonde que celle dans le monde universitaire. **Ce que nous avons plus que le monde universitaire, c'est la puissance de calcul. **En fait, au niveau des algorithmes, nous ne sommes pas beaucoup devant les universités.
**Qubit Think Tank : combien de temps faudra-t-il aux nouveaux diplômés pour devenir des experts en grands modèles ? **
Fang Han : Il existe un grand nombre de doctorants capables de publier des articles de grande envergure très avant-gardistes. On constate également que de nombreux articles innovants à grande échelle sont publiés par les doctorants de deuxième et troisième années. D. étudiants. Nous trouvons à l’école des talents qui peuvent se lancer dès leur arrivée et qui peuvent devenir des experts du domaine en quelques mois.
Notre idée est de sélectionner les meilleurs talents parmi les doctorants fraîchement diplômés qui ont démontré une capacité d'innovation et une **vision technique pendant leurs études. Nous pouvons cultiver le « veau » dans un laps de temps plus court. Peut devenir ce que vous appelez une "grosse vache".
**Qubit Think Tank : Dans quelques mois à un an, ces nouveaux doctorants peuvent devenir de « grosses vaches » dans le domaine. Je comprends que les « grosses vaches » dont vous parlez sont celles qui ont des capacités de recherche et développement de base. **
Fang Han : Oui, nous donnons beaucoup d'opportunités aux jeunes. En fait, il n’y a probablement que quelques dizaines de personnes qui suivent une formation GPT chez OpenAI, et un grand nombre d’entre elles sont des talents qui viennent d’obtenir leur diplôme il y a quelques années. Je pense que c'est fondamentalement le cas des grandes équipes modèles en Chine, c'est un tout nouveau domaine et les opportunités pour les nouveaux arrivants sont particulièrement grandes. **Ce n'est pas un problème pour un doctorant nouvellement diplômé de devenir un expert technique dans le domaine après avoir travaillé environ six mois, mais sa capacité de gestion fait définitivement défaut. **Ce domaine technique est très nouveau, et tout le monde avance sur la même ligne de départ. Les nouveaux diplômés ne sont pas forcément désavantagés.
**Qubit Think Tank : La plupart des nouveaux diplômés que vous avez mentionnés se spécialisent-ils dans le traitement du langage naturel ? Dans quels domaines spécifiques sera-t-il décliné ? **
Fang Han : Ce n'est pas exactement du traitement du langage naturel. Je pense que dans toute la phase de vie d'un grand modèle, en plus du traitement des données, il doit s'appuyer sur l'accumulation d'ingénierie, en *pré- formation, RLHF, SFT, optimisation des opérateurs * et d'autres aspects, ils ont des orientations de recherche académique correspondantes, je pense donc qu'ils ont la capacité de développer et de former 70 à 80 % des grands modèles.
Il est très facile pour les talents qui étudient l’apprentissage automatique, l’apprentissage par renforcement et l’apprentissage profond de passer aux grands modèles. Et comme il existe désormais de nombreux modèles open source et que de nombreuses personnes dans le monde universitaire effectuent des recherches basées sur des modèles open source, je ne pense pas qu’il existe un écart absolu dans la division du travail entre les talents universitaires.
#### Développement du marché national des talents des grands modèles
**Qubit Think Tank : Que pensez-vous de l'évolution globale actuelle du marché des talents des grands mannequins ? **
Fang Han : Je pense que **les talents des grands mannequins sont dans un état de grande rareté dans leur ensemble, et **il y aura plus de personnes qui feront du travail de stock. Cependant, à mesure qu'il y aura de plus en plus de praticiens dans les grands modèles, la division du travail deviendra de plus en plus détaillée : il s'agit d'un processus de différenciation naturel. Le processus de développement de toute nouvelle technologie est le suivant : des premiers ingénieurs full-stack aux chefs d'équipe et aux dirigeants de niveau directeur, la différenciation des directions techniques des membres de l'équipe deviendra plus évidente.
**Qubit Think Tank : La plupart des talents recrutés par Kunlun Wanwei viennent-ils des universités, ou viennent-ils plutôt de cette industrie ? **
Fang Han : Nous avons actuellement besoin de talents avec une accumulation pratique, nous choisirons donc davantage de talents de l'industrie, qui ont une riche expérience en ingénierie. Cependant, de nouveaux diplômés seront également recrutés en réserve, ce qui entraînera davantage de recrutements scolaires, le ratio recrutement scolaire/recrutement social étant de près de 1 : 5.
**Qubit Think Tank : À votre avis, à quel stade se trouve le développement actuel des talents de ce grand modèle ? **
Fang Han : À en juger par le nombre total de réussites académiques des talents, la Chine se classe au premier rang mondial pour le nombre d'articles publiés sur l'IA, et les États-Unis se classent au deuxième rang. en Chine.
Je pense qu'en termes d'éléments de capacité des talents, les grands modèles ont besoin de talents ayant des expériences différentes, et il devrait y avoir tous les trois, y compris les nouveaux diplômés, les experts de terrain et les dirigeants. **Mais du point de vue de l'offre, elle est actuellement à un stade insuffisant. La situation de l'offre sera considérablement améliorée d'ici 3 à 5 ans environ, **car il faut 5 ans entre la création des matières et l'obtention du diplôme des étudiants.
Difficultés à cultiver les talents des grands modèles
**Qubit Think Tank : Dans quels aspects pensez-vous que la formation des talents peut être améliorée ? **
Fang Han : Je vais le partager principalement sous deux angles, le point de vue de l'entreprise et le point de vue macro.
Du point de vue de l'entreprise, les talents se développeront plus rapidement s'ils participent à des projets d'ingénierie. C'est une manière très évidente et pratique. Pour les grandes entreprises qui sont plus patientes avec les talents, leurs talents seront plus professionnels dans ce qu'elles font, mais dans les petites entreprises, les talents des grandes équipes modèles se développeront de manière plus complète et elles doivent disposer de toutes les capacités de la pile complète des grandes des modèles.
D'un perspective macroscopique, **par rapport à d'autres industries traditionnelles, la difficulté de cultiver des talents de modèles à grande échelle réside dans la puissance de calcul actuellement insuffisante des universités, ce qui rend difficile pour les écoles de former des talents en architecture, et ces talents ne peut s'adresser qu'à des entreprises pour se former. Il s'agit d'un dilemme auquel sont confrontées toutes les universités du monde. Une fois la puissance de calcul au niveau national partagée avec les universités, nous pensons que cette situation sera atténuée.
**Qubit Think Tank : c'est-à-dire qu'il s'appuie davantage sur les liens entre l'industrie, le monde universitaire, la recherche et les politiques pour former des talents à grande échelle. **
Fang Han : Je pense que nous devrions faire de notre mieux pour fournir les mêmes conditions matérielles dans les écoles que dans les entreprises, sinon ce que nous apprendrons dans les écoles sera certainement relativement limité.
#### Tendances futures de développement des grands talents du mannequinat et des entreprises d'IA
**Qubit Think Tank : De votre point de vue, quelle est la tendance de développement future de la grande industrie du mannequinat dans son ensemble ? **
Fang Han : Je pense qu'il ne faut pas l'appeler la grande industrie du mannequinat, mais l'ensemble de l'industrie de l'IA. Les opportunités rencontrées par l'industrie de l'IA ne devraient pas être inférieures à celles de l'Internet et de l'Internet mobile. Je suis très optimiste quant à la tendance de développement de l'industrie de l'IA. Je pense que l'IA va profondément changer l'ensemble d'Internet et que la vie humaine entière sera grandement impactée et modifiée. Je pense que l'ensemble de l'industrie subira un changement de direction.
**Qubit Think Tank : Sur la base de cette tendance, quels types de talents de grands modèles seront, selon vous, les plus favorisés par les entreprises ? **
Fang Han : Tout d'abord, la "Bataille de centaines de modèles" s'est formée. Tout le monde fabrique de grandes bases de modèles. À l'avenir, les grandes bases de modèles seront définitivement réduites à quelques grands fabricants , et plus encore De nombreuses entreprises devraient être en mesure d'utiliser de grands modèles pour leurs applications, je pense donc qu'il y aura de plus en plus de talents développant des applications basées sur de grands modèles. **
Les talents responsables de la formation sous-jacente, des algorithmes d'optimisation et de l'architecture des grands modèles iront chez de grands fabricants ou de grandes équipes de modèles. Cependant, nous pensons que les plus grands géants ne sont pas nécessairement les grandes entreprises de modèles elles-mêmes, mais ceux qui créent des applications solides basées sur sur les grands modèles de ces entreprises. Une fois que ces entreprises auront grandi, elles construiront également leurs propres grands modèles.
Nous pensons que « l'application est reine » signifie que les entreprises qui développent de nouveaux modèles commerciaux basés sur l'IA et de grands modèles d'applications obtiendront les plus gros dividendes. **Ensuite, nous pensons qu'au cours des dix prochaines années, de nouvelles entreprises géantes telles que Byte, Meituan et Didi apparaîtront certainement, et elles devront passer de 0 à 100. Les entreprises fondées cette année ou l'année prochaine devraient avoir cette possibilité. opportunité.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Les talents pour les modèles à grande échelle sont très rares et la « sélection » est plus importante que la « culture »｜Conversation avec Kunlun Wanwei
Source : Qubits
Récemment, la « bataille de centaines de modèles » s'est intensifiée. Dans le boom des grands modèles, le « talent » est devenu le centre d'une concurrence féroce entre les grandes entreprises technologiques, les équipes entrepreneuriales et les instituts de recherche. Cependant, il existe encore un manque important de talents de pointe dans le domaine de l'AIGC.
Quels types de talents faut-il recruter pour faciliter le développement du modèle ?
Où recruter de grands talents mannequins ?
Comment cultiver les talents R&D des grands modèles ?
Cet article est une chronique d'entretiens approfondis de la série « Big Model Talent » de Qubit Think Tank. Pour plus d'informations, veuillez prêter attention au prochain « Rapport panoramique sur le développement des talents des grands modèles AIGC 2023 ».
Présentation du personnage de l'interview
Fang Han, président-directeur général de Kunlun Wanwei, l'un des fondateurs de Linux chinois, a dirigé le développement du premier accélérateur national DUDU de logiciels de téléchargement P2P.
**
**###### △Fang Han, président-directeur général de Kunlun Wanwei
Il a rejoint Kunlun Wanwei en 2008 et a dirigé le développement de « Three Kingdoms » et du jeu Web RPG « Martial Arts », et a remporté de nombreux prix.
Vues magnifiques
Dossier d'entretien
**Comment définir le talent des grands mannequins ? **
**Qubit Think Tank : Comment Kunlun Wanwei divise-t-il les talents des grands modèles ? **
Fang Han : Je pense que la formation des modèles devrait être divisée en deux parties principales, l'inférence de formation et le développement d'applications. Selon le processus de formation du modèle, nous divisons les talents en talents côté algorithme, talents côté architecture et talents côté développement d'applications. Les talents algorithmiques de base sont subdivisés en pré-formation, traitement des données, réglage fin de l'optimisation des inférences, etc.
**Qubit Think Tank : Selon vous, quel type de talent est le plus rare parmi les talents en algorithmique, les talents en architecture et les talents en développement d'applications ? Et cela risque de se faire rare pendant encore longtemps. **
Fang Han : À l'heure actuelle, les talents les plus rares sont certainement les talents de base en matière d'algorithmes, mais la situation de l'offre et de la demande s'améliorera rapidement. Parce qu'il y a ici un phénomène très intéressant. À l'heure actuelle, la puissance de calcul des diverses universités est sérieusement insuffisante et l'orientation liée aux grands modèles est actuellement un sujet brûlant. De nombreux talents peuvent se tourner vers ce domaine de recherche, comme la PNL. Tous les talents en PNL se tournent vers les grands modèles.
Par conséquent, mon opinion personnelle est que d'ici 1 à 2 ans, la pénurie de talents algorithmiques sera considérablement atténuée. Parce qu'il y a tellement de talents algorithmiques avec des salaires élevés, je pense que la Chine est toujours très orientée vers le marché en termes de ratio de talents.
Éléments de compétences que les talents des grands modèles devraient posséder
**Qubit Think Tank : lors du recrutement de talents, quelles qualités des talents eux-mêmes sont les plus importantes ? **
Fang Han : En termes de résultats académiques, d'expérience pratique, de formation académique et de sensibilisation à l'innovation que vous avez mentionnés, notre priorité est l'expérience pratique et la sensibilisation à l'innovation : Tout d'abord, La formation sur grands modèles est essentiellement un problème d’ingénierie, donc l’expérience pratique est certainement très importante. Deuxièmement, les grands modèles sont des projets innovants, car toutes les grandes entreprises modèles rivalisent main dans la main. S'il n'y a pas de sens de l'innovation, il sera difficile de garder une longueur d'avance sur les autres, car il s'agit d'une direction d'ingénierie complètement nouvelle.
**Qubit Think Tank : Que pensez-vous de ce sens de l'innovation ? **
Fang Han : L'innovation que je comprends est différente de l'innovation définie par le public. Dans le passé, il s'agissait plutôt d'une innovation algorithmique. Ce que j'entends par innovation, c'est avant tout suivre les progrès de pointe des grands modèles. De nombreuses personnes étudient la formation sur les grands modèles dans le monde. Cette direction progresse très rapidement. Des centaines de nouveaux articles sont publiés chaque jour. , apportant des améliorations dans diverses directions et domaines. La seconde est d'être capable d'utiliser de nouvelles méthodes pour résoudre les problèmes rencontrés en ingénierie en fonction des besoins réels.L'innovation ici est davantage axée sur la manière de résoudre les problèmes de manière innovante et d'améliorer les indicateurs d'un point de vue technique et technique.
**Qubit Think Tank : Pensez-vous que la conscience innovante des talents à grande échelle peut être jugée à l'aune de leurs réalisations académiques, de leurs brevets, etc. ? **
Fang Han : Je pense qu'il est déraisonnable de juger la conscience d'innovation des talents sur la base des résultats des brevets. **OpenAI ne prête pas beaucoup d'attention aux performances des talents dans les demandes de brevet. La meilleure innovation repose en fait sur l'accumulation d'expériences internes. Il est déraisonnable de juger uniquement du point de vue des brevets.
Cependant, ** les résultats académiques peuvent être utilisés comme base de jugement plus importante. **Par exemple, les premiers à réaliser le modèle Vicuna et les premiers à réaliser ControlNet étaient tous deux des doctorants. De ce point de vue, les résultats académiques peuvent être utilisés comme une certaine référence.
Cependant, dans le processus opérationnel lui-même, outre les grandes innovations liées à l'édition de journaux, il existe d'innombrables petites innovations techniques à réaliser. **Par conséquent, la sensibilisation à l'innovation doit toujours être jugée en fonction de la rapidité et de la capacité des talents à résoudre les problèmes dans la pratique.
**Qubit Think Tank : lorsque le modèle Tiangong passera de la version 1.0 à la version 3.5, sur quels domaines de talents se concentrera-t-on à différentes étapes ? **
Fang Han : Au début, nous avons vraiment besoin de talents en algorithmie qui connaissent mieux l'architecture sous-jacente des grands modèles, de CNN et de Transformer. Bien sûr, cela inclut également le nettoyage et le traitement des données. Lorsque les grands modèles mûriront progressivement et devront se tourner vers la multimodalité, un groupe de talents faisant de la vision par ordinateur sera nécessaire ; si les grands modèles doivent être diffusés vers le monde extérieur, les talents d'audit de sécurité seront nécessaire.
**Qubit Think Tank : Comment Kunlun Wanwei cultive-t-il ses propres talents de grands mannequins ? **
Fang Han : Kunlun Wanwei a commencé à former de grands modèles en 2020. À cette époque, il y avait très peu de talents sur le marché pour réaliser de grands modèles. Il y avait plus de personnes qui suivaient la voie BERT et moins de personnes qui prenaient la voie GPT. , nous** A cette époque, nous avons choisi de cultiver nous-mêmes les talents des grands modèles. **
La méthode de formation consiste à permettre aux talents ayant une formation en algorithmique d'apprendre l'orientation de la formation des modèles.Ensuite, lors du recrutement, il faut envisager de sélectionner des talents qui sont familiers avec l'apprentissage automatique et l'apprentissage profond, et qui ont une forte force d'autonomie et une vitesse d'apprentissage rapide. Des talents, des talents avec une formation en algorithme. Au départ, nous avions certains talents qui étudiaient des directions techniques telles que CNN, mais maintenant ils se tourneront davantage vers la formation GPT.
**Qubit Think Tank : Que pensez-vous de ce modèle de formation de « la grosse vache mène le veau » ? **
Fang Han : Chaque entreprise axée sur la technologie choisira en fait la méthode de formation des « grosses vaches dirigeant de jeunes vaches », mais ** la sélection des talents est plus importante que la culture des talents, et l'apprentissage indépendant est plus important que les maîtres dirigeant les apprentis, ** donc lors du recrutement, nous attachons également une grande importance à la capacité d'apprentissage autonome des talents.
Pour les domaines techniques traditionnels, tels que Java, vous devez vous appuyer sur une riche expérience, et les nouveaux diplômés ont besoin d'une période de formation plus longue pour devenir des experts du domaine. Cependant, la formation sur de grands modèles est un domaine émergent, et l'accumulation dans l'industrie n'est pas beaucoup plus profonde que celle dans le monde universitaire. **Ce que nous avons plus que le monde universitaire, c'est la puissance de calcul. **En fait, au niveau des algorithmes, nous ne sommes pas beaucoup devant les universités.
**Qubit Think Tank : combien de temps faudra-t-il aux nouveaux diplômés pour devenir des experts en grands modèles ? **
Fang Han : Il existe un grand nombre de doctorants capables de publier des articles de grande envergure très avant-gardistes. On constate également que de nombreux articles innovants à grande échelle sont publiés par les doctorants de deuxième et troisième années. D. étudiants. Nous trouvons à l’école des talents qui peuvent se lancer dès leur arrivée et qui peuvent devenir des experts du domaine en quelques mois.
Notre idée est de sélectionner les meilleurs talents parmi les doctorants fraîchement diplômés qui ont démontré une capacité d'innovation et une **vision technique pendant leurs études. Nous pouvons cultiver le « veau » dans un laps de temps plus court. Peut devenir ce que vous appelez une "grosse vache".
**Qubit Think Tank : Dans quelques mois à un an, ces nouveaux doctorants peuvent devenir de « grosses vaches » dans le domaine. Je comprends que les « grosses vaches » dont vous parlez sont celles qui ont des capacités de recherche et développement de base. **
Fang Han : Oui, nous donnons beaucoup d'opportunités aux jeunes. En fait, il n’y a probablement que quelques dizaines de personnes qui suivent une formation GPT chez OpenAI, et un grand nombre d’entre elles sont des talents qui viennent d’obtenir leur diplôme il y a quelques années. Je pense que c'est fondamentalement le cas des grandes équipes modèles en Chine, c'est un tout nouveau domaine et les opportunités pour les nouveaux arrivants sont particulièrement grandes. **Ce n'est pas un problème pour un doctorant nouvellement diplômé de devenir un expert technique dans le domaine après avoir travaillé environ six mois, mais sa capacité de gestion fait définitivement défaut. **Ce domaine technique est très nouveau, et tout le monde avance sur la même ligne de départ. Les nouveaux diplômés ne sont pas forcément désavantagés.
**Qubit Think Tank : La plupart des nouveaux diplômés que vous avez mentionnés se spécialisent-ils dans le traitement du langage naturel ? Dans quels domaines spécifiques sera-t-il décliné ? **
Fang Han : Ce n'est pas exactement du traitement du langage naturel. Je pense que dans toute la phase de vie d'un grand modèle, en plus du traitement des données, il doit s'appuyer sur l'accumulation d'ingénierie, en *pré- formation, RLHF, SFT, optimisation des opérateurs * et d'autres aspects, ils ont des orientations de recherche académique correspondantes, je pense donc qu'ils ont la capacité de développer et de former 70 à 80 % des grands modèles.
Il est très facile pour les talents qui étudient l’apprentissage automatique, l’apprentissage par renforcement et l’apprentissage profond de passer aux grands modèles. Et comme il existe désormais de nombreux modèles open source et que de nombreuses personnes dans le monde universitaire effectuent des recherches basées sur des modèles open source, je ne pense pas qu’il existe un écart absolu dans la division du travail entre les talents universitaires.
**Qubit Think Tank : Que pensez-vous de l'évolution globale actuelle du marché des talents des grands mannequins ? **
Fang Han : Je pense que **les talents des grands mannequins sont dans un état de grande rareté dans leur ensemble, et **il y aura plus de personnes qui feront du travail de stock. Cependant, à mesure qu'il y aura de plus en plus de praticiens dans les grands modèles, la division du travail deviendra de plus en plus détaillée : il s'agit d'un processus de différenciation naturel. Le processus de développement de toute nouvelle technologie est le suivant : des premiers ingénieurs full-stack aux chefs d'équipe et aux dirigeants de niveau directeur, la différenciation des directions techniques des membres de l'équipe deviendra plus évidente.
**Qubit Think Tank : La plupart des talents recrutés par Kunlun Wanwei viennent-ils des universités, ou viennent-ils plutôt de cette industrie ? **
Fang Han : Nous avons actuellement besoin de talents avec une accumulation pratique, nous choisirons donc davantage de talents de l'industrie, qui ont une riche expérience en ingénierie. Cependant, de nouveaux diplômés seront également recrutés en réserve, ce qui entraînera davantage de recrutements scolaires, le ratio recrutement scolaire/recrutement social étant de près de 1 : 5.
**Qubit Think Tank : À votre avis, à quel stade se trouve le développement actuel des talents de ce grand modèle ? **
Fang Han : À en juger par le nombre total de réussites académiques des talents, la Chine se classe au premier rang mondial pour le nombre d'articles publiés sur l'IA, et les États-Unis se classent au deuxième rang. en Chine.
Je pense qu'en termes d'éléments de capacité des talents, les grands modèles ont besoin de talents ayant des expériences différentes, et il devrait y avoir tous les trois, y compris les nouveaux diplômés, les experts de terrain et les dirigeants. **Mais du point de vue de l'offre, elle est actuellement à un stade insuffisant. La situation de l'offre sera considérablement améliorée d'ici 3 à 5 ans environ, **car il faut 5 ans entre la création des matières et l'obtention du diplôme des étudiants.
Difficultés à cultiver les talents des grands modèles
**Qubit Think Tank : Dans quels aspects pensez-vous que la formation des talents peut être améliorée ? **
Fang Han : Je vais le partager principalement sous deux angles, le point de vue de l'entreprise et le point de vue macro.
Du point de vue de l'entreprise, les talents se développeront plus rapidement s'ils participent à des projets d'ingénierie. C'est une manière très évidente et pratique. Pour les grandes entreprises qui sont plus patientes avec les talents, leurs talents seront plus professionnels dans ce qu'elles font, mais dans les petites entreprises, les talents des grandes équipes modèles se développeront de manière plus complète et elles doivent disposer de toutes les capacités de la pile complète des grandes des modèles.
D'un perspective macroscopique, **par rapport à d'autres industries traditionnelles, la difficulté de cultiver des talents de modèles à grande échelle réside dans la puissance de calcul actuellement insuffisante des universités, ce qui rend difficile pour les écoles de former des talents en architecture, et ces talents ne peut s'adresser qu'à des entreprises pour se former. Il s'agit d'un dilemme auquel sont confrontées toutes les universités du monde. Une fois la puissance de calcul au niveau national partagée avec les universités, nous pensons que cette situation sera atténuée.
**Qubit Think Tank : c'est-à-dire qu'il s'appuie davantage sur les liens entre l'industrie, le monde universitaire, la recherche et les politiques pour former des talents à grande échelle. **
Fang Han : Je pense que nous devrions faire de notre mieux pour fournir les mêmes conditions matérielles dans les écoles que dans les entreprises, sinon ce que nous apprendrons dans les écoles sera certainement relativement limité.
**Qubit Think Tank : De votre point de vue, quelle est la tendance de développement future de la grande industrie du mannequinat dans son ensemble ? **
Fang Han : Je pense qu'il ne faut pas l'appeler la grande industrie du mannequinat, mais l'ensemble de l'industrie de l'IA. Les opportunités rencontrées par l'industrie de l'IA ne devraient pas être inférieures à celles de l'Internet et de l'Internet mobile. Je suis très optimiste quant à la tendance de développement de l'industrie de l'IA. Je pense que l'IA va profondément changer l'ensemble d'Internet et que la vie humaine entière sera grandement impactée et modifiée. Je pense que l'ensemble de l'industrie subira un changement de direction.
**Qubit Think Tank : Sur la base de cette tendance, quels types de talents de grands modèles seront, selon vous, les plus favorisés par les entreprises ? **
Fang Han : Tout d'abord, la "Bataille de centaines de modèles" s'est formée. Tout le monde fabrique de grandes bases de modèles. À l'avenir, les grandes bases de modèles seront définitivement réduites à quelques grands fabricants , et plus encore De nombreuses entreprises devraient être en mesure d'utiliser de grands modèles pour leurs applications, je pense donc qu'il y aura de plus en plus de talents développant des applications basées sur de grands modèles. **
Les talents responsables de la formation sous-jacente, des algorithmes d'optimisation et de l'architecture des grands modèles iront chez de grands fabricants ou de grandes équipes de modèles. Cependant, nous pensons que les plus grands géants ne sont pas nécessairement les grandes entreprises de modèles elles-mêmes, mais ceux qui créent des applications solides basées sur sur les grands modèles de ces entreprises. Une fois que ces entreprises auront grandi, elles construiront également leurs propres grands modèles.
Nous pensons que « l'application est reine » signifie que les entreprises qui développent de nouveaux modèles commerciaux basés sur l'IA et de grands modèles d'applications obtiendront les plus gros dividendes. **Ensuite, nous pensons qu'au cours des dix prochaines années, de nouvelles entreprises géantes telles que Byte, Meituan et Didi apparaîtront certainement, et elles devront passer de 0 à 100. Les entreprises fondées cette année ou l'année prochaine devraient avoir cette possibilité. opportunité.