Recentemente, a “Batalha das Centenas de Modelos” se intensificou. No boom dos grandes modelos, o “talento” tornou-se o foco de uma competição acirrada entre grandes empresas de tecnologia, equipes empreendedoras e instituições de pesquisa. No entanto, ainda existe uma grande lacuna em talentos de ponta na área de AIGC.
Que tipo de talentos devem ser recrutados para facilitar o desenvolvimento do modelo?
Onde recrutar talentos de grandes modelos?
Como cultivar talentos de P&D de grandes modelos?
Para responder às perguntas acima, o Qubit Think Tank convida especialmente profissionais, especialistas e acadêmicos na área de grandes modelos de IA para compartilhar as oportunidades e desafios e as perspectivas de desenvolvimento futuro de grandes talentos de modelos com equipes corporativas e candidatos a emprego.
Este artigo é uma coluna de entrevistas aprofundadas da série “Large Model Talent” do Qubit Think Tank. Para obter mais informações, preste atenção ao próximo “2023 AIGC Large Model Talent Development Panoramic Report”
Introdução do personagem da entrevista
Fang Han, presidente e CEO da Kunlun Wanwei, um dos fundadores do Linux chinês, liderou o desenvolvimento do primeiro acelerador DUDU de software de download P2P doméstico.
** **###### △Fang Han, presidente e CEO da Kunlun Wanwei
Ele se juntou à Kunlun Wanwei em 2008 e liderou o desenvolvimento de "Três Reinos" e do jogo RPG para web "Artes Marciais", e ganhou muitos prêmios.
Vistas maravilhosas
Dentro de 1-2 anos, a escassez de talentos algorítmicos será bastante aliviada.
A consciência de inovação de talentos que entendo refere-se a como resolver problemas de forma inovadora e melhorar indicadores de uma perspectiva técnica e de engenharia.
A “seleção” é mais importante do que o “cultivo”, e a aprendizagem independente é mais importante do que um mestre liderando um aprendiz.
Em um novo campo, como os grandes modelos, os estudantes de doutorado recém-formados podem se tornar especialistas no domínio após meio ano de treinamento.
Do ponto de vista da oferta, os grandes modelos de talentos estão atualmente em fase de escassez e a situação será bastante aliviada em 3-5 anos.
De uma perspectiva macro, em comparação com as indústrias tradicionais, a dificuldade em cultivar talentos modelo em grande escala reside no actual poder computacional insuficiente das universidades.
As empresas que criarem novos modelos de negócios no nível de aplicação baseados em IA e em grandes modelos colherão os maiores dividendos.
Registro de entrevista
**Como definir talentos de grandes modelos? **
**Qubit Think Tank: Como Kunlun Wanwei divide grandes talentos de modelos? **
Fang Han: Acho que o treinamento do modelo deve ser dividido em duas partes principais, inferência de treinamento e desenvolvimento de aplicativos. De acordo com o processo de treinamento do modelo, dividimos os talentos em talentos do lado do algoritmo, talentos do lado da arquitetura e talentos do lado do desenvolvimento de aplicativos.Os talentos do algoritmo principal são subdivididos em pré-treinamento, processamento de dados, otimização de inferência de ajuste fino, etc.
**Qubit Think Tank: Que tipo de talento você acha que é mais escasso entre talentos em algoritmos, talentos em arquitetura e talentos em desenvolvimento de aplicativos? E é provável que seja escasso por muito tempo. **
Fang Han: Atualmente, o talento mais escasso é definitivamente o talento central do algoritmo, mas a situação de oferta e demanda será aliviada rapidamente. Porque há um fenômeno muito interessante aqui. Atualmente, o poder computacional de várias universidades é seriamente insuficiente, e a direção relacionada a grandes modelos é atualmente um tema quente. Existem muitos talentos que podem recorrer a este campo de pesquisa, como a PNL Todos os talentos da PNL estão se voltando para grandes modelos.
Portanto, minha opinião pessoal é que dentro de 1-2 anos, a escassez de talentos algorítmicos será bastante aliviada.Como há tantos talentos algorítmicos com altos salários, acho que a China ainda está muito orientada para o mercado em termos de alocação de talentos.
Elementos de competência que os talentos de grandes modelos devem possuir
**Qubit Think Tank: Ao recrutar talentos, quais qualidades dos próprios talentos são mais importantes? **
Fang Han: Em termos de realizações acadêmicas, experiência prática, formação acadêmica e consciência de inovação que você mencionou, nossa prioridade é experiência prática e consciência de inovação: Em primeiro lugar, o treinamento de modelos grandes é essencialmente um problema de engenharia, portanto, a experiência prática é definitivamente muito importante. Em segundo lugar, os grandes modelos são projectos inovadores, porque todas as grandes empresas de modelos competem de mãos dadas.Se não houver sentido de inovação, será difícil ficar à frente dos outros, porque esta é uma direcção de engenharia completamente nova.
**Qubit Think Tank: O que você acha desse senso de inovação? **
Fang Han: A inovação que entendo é diferente da inovação definida pelo público. No passado, era mais uma inovação algorítmica. O que quero dizer com inovação é, em primeiro lugar, acompanhar o progresso de ponta dos grandes modelos. Há muitas pessoas estudando o treinamento de grandes modelos em todo o mundo. Essa direção está progredindo muito rapidamente. Centenas de novos artigos são publicados todos os dias. , fazendo melhorias em diversas direções e campos. A segunda é ser capaz de usar novos métodos para resolver problemas encontrados na engenharia com base nas necessidades reais. A inovação aqui está mais focada em como resolver problemas de forma inovadora e melhorar indicadores do ponto de vista técnico e de engenharia.
**Qubit Think Tank: Você acha que a consciência inovadora de talentos em grande escala pode ser avaliada por meio de conquistas acadêmicas, conquistas de patentes, etc.? **
Fang Han: Não acho razoável julgar a consciência inovadora dos talentos com base nos resultados das patentes. **A OpenAI não presta muita atenção ao desempenho dos talentos na solicitação de patentes. A melhor inovação, na verdade, depende do acúmulo de experiência interna. Não é razoável julgar apenas da perspectiva das patentes.
Contudo, ** os resultados académicos podem ser usados como uma base mais importante para julgamento. **Por exemplo, os primeiros a fazer o modelo Vicuna e os primeiros a fazer o ControlNet foram ambos estudantes de doutorado. Nessa perspectiva, os resultados acadêmicos podem ser usados como referência certa.
Porém, no próprio processo de operação, além da grande inovação na publicação de artigos, existem inúmeras pequenas inovações em engenharia a serem alcançadas. **Portanto, a consciência da inovação ainda precisa ser julgada com base na velocidade e capacidade de entrega dos talentos na resolução de problemas na prática.
#### Como cultivar talentos de grandes modelos
**Qubit Think Tank: Quando o modelo Tiangong for atualizado de 1.0 para 3.5, quais áreas de talento serão focadas em diferentes estágios? **
Fang Han: Nos estágios iniciais, realmente precisamos de talentos em algoritmos que estejam mais familiarizados com a arquitetura subjacente de grandes modelos, CNN e Transformer. Claro, isso também inclui limpeza e processamento de dados. talentos em ciência de dados; quando grandes modelos amadurecerem gradualmente e precisarem se voltar para a multimodalidade, será necessário um grupo de talentos que façam visão computacional; se grandes modelos forem lançados para o mundo exterior, talentos de auditoria de segurança serão necessário.
**Qubit Think Tank: Como Kunlun Wanwei cultiva seus próprios grandes talentos de modelo? **
Fang Han: Kunlun Wanwei começou a treinar modelos grandes em 2020. Naquela época, havia muito poucos talentos no mercado para fazer modelos grandes. Havia mais pessoas seguindo a rota BERT e menos pessoas seguindo a rota GPT , então nós ** Naquela época, optamos por cultivar nós mesmos grandes talentos de modelos. **
O método de treinamento é permitir que talentos com experiência em algoritmos aprendam a direção do treinamento do modelo.Então, ao recrutar, devemos considerar a seleção de talentos que estejam familiarizados com aprendizado de máquina e aprendizado profundo, e que tenham forte força autônoma e rápida velocidade de aprendizado. Talentos, talentos com experiência em algoritmos. Originalmente tínhamos alguns talentos que estudavam áreas técnicas como a CNN, mas agora eles vão se voltar mais para o treinamento GPT.
**Qubit Think Tank: O que você acha deste modelo de treinamento de “a vaca grande lidera o bezerro”? **
Fang Han: Toda empresa voltada para a tecnologia escolherá o método de treinamento de "vacas grandes liderando vacas jovens", mas **selecionar talentos é mais importante do que cultivar talentos, e o aprendizado independente é mais importante do que mestres liderando aprendizes, ** então Ao recrutar, também atribuímos grande importância à capacidade de aprendizagem independente dos talentos.
Para orientações técnicas tradicionais, como Java, você precisa contar com uma vasta experiência, e os recém-formados precisam de um período de treinamento mais longo para se tornarem especialistas no domínio. No entanto, o treinamento de grandes modelos é um campo emergente, e a acumulação na indústria não é muito mais profunda do que na academia. **O que temos mais do que a academia é o poder da computação. **Na verdade, no nível do algoritmo, não somos muito à frente das universidades.
**Qubit Think Tank: Quanto tempo levará para que os recém-formados se tornem grandes especialistas em modelos? **
Fang Han: Há um grande número de estudantes de doutorado que podem publicar artigos de grandes modelos muito avançados. Também pode ser visto que muitos artigos inovadores em grande escala são publicados por alunos de doutorado do segundo e terceiro anos. D. estudantes. Encontramos talentos na escola que podem começar assim que chegam e podem se tornar especialistas no domínio em poucos meses.
Nossa ideia é selecionar os melhores talentos entre os alunos de doutorado recém-formados que demonstraram capacidade inovadora e **visão técnica enquanto estavam na escola. Podemos cultivar "bezerros" em um período de tempo mais curto. Pode se tornar o que você chama uma "vaca grande".
**Qubit Think Tank: Dentro de alguns meses a um ano, esses novos estudantes de doutorado podem se tornar "vacas grandes" na área. Entendo que as "vacas grandes" às quais você está se referindo são aquelas que possuem capacidades básicas de pesquisa e desenvolvimento. **
Fang Han: Sim, oferecemos muitas oportunidades aos jovens. Na verdade, provavelmente existem apenas algumas dezenas de pessoas treinando GPT na OpenAI, e um grande número delas são talentos que acabaram de se formar há alguns anos. Acho que este é basicamente o caso das grandes equipes modelo na China. Este é um campo totalmente novo e as oportunidades para os recém-chegados são particularmente grandes. **Não é problema para um aluno de doutorado recém-formado se tornar um especialista técnico na área depois de trabalhar cerca de meio ano, mas definitivamente falta sua capacidade de gestão. **Esta área técnica é muito nova e todos avançam na mesma linha de partida. Os recém-formados não têm necessariamente uma desvantagem.
**Qubit Think Tank: A maioria dos recém-formados que você mencionou está se especializando em processamento de linguagem natural? Em quais áreas específicas ele será dividido? **
Fang Han: Não é exatamente processamento de linguagem natural. Acho que em toda a fase de vida de um modelo grande, além do processamento de dados, ele precisa contar com o acúmulo de engenharia, em *pré- treinamento, RLHF, SFT, otimização de operadores * e outros aspectos, eles têm direções de pesquisa acadêmica correspondentes, então acho que eles têm 70-80% da capacidade de desenvolver e treinar grandes modelos.
É muito fácil para talentos que estudam aprendizado de máquina, aprendizado por reforço e aprendizado profundo mudarem para modelos grandes. E porque existem muitos modelos de código aberto agora, e há muitas pessoas no meio académico a fazer trabalhos de investigação baseados em modelos de código aberto, não creio que exista uma lacuna absoluta na divisão do trabalho entre os talentos universitários.
#### Desenvolvimento do mercado doméstico de talentos de grandes modelos
**Qubit Think Tank: O que você acha do atual desenvolvimento geral do mercado de talentos de grandes modelos? **
Fang Han: Acho que **grandes talentos de modelos estão em um estado de grande escassez como um todo e **haverá mais pessoas trabalhando com estoque. Contudo, à medida que há cada vez mais praticantes de grandes modelos, a divisão do trabalho tornar-se-á cada vez mais detalhada, o que constitui um processo natural de diferenciação. O processo de desenvolvimento de qualquer nova tecnologia é assim: desde os primeiros engenheiros full-stack até líderes de equipe e líderes de nível diretor, a diferenciação da direção técnica dos membros da equipe se tornará mais óbvia.
**Qubit Think Tank: A maioria dos talentos recrutados por Kunlun Wanwei vem de universidades ou vem mais desta indústria? **
Fang Han: Atualmente precisamos de talentos com acumulação prática, então escolheremos mais talentos da indústria, que tenham rica experiência em engenharia. No entanto, os recém-licenciados também serão recrutados como reserva, pelo que há mais recrutamento escolar.A proporção entre recrutamento escolar e recrutamento social é de quase 1:5.
**Qubit Think Tank: Em que estágio você acha que está o atual desenvolvimento de talentos deste grande modelo? **
Fang Han: A julgar pelo número geral de realizações acadêmicas de talentos, a China ocupa o primeiro lugar no número de artigos sobre IA publicados no mundo, e os Estados Unidos ocupam o segundo lugar. O número de artigos é maior nos Estados Unidos do que na China.
Penso que, em termos de elementos de capacidade dos talentos, os grandes modelos precisam de talentos com experiências diferentes. Deveria haver todos os três, incluindo recém-formados, especialistas de campo e líderes. **Mas do ponto de vista da oferta, está atualmente em um estágio insuficiente. A situação da oferta será bastante aliviada em cerca de 3-5 anos, **porque são necessários 5 anos desde a criação das disciplinas até a formatura dos alunos.
Dificuldades em cultivar talentos de grandes modelos
**Qubit Think Tank: Em que aspectos você acha que o treinamento de talentos pode ser melhorado? **
Fang Han: Vou compartilhar isso principalmente de duas perspectivas, a perspectiva corporativa e a perspectiva macro.
De uma perspectiva empresarial, os talentos crescerão mais rapidamente se participarem de projetos de engenharia. Esta é uma maneira muito óbvia e prática. Para grandes empresas que são mais pacientes com talentos, seus talentos serão mais profissionais naquilo que fazem, mas nas pequenas empresas, os talentos de grandes equipes modelo crescerão de forma mais abrangente e devem ter todas as capacidades da pilha completa de grandes modelos.
De uma perspectiva macroscópica, **em comparação com outras indústrias tradicionais, a dificuldade em cultivar talentos modelo em grande escala reside no atual poder computacional insuficiente das universidades, o que torna difícil para as escolas treinarem talentos de arquitetura, e esses talentos só podem ir às empresas para formação. Este é um dilema enfrentado por todas as universidades do mundo. Depois que o poder computacional de nível nacional for compartilhado com as universidades, acreditamos que esta situação será aliviada.
**Qubit Think Tank: Ou seja, depende mais da ligação da indústria, da academia, da pesquisa e da política para cultivar talentos em grande escala. **
Fang Han: Acho que devemos tentar o nosso melhor para fornecer as mesmas condições de hardware nas escolas e nas empresas, caso contrário, o que aprendemos nas escolas será definitivamente relativamente limitado.
#### Tendências futuras de desenvolvimento de grandes talentos modelo e empresas de IA
**Qubit Think Tank: Da sua perspectiva, qual é a tendência de desenvolvimento futuro da grande indústria de modelos como um todo? **
Fang Han: Acho que não deveria ser chamada de grande indústria modelo, mas de toda a indústria de IA. As oportunidades encontradas pela indústria de IA não devem ser menores do que as da Internet e da Internet móvel. Estou muito otimista sobre a tendência de desenvolvimento da indústria de IA. Acho que a IA mudará profundamente toda a Internet e toda a vida humana será grandemente impactada e mudada. Acho que toda a indústria passará por uma mudança direcional.
**Qubit Think Tank: Com base nessa tendência, que tipo de talentos de grandes modelos você acha que serão mais favorecidos pelas empresas? **
Fang Han: Em primeiro lugar, a "Batalha de Centenas de Modelos" foi formada. Todos estão fazendo grandes bases de modelos. No futuro, as grandes bases de modelos serão definitivamente reduzidas a alguns grandes fabricantes , e mais Muitas empresas deveriam estar na posição de usar grandes modelos para aplicativos, então acho que haverá cada vez mais talentos desenvolvendo aplicativos baseados em grandes modelos. **
Os talentos responsáveis pelo treinamento subjacente, algoritmos de otimização e arquitetura de grandes modelos irão para grandes fabricantes ou grandes equipes de modelos. No entanto, acreditamos que os maiores gigantes não são necessariamente as próprias grandes empresas de modelos, mas aquelas que fazem aplicações fortes baseadas em em grandes modelos dessas empresas. Quando estas empresas crescerem, também construirão os seus próprios grandes modelos.
Acreditamos que “a aplicação é rei” significa que as empresas que desenvolvem novos modelos de negócios baseados em IA e grandes modelos em aplicações obterão os maiores dividendos. **Então acreditamos que nos próximos dez anos surgirão com certeza novas empresas gigantes como Byte, Meituan e Didi, que deverão crescer de 0 a 100. As empresas fundadas neste ano ou no próximo deverão ter essa possibilidade. oportunidade.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Talentos para modelos em grande escala são altamente escassos e a “seleção” é mais importante do que o “cultivo”｜Conversa com Kunlun Wanwei
Fonte: Qubits
Recentemente, a “Batalha das Centenas de Modelos” se intensificou. No boom dos grandes modelos, o “talento” tornou-se o foco de uma competição acirrada entre grandes empresas de tecnologia, equipes empreendedoras e instituições de pesquisa. No entanto, ainda existe uma grande lacuna em talentos de ponta na área de AIGC.
Que tipo de talentos devem ser recrutados para facilitar o desenvolvimento do modelo?
Onde recrutar talentos de grandes modelos?
Como cultivar talentos de P&D de grandes modelos?
Este artigo é uma coluna de entrevistas aprofundadas da série “Large Model Talent” do Qubit Think Tank. Para obter mais informações, preste atenção ao próximo “2023 AIGC Large Model Talent Development Panoramic Report”
Introdução do personagem da entrevista
Fang Han, presidente e CEO da Kunlun Wanwei, um dos fundadores do Linux chinês, liderou o desenvolvimento do primeiro acelerador DUDU de software de download P2P doméstico.
**
**###### △Fang Han, presidente e CEO da Kunlun Wanwei
Ele se juntou à Kunlun Wanwei em 2008 e liderou o desenvolvimento de "Três Reinos" e do jogo RPG para web "Artes Marciais", e ganhou muitos prêmios.
Vistas maravilhosas
Registro de entrevista
**Como definir talentos de grandes modelos? **
**Qubit Think Tank: Como Kunlun Wanwei divide grandes talentos de modelos? **
Fang Han: Acho que o treinamento do modelo deve ser dividido em duas partes principais, inferência de treinamento e desenvolvimento de aplicativos. De acordo com o processo de treinamento do modelo, dividimos os talentos em talentos do lado do algoritmo, talentos do lado da arquitetura e talentos do lado do desenvolvimento de aplicativos.Os talentos do algoritmo principal são subdivididos em pré-treinamento, processamento de dados, otimização de inferência de ajuste fino, etc.
**Qubit Think Tank: Que tipo de talento você acha que é mais escasso entre talentos em algoritmos, talentos em arquitetura e talentos em desenvolvimento de aplicativos? E é provável que seja escasso por muito tempo. **
Fang Han: Atualmente, o talento mais escasso é definitivamente o talento central do algoritmo, mas a situação de oferta e demanda será aliviada rapidamente. Porque há um fenômeno muito interessante aqui. Atualmente, o poder computacional de várias universidades é seriamente insuficiente, e a direção relacionada a grandes modelos é atualmente um tema quente. Existem muitos talentos que podem recorrer a este campo de pesquisa, como a PNL Todos os talentos da PNL estão se voltando para grandes modelos.
Portanto, minha opinião pessoal é que dentro de 1-2 anos, a escassez de talentos algorítmicos será bastante aliviada.Como há tantos talentos algorítmicos com altos salários, acho que a China ainda está muito orientada para o mercado em termos de alocação de talentos.
Elementos de competência que os talentos de grandes modelos devem possuir
**Qubit Think Tank: Ao recrutar talentos, quais qualidades dos próprios talentos são mais importantes? **
Fang Han: Em termos de realizações acadêmicas, experiência prática, formação acadêmica e consciência de inovação que você mencionou, nossa prioridade é experiência prática e consciência de inovação: Em primeiro lugar, o treinamento de modelos grandes é essencialmente um problema de engenharia, portanto, a experiência prática é definitivamente muito importante. Em segundo lugar, os grandes modelos são projectos inovadores, porque todas as grandes empresas de modelos competem de mãos dadas.Se não houver sentido de inovação, será difícil ficar à frente dos outros, porque esta é uma direcção de engenharia completamente nova.
**Qubit Think Tank: O que você acha desse senso de inovação? **
Fang Han: A inovação que entendo é diferente da inovação definida pelo público. No passado, era mais uma inovação algorítmica. O que quero dizer com inovação é, em primeiro lugar, acompanhar o progresso de ponta dos grandes modelos. Há muitas pessoas estudando o treinamento de grandes modelos em todo o mundo. Essa direção está progredindo muito rapidamente. Centenas de novos artigos são publicados todos os dias. , fazendo melhorias em diversas direções e campos. A segunda é ser capaz de usar novos métodos para resolver problemas encontrados na engenharia com base nas necessidades reais. A inovação aqui está mais focada em como resolver problemas de forma inovadora e melhorar indicadores do ponto de vista técnico e de engenharia.
**Qubit Think Tank: Você acha que a consciência inovadora de talentos em grande escala pode ser avaliada por meio de conquistas acadêmicas, conquistas de patentes, etc.? **
Fang Han: Não acho razoável julgar a consciência inovadora dos talentos com base nos resultados das patentes. **A OpenAI não presta muita atenção ao desempenho dos talentos na solicitação de patentes. A melhor inovação, na verdade, depende do acúmulo de experiência interna. Não é razoável julgar apenas da perspectiva das patentes.
Contudo, ** os resultados académicos podem ser usados como uma base mais importante para julgamento. **Por exemplo, os primeiros a fazer o modelo Vicuna e os primeiros a fazer o ControlNet foram ambos estudantes de doutorado. Nessa perspectiva, os resultados acadêmicos podem ser usados como referência certa.
Porém, no próprio processo de operação, além da grande inovação na publicação de artigos, existem inúmeras pequenas inovações em engenharia a serem alcançadas. **Portanto, a consciência da inovação ainda precisa ser julgada com base na velocidade e capacidade de entrega dos talentos na resolução de problemas na prática.
**Qubit Think Tank: Quando o modelo Tiangong for atualizado de 1.0 para 3.5, quais áreas de talento serão focadas em diferentes estágios? **
Fang Han: Nos estágios iniciais, realmente precisamos de talentos em algoritmos que estejam mais familiarizados com a arquitetura subjacente de grandes modelos, CNN e Transformer. Claro, isso também inclui limpeza e processamento de dados. talentos em ciência de dados; quando grandes modelos amadurecerem gradualmente e precisarem se voltar para a multimodalidade, será necessário um grupo de talentos que façam visão computacional; se grandes modelos forem lançados para o mundo exterior, talentos de auditoria de segurança serão necessário.
**Qubit Think Tank: Como Kunlun Wanwei cultiva seus próprios grandes talentos de modelo? **
Fang Han: Kunlun Wanwei começou a treinar modelos grandes em 2020. Naquela época, havia muito poucos talentos no mercado para fazer modelos grandes. Havia mais pessoas seguindo a rota BERT e menos pessoas seguindo a rota GPT , então nós ** Naquela época, optamos por cultivar nós mesmos grandes talentos de modelos. **
O método de treinamento é permitir que talentos com experiência em algoritmos aprendam a direção do treinamento do modelo.Então, ao recrutar, devemos considerar a seleção de talentos que estejam familiarizados com aprendizado de máquina e aprendizado profundo, e que tenham forte força autônoma e rápida velocidade de aprendizado. Talentos, talentos com experiência em algoritmos. Originalmente tínhamos alguns talentos que estudavam áreas técnicas como a CNN, mas agora eles vão se voltar mais para o treinamento GPT.
**Qubit Think Tank: O que você acha deste modelo de treinamento de “a vaca grande lidera o bezerro”? **
Fang Han: Toda empresa voltada para a tecnologia escolherá o método de treinamento de "vacas grandes liderando vacas jovens", mas **selecionar talentos é mais importante do que cultivar talentos, e o aprendizado independente é mais importante do que mestres liderando aprendizes, ** então Ao recrutar, também atribuímos grande importância à capacidade de aprendizagem independente dos talentos.
Para orientações técnicas tradicionais, como Java, você precisa contar com uma vasta experiência, e os recém-formados precisam de um período de treinamento mais longo para se tornarem especialistas no domínio. No entanto, o treinamento de grandes modelos é um campo emergente, e a acumulação na indústria não é muito mais profunda do que na academia. **O que temos mais do que a academia é o poder da computação. **Na verdade, no nível do algoritmo, não somos muito à frente das universidades.
**Qubit Think Tank: Quanto tempo levará para que os recém-formados se tornem grandes especialistas em modelos? **
Fang Han: Há um grande número de estudantes de doutorado que podem publicar artigos de grandes modelos muito avançados. Também pode ser visto que muitos artigos inovadores em grande escala são publicados por alunos de doutorado do segundo e terceiro anos. D. estudantes. Encontramos talentos na escola que podem começar assim que chegam e podem se tornar especialistas no domínio em poucos meses.
Nossa ideia é selecionar os melhores talentos entre os alunos de doutorado recém-formados que demonstraram capacidade inovadora e **visão técnica enquanto estavam na escola. Podemos cultivar "bezerros" em um período de tempo mais curto. Pode se tornar o que você chama uma "vaca grande".
**Qubit Think Tank: Dentro de alguns meses a um ano, esses novos estudantes de doutorado podem se tornar "vacas grandes" na área. Entendo que as "vacas grandes" às quais você está se referindo são aquelas que possuem capacidades básicas de pesquisa e desenvolvimento. **
Fang Han: Sim, oferecemos muitas oportunidades aos jovens. Na verdade, provavelmente existem apenas algumas dezenas de pessoas treinando GPT na OpenAI, e um grande número delas são talentos que acabaram de se formar há alguns anos. Acho que este é basicamente o caso das grandes equipes modelo na China. Este é um campo totalmente novo e as oportunidades para os recém-chegados são particularmente grandes. **Não é problema para um aluno de doutorado recém-formado se tornar um especialista técnico na área depois de trabalhar cerca de meio ano, mas definitivamente falta sua capacidade de gestão. **Esta área técnica é muito nova e todos avançam na mesma linha de partida. Os recém-formados não têm necessariamente uma desvantagem.
**Qubit Think Tank: A maioria dos recém-formados que você mencionou está se especializando em processamento de linguagem natural? Em quais áreas específicas ele será dividido? **
Fang Han: Não é exatamente processamento de linguagem natural. Acho que em toda a fase de vida de um modelo grande, além do processamento de dados, ele precisa contar com o acúmulo de engenharia, em *pré- treinamento, RLHF, SFT, otimização de operadores * e outros aspectos, eles têm direções de pesquisa acadêmica correspondentes, então acho que eles têm 70-80% da capacidade de desenvolver e treinar grandes modelos.
É muito fácil para talentos que estudam aprendizado de máquina, aprendizado por reforço e aprendizado profundo mudarem para modelos grandes. E porque existem muitos modelos de código aberto agora, e há muitas pessoas no meio académico a fazer trabalhos de investigação baseados em modelos de código aberto, não creio que exista uma lacuna absoluta na divisão do trabalho entre os talentos universitários.
**Qubit Think Tank: O que você acha do atual desenvolvimento geral do mercado de talentos de grandes modelos? **
Fang Han: Acho que **grandes talentos de modelos estão em um estado de grande escassez como um todo e **haverá mais pessoas trabalhando com estoque. Contudo, à medida que há cada vez mais praticantes de grandes modelos, a divisão do trabalho tornar-se-á cada vez mais detalhada, o que constitui um processo natural de diferenciação. O processo de desenvolvimento de qualquer nova tecnologia é assim: desde os primeiros engenheiros full-stack até líderes de equipe e líderes de nível diretor, a diferenciação da direção técnica dos membros da equipe se tornará mais óbvia.
**Qubit Think Tank: A maioria dos talentos recrutados por Kunlun Wanwei vem de universidades ou vem mais desta indústria? **
Fang Han: Atualmente precisamos de talentos com acumulação prática, então escolheremos mais talentos da indústria, que tenham rica experiência em engenharia. No entanto, os recém-licenciados também serão recrutados como reserva, pelo que há mais recrutamento escolar.A proporção entre recrutamento escolar e recrutamento social é de quase 1:5.
**Qubit Think Tank: Em que estágio você acha que está o atual desenvolvimento de talentos deste grande modelo? **
Fang Han: A julgar pelo número geral de realizações acadêmicas de talentos, a China ocupa o primeiro lugar no número de artigos sobre IA publicados no mundo, e os Estados Unidos ocupam o segundo lugar. O número de artigos é maior nos Estados Unidos do que na China.
Penso que, em termos de elementos de capacidade dos talentos, os grandes modelos precisam de talentos com experiências diferentes. Deveria haver todos os três, incluindo recém-formados, especialistas de campo e líderes. **Mas do ponto de vista da oferta, está atualmente em um estágio insuficiente. A situação da oferta será bastante aliviada em cerca de 3-5 anos, **porque são necessários 5 anos desde a criação das disciplinas até a formatura dos alunos.
Dificuldades em cultivar talentos de grandes modelos
**Qubit Think Tank: Em que aspectos você acha que o treinamento de talentos pode ser melhorado? **
Fang Han: Vou compartilhar isso principalmente de duas perspectivas, a perspectiva corporativa e a perspectiva macro.
De uma perspectiva empresarial, os talentos crescerão mais rapidamente se participarem de projetos de engenharia. Esta é uma maneira muito óbvia e prática. Para grandes empresas que são mais pacientes com talentos, seus talentos serão mais profissionais naquilo que fazem, mas nas pequenas empresas, os talentos de grandes equipes modelo crescerão de forma mais abrangente e devem ter todas as capacidades da pilha completa de grandes modelos.
De uma perspectiva macroscópica, **em comparação com outras indústrias tradicionais, a dificuldade em cultivar talentos modelo em grande escala reside no atual poder computacional insuficiente das universidades, o que torna difícil para as escolas treinarem talentos de arquitetura, e esses talentos só podem ir às empresas para formação. Este é um dilema enfrentado por todas as universidades do mundo. Depois que o poder computacional de nível nacional for compartilhado com as universidades, acreditamos que esta situação será aliviada.
**Qubit Think Tank: Ou seja, depende mais da ligação da indústria, da academia, da pesquisa e da política para cultivar talentos em grande escala. **
Fang Han: Acho que devemos tentar o nosso melhor para fornecer as mesmas condições de hardware nas escolas e nas empresas, caso contrário, o que aprendemos nas escolas será definitivamente relativamente limitado.
**Qubit Think Tank: Da sua perspectiva, qual é a tendência de desenvolvimento futuro da grande indústria de modelos como um todo? **
Fang Han: Acho que não deveria ser chamada de grande indústria modelo, mas de toda a indústria de IA. As oportunidades encontradas pela indústria de IA não devem ser menores do que as da Internet e da Internet móvel. Estou muito otimista sobre a tendência de desenvolvimento da indústria de IA. Acho que a IA mudará profundamente toda a Internet e toda a vida humana será grandemente impactada e mudada. Acho que toda a indústria passará por uma mudança direcional.
**Qubit Think Tank: Com base nessa tendência, que tipo de talentos de grandes modelos você acha que serão mais favorecidos pelas empresas? **
Fang Han: Em primeiro lugar, a "Batalha de Centenas de Modelos" foi formada. Todos estão fazendo grandes bases de modelos. No futuro, as grandes bases de modelos serão definitivamente reduzidas a alguns grandes fabricantes , e mais Muitas empresas deveriam estar na posição de usar grandes modelos para aplicativos, então acho que haverá cada vez mais talentos desenvolvendo aplicativos baseados em grandes modelos. **
Os talentos responsáveis pelo treinamento subjacente, algoritmos de otimização e arquitetura de grandes modelos irão para grandes fabricantes ou grandes equipes de modelos. No entanto, acreditamos que os maiores gigantes não são necessariamente as próprias grandes empresas de modelos, mas aquelas que fazem aplicações fortes baseadas em em grandes modelos dessas empresas. Quando estas empresas crescerem, também construirão os seus próprios grandes modelos.
Acreditamos que “a aplicação é rei” significa que as empresas que desenvolvem novos modelos de negócios baseados em IA e grandes modelos em aplicações obterão os maiores dividendos. **Então acreditamos que nos próximos dez anos surgirão com certeza novas empresas gigantes como Byte, Meituan e Didi, que deverão crescer de 0 a 100. As empresas fundadas neste ano ou no próximo deverão ter essa possibilidade. oportunidade.