Recientemente, la "Batalla de cientos de modelos" se ha intensificado. En el auge de los grandes modelos, el "talento" se ha convertido en el foco de una feroz competencia entre las principales empresas de tecnología, equipos empresariales e instituciones de investigación. Sin embargo, todavía existe una gran brecha de talentos de vanguardia en el campo AIGC.
¿Qué tipo de talentos se deberían reclutar para facilitar el desarrollo del modelo?
¿Dónde reclutar grandes talentos modelo?
¿Cómo cultivar talentos de I + D de modelos grandes?
Para responder a las preguntas anteriores, Qubit Think Tank invita especialmente a profesionales, expertos y académicos en el campo de los grandes modelos de IA a compartir las oportunidades y desafíos y las perspectivas de desarrollo futuro de los talentos de los grandes modelos con equipos corporativos. y buscadores de empleo.
Este artículo es una columna de entrevistas en profundidad de la serie "Talentos de modelos grandes" de Qubit Think Tank. Para obtener más información, preste atención al próximo "Informe panorámico sobre el desarrollo de talentos de modelos grandes de AIGC 2023".
Presentación del personaje de la entrevista
Fang Han, presidente y director ejecutivo de Kunlun Wanwei, uno de los fundadores de Linux chino, dirigió el desarrollo del primer acelerador DUDU de software de descarga P2P nacional.
** **###### △Fang Han, presidente y director ejecutivo de Kunlun Wanwei
Se unió a Kunlun Wanwei en 2008 y dirigió el desarrollo de "Three Kingdoms" y el juego web de rol "Martial Arts", y ganó numerosos premios.
Vistas maravillosas
Dentro de 1 o 2 años, la escasez de talentos algorítmicos se aliviará enormemente.
La conciencia de innovación del talento que entiendo se refiere a cómo resolver problemas de manera innovadora y mejorar indicadores desde una perspectiva técnica y de ingeniería.
La "selección" es más importante que el "cultivo", y el aprendizaje independiente es más importante que un maestro dirigiendo a un aprendiz.
En un campo nuevo como el de los modelos grandes, los estudiantes de doctorado recién graduados pueden convertirse en expertos en el campo después de medio año de formación.
Desde la perspectiva de la oferta, los grandes talentos modelo se encuentran actualmente en una etapa de escasez y la situación se aliviará enormemente en 3 a 5 años.
Desde una perspectiva macro, en comparación con las industrias tradicionales, la dificultad para cultivar talentos modelo a gran escala radica en la actual potencia informática insuficiente de las universidades.
Las empresas que creen nuevos modelos de negocio a nivel de aplicaciones basados en IA y modelos grandes obtendrán los mayores dividendos.
Registro de entrevista
** ¿Cómo definir el talento de modelo grande? **
** Qubit Think Tank: ¿Cómo divide Kunlun Wanwei los grandes talentos de los modelos? **
Fang Han: Creo que el entrenamiento de modelos debería dividirse en dos partes principales, inferencia de entrenamiento y desarrollo de aplicaciones. De acuerdo con el proceso de capacitación del modelo, dividimos los talentos en talentos del lado del algoritmo, talentos del lado de la arquitectura y talentos del lado del desarrollo de aplicaciones, y los talentos del algoritmo central se subdividen en preentrenamiento, procesamiento de datos, optimización de inferencia de ajuste, etc.
**Qubit Think Tank: ¿Qué tipo de talento crees que es más escaso entre los talentos en algoritmos, los talentos en arquitectura y los talentos en desarrollo de aplicaciones? Y es probable que siga siendo escaso durante mucho tiempo. **
Fang Han: En la actualidad, el talento más escaso es definitivamente el talento de algoritmos centrales, pero la situación de la oferta y la demanda se aliviará rápidamente. Porque hay un fenómeno muy interesante aquí: en la actualidad, la potencia informática de varias universidades es muy insuficiente y la dirección relacionada con los modelos grandes es actualmente un tema candente. Hay muchos talentos que pueden recurrir a este campo de investigación, como la PNL. Todos los talentos de la PNL están recurriendo a grandes modelos.
Por lo tanto, mi opinión personal es que dentro de 1 o 2 años, la escasez de talentos algorítmicos se aliviará en gran medida. Debido a que hay tantos talentos algorítmicos con salarios altos, creo que China todavía está muy orientada al mercado en términos de asignación de talentos.
Elementos de competencia que deben poseer los grandes talentos modelo
**Qubit Think Tank: Al reclutar talentos, ¿qué cualidades de los talentos en sí son más importantes? **
Fang Han: En términos de logros académicos, experiencia práctica, formación académica y conciencia de innovación que mencionaste, nuestra prioridad es experiencia práctica y conciencia de innovación: En primer lugar, El entrenamiento de modelos grandes es esencialmente un problema de ingeniería, por lo que la experiencia práctica es definitivamente muy importante. En segundo lugar, los grandes modelos son proyectos innovadores, porque todas las grandes empresas de modelos compiten mano a mano. Si no hay sentido de innovación, será difícil mantenerse por delante de los demás, porque se trata de una dirección de ingeniería completamente nueva.
**Qubit Think Tank: ¿Qué opinas de este sentido de innovación? **
Fang Han: La innovación que entiendo es diferente de la innovación definida por el público: en el pasado, era más innovación algorítmica. Lo que quiero decir con innovación es, en primer lugar, mantenerse al día con el progreso de vanguardia de los modelos grandes. Hay muchas personas estudiando el entrenamiento de modelos grandes en todo el mundo. Esta dirección está progresando muy rápidamente. Cada día se publican cientos de artículos nuevos. , realizando mejoras en diversas direcciones y campos. El segundo es poder utilizar nuevos métodos para resolver problemas encontrados en ingeniería en función de las necesidades reales. La innovación aquí se centra más en cómo resolver problemas de forma innovadora y mejorar los indicadores desde una perspectiva técnica y de ingeniería.
**Qubit Think Tank: ¿Cree que la conciencia innovadora de los talentos a gran escala puede juzgarse a través de logros académicos, logros de patentes, etc.? **
Fang Han: Creo que no es razonable juzgar la conciencia de innovación de los talentos basándose en los resultados de las patentes. ** OpenAI no presta mucha atención al desempeño de los talentos al solicitar patentes. La mejor innovación en realidad depende de la acumulación de experiencia interna. No es razonable juzgar únicamente desde la perspectiva de las patentes.
Sin embargo, ** los resultados académicos se pueden utilizar como una base más importante para el juicio. **Por ejemplo, las primeras personas en hacer el modelo Vicuña y las primeras en hacer ControlNet fueron estudiantes de doctorado, desde esta perspectiva los resultados académicos pueden tomarse como una cierta referencia.
Sin embargo, en el proceso operativo real, además de la gran innovación de la publicación de artículos, existen innumerables pequeñas innovaciones en ingeniería que lograr. **Por lo tanto, la conciencia de innovación aún debe juzgarse en función de la velocidad y la capacidad de entrega de los talentos para resolver problemas en la práctica.
#### Cómo cultivar grandes talentos de modelos
**Qubit Think Tank: Cuando el modelo Tiangong se actualice de 1.0 a 3.5, ¿en qué campos de talento se centrarán en las diferentes etapas? **
** Fang Han **: En las primeras etapas, realmente necesitamos talentos en algoritmos que estén más familiarizados con la arquitectura subyacente de modelos grandes, CNN y Transformer. Por supuesto, esto también incluye la limpieza y el procesamiento de datos, talentos en ciencia de datos; cuando los modelos grandes maduren gradualmente y necesiten recurrir a la multimodalidad, se necesitará un grupo de talentos que realicen visión por computadora; si se van a lanzar modelos grandes al mundo exterior, se necesitarán talentos de auditoría de seguridad necesario.
** Qubit Think Tank: ¿Cómo cultiva Kunlun Wanwei sus propios grandes talentos modelo? **
Fang Han: Kunlun Wanwei comenzó a capacitar modelos grandes en 2020. En ese momento, había muy pocos talentos en el mercado para hacer modelos grandes. Había más personas tomando la ruta BERT y menos personas tomando la ruta GPT. Entonces nosotros ** En ese momento, elegimos cultivar grandes talentos modelo nosotros mismos. **
El método de capacitación es permitir que los talentos con experiencia en algoritmos aprendan la dirección del entrenamiento del modelo. Luego, al reclutar, debemos considerar seleccionar talentos que estén familiarizados con el aprendizaje automático y el aprendizaje profundo, y que tengan una gran fuerza de conducción autónoma y una velocidad de aprendizaje rápida. Talentos, talentos con experiencia en algoritmos. Originalmente teníamos algunos talentos que estaban estudiando direcciones técnicas como CNN, pero ahora recurrirán más a la capacitación de GPT.
**Qubit Think Tank: ¿Qué opinas de este modelo de entrenamiento de “la gran vaca guía al ternero”? **
** Fang Han **: Toda empresa impulsada por la tecnología en realidad elegirá el método de capacitación de "vacas grandes guiando a las vacas jóvenes", pero ** seleccionar talentos es más importante que cultivar talentos, y el aprendizaje independiente es más importante que los maestros liderando a los aprendices. ** Entonces, a la hora de contratar, también damos gran importancia a la capacidad de aprendizaje independiente de los talentos.
Para las direcciones técnicas tradicionales, como Java, es necesario confiar en una rica experiencia, y los recién graduados necesitan un período de capacitación más largo para convertirse en expertos en el dominio. Sin embargo, el entrenamiento de modelos grandes es un campo emergente, y la acumulación en la industria no es mucho más profunda que en el mundo académico. **Lo que tenemos más que el mundo académico es potencia de cálculo. **De hecho, a nivel de algoritmo, no somos mucho. por delante de las universidades.
**Qubit Think Tank: ¿Cuánto tiempo les tomará a los recién graduados convertirse en grandes expertos en modelos? **
** Fang Han **: Hay una gran cantidad de estudiantes de doctorado que pueden publicar artículos de modelos grandes muy vanguardistas. También se puede ver que muchos artículos innovadores a gran escala son publicados por doctores de segundo y tercer año. D. estudiantes. Encontramos talentos en la escuela que pueden comenzar tan pronto como llegan y pueden convertirse en expertos en el dominio en unos pocos meses.
Nuestra idea es seleccionar los mejores talentos entre los estudiantes de doctorado recién graduados que han demostrado capacidad innovadora y **visión técnica mientras estaban en la escuela. Podemos cultivar "terneros" en un período de tiempo más corto. Puede convertirse en lo que usted llama una "vaca grande".
** Qubit Think Tank: en unos pocos meses o un año, estos nuevos estudiantes de doctorado pueden convertirse en "vacas grandes" en el campo. Entiendo que las "vacas grandes" a las que se refiere son aquellas que tienen capacidades básicas de investigación y desarrollo. **
Fang Han: Sí, damos a los jóvenes muchas oportunidades. De hecho, probablemente solo haya unas pocas docenas de personas realizando capacitación GPT en OpenAI, y una gran cantidad de ellos son talentos que se acaban de graduar hace unos años. Creo que este es básicamente el caso de los grandes equipos modelo en China. Este es un campo completamente nuevo y las oportunidades para los recién llegados son particularmente grandes. **No es un problema para un estudiante de doctorado recién graduado convertirse en un experto técnico en el campo después de trabajar durante aproximadamente medio año, pero definitivamente falta su capacidad de gestión. ** Este campo técnico es muy nuevo y todos avanzan en la misma línea de partida. Los recién graduados no necesariamente tienen desventajas.
**Qubit Think Tank: ¿La mayoría de los recién graduados que mencionó se especializan en procesamiento del lenguaje natural? ¿En qué áreas específicas se dividirá? **
Fang Han: No es exactamente procesamiento del lenguaje natural. Creo que en toda la etapa de vida de un modelo grande, además del procesamiento de datos, debe depender de la acumulación de ingeniería, en *pre- capacitación, RLHF, SFT, optimización del operador * y otros aspectos, tienen direcciones de investigación académica correspondientes, por lo que creo que tienen entre el 70 y el 80% de la capacidad para desarrollar y entrenar modelos grandes.
Es muy fácil para los talentos que estudian el aprendizaje automático, el aprendizaje por refuerzo y el aprendizaje profundo cambiar a modelos grandes. Y como ahora existen muchos modelos de código abierto y hay mucha gente en el mundo académico realizando trabajos de investigación basados en modelos de código abierto, no creo que exista una brecha absoluta en la división del trabajo entre los talentos universitarios.
#### Desarrollo del mercado nacional de talentos de modelos grandes
**Qubit Think Tank: ¿Qué opina del desarrollo general actual del mercado de talentos de modelos grandes? **
Fang Han: Creo que **los grandes talentos de las modelos se encuentran en un estado de gran escasez en general, y **habrá más personas haciendo trabajos de stock. Sin embargo, a medida que hay cada vez más profesionales en modelos grandes, la división del trabajo se volverá cada vez más detallada, lo que constituye un proceso de diferenciación natural. El proceso de desarrollo de cualquier tecnología nueva es así: desde los primeros ingenieros completos hasta los líderes de equipo y líderes de nivel director, la diferenciación de la dirección técnica de los miembros del equipo será más obvia.
**Qubit Think Tank: ¿La mayoría de los talentos reclutados por Kunlun Wanwei provienen de universidades o provienen más de esta industria? **
Fang Han: Actualmente necesitamos talentos con acumulación práctica, por lo que elegiremos más talentos de la industria, que tengan una rica experiencia en ingeniería. Sin embargo, los recién graduados también serán reclutados como reserva, por lo que hay más reclutamientos escolares. La proporción entre el reclutamiento escolar y el reclutamiento social es casi de 1:5.
**Qubit Think Tank: ¿En qué etapa cree que se encuentra el desarrollo actual del talento de este gran modelo? **
Fang Han: A juzgar por el número total de logros académicos de los talentos, China ocupa el primer lugar en el número de artículos sobre IA publicados en el mundo y Estados Unidos ocupa el segundo lugar. El número de artículos es mayor en los Estados Unidos que en en China.
Creo que en términos de los elementos de capacidad de los talentos, los grandes modelos necesitan talentos con diferentes experiencias, y deberían existir los tres, incluidos los recién graduados, los expertos en el campo y los líderes. **Pero desde la perspectiva de la oferta, actualmente se encuentra en una etapa insuficiente. La situación de la oferta se aliviará en gran medida en unos 3 a 5 años, **porque se necesitan 5 años desde que se preparan las materias hasta que los estudiantes se gradúan.
** Dificultades para cultivar grandes talentos modelo **
**Qubit Think Tank: ¿En qué aspectos cree que se puede mejorar la formación del talento? **
Fang Han: Lo compartiré principalmente desde dos perspectivas, la perspectiva corporativa y la perspectiva macro.
Desde una perspectiva empresarial, los talentos crecerán más rápido si participan en proyectos de ingeniería. Esta es una forma muy obvia y práctica. Para las grandes empresas que son más pacientes con los talentos, sus talentos serán más profesionales en lo que hacen, pero en las pequeñas empresas, los talentos de los grandes equipos modelo crecerán de manera más integral y deben tener todas las capacidades del conjunto completo de grandes equipos. modelos.
Desde una perspectiva macroscópica, **en comparación con otras industrias tradicionales, la dificultad para cultivar talentos modelo a gran escala radica en la actual potencia informática insuficiente de las universidades, lo que dificulta que las escuelas capaciten talentos en arquitectura, y estos talentos Sólo pueden acudir a las empresas para recibir formación. Este es un dilema al que se enfrentan todas las universidades del mundo. Creemos que esta situación se aliviará una vez que se comparta la potencia informática a nivel nacional con las universidades.
**Qubit Think Tank: es decir, se basa más en la vinculación de la industria, la academia, la investigación y las políticas para cultivar talentos a gran escala. **
Fang Han: Creo que deberíamos hacer todo lo posible para proporcionar las mismas condiciones de hardware en las escuelas que en las empresas; de lo contrario, lo que aprendamos en las escuelas definitivamente será relativamente limitado.
#### Tendencias futuras de desarrollo de grandes talentos modelo y empresas de inteligencia artificial
**Qubit Think Tank: Desde su perspectiva, ¿cuál es la tendencia de desarrollo futuro de la industria de modelos grandes en su conjunto? **
Fang Han: Creo que no debería llamarse la gran industria modelo, sino toda la industria de la IA. Las oportunidades que encuentra la industria de la IA no deberían ser menores que las de Internet y la Internet móvil. Soy muy optimista sobre la tendencia de desarrollo de la industria de la IA. Creo que la IA cambiará profundamente toda Internet y toda la vida humana se verá muy afectada y modificada. Creo que toda la industria experimentará un cambio de dirección.
**Qubit Think Tank: según esta tendencia, ¿qué tipo de talentos de modelos grandes cree que serán más favorecidos por las empresas? **
Fang Han: En primer lugar, se ha formado la "Batalla de cientos de modelos". Todo el mundo está fabricando bases de modelos grandes. En el futuro, las bases de modelos grandes definitivamente se reducirán a unos pocos fabricantes grandes. , y más Muchas empresas deberían estar en condiciones de utilizar modelos grandes para aplicaciones, por lo que creo que cada vez habrá más talentos desarrollando aplicaciones basadas en modelos grandes. **
Los talentos responsables de la capacitación subyacente, los algoritmos de optimización y la arquitectura de los modelos grandes irán a los grandes fabricantes o equipos de modelos grandes. Sin embargo, creemos que los gigantes más grandes no son necesariamente las grandes empresas de modelos en sí, sino aquellos que crean aplicaciones sólidas basadas en en modelos grandes estas empresas. Una vez que estas empresas crezcan, también construirán sus propios modelos grandes.
Creemos que "la aplicación es el rey" significa que las empresas que desarrollen nuevos modelos de negocio basados en IA y grandes modelos en aplicaciones obtendrán los mayores dividendos. ** Entonces creemos que en los próximos diez años definitivamente aparecerán nuevas empresas gigantes como Byte, Meituan y Didi, que deben crecer de 0 a 100. Las empresas fundadas este año o el próximo deberían tener esta posibilidad. oportunidad.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Los talentos para modelos a gran escala son muy escasos y la “selección” es más importante que el “cultivo” ｜ Conversación con Kunlun Wanwei
Fuente: Qubits
Recientemente, la "Batalla de cientos de modelos" se ha intensificado. En el auge de los grandes modelos, el "talento" se ha convertido en el foco de una feroz competencia entre las principales empresas de tecnología, equipos empresariales e instituciones de investigación. Sin embargo, todavía existe una gran brecha de talentos de vanguardia en el campo AIGC.
¿Qué tipo de talentos se deberían reclutar para facilitar el desarrollo del modelo?
¿Dónde reclutar grandes talentos modelo?
¿Cómo cultivar talentos de I + D de modelos grandes?
Este artículo es una columna de entrevistas en profundidad de la serie "Talentos de modelos grandes" de Qubit Think Tank. Para obtener más información, preste atención al próximo "Informe panorámico sobre el desarrollo de talentos de modelos grandes de AIGC 2023".
Presentación del personaje de la entrevista
Fang Han, presidente y director ejecutivo de Kunlun Wanwei, uno de los fundadores de Linux chino, dirigió el desarrollo del primer acelerador DUDU de software de descarga P2P nacional.
**
**###### △Fang Han, presidente y director ejecutivo de Kunlun Wanwei
Se unió a Kunlun Wanwei en 2008 y dirigió el desarrollo de "Three Kingdoms" y el juego web de rol "Martial Arts", y ganó numerosos premios.
Vistas maravillosas
Registro de entrevista
** ¿Cómo definir el talento de modelo grande? **
** Qubit Think Tank: ¿Cómo divide Kunlun Wanwei los grandes talentos de los modelos? **
Fang Han: Creo que el entrenamiento de modelos debería dividirse en dos partes principales, inferencia de entrenamiento y desarrollo de aplicaciones. De acuerdo con el proceso de capacitación del modelo, dividimos los talentos en talentos del lado del algoritmo, talentos del lado de la arquitectura y talentos del lado del desarrollo de aplicaciones, y los talentos del algoritmo central se subdividen en preentrenamiento, procesamiento de datos, optimización de inferencia de ajuste, etc.
**Qubit Think Tank: ¿Qué tipo de talento crees que es más escaso entre los talentos en algoritmos, los talentos en arquitectura y los talentos en desarrollo de aplicaciones? Y es probable que siga siendo escaso durante mucho tiempo. **
Fang Han: En la actualidad, el talento más escaso es definitivamente el talento de algoritmos centrales, pero la situación de la oferta y la demanda se aliviará rápidamente. Porque hay un fenómeno muy interesante aquí: en la actualidad, la potencia informática de varias universidades es muy insuficiente y la dirección relacionada con los modelos grandes es actualmente un tema candente. Hay muchos talentos que pueden recurrir a este campo de investigación, como la PNL. Todos los talentos de la PNL están recurriendo a grandes modelos.
Por lo tanto, mi opinión personal es que dentro de 1 o 2 años, la escasez de talentos algorítmicos se aliviará en gran medida. Debido a que hay tantos talentos algorítmicos con salarios altos, creo que China todavía está muy orientada al mercado en términos de asignación de talentos.
Elementos de competencia que deben poseer los grandes talentos modelo
**Qubit Think Tank: Al reclutar talentos, ¿qué cualidades de los talentos en sí son más importantes? **
Fang Han: En términos de logros académicos, experiencia práctica, formación académica y conciencia de innovación que mencionaste, nuestra prioridad es experiencia práctica y conciencia de innovación: En primer lugar, El entrenamiento de modelos grandes es esencialmente un problema de ingeniería, por lo que la experiencia práctica es definitivamente muy importante. En segundo lugar, los grandes modelos son proyectos innovadores, porque todas las grandes empresas de modelos compiten mano a mano. Si no hay sentido de innovación, será difícil mantenerse por delante de los demás, porque se trata de una dirección de ingeniería completamente nueva.
**Qubit Think Tank: ¿Qué opinas de este sentido de innovación? **
Fang Han: La innovación que entiendo es diferente de la innovación definida por el público: en el pasado, era más innovación algorítmica. Lo que quiero decir con innovación es, en primer lugar, mantenerse al día con el progreso de vanguardia de los modelos grandes. Hay muchas personas estudiando el entrenamiento de modelos grandes en todo el mundo. Esta dirección está progresando muy rápidamente. Cada día se publican cientos de artículos nuevos. , realizando mejoras en diversas direcciones y campos. El segundo es poder utilizar nuevos métodos para resolver problemas encontrados en ingeniería en función de las necesidades reales. La innovación aquí se centra más en cómo resolver problemas de forma innovadora y mejorar los indicadores desde una perspectiva técnica y de ingeniería.
**Qubit Think Tank: ¿Cree que la conciencia innovadora de los talentos a gran escala puede juzgarse a través de logros académicos, logros de patentes, etc.? **
Fang Han: Creo que no es razonable juzgar la conciencia de innovación de los talentos basándose en los resultados de las patentes. ** OpenAI no presta mucha atención al desempeño de los talentos al solicitar patentes. La mejor innovación en realidad depende de la acumulación de experiencia interna. No es razonable juzgar únicamente desde la perspectiva de las patentes.
Sin embargo, ** los resultados académicos se pueden utilizar como una base más importante para el juicio. **Por ejemplo, las primeras personas en hacer el modelo Vicuña y las primeras en hacer ControlNet fueron estudiantes de doctorado, desde esta perspectiva los resultados académicos pueden tomarse como una cierta referencia.
Sin embargo, en el proceso operativo real, además de la gran innovación de la publicación de artículos, existen innumerables pequeñas innovaciones en ingeniería que lograr. **Por lo tanto, la conciencia de innovación aún debe juzgarse en función de la velocidad y la capacidad de entrega de los talentos para resolver problemas en la práctica.
**Qubit Think Tank: Cuando el modelo Tiangong se actualice de 1.0 a 3.5, ¿en qué campos de talento se centrarán en las diferentes etapas? **
** Fang Han **: En las primeras etapas, realmente necesitamos talentos en algoritmos que estén más familiarizados con la arquitectura subyacente de modelos grandes, CNN y Transformer. Por supuesto, esto también incluye la limpieza y el procesamiento de datos, talentos en ciencia de datos; cuando los modelos grandes maduren gradualmente y necesiten recurrir a la multimodalidad, se necesitará un grupo de talentos que realicen visión por computadora; si se van a lanzar modelos grandes al mundo exterior, se necesitarán talentos de auditoría de seguridad necesario.
** Qubit Think Tank: ¿Cómo cultiva Kunlun Wanwei sus propios grandes talentos modelo? **
Fang Han: Kunlun Wanwei comenzó a capacitar modelos grandes en 2020. En ese momento, había muy pocos talentos en el mercado para hacer modelos grandes. Había más personas tomando la ruta BERT y menos personas tomando la ruta GPT. Entonces nosotros ** En ese momento, elegimos cultivar grandes talentos modelo nosotros mismos. **
El método de capacitación es permitir que los talentos con experiencia en algoritmos aprendan la dirección del entrenamiento del modelo. Luego, al reclutar, debemos considerar seleccionar talentos que estén familiarizados con el aprendizaje automático y el aprendizaje profundo, y que tengan una gran fuerza de conducción autónoma y una velocidad de aprendizaje rápida. Talentos, talentos con experiencia en algoritmos. Originalmente teníamos algunos talentos que estaban estudiando direcciones técnicas como CNN, pero ahora recurrirán más a la capacitación de GPT.
**Qubit Think Tank: ¿Qué opinas de este modelo de entrenamiento de “la gran vaca guía al ternero”? **
** Fang Han **: Toda empresa impulsada por la tecnología en realidad elegirá el método de capacitación de "vacas grandes guiando a las vacas jóvenes", pero ** seleccionar talentos es más importante que cultivar talentos, y el aprendizaje independiente es más importante que los maestros liderando a los aprendices. ** Entonces, a la hora de contratar, también damos gran importancia a la capacidad de aprendizaje independiente de los talentos.
Para las direcciones técnicas tradicionales, como Java, es necesario confiar en una rica experiencia, y los recién graduados necesitan un período de capacitación más largo para convertirse en expertos en el dominio. Sin embargo, el entrenamiento de modelos grandes es un campo emergente, y la acumulación en la industria no es mucho más profunda que en el mundo académico. **Lo que tenemos más que el mundo académico es potencia de cálculo. **De hecho, a nivel de algoritmo, no somos mucho. por delante de las universidades.
**Qubit Think Tank: ¿Cuánto tiempo les tomará a los recién graduados convertirse en grandes expertos en modelos? **
** Fang Han **: Hay una gran cantidad de estudiantes de doctorado que pueden publicar artículos de modelos grandes muy vanguardistas. También se puede ver que muchos artículos innovadores a gran escala son publicados por doctores de segundo y tercer año. D. estudiantes. Encontramos talentos en la escuela que pueden comenzar tan pronto como llegan y pueden convertirse en expertos en el dominio en unos pocos meses.
Nuestra idea es seleccionar los mejores talentos entre los estudiantes de doctorado recién graduados que han demostrado capacidad innovadora y **visión técnica mientras estaban en la escuela. Podemos cultivar "terneros" en un período de tiempo más corto. Puede convertirse en lo que usted llama una "vaca grande".
** Qubit Think Tank: en unos pocos meses o un año, estos nuevos estudiantes de doctorado pueden convertirse en "vacas grandes" en el campo. Entiendo que las "vacas grandes" a las que se refiere son aquellas que tienen capacidades básicas de investigación y desarrollo. **
Fang Han: Sí, damos a los jóvenes muchas oportunidades. De hecho, probablemente solo haya unas pocas docenas de personas realizando capacitación GPT en OpenAI, y una gran cantidad de ellos son talentos que se acaban de graduar hace unos años. Creo que este es básicamente el caso de los grandes equipos modelo en China. Este es un campo completamente nuevo y las oportunidades para los recién llegados son particularmente grandes. **No es un problema para un estudiante de doctorado recién graduado convertirse en un experto técnico en el campo después de trabajar durante aproximadamente medio año, pero definitivamente falta su capacidad de gestión. ** Este campo técnico es muy nuevo y todos avanzan en la misma línea de partida. Los recién graduados no necesariamente tienen desventajas.
**Qubit Think Tank: ¿La mayoría de los recién graduados que mencionó se especializan en procesamiento del lenguaje natural? ¿En qué áreas específicas se dividirá? **
Fang Han: No es exactamente procesamiento del lenguaje natural. Creo que en toda la etapa de vida de un modelo grande, además del procesamiento de datos, debe depender de la acumulación de ingeniería, en *pre- capacitación, RLHF, SFT, optimización del operador * y otros aspectos, tienen direcciones de investigación académica correspondientes, por lo que creo que tienen entre el 70 y el 80% de la capacidad para desarrollar y entrenar modelos grandes.
Es muy fácil para los talentos que estudian el aprendizaje automático, el aprendizaje por refuerzo y el aprendizaje profundo cambiar a modelos grandes. Y como ahora existen muchos modelos de código abierto y hay mucha gente en el mundo académico realizando trabajos de investigación basados en modelos de código abierto, no creo que exista una brecha absoluta en la división del trabajo entre los talentos universitarios.
**Qubit Think Tank: ¿Qué opina del desarrollo general actual del mercado de talentos de modelos grandes? **
Fang Han: Creo que **los grandes talentos de las modelos se encuentran en un estado de gran escasez en general, y **habrá más personas haciendo trabajos de stock. Sin embargo, a medida que hay cada vez más profesionales en modelos grandes, la división del trabajo se volverá cada vez más detallada, lo que constituye un proceso de diferenciación natural. El proceso de desarrollo de cualquier tecnología nueva es así: desde los primeros ingenieros completos hasta los líderes de equipo y líderes de nivel director, la diferenciación de la dirección técnica de los miembros del equipo será más obvia.
**Qubit Think Tank: ¿La mayoría de los talentos reclutados por Kunlun Wanwei provienen de universidades o provienen más de esta industria? **
Fang Han: Actualmente necesitamos talentos con acumulación práctica, por lo que elegiremos más talentos de la industria, que tengan una rica experiencia en ingeniería. Sin embargo, los recién graduados también serán reclutados como reserva, por lo que hay más reclutamientos escolares. La proporción entre el reclutamiento escolar y el reclutamiento social es casi de 1:5.
**Qubit Think Tank: ¿En qué etapa cree que se encuentra el desarrollo actual del talento de este gran modelo? **
Fang Han: A juzgar por el número total de logros académicos de los talentos, China ocupa el primer lugar en el número de artículos sobre IA publicados en el mundo y Estados Unidos ocupa el segundo lugar. El número de artículos es mayor en los Estados Unidos que en en China.
Creo que en términos de los elementos de capacidad de los talentos, los grandes modelos necesitan talentos con diferentes experiencias, y deberían existir los tres, incluidos los recién graduados, los expertos en el campo y los líderes. **Pero desde la perspectiva de la oferta, actualmente se encuentra en una etapa insuficiente. La situación de la oferta se aliviará en gran medida en unos 3 a 5 años, **porque se necesitan 5 años desde que se preparan las materias hasta que los estudiantes se gradúan.
** Dificultades para cultivar grandes talentos modelo **
**Qubit Think Tank: ¿En qué aspectos cree que se puede mejorar la formación del talento? **
Fang Han: Lo compartiré principalmente desde dos perspectivas, la perspectiva corporativa y la perspectiva macro.
Desde una perspectiva empresarial, los talentos crecerán más rápido si participan en proyectos de ingeniería. Esta es una forma muy obvia y práctica. Para las grandes empresas que son más pacientes con los talentos, sus talentos serán más profesionales en lo que hacen, pero en las pequeñas empresas, los talentos de los grandes equipos modelo crecerán de manera más integral y deben tener todas las capacidades del conjunto completo de grandes equipos. modelos.
Desde una perspectiva macroscópica, **en comparación con otras industrias tradicionales, la dificultad para cultivar talentos modelo a gran escala radica en la actual potencia informática insuficiente de las universidades, lo que dificulta que las escuelas capaciten talentos en arquitectura, y estos talentos Sólo pueden acudir a las empresas para recibir formación. Este es un dilema al que se enfrentan todas las universidades del mundo. Creemos que esta situación se aliviará una vez que se comparta la potencia informática a nivel nacional con las universidades.
**Qubit Think Tank: es decir, se basa más en la vinculación de la industria, la academia, la investigación y las políticas para cultivar talentos a gran escala. **
Fang Han: Creo que deberíamos hacer todo lo posible para proporcionar las mismas condiciones de hardware en las escuelas que en las empresas; de lo contrario, lo que aprendamos en las escuelas definitivamente será relativamente limitado.
**Qubit Think Tank: Desde su perspectiva, ¿cuál es la tendencia de desarrollo futuro de la industria de modelos grandes en su conjunto? **
Fang Han: Creo que no debería llamarse la gran industria modelo, sino toda la industria de la IA. Las oportunidades que encuentra la industria de la IA no deberían ser menores que las de Internet y la Internet móvil. Soy muy optimista sobre la tendencia de desarrollo de la industria de la IA. Creo que la IA cambiará profundamente toda Internet y toda la vida humana se verá muy afectada y modificada. Creo que toda la industria experimentará un cambio de dirección.
**Qubit Think Tank: según esta tendencia, ¿qué tipo de talentos de modelos grandes cree que serán más favorecidos por las empresas? **
Fang Han: En primer lugar, se ha formado la "Batalla de cientos de modelos". Todo el mundo está fabricando bases de modelos grandes. En el futuro, las bases de modelos grandes definitivamente se reducirán a unos pocos fabricantes grandes. , y más Muchas empresas deberían estar en condiciones de utilizar modelos grandes para aplicaciones, por lo que creo que cada vez habrá más talentos desarrollando aplicaciones basadas en modelos grandes. **
Los talentos responsables de la capacitación subyacente, los algoritmos de optimización y la arquitectura de los modelos grandes irán a los grandes fabricantes o equipos de modelos grandes. Sin embargo, creemos que los gigantes más grandes no son necesariamente las grandes empresas de modelos en sí, sino aquellos que crean aplicaciones sólidas basadas en en modelos grandes estas empresas. Una vez que estas empresas crezcan, también construirán sus propios modelos grandes.
Creemos que "la aplicación es el rey" significa que las empresas que desarrollen nuevos modelos de negocio basados en IA y grandes modelos en aplicaciones obtendrán los mayores dividendos. ** Entonces creemos que en los próximos diez años definitivamente aparecerán nuevas empresas gigantes como Byte, Meituan y Didi, que deben crecer de 0 a 100. Las empresas fundadas este año o el próximo deberían tener esta posibilidad. oportunidad.