Autor: Hu Xiner, pasante, Shao Wen, reportero de The Paper
Fuente de la imagen: Generada por Unbounded AI
Dai Qionghai, académico de la Academia China de Ingeniería, dijo: "Nuestro país debe profundizar el cultivo de personal de inteligencia artificial e investigación básica en términos de políticas, mecanismos e inversión, fortalecer la innovación original y evitar caer en el dilema del 'agua'". sin fuente'".
Wang Yu, profesor titular del Departamento de Ingeniería Electrónica de la Universidad de Tsinghua, señaló: "Ya hay muchas empresas de chips en Shanghái, y también hay muchos algoritmos en Shanghái. ¿Cómo lograr una implementación eficiente y unificada y ejecutar tales algoritmos en Las fichas son un tema muy importante. Pregunta".
El 7 de julio, en el foro de la Conferencia Mundial de Inteligencia Artificial 2023 "Oportunidades y riesgos de desarrollo de la industria de la inteligencia artificial general en la era de los modelos a gran escala", varios expertos en el campo de la inteligencia artificial general se centraron en los modelos a gran escala, respectivamente. desde la innovación básica, la tecnología de aplicación y las perspectivas de futuro.Discusión en profundidad de la inteligencia artificial en otros niveles.
“Nuestro país debe profundizar la formación de talentos en IA y la investigación básica en términos de políticas, mecanismos e inversión, fortalecer la innovación original y evitar caer en el dilema del 'agua sin fuente'”, Dai Qionghai, consejero del Consejo de Estado y académico. de la Academia China de Ingeniería, enfatizó en su discurso de apertura.
Wang Yu, profesor titular y director del Departamento de Ingeniería Electrónica de la Universidad de Tsinghua, dijo que, desde la perspectiva de las aplicaciones de aterrizaje, actualmente es difícil implementar modelos a gran escala en el campo vertical, y que los modelos domésticos a gran escala enfrentan tres desafíos. : los altos costos de implementación de campo, una gran brecha en el poder de cómputo del modelo y el reemplazo de chips domésticos es difícil. "En la última milla del aterrizaje del modelo grande, necesitamos conectar el algoritmo con el chip", dijo Wang Yu.
"La inteligencia cerebral es la nueva dirección del futuro"
Dai Qionghai cree que en la innovación del gran modelo "0 a 1", los logros disruptivos nacionales en el campo de la investigación básica son débiles. "Desde la perspectiva de la industria del desarrollo inteligente, somos optimistas y no optimistas". En su opinión, la mayoría de los talentos de inteligencia artificial de China se concentran en la capa de aplicación, por lo que hay mucho espacio para escenarios de aplicación y capas tecnológicas. Sin embargo, China obviamente está en desventaja en términos de talentos en el nivel básico y carece de innovación original.
Dai Qionghai dijo que la innovación y el desarrollo de la inteligencia artificial requieren tres pilares, a saber, algoritmos, datos y poder de cómputo. Los algoritmos determinan el nivel de inteligencia, los datos determinan el alcance de la inteligencia y el poder de cómputo determina la eficiencia de la inteligencia. A nivel de algoritmos, se espera que los modelos grandes se conviertan en una plataforma básica clave en las aplicaciones de inteligencia artificial en unos cinco años.
Dai Qionghai también señaló que la inteligencia cerebral es una nueva dirección en el futuro. El nuevo algoritmo de inteligencia artificial que integra el cerebro y la cognición está a la vanguardia del diseño de la industria y liderará una nueva generación de inteligencia. Sugirió en el foro que el gobierno debería alentar a las empresas a liderar la construcción de modelos a gran escala, explorar la combinación de mecanismos biológicos y características de máquinas, crear nuevos paradigmas de inteligencia artificial y promover la investigación básica y la expansión de aplicaciones simultáneamente. Él predice que la inteligencia artificial con inteligencia cognitiva como núcleo comenzará a aplicarse diez años después.
Además, Dai Qionghai cree que es necesario estar atento a los problemas de seguridad de las aplicaciones de modelos a gran escala. Los modelos grandes aún no son capaces de autenticar resultados como la generación de contenido engañoso. "Esto significa que una vez que hay un problema con la aplicación del modelo grande, no es tan simple como el virus actual de la red informática, solo mata y mata el virus, lo que tendrá un impacto subversivo. Por lo tanto, cuando el modelo grande es aplicado, la seguridad y la confiabilidad deben combinarse. La credibilidad se discutió claramente ".
Los modelos nacionales a gran escala deben centrarse en resolver los cuatro puntos débiles
Wang Yu dijo en el foro: "Shanghái está muy preocupado por la inteligencia artificial y los chips, pero desde otra perspectiva, nuestros modelos más avanzados y la potencia informática relativamente importante están sujetas a ciertas restricciones. Nuestra potencia informática debería ser más en qué dirección ir, cómo compensar mejor el poder de cómputo doméstico y cómo apoyar el desarrollo del país en la capacitación y el razonamiento de modelos grandes con dicho espacio, estos problemas se han vuelto extremadamente importantes".
Wang Yu también mencionó que actualmente en países extranjeros, solo Nvidia y AMD pueden elegir chips con gran potencia informática. Nvidia domina el mercado y su ecosistema de software es relativamente bueno. "Entonces, varios modelos extranjeros, como OpenAI, Microsoft y Google, están comprando chips Nvidia en grandes cantidades y luego los desarrollan sobre el marco de software de Nvidia. La ecología extranjera es muy simple. Las empresas hacen un buen trabajo con los algoritmos. En este campo, la implementación es compatible con el sistema de software de Nvidia".
"Sin embargo, el desarrollo de chips de gran potencia informática en China aún está en pañales". Wang Yu cree: "Ya hay muchas empresas de chips en Shanghái, como Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology, etc. también muchos en Shanghái. Los algoritmos, cómo lograr una implementación eficiente y unificada, y cómo ejecutar dichos algoritmos en chips es un tema muy importante".
Al mismo tiempo, Wang Yu enfatizó que es muy difícil implementar modelos a gran escala en el campo vertical en la actualidad, y los modelos domésticos a gran escala enfrentan tres desafíos principales: altos costos de implementación en el campo, una gran brecha en el poder de cómputo del modelo, y dificultad para reemplazar los chips domésticos.
"A diferencia de un modelo de la era AI 1.0 anterior que se enfocaba en una tarea específica, la era AI 2.0 de hoy es un modelo que resuelve múltiples tareas, y la capa de aplicación, la capa de algoritmo y la capa del sistema deben optimizarse en colaboración". Wang Yu dijo que al final del aterrizaje del modelo grande Un kilómetro, los modelos domésticos a gran escala deben enfocarse en resolver cuatro puntos débiles.
"Primero tenemos que lidiar con el problema del texto largo, es decir, usarlo bien". Wang Yu dijo que la tendencia actual de los algoritmos es aumentar la longitud del texto compatible con modelos grandes, pero el texto largo también provocará un aumento en la carga Transformador (un modelo de aprendizaje profundo desarrollado por Google, en el que OpenAI desarrolló GPT) La carga en la arquitectura aumenta dramáticamente a medida que la entrada se vuelve más larga. Por lo tanto, ajustar el texto largo es un requisito extremadamente importante.
Otro requisito para los modelos grandes es la mejora de la rentabilidad. "Si Google usa un modelo grande en su motor de búsqueda, aumentará los costos en US $ 36 mil millones y sus ganancias pueden perderse en un 65%". Wang Yu dijo que si la empresa puede reducir el costo de un clic, la pérdida general de las utilidades pueden ser reducidas. Moviéndose en esta dirección, se espera que todos puedan permitirse modelos grandes.
Además, los modelos grandes necesitan potenciar una variedad de campos verticales. Para todos los ámbitos de la vida, no hay muchos modelos grandes que tengan mucho conocimiento. Especialmente en campos como la atención médica y las finanzas, la adquisición de corpus de datos es costosa y muy escasa. "Si puede agregar un modelo base de propósito general y ajustarlo, se espera que el rendimiento básico de varias industrias mejore aún más", pero Wang Yu también señaló que si se desarrolla en el campo vertical, el propósito general el modelo grande debe ajustarse, y cuanto más grande sea el modelo, el costo del ajuste también aumenta significativamente. Por lo tanto, cómo diseñar un algoritmo de ajuste fino eficiente es un tema que necesita ser discutido.
Al mismo tiempo, los modelos grandes también presentan nuevos requisitos para la implementación en un solo lugar. En la optimización de software y hardware, si la optimización del operador, la optimización de compilación y la implementación de hardware se implementan en capas, se requiere un total de 100 personas por día, mientras que para la implementación automatizada de una sola parada, solo se requieren 10 personas por día. Wang Yu señaló que la implementación integral puede optimizar los costos laborales, aumentar aún más la escala del espacio de optimización de compilación y se espera que promueva el desarrollo de toda la cadena industrial.
Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Resuelva el problema de los modelos domésticos a gran escala: evite el "agua pasiva", la última milla necesita conectar algoritmos y chips
Fuente: El Papel
Autor: Hu Xiner, pasante, Shao Wen, reportero de The Paper
Dai Qionghai, académico de la Academia China de Ingeniería, dijo: "Nuestro país debe profundizar el cultivo de personal de inteligencia artificial e investigación básica en términos de políticas, mecanismos e inversión, fortalecer la innovación original y evitar caer en el dilema del 'agua'". sin fuente'".
Wang Yu, profesor titular del Departamento de Ingeniería Electrónica de la Universidad de Tsinghua, señaló: "Ya hay muchas empresas de chips en Shanghái, y también hay muchos algoritmos en Shanghái. ¿Cómo lograr una implementación eficiente y unificada y ejecutar tales algoritmos en Las fichas son un tema muy importante. Pregunta".
El 7 de julio, en el foro de la Conferencia Mundial de Inteligencia Artificial 2023 "Oportunidades y riesgos de desarrollo de la industria de la inteligencia artificial general en la era de los modelos a gran escala", varios expertos en el campo de la inteligencia artificial general se centraron en los modelos a gran escala, respectivamente. desde la innovación básica, la tecnología de aplicación y las perspectivas de futuro.Discusión en profundidad de la inteligencia artificial en otros niveles.
“Nuestro país debe profundizar la formación de talentos en IA y la investigación básica en términos de políticas, mecanismos e inversión, fortalecer la innovación original y evitar caer en el dilema del 'agua sin fuente'”, Dai Qionghai, consejero del Consejo de Estado y académico. de la Academia China de Ingeniería, enfatizó en su discurso de apertura.
Wang Yu, profesor titular y director del Departamento de Ingeniería Electrónica de la Universidad de Tsinghua, dijo que, desde la perspectiva de las aplicaciones de aterrizaje, actualmente es difícil implementar modelos a gran escala en el campo vertical, y que los modelos domésticos a gran escala enfrentan tres desafíos. : los altos costos de implementación de campo, una gran brecha en el poder de cómputo del modelo y el reemplazo de chips domésticos es difícil. "En la última milla del aterrizaje del modelo grande, necesitamos conectar el algoritmo con el chip", dijo Wang Yu.
"La inteligencia cerebral es la nueva dirección del futuro"
Dai Qionghai cree que en la innovación del gran modelo "0 a 1", los logros disruptivos nacionales en el campo de la investigación básica son débiles. "Desde la perspectiva de la industria del desarrollo inteligente, somos optimistas y no optimistas". En su opinión, la mayoría de los talentos de inteligencia artificial de China se concentran en la capa de aplicación, por lo que hay mucho espacio para escenarios de aplicación y capas tecnológicas. Sin embargo, China obviamente está en desventaja en términos de talentos en el nivel básico y carece de innovación original.
Dai Qionghai dijo que la innovación y el desarrollo de la inteligencia artificial requieren tres pilares, a saber, algoritmos, datos y poder de cómputo. Los algoritmos determinan el nivel de inteligencia, los datos determinan el alcance de la inteligencia y el poder de cómputo determina la eficiencia de la inteligencia. A nivel de algoritmos, se espera que los modelos grandes se conviertan en una plataforma básica clave en las aplicaciones de inteligencia artificial en unos cinco años.
Dai Qionghai también señaló que la inteligencia cerebral es una nueva dirección en el futuro. El nuevo algoritmo de inteligencia artificial que integra el cerebro y la cognición está a la vanguardia del diseño de la industria y liderará una nueva generación de inteligencia. Sugirió en el foro que el gobierno debería alentar a las empresas a liderar la construcción de modelos a gran escala, explorar la combinación de mecanismos biológicos y características de máquinas, crear nuevos paradigmas de inteligencia artificial y promover la investigación básica y la expansión de aplicaciones simultáneamente. Él predice que la inteligencia artificial con inteligencia cognitiva como núcleo comenzará a aplicarse diez años después.
Además, Dai Qionghai cree que es necesario estar atento a los problemas de seguridad de las aplicaciones de modelos a gran escala. Los modelos grandes aún no son capaces de autenticar resultados como la generación de contenido engañoso. "Esto significa que una vez que hay un problema con la aplicación del modelo grande, no es tan simple como el virus actual de la red informática, solo mata y mata el virus, lo que tendrá un impacto subversivo. Por lo tanto, cuando el modelo grande es aplicado, la seguridad y la confiabilidad deben combinarse. La credibilidad se discutió claramente ".
Los modelos nacionales a gran escala deben centrarse en resolver los cuatro puntos débiles
Wang Yu dijo en el foro: "Shanghái está muy preocupado por la inteligencia artificial y los chips, pero desde otra perspectiva, nuestros modelos más avanzados y la potencia informática relativamente importante están sujetas a ciertas restricciones. Nuestra potencia informática debería ser más en qué dirección ir, cómo compensar mejor el poder de cómputo doméstico y cómo apoyar el desarrollo del país en la capacitación y el razonamiento de modelos grandes con dicho espacio, estos problemas se han vuelto extremadamente importantes".
Wang Yu también mencionó que actualmente en países extranjeros, solo Nvidia y AMD pueden elegir chips con gran potencia informática. Nvidia domina el mercado y su ecosistema de software es relativamente bueno. "Entonces, varios modelos extranjeros, como OpenAI, Microsoft y Google, están comprando chips Nvidia en grandes cantidades y luego los desarrollan sobre el marco de software de Nvidia. La ecología extranjera es muy simple. Las empresas hacen un buen trabajo con los algoritmos. En este campo, la implementación es compatible con el sistema de software de Nvidia".
"Sin embargo, el desarrollo de chips de gran potencia informática en China aún está en pañales". Wang Yu cree: "Ya hay muchas empresas de chips en Shanghái, como Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology, etc. también muchos en Shanghái. Los algoritmos, cómo lograr una implementación eficiente y unificada, y cómo ejecutar dichos algoritmos en chips es un tema muy importante".
Al mismo tiempo, Wang Yu enfatizó que es muy difícil implementar modelos a gran escala en el campo vertical en la actualidad, y los modelos domésticos a gran escala enfrentan tres desafíos principales: altos costos de implementación en el campo, una gran brecha en el poder de cómputo del modelo, y dificultad para reemplazar los chips domésticos.
"A diferencia de un modelo de la era AI 1.0 anterior que se enfocaba en una tarea específica, la era AI 2.0 de hoy es un modelo que resuelve múltiples tareas, y la capa de aplicación, la capa de algoritmo y la capa del sistema deben optimizarse en colaboración". Wang Yu dijo que al final del aterrizaje del modelo grande Un kilómetro, los modelos domésticos a gran escala deben enfocarse en resolver cuatro puntos débiles.
"Primero tenemos que lidiar con el problema del texto largo, es decir, usarlo bien". Wang Yu dijo que la tendencia actual de los algoritmos es aumentar la longitud del texto compatible con modelos grandes, pero el texto largo también provocará un aumento en la carga Transformador (un modelo de aprendizaje profundo desarrollado por Google, en el que OpenAI desarrolló GPT) La carga en la arquitectura aumenta dramáticamente a medida que la entrada se vuelve más larga. Por lo tanto, ajustar el texto largo es un requisito extremadamente importante.
Otro requisito para los modelos grandes es la mejora de la rentabilidad. "Si Google usa un modelo grande en su motor de búsqueda, aumentará los costos en US $ 36 mil millones y sus ganancias pueden perderse en un 65%". Wang Yu dijo que si la empresa puede reducir el costo de un clic, la pérdida general de las utilidades pueden ser reducidas. Moviéndose en esta dirección, se espera que todos puedan permitirse modelos grandes.
Además, los modelos grandes necesitan potenciar una variedad de campos verticales. Para todos los ámbitos de la vida, no hay muchos modelos grandes que tengan mucho conocimiento. Especialmente en campos como la atención médica y las finanzas, la adquisición de corpus de datos es costosa y muy escasa. "Si puede agregar un modelo base de propósito general y ajustarlo, se espera que el rendimiento básico de varias industrias mejore aún más", pero Wang Yu también señaló que si se desarrolla en el campo vertical, el propósito general el modelo grande debe ajustarse, y cuanto más grande sea el modelo, el costo del ajuste también aumenta significativamente. Por lo tanto, cómo diseñar un algoritmo de ajuste fino eficiente es un tema que necesita ser discutido.
Al mismo tiempo, los modelos grandes también presentan nuevos requisitos para la implementación en un solo lugar. En la optimización de software y hardware, si la optimización del operador, la optimización de compilación y la implementación de hardware se implementan en capas, se requiere un total de 100 personas por día, mientras que para la implementación automatizada de una sola parada, solo se requieren 10 personas por día. Wang Yu señaló que la implementación integral puede optimizar los costos laborales, aumentar aún más la escala del espacio de optimización de compilación y se espera que promueva el desarrollo de toda la cadena industrial.