Lin Junchao: Mirando las oportunidades de inversión de la IA desde la perspectiva del mercado primario

Fuente: Instituto de Investigación de Capital de Titanio

Después de que ChatGPT se extendió por todo el mundo, la inteligencia artificial fue empujada a una nueva salida. Como herramienta de productividad inteligente subversiva, ya se ha convertido en un tema candente. En la actualidad, los países y regiones desarrollados de todo el mundo han elevado el desarrollo de la industria de la inteligencia artificial a la estrategia nacional, y las tecnologías y aplicaciones emergentes relacionadas se han implementado continuamente. Con el desarrollo profundo de la nueva ola de IA, está a punto de surgir una revolución industrial liderada por la tecnología de inteligencia digital, y también ha abierto el preludio de la "era de los grandes modelos" en todos los ámbitos de la vida.

¿Por qué los grandes modelos de lenguaje pueden liderar la tendencia de la IA? ¿Cuáles son las oportunidades de inversión para la IA doméstica? Recientemente, Titanium Capital invitó a Lin Junchao, director de inversiones de Rongyi Capital, a compartir el tema: Observar las oportunidades de inversión de la IA desde la perspectiva del mercado primario. El Sr. Lin tiene una licenciatura en ingeniería eléctrica y electrónica y una maestría de primera clase con honores de University College London (UCL), y tiene tres años de experiencia empresarial y seis años de experiencia en inversiones de capital. Sus enfoques de inversión incluyen herramientas básicas de desarrollo de software, Metaverse y AIGC, incluidos Jingye Intelligence, Smart Open Source China y otros proyectos. El anfitrión de este intercambio es Wu Kai, Director General de Titanium Capital. El siguiente es el registro de intercambio:

Por qué el modelo de lenguaje grande puede liderar la tendencia de la IA‍‍‍

Una breve historia del desarrollo de IA

Desde que Shannon propuso los juegos de computadora en 1950, la IA ha experimentado más de 70 años de desarrollo. Podemos dividirlo aproximadamente en cuatro etapas: iluminación temprana + era del sistema experto (años 50-70), aprendizaje automático + era de visión artificial (años 80-90), era del aprendizaje profundo (2006-2017), era multimodal + modelo de lenguaje grande (2018-presente).

El hito en la etapa de la iluminación temprana ocurrió en el Simposio de Verano de Dartmouth College en 1956. El concepto de inteligencia artificial se propuso por primera vez en la reunión, que oficialmente inició el preludio de la inteligencia artificial.Durante este período, el primer robot de chat ELIZA desarrollado por el MIT en 1966, el primer sistema experto DENDRAL, y David Marr propuso los conceptos de visión por computadora y neurología computacional en 1976.

En la era del aprendizaje automático, hay una figura histórica, es decir, el padrino de la IA que dejó Google hace algún tiempo: Jeffrey Hinton. En 1986, propuso el algoritmo de retropropagación, que hizo posible el entrenamiento de redes neuronales a gran escala y allanó el camino para redes neuronales posteriores y aprendizaje profundo. Al mismo tiempo, también aparecieron muchos eventos y figuras importantes en esta etapa, como el juego de backgammon en 1979 y la victoria de Deep Blue sobre el campeón mundial de ajedrez Kastrov en 1997. En 2006, Jeffrey Hinton y otros propusieron formalmente el concepto de aprendizaje profundo, introduciendo así la IA en la tercera etapa: la era del aprendizaje profundo.

En la era del aprendizaje profundo, Jeffrey Hinton propuso la red neuronal convolucional AlexNet en 2012 y ganó la competencia de clasificación de imágenes de ImageNet. La tasa de error general fue un 10,8 % más baja que el segundo lugar, inaugurando oficialmente el primer año de aprendizaje profundo en visión artificial. En marzo de 2013, Google adquirió la empresa emergente DNNResearch de Jeffrey Hinton por 44 millones de dólares. Desde entonces, Google ha comenzado a liderar el desarrollo de la IA global; en 2015, TensorFlow, el marco de aprendizaje profundo más influyente del mundo, fue de código abierto; en 2016, AlphaGo derrotó al maestro Go de nueve dan Li Sedol 4:1; en 2017, se lanzó el modelo Transformer, que desde entonces ha abierto la era del gran lenguaje actual. modelo Al mismo tiempo, junto con la ola de IA liderada por Google, en 2016 también se establecieron unicornios de IA como Scale AI, HuggingFace y OpenAI. El gigante de Internet Meta también abrió un marco de aprendizaje profundo más útil, Pytorch, en 2017.

OpenAI, el líder en la era de los modelos de lenguaje grande, apareció por primera vez a principios de abril de 2019. El OpenAI Five desarrollado por él derrotó al equipo OG campeón mundial de Dota2 con una ventaja absoluta de 2:0, y luego lanzó GPT-3 con 175 000 millones de parámetros en mayo de 2020, ChatGPT (GPT-3.5) en noviembre de 2022 y GPT-4 en marzo de 2023. Desde entonces, tomó el relevo oficial de Google y comenzó a liderar el mundo. Desarrollo de modelos. Los gigantes de Internet/software como Google, Meta y Microsoft también ajustaron sus estrategias y participaron activamente en la competencia de modelos a gran escala. Desde ChatGPT a fines de 2022, hemos visto que los principales fabricantes de todo el mundo han ingresado al modelo a gran escala, y las universidades nacionales, los gigantes tecnológicos, las empresas emergentes, etc. también han lanzado continuamente varios productos y aplicaciones modelo a gran escala.

La historia del desarrollo de la IA en China se remonta al establecimiento del Instituto de Investigación de Microsoft Asia en 1998. Hoy en día, los fundadores y los equipos centrales detrás de las empresas nacionales conocidas como Innovation Works, Baidu, Kingsoft, Alibaba, SenseTime y Questyle provienen todos del Instituto de Investigación de Microsoft Asia. El primer lote de empresas nacionales de inteligencia artificial iFlytek, Dahua y Hikvision cotizaron en el mercado de acciones A alrededor de 2008-2010. De 2011 a 2015, surgieron muchas nuevas empresas de visión artificial en China, como Megvii (fundada en 2011), YITU (fundada en 2012), SenseTime (fundada en 2014) y Yuncong (fundada en 2015). En 2018, se estableció el equipo nacional: el Instituto de Investigación de Inteligencia Artificial Beijing Zhiyuan. El desarrollo de modelos grandes esta vez también se ha beneficiado de esta ola. Desde 2002, las empresas relacionadas con la IA, como Cambrian, SenseTime, Haitian Ruisheng y Yuncong, figuran en la Junta de Innovación Científica y Tecnológica y en la Bolsa de Valores de Hong Kong.

El encanto de ChatGPT y GPT-4

¿Por qué ChatGPT y GPT-4 nos permiten sentir intuitivamente la diferencia y el poder de esta ola de IA del pasado? Se puede ver principalmente desde los siguientes aspectos:

**Primero, desde el punto de vista del usuario, esta vez es un método de interacción muy parecido al humano. **Al hablar con ChatGPT, el contenido se genera palabra por palabra y la respuesta se genera mientras se piensa. Al mismo tiempo, también tiene la capacidad de múltiples rondas de diálogo. Además, también puede desempeñar algunos roles, como traductores, consejeros psicológicos, etc.

**En segundo lugar, la capacidad de generalización, que se refleja principalmente en la capacidad de comprender rápidamente los requisitos y dar respuestas relativamente precisas sin contexto. **Esto se basa en el apoyo de un corpus masivo de preentrenamiento e ingeniería de pistas.

**Tercero, la cadena de pensamiento. ** Capacidad para comprender el contexto y el contexto, incluso textos largos. Por ejemplo, el Claude2 recientemente lanzado tiene una capacidad de procesamiento de contexto de 100,000 tokens, lo que básicamente puede alimentar un libro completo para su procesamiento. Al mismo tiempo, también hay una fuerte capacidad de razonamiento lógico, que puede desmontar y deducir gradualmente el problema de acuerdo con la forma de pensar humana.

De hecho, estas capacidades emergen con el aumento de los parámetros del modelo y la extensión del tiempo de entrenamiento. Además, podemos ver que GPT-4 tiene excelentes resultados en varios exámenes humanos, alcanzando básicamente el nivel de futuros estudiantes universitarios.

La composición del modelo de lenguaje grande

Volviendo al modelo de gran lenguaje en sí, recomiendo a todos que vean el discurso de apertura del estado de GPT compartido por el cofundador de OpenAI, Andrej Karpathy, en la Conferencia de desarrolladores de Microsoft. Desarmó el proceso de entrenamiento del modelo grande en cuatro etapas:

**En la etapa previa al entrenamiento, se requiere una gran cantidad de datos de entrenamiento de calidad relativamente baja (incluidos libros, rastreo de Internet, artículos, etc.) y el 99 % de la potencia informática y el tiempo de todo el proceso de entrenamiento del modelo grande para entrenar un modelo básico. **Por ejemplo, entrenar un modelo básico LLaMA de 650 mil millones de parámetros requiere 2048 GPU Nvidia A100, lo que lleva 21 días, y el costo total de entrenamiento es de aproximadamente 5 millones de dólares estadounidenses. Por lo tanto, entrenar un modelo básico no es amigable para las empresas emergentes, y tales recursos y costos generalmente solo están disponibles para los grandes fabricantes.

El segundo paso es supervisado y ajustado en el modelo básico, para entrenar el modelo SFT, como Vicuna-13B y otros modelos comunes de código abierto, son modelos supervisados y ajustados. En esta etapa, solo se necesita proporcionar una pequeña cantidad de datos de alta calidad y la demanda de poder de cómputo es relativamente pequeña.

**La tercera y cuarta etapas son las etapas de modelado de recompensas y aprendizaje de refuerzo, es decir, aprendizaje de retroalimentación de refuerzo humano RLHF. ** A través de estas dos etapas, el resultado del modelo será mucho mejor que el modelo de ajuste fino supervisado y el modelo básico, pero se sacrificará la entropía del modelo básico.

Desde la perspectiva de la industria del mercado primario para ver oportunidades de IA

Al observar las oportunidades de inversión en IA sistemáticamente desde la perspectiva de la inversión en el mercado primario, se puede dividir en capa básica, capa de implementación y capa de aplicación. La comunidad del modelo de IA se ejecuta a través de estas tres capas.

**La capa básica se puede dividir en capa de infraestructura, capa de datos y capa de algoritmo. **

La capa inferior de la capa de infraestructura es la potencia informática, y también es el lugar que actualmente enfrenta el cuello de botella más directo.Ahora, tanto las GPU de Nvidia como las de AMD están embargadas en China. Huawei Kunpeng, el líder en potencia informática doméstica, también se enfrenta al problema de la cinta.En el futuro, China puede enfrentar una presión cada vez mayor en términos de potencia informática de gama alta. Al mismo tiempo, todavía existe el problema de la utilización de la GPU.Incluso para OpenAI, una gran cantidad de ingenieros de Nvidia residen en el sitio para el ajuste manual, pero su utilización de la GPU es solo del 50% al 60%. Por encima de la potencia informática se encuentra la capa de software básica alrededor del modelo grande, como el almacenamiento de datos nativos de IA, la transmisión de datos, la seguridad de datos y otras herramientas y plataformas de desarrollo y mantenimiento alrededor de los datos, incluidas las bases de datos vectoriales, LLMOps, MLOps, etc.

Puede haber más oportunidades en la capa de datos, porque el modelo básico puede ser desarrollado por empresas líderes en el futuro, y habrá una gran cantidad de modelos básicos de código abierto, por lo que no es necesario gastar mucho dinero para desarrollar su propio modelo básico. Deberíamos centrarnos en la acumulación de datos de las propias industrias y empresas verticales, y en cómo formar aplicaciones a gran escala por las que los clientes estén dispuestos a pagar. En la actualidad, el mayor problema de los modelos grandes es cómo obtener conjuntos de datos de alta calidad y conjuntos de datos de la industria vertical. Todo el mundo ha visto el potencial de los modelos grandes en los campos de la industria, la ciencia, la medicina, el derecho, las finanzas y la educación. Las oportunidades futuras pueden residir en cómo obtener datos de alta calidad de manera eficiente, cómo procesar datos multimodales, cómo identificar, cómo capitalizar datos, cómo confirmar derechos, cómo comerciar, cómo proteger la seguridad, etc.

El núcleo de la capa del algoritmo se encuentra en el marco de aprendizaje profundo y el modelo básico.

El marco de aprendizaje profundo se puede describir como el sistema operativo de la IA. Coordina la implementación de los recursos informáticos hacia abajo, lleva a cabo las capacidades de construcción de los modelos de algoritmos de IA hacia arriba y proporciona una gran cantidad de bibliotecas de operadores, bibliotecas de modelos y tutoriales de documentos. También es de naturaleza ecológica y reduce el umbral de desarrollo. En la actualidad, los principales marcos de aprendizaje profundo del mundo son principalmente TensorFlow de Google y Pytorch de Meta. En China, hay principalmente Baidu Fei Paddle, Huawei Shengsi y Oneflow, que fue adquirida anteriormente por Light Years Beyond.

El modelo básico en sí también tiene diversidad. Por ejemplo, en términos de rutas técnicas, hay CNN, RNN, GAN, Transformer, etc. El modelo Transformer se puede dividir en modelo de codificación automática, modelo autorregresivo, modelo de codificador-decodificador, etc., y se puede dividir en forma de fuente cerrada y fuente abierta. Esta dirección es la más probable de dar a luz a empresas con un valor de mercado de cientos de miles de millones o incluso billones, pero también es el principal campo de batalla con la competencia más intensa.

En la era de la guerra de los 100 modelos, la evaluación de modelos se ha convertido en una herramienta central para medir las capacidades de varios modelos. En la actualidad, han aparecido en el mercado diversas herramientas de evaluación para modelos pequeños tradicionales (GLUE, SuperGLUE, etc.), modelos de lenguaje grande (HELM, BIG-Bench, etc.) y modelos de lenguaje grande chino (SuperCLUE, C-, etc.). Al igual que SuperCLUE y C-, se han agregado a sus conjuntos de evaluación una gran cantidad de preguntas con características chinas (pensamiento de Mao Zedong, los principios básicos del muskismo, etc.) y características chinas (modismos, poemas, chino clásico, etc.) y otras dimensiones. A juzgar por los resultados de la evaluación, a excepción de GPT-4, GPT-3.5 y Claude, los productos de modelos nacionales a gran escala son mejores que otros modelos extranjeros en el rendimiento general de la evaluación, por lo que la necesidad de entrenar modelos chinos a gran escala es muy alta.

La capa de aplicación se puede dividir en modelos grandes generales y modelos grandes de la industria vertical. Nos centramos principalmente en la nueva generación de herramientas de productividad habilitadas para IA en el campo de los modelos grandes generales y las oportunidades de aplicación de los modelos grandes en varios campos de la industria vertical.

a C: herramienta de productividad potenciada por IA

En la era de la epidemia, las herramientas de productividad con temas de colaboración como Notion, Figma y Canva han sufrido cambios. Del mismo modo, bajo esta ola de IA, las herramientas de productividad también marcarán el comienzo de una nueva revolución.

Ahora vemos que los grandes modelos han penetrado en diversos grados en texto, código, imagen, música, video, 3D, etc. Varios productos nuevos y nuevas aplicaciones están surgiendo uno tras otro, como chatbots en el campo de texto y copiloto de productos de oficina, copiloto de GitHub en el campo de código, Midjourney y Stable Diffusion en el campo de imagen, AI Stefanie Sun, que era popular en el campo de la música antes, y pasarela en el campo de video, etc. Empresas nacionales como Baidu, Kingsoft Office, Evernote, Zhip u Huazhang, etc. también han lanzado productos de IA similares, están cambiando la forma de las herramientas de productividad tradicionales en diversos grados, pero actualmente se limitan a herramientas de eficiencia en el proceso de producción industrial en varios campos, y no pueden realizar AGI en el verdadero sentido.

Al mismo tiempo, se puede ver que fabricantes como Microsoft Office, Adobe Photoshop, Unity y Notion también están adoptando activamente esta ola de IA, incorporando capacidades AGI en sus propios productos y cadenas de herramientas. Originalmente se pensó que la aparición de Midjourney y Stable Diffusion reemplazaría por completo a Photoshop, pero luego se descubrió que AGI, debido a problemas de control y otros aspectos, hizo que Photoshop combinado con capacidades de generación de IA fuera más potente y fácil de usar.

El campo 3D es actualmente uno de los campos más difíciles para implementar la IA. El factor central es que hay muy pocos datos 3D de alta calidad. En la actualidad, NVIDIA, Unity, Stability.ai y los institutos de investigación científica exploran y lideran principalmente el AGI de contenido 3D, pero en esta etapa, todavía se trata principalmente de herramientas de demostración y en forma de dispersión, y aún queda un largo camino por recorrer antes de que pueda aplicarse a campos industriales como efectos especiales de cine y televisión, juegos y metaverso.

a B: modelo de industria vertical

En la actualidad, la mayoría de los productos de modelos a gran escala lanzados por los principales fabricantes son modelos a gran escala de propósito general. Sin embargo, cuando se enfrentan a industrias verticales, los clientes finales necesitan modelos grandes de alta precisión, alta consistencia y fáciles de implementar que puedan resolver de manera eficiente problemas de escenarios específicos con menos datos y menor poder de cómputo. El último modelo grande Pangu 3.0 lanzado por Huawei se basa en el modelo grande básico, agregando modelos grandes de la industria N L1 y capacidades de modelo de escena X L2.

Los puntos clave centrales de los grandes modelos de la industria vertical son los conjuntos de datos de la industria de alta calidad y las capacidades de ingeniería para el ajuste, la compresión y la implementación del modelo. Este también es un punto de oportunidad de inversión, al igual que la oportunidad de los contenedores en la era nativa de la nube, una gran cantidad de pequeñas y medianas empresas B en industrias tradicionales necesitan confiar en fabricantes de contenedores especializados para ayudarlos a embarcarse en el camino de la nube nativa.

En la actualidad, ha habido mucha exploración y práctica en el extranjero en el campo de los modelos grandes de la industria vertical, como BloombergGPT en el campo FinGPT. Bloomberg ha convertido los datos financieros acumulados en los últimos 40 años en un conjunto de datos financieros de 365 000 millones de tokens y combinado con conjuntos de datos generales para entrenar sus propios 50 000 millones de parámetros. ed-PaLM 2, Nuance de Microsoft (integrado con GPT-4 y lanzado una aplicación de generación de registros médicos con soporte de voz, DAX Express), etc.

Finalmente, hablemos sobre el enfoque de capital de la ruta AGI en el extranjero: **Desde la perspectiva del monto de la inversión, los cinco principales son aplicaciones de texto de marketing, audio, soporte al cliente/robots de servicio al cliente, imágenes y plataformas MLOps; desde la perspectiva del monto de financiamiento, fluyen más fondos hacia las plataformas MLOps, cuyo valor central radica en reducir el umbral para desarrollar modelos grandes, seguidos por robots de servicio al cliente, audio, humanos digitales, doblaje e imágenes. **

Preguntas y respuestas

**P1: Las empresas de servicios de subcontratación que realizan anotaciones de datos y ayudan al desarrollo de IA parecen estar funcionando muy bien últimamente. ¿Cuál es su tendencia de inversión? **

R: Actualmente estamos prestando atención a estas dos direcciones. El campo del etiquetado de datos se centra principalmente en cómo estas empresas utilizan las capacidades de los modelos grandes para mejorar la eficiencia del etiquetado, como el uso de GPT-4 para etiquetar texto y SAM para etiquetar imágenes. Debido a que la competencia central actual en el campo del etiquetado de datos es la eficiencia y la ganancia bruta, quién puede lograr un etiquetado más eficiente con la ayuda de las capacidades de modelos grandes. En términos de servicios de modelos a gran escala, será similar a las oportunidades de contenedores en la era nativa de la nube. Se necesitan proveedores profesionales para reducir el umbral para la capacitación, el desarrollo y la implementación de modelos a gran escala, y ayudar a cada empresa a lograr la libertad del modelo a gran escala.

**P2: AI ahora tiene dos categorías: TO C y TO B. ¿Crees que la oportunidad es mayor para TO C o TO B? **

A: Prestamos más atención a TO B. Debido a que hay demasiados gigantes de Internet en el campo TOC, especialmente en lugares con una ecología de aplicaciones de aplicaciones domésticas tan fuerte, es más fácil para los principales fabricantes incorporar capacidades de IA en sus propias aplicaciones. Por lo tanto, prestamos más atención a sus capacidades de integración de datos, comprensión comercial y capacidades de ingeniería.

**P3: Incluso para modelos grandes con más de mil millones de parámetros, se han informado más de 80 en China. ¿Qué hay de la tendencia de inversión en el modelo grande? ¿Cómo elegir entre código abierto y código cerrado? **

R: En cuanto al código abierto y el código cerrado, hay que pensar cómo hacer un buen uso del código abierto y cómo usar el modelo de código abierto para la comercialización, por ejemplo, LLaMA tiene restricciones comerciales dentro del acuerdo de código abierto. El código cerrado requiere su propia ecología y soporte, que solo pueden mantener los grandes fabricantes con la capacidad y los recursos financieros.

**P4: Desde la perspectiva de los empresarios de IA, se pueden dividir en tres categorías. Una categoría proviene de grandes fábricas y fundadores ya famosos. La otra categoría son académicos, académicos y expertos de la Universidad de Tsinghua u otros campos. También hay una categoría de emprendedores que tienden a ser de base. ¿Cuál de estas tres categorías prefieres? **

R: Gran parte de la ola de modelos grandes en China apareció después de que Open AI lanzara modelos grandes como ChatGPT, LLaMA y Bloom como fuentes abiertas.Actualmente mantenemos una actitud de esperar y ver. Por supuesto, también hay muchos grandes fabricantes con visión de futuro y empresas académicas de nueva creación en China que han estado explorando antes de esta ola de auge de modelos a gran escala.

Para los equipos académicos, cómo lograr la comercialización es el mayor desafío. Por lo tanto, no creo que sea necesario hacerlo solo en el futuro. Por ejemplo, la cooperación entre OpenAI y Microsoft puede brindar capacidades de modelos a gran escala a los grandes fabricantes. Ahora estamos buscando objetivos en Open Source China, porque tiene una línea de productos IDE y necesita copiloto de código, por lo que estamos buscando la posibilidad de cooperación con equipos académicos. Creo que este enfoque es más factible.

**P5: ¿Qué industrias verticales en el lado B tienen más probabilidades de lograr avances comerciales? **

R: Debido a la generalización y la multimodalidad de la capacidad del modelo grande, el campo legal es un escenario muy común y la demanda de contenido de texto es muy grande. Los modelos más grandes tienen exactamente esta capacidad, aunque todavía quedan algunos problemas por resolver en términos de precisión. Además, los productos de asistente personal también son un escenario que se puede imaginar, aunque el ciclo de desarrollo puede ser más largo.