Autor: Cherry, gestora de inversiones, NGC Ventures
Prefacio
El primer borrador de este artículo lo completé mientras pescaba en un día de descanso a finales de agosto. Después de una publicación apresurada, recibí muchos consejos, por lo que el autor agregó, modificó y eliminó algunos contenidos para evitar hacer reír a la gente.
El contenido de este artículo evalúa principalmente la situación actual de la industria de la IA desde una perspectiva de inversión, reflexiona y hace conjeturas sobre las rutas de tecnología/productos de diferentes empresas y resume de forma abstracta las estrategias de las empresas de la industria de la IA. Por lo tanto, inevitablemente hay omisiones en las partes relacionadas con tecnologías específicas, tengan paciencia.
Pero en última instancia, las grandes empresas que pueden publicar artículos todavía están en desacuerdo y nadie parece poder evaluar la exactitud del contenido de este artículo. Al igual que usar GPT-4 para obtener GPT-3.5, parece razonable, pero es un poco abstracto si lo piensas.
Por lo tanto, el autor sugiere que este artículo se considere como un "juicio" formado después de la recopilación de información sobre industrias inciertas. Como se trata de un juicio, la posición debe ser clara y debe haber algo que decir. En cuanto a juzgar si es correcto o no, lo dejaremos a la prueba del tiempo.
El autor siempre cree que: la nueva industria es ruidosa, siempre es correcto usar el cerebro y atreverse a emitir juicios. Para las preguntas de verdadero o falso, la tasa correcta de adivinanzas a ciegas es del 50% y la probabilidad de adivinar incorrectamente tres veces seguidas es del 12,5%. Incluso hacer juicios al nivel de lanzar una moneda tiene sentido. No es terrible emitir un juicio, pero lo más terrible es que la precisión del juicio es menor que la de lanzar una moneda.
Antes de abrir oficialmente este artículo, me gustaría agradecer el siguiente trabajo, que proporcionó valiosa inspiración y fuentes de datos para este artículo. Por supuesto, dado que muchas de las inferencias de este artículo se basan en estos trabajos, si hay errores o la comprensión del autor es incorrecta, las inferencias de este artículo ya no serán sólidas y se pide a los lectores que juzguen por sí mismos. Este artículo no constituye un consejo de inversión y es difícil constituir un consejo de inversión.
•Centro de cadena de pensamiento: un esfuerzo continuo para medir el rendimiento del razonamiento de los modelos de lenguaje grandes（
•LIMA: Menos es más para la alineación（
•Junio de 2023, revisión de la etapa de ajuste de instrucciones（
•Arquitectura GPT-4, infraestructura, conjunto de datos de capacitación, costos, visión, MoE（
Bien, comencemos oficialmente este artículo.
Modelo grande: Lanzamiento de un cibercohete
El primer paso para debatir la IA en 2023 es discutir si todavía es posible realizar modelos empresariales a gran escala.
El modelo grande (preentrenamiento) ahora se ha transformado en el problema de lanzar un cohete: siempre que se inicie el fuego y la dirección sea la correcta, cualquiera puede hacerlo. Se puede decir que entrenar modelos grandes es como lanzar cibercohetes.
Algo contrario a la intuición es que los inversores subestiman la dificultad de entrenar modelos grandes, pero sobreestiman la dificultad de lanzar cohetes reales. Con el mismo coste de 60 millones de dólares, los inversores pensarán que existe una segunda oportunidad de que falle el lanzamiento de un cohete, mientras que no poder entrenar un modelo grande se considera una pérdida de dinero.
GPT-4 todavía consume 60 millones de dólares en eficiencia de utilización de la GPU de OpenAI (se informa que es aproximadamente el 30%). Esta es una cuestión de {rendimiento = eficiencia × costo}, y el rendimiento es una barrera. Si otras empresas emergentes no pueden lograr un efecto de rendimiento superior al 30% × 60 millones = $ 18 millones, los usuarios también podrían usar GPT-4 directamente.
En la actualidad, las rondas de financiación de muchas empresas que afirman fabricar modelos grandes oscilan entre 1 y 5 millones de dólares estadounidenses. Dicho esto, incluso las empresas con mayor financiación sólo tienen suficiente munición para un único lanzamiento. E incluso si la tasa de utilización de GPU de este lanzamiento alcanza el 100%, es difícil superar el GPT-4.
Desde esta perspectiva, es mejor lanzar cohetes, porque la mayoría de los cohetes son vehículos de lanzamiento que transportan satélites al cielo y la carga única es limitada, por lo que las pequeñas empresas de cohetes pueden aceptar pedidos de satélites que otros no tienen tiempo de lanzar.
Los modelos grandes son diferentes: el costo marginal de la expansión horizontal de los modelos grandes es solo el costo de la potencia informática, y el costo de la potencia informática se puede expandir elásticamente, lo que significa que para las grandes empresas modelo, el beneficio de cada pedido es el beneficio gratuito. Casi no hay costos adicionales y la capacidad de ejecución es muy grande. Para las grandes empresas modelo recientemente establecidas con mala calidad, es difícil recibir una demanda excesiva.
A menos que se reduzca considerablemente el coste de la formación, a muchas empresas les resultará difícil fabricar un modelo grande que pueda comercializarse en el corto plazo, incluso si conocen la estructura completa de GPT-4.
Personalización: enfrentar el problema de que "el ganador se lo lleva todo"
En la industria del hardware, un fenómeno común es lograr ganancias tempranas a través de requisitos personalizados y luego lograr avances tecnológicos (o vinculaciones) a través de ganancias tempranas. Sin embargo, la personalización en la industria de los grandes modelos no es una salida para los nuevos participantes.
Con respecto a este juicio, la explicación es muy simple: la gran mayoría de los modelos ajustados no pueden alcanzar a GPT-4, incluso si lo logran, el costo de generalización usando directamente GPT-4 es menor y la necesidad de personal es menor. , y la necesidad de suerte es menor y los requisitos de datos son menores. Mientras siga existiendo la brecha de rendimiento entre GPT-4 y otros modelos, la personalización no puede ser la solución para las grandes empresas de modelos.
Un ejemplo muy típico es Jasper, que utiliza GPT-3 optimizado para atender a clientes empresariales. Sin embargo, después de que OpenAI lanzó ChatGPT (GPT-3.5), sus usuarios perdieron rápidamente. Porque el resultado de Jasper se puede obtener simplemente ingresando GPT-3.5, sin usar una "versión anterior" con poca capacidad de generalización y limitada al uso interno en las empresas.
En comparación con las nuevas empresas, Jasper tiene al menos un período de ventana de GPT-3 a GPT-3.5 para su desarrollo. Sin embargo, las nuevas empresas ahora deben enfrentar la presión del GPT-3.5 de alta velocidad y bajo costo y del GPT-4 de alto rendimiento al mismo tiempo.
Por lo tanto, la probabilidad de supervivencia de esperar acumular ganancias mediante la personalización para lograr avances tecnológicos es muy baja.
Ajuste: necesario, no seas supersticioso
La industria actual de la IA tiene expectativas poco realistas de ajuste fino, que están sobreestimadas tanto en términos de implementación técnica específica como de ritmo técnico a nivel macro.
El ajuste que se discute actualmente en la industria se refiere principalmente a "basarse en un modelo previamente entrenado, haciéndolo generar respuestas que satisfagan las intenciones humanas". Este tipo de ajuste se puede llamar "alineación", es decir, alinear la respuesta con las intenciones humanas, en lugar de agregar sabiduría al gran modelo.
Según los resultados de la investigación de varios artículos, el conocimiento de modelos grandes debería provenir principalmente del entrenamiento previo, mientras que el ajuste fino se utiliza más para la alineación.
La explicación simple es que el entrenamiento previo determina el tamaño del cerebro y el ajuste determina el idioma nativo. El ajuste del modelo previamente entrenado es un proceso de "eliminación del analfabetismo".
Sin embargo, el ajuste fino se ve a menudo en la industria como un método para "agregar inteligencia" al modelo, es decir, mejorar el rendimiento del modelo y aumentar el conocimiento del modelo mediante el ajuste fino. Se cree que de esta manera, el "Santo Grial de inteligencia artificial". Esta línea de pensamiento es algo sesgada.
En primer lugar, el rendimiento del modelo en sí no ha mejorado, pero puede alinearse mejor con las intenciones humanas. Si la complejidad de la tarea excede el rendimiento del modelo, el ajuste fino no producirá los resultados esperados. Es como hacer que el cerebro humano realice cálculos cuánticos: no es cuestión de educación si no se puede hacer.
En segundo lugar, el "complemento de conocimientos" se realiza en la parte de "alineación de intenciones", y el efecto es más similar a "repetir como un loro". Es decir: el modelo simplemente imita lo que dicen los expertos sin entender el significado. Aunque muchas industrias pueden obtener buenas soluciones "repitiendo como loros" (después de todo, la mayoría de las industrias no son complicadas...), obviamente este no es el resultado que debemos perseguir a largo plazo.
Finalmente, el entrenamiento para "complementar conjuntos de datos adicionales, mejorar el rendimiento del modelo y aumentar el conocimiento del modelo" debe considerarse como un modelo que tiene la capacidad de "aprendizaje incremental/aprendizaje continuo", es decir, todos los parámetros del modelo se pueden procesar a través de Optimización incremental de conjuntos de datos. Este no es el mismo concepto que el llamado "ajuste de instrucciones".
En términos generales, el ajuste es muy importante, pero es incorrecto adoptar una actitud "supersticiosa" hacia el ajuste actual, especialmente aquellos que están ansiosos por llamar al ajuste actual el Santo Grial, que es una especie de "La física actual está en el edificio. Sólo hay dos nubes oscuras flotando".
Dando un paso atrás, si la necesidad de "aumentar la inteligencia" realmente puede resolverse mediante el ajuste fino de las instrucciones, haciendo una simple búsqueda vectorial, conectando directamente el conocimiento al contexto y simplemente escribiendo algunas plantillas, existe una alta probabilidad que se pueden lograr los mismos o incluso mejores resultados Efecto.
A todo el mundo le gusta el ajuste fino, tal vez esto sea una especie de resurgimiento de las habilidades de alquimia en los tiempos modernos...
Perspectiva del modelo grande: cuatro operaciones aritméticas
(Tenga en cuenta que esta parte del contenido se basa completamente en datos revelados por Dylan Patel y la confiabilidad aún no se puede verificar)
El entrenamiento de GPT-4 se basa en la serie A de tarjetas N. La eficiencia del entrenamiento es del 30%. El tiempo de entrenamiento es de aproximadamente 2 meses. El costo es de aproximadamente 60 millones. La cantidad total de parámetros es {1,7 billones = 110 mil millones × 16 modelos expertos}. Puede manejar un solo problema. Los parámetros rondan los 280 mil millones.
En otras palabras, existen varios parámetros clave que conducirán a cambios en el patrón de entrenamiento de modelos grandes.
•Eficiencia del entrenamiento: aumentar del 30% al 60% puede duplicar directamente el tiempo
•Aumento de la intensidad de la potencia informática: después de cambiar de la serie A a la serie H y luego a la tarjeta dedicada a IA, la intensidad de la potencia informática ha aumentado y se pueden resolver muchos problemas arquitectónicos que afectan la eficiencia.
•El costo de la energía informática disminuyó: Lao Huang (fundador de Nvidia) hizo descuentos en tarjetas gráficas, lo que resultó en una reducción significativa de costos.
• Mejora de la eficiencia de los parámetros: hay margen de mejora en la eficiencia de los parámetros del modelo. En referencia al modelo anterior, la eficiencia de los parámetros del modelo anterior generalmente se puede aumentar muchas veces. Es posible utilizar un 30 %. de los parámetros de GPT-4 para lograr un efecto similar
En resumen, el costo de entrenar un modelo de rendimiento de nivel GPT-4 desde cero puede tener entre 10 y 20 veces el espacio de optimización, es decir, se puede comprimir de 3 a 6 millones de dólares estadounidenses. son más aceptables.
Y este cambio puede tardar unos 2 años en completarse.
En la actualidad, la tecnología principal de modelos grandes todavía se basa en transformadores, la infraestructura no ha cambiado y la idea de refinar la alquimia y agregar parámetros para crear milagros no se ha agotado. El entrenamiento de GPT-4 se lleva a cabo sobre la base de altas limitaciones de potencia informática y el tiempo de entrenamiento no es lo suficientemente largo.
Si los parámetros crecen linealmente con el tiempo de entrenamiento, el límite superior de los parámetros del modelo similar a la arquitectura GPT-4 puede ser de aproximadamente 10 billones, es decir, el tiempo de entrenamiento se duplica (×2) y la tarjeta gráfica paralela se duplica (×2), la eficiencia del entrenamiento es la mitad de rápido (× 1,5), la eficiencia de los parámetros es la mitad (× 1,5) y el resultado final es diez veces mejor. Según el estilo de apetito por el riesgo de Silicon Valley, este parámetro probablemente se alcanzará dentro de un año, independientemente de si el desempeño ha mejorado.
Sin embargo, después de alcanzar los 10 billones de parámetros, se desconoce por completo si LLM todavía puede utilizar la idea de aumentar los parámetros para lograr milagros.
Si el número de parámetros mejora el rendimiento del modelo en un margen decreciente, entonces 10 billones probablemente sean un obstáculo. Sin embargo, también existe la conjetura de que la cantidad de parámetros mejora el rendimiento del modelo con un aumento marginal, similar a "si una persona es lo suficientemente inteligente, puede aprender todo rápidamente". Lo primero está bien, pero si lo segundo se hace realidad, el rendimiento del modelo puede mejorar exponencialmente y lo que sucederá entonces será completamente impredecible.
Es difícil predecir el elixir, pero sí fácil predecir el ritmo estratégico de una empresa. Un modelo con un parámetro total de 10 billones es un punto final a nivel de hito para la mayoría de las empresas, ya sea un gigante como Google/MS/APPL o un OpenAI más pequeño, y es posible detenerse y hacer algunas exploraciones técnicas.
La preferencia de las empresas/capital por el riesgo se puede convertir en un "tiempo de resistencia": si todo el tiempo de resistencia implica quemar gastos intensamente, será difícil superar los 6 meses. La tecnología humana no crece lo suficientemente rápido y un ciclo suele durar cinco años o más. Por lo tanto, dentro de cinco años, se podrá estimar la cantidad definitiva de parámetros del modelo, que debería ser de 20 a 50 billones. A menos que se produzca nuevamente un gran avance en tecnología/arquitectura, la probabilidad de exceder este orden de magnitud es muy baja.
Multimodalidad: El elefante en la habitación
La multimodalidad es el elefante en la habitación y puede afectar profundamente el paisaje de una pista.
La definición simple de multimodalidad es: soportar la entrada y salida de información modal múltiple. Esta definición es muy vaga: por ejemplo, algunos productos en el mercado que afirman poder realizar entradas multimodales son en realidad ChatBot con una capa de OCR fuera de él. También hay modelos que cumplen plenamente con la definición de multimodalidad, pero su desempeño es decepcionante. Incluso la capacidad de entrada de imágenes multimodal de GPT-4 aún no se ha abierto ampliamente y se puede ver que esta función no es muy estable.
Sin embargo, el lanzamiento de la multimodalidad no está lejos. Existe una alta probabilidad de que GPT-5 admita la multimodalidad de forma nativa, es decir, necesite rediseñar la estructura y volver a capacitarse. Según el razonamiento anterior, los parámetros del modelo grande todavía tienen espacio para crecer de 10 a 50 veces, y debería ser suficiente incorporarle capacidades multimodales. Por tanto, se puede esperar que dentro de 2 años aparezca un modelo multimodal con alta disponibilidad y alto rendimiento y, con optimismo, será casi 1 año.
La multimodalidad es el elefante en la habitación, todo el mundo sabe que eventualmente existirá, pero tantos productos/investigaciones/estrategias ignoran su existencia que hay un error de cálculo en partes clave.
Por ejemplo, en teoría, los modelos de una sola imagen pueden verse severamente oprimidos por los modelos multimodales, pero la mayoría de las investigaciones e inversiones ignoran actualmente esta cuestión, lo que lleva a la sobrevaloración de algunas empresas centradas en la imagen. Es probable que estas empresas pierdan barreras técnicas y se transformen en proveedores de servicios en el futuro. Su sistema de valoración debería referirse a proveedores de servicios y no a empresas de tecnología.
Si quiere contar la historia de que "la inversión depende de las personas y el mismo equipo puede transformar el negocio", entonces no lo dije. Las leyendas siempre están ahí, pero no puedes creer en ellas cuando investigas.
¿Quién puede entrenar a GPT-4? Sí, pero no es necesario
Refinar los elixires no lleva tanto tiempo y las grandes empresas están comprando tarjetas gráficas. Una cosa muy obvia es que en un año las grandes empresas podrán entrenar modelos de nivel GPT-4. Pero entrenar o no es otra cuestión.
En el campo de los juegos, existe una propuesta clásica llamada "Yuanshin jugando a Yuanshen", es decir: cuando los jugadores pueden elegir jugar a Yuanshen o un producto competidor de Yuanshen, si el producto de la competencia no es tan bueno como Yuanshen, entonces juegue Original God. .
Este enfoque de “el ganador se lo lleva todo” también se aplica a la industria de los modelos grandes. Si una empresa sigue OpenAI y después de medio año de investigación y desarrollo, lanza su propio modelo grande con un rendimiento del 90% comparable al GPT-4, con la esperanza de llevarlo al mercado. En este momento, la empresa enfrentará los siguientes problemas:
•OpenAI tiene la ventaja de escala de los recursos de la nube y costos más bajos.
•La API de OpenAI se ha utilizado ampliamente en códigos de productos y es difícil reemplazarla.
•El rendimiento del producto de la empresa aún no supera el GPT-4
•El producto de próxima generación de OpenAI (posiblemente GPT-5) está a punto de ser lanzado.
Se puede observar que la presión sobre la empresa es considerable. En lugar de entrenar GPT-4, es mejor apostar directamente por el modelo de próxima generación (contra GPT-5). Entonces el problema pasará de "problema de productos competidores similares" a "problema de innovación tecnológica". Ésta es una carga que las pequeñas empresas no pueden soportar.
Por tanto, discutir "quién puede entrenar GPT-4" es una cuestión estratégicamente muerta: en lugar de pensar en este problema, es mejor encontrar una dirección con más certeza y oportunidades.
Consejos para las empresas emergentes de IA: el rendimiento es lo primero, evitar el estancamiento
El autor ha escrito muchos artículos quejándose de langchain. La causa principal es que langchain no deja espacio para que los desarrolladores mejoren el rendimiento. Se le llama eufemísticamente "marco universal" y, para garantizar la universalidad, se abandona mucho espacio para mejorar el rendimiento de los modelos grandes, como el diálogo de múltiples rondas y el control de formato implementado mediante ajuste fino. De manera similar, existen guías/Auto-GPT/BabyAGI, etc., todos quieren ser un "marco que pueda usarse de por vida".
Un hecho objetivo es que OpenAI lanzó Function Calling en mayo. Muchas áreas problemáticas del código tienen mejores soluciones de implementación, y el costo de implementar mejores soluciones es reconstruir partes clave del código del producto. En agosto, OpenAI emitió el permiso para ajustar GPT-3.5 y muchos enlaces que requieren un control preciso de la salida tienen nuevas soluciones potenciales.
Por lo tanto, las startups deben enfrentar una elección clave: ¿deberían elegir ① mejorar el rendimiento y refactorizar constantemente los productos, o ② reducir el uso de nuevas funciones y utilizar siempre funciones antiguas para el desarrollo?
Para el emprendimiento de aplicaciones de nuevas tecnologías, el “desarrollo” no sólo representa el proceso de escribir código, sino que también representa el “límite superior” de la funcionalidad/estrategia del producto. Cuanto mayor sea el rendimiento que se puede controlar, más funciones teóricas tendrá el producto y mayor será su flexibilidad estratégica.
El desarrollo de la tecnología es impredecible y las innovaciones tecnológicas menores pueden provocar cambios muy sensibles en el panorama competitivo. Las empresas emergentes deben tener capacidades antifrágiles para el desarrollo tecnológico.
——En palabras humanas: Se debe dar prioridad al rendimiento y evitar quedarse. En el nivel de desarrollo, utilice más funciones nuevas; en el lado del producto, piense en qué funciones pueden realizar las nuevas funciones; en el lado estratégico, considere el impacto de las nuevas funciones en la estrategia.
En "Sobre el paso de Qin", se menciona que después del establecimiento de la dinastía Qin, las armas de metal de todo el mundo fueron confiscadas y moldeadas en doce figuras de bronce para eliminar la posibilidad de levantamientos civiles. Pero la dinastía Qin duró muy poco. Es más beneficioso prestar atención a los cambios que ignorarlos.
Consejos para nuevas empresas de IA: cree aplicaciones con confianza
Hay un peligro oculto muy común cuando las startups desarrollan aplicaciones: la entrada de grandes empresas. Las grandes empresas aquí incluyen no solo los gigantes de las aplicaciones, como Meta/Byte/Tencent, etc., sino también los ascendentes de la industria de la IA, como OpenAI.
Generalmente hay dos razones por las que las grandes empresas ingresan al mercado: desarrollar oportunidades de productos y avanzar hacia arriba y hacia abajo.
"Oportunidades de diseño de productos" es el significado literal. Las grandes empresas sienten que vale la pena seguir esta dirección, por lo que lo hacen.
"Arriba y abajo" es en su mayoría un movimiento impotente. Puede deberse a que he desarrollado un modelo a gran escala que se compara con OpenAI, pero debido al problema de que el ganador se lo lleva todo en el modelo a gran escala, hay Sin usuarios, lo que resulta en costos excesivos, falta de ingresos y falta de datos, lo que a su vez lleva a que el rendimiento se rezague gradualmente. En este momento, la única opción es irrumpir en el downstream, desarrollar aplicaciones específicas y utilizar la propia tecnología.
Según la experiencia histórica, debido al problema de la estructura organizacional, cuanto más cerca está la empresa del downstream, más fácil es quedarse atrás en tecnología, y cuanto más atrasada es la tecnología, más tiene que estar downstream. Estas llamadas empresas de tecnología eventualmente competirán por el mismo nicho ecológico que las empresas de capa de aplicación.
Sin embargo, en el campo de batalla de la capa de aplicación, debido al corto tiempo de la tecnología de inteligencia artificial, no existe una ventaja de escala efectiva y reutilizable, y el punto de partida de las grandes empresas y las nuevas empresas es similar. En comparación con las grandes empresas, las nuevas empresas son más eficientes y tienen conocimientos más profundos, lo que facilita su aprovechamiento.
Cabe señalar que casi todos los materiales promocionales de MS Azure ahora se centran en OpenAI, pero una empresa tan grande como Microsoft confía completamente en OpenAI como plataforma, lo que demuestra que las startups tienen ventajas naturales en el campo de la IA.
Por supuesto, es posible que algunos proveedores de nube no puedan aceptar ser liderados por nuevas empresas y quieran comerse todo el mercado ellos mismos. Es caro, lento y no representa una amenaza inmediata.
El hecho es que, de hecho, hay algunas vías de aplicación de la IA que son de muy corta duración, pero todavía hay muchas vías de larga duración que no se han descubierto, y la aplicación de la IA no es una opción en la que el ganador se lo lleva todo. Pasar de la aplicación a la plataforma o la tecnología también es un camino más factible.
Por lo tanto, debemos ser racionales acerca de la capacidad de las grandes empresas para penetrar la capa de aplicaciones. Nuestra sugerencia es que las empresas emergentes de IA puedan realizar aplicaciones con confianza.
Consejos para nuevas empresas de IA: presten atención a las líneas de vida del producto
Como se mencionó anteriormente, las nuevas empresas de IA pueden sentirse libres de crear aplicaciones, pero deben considerar los problemas de rendimiento del modelo de IA para evitar estancamientos. Esta situación se refleja directamente en el hecho de que los productos de IA pueden perder su base de demanda y marchitarse gradualmente en unos pocos meses, y esta situación puede ocurrir con frecuencia.
Las aplicaciones de IA necesitan utilizar servicios de modelos a gran escala, y el rendimiento de los modelos a gran escala sigue mejorando. Esta mejora no es una mejora unidimensional como la "velocidad", sino un cambio general en la calidad, la duración y la controlabilidad de la salida. Cada mejora significativa en la tecnología hará que la tecnología de los productos de capa de aplicación existentes se quede atrás y cree nuevas oportunidades y competidores.
Llamamos al momento en que la aplicación de IA mantiene las ventajas y la necesidad en estrategia/producto/tecnología como "salvavidas".
A continuación se muestran algunos ejemplos de líneas de vida más cortas:
• Cuando ChatGPT/Claude admite la carga de archivos, ChatPDF se vuelve innecesario
•Cuando Office365 admita Copilot, los productos que utilizan IA para dibujar PPT perderán sus ventajas
•Cuando aparezca GPT-3.5, Jasper ya no será necesario
**Teniendo en cuenta que la industria de la IA se está desarrollando rápidamente, la norma son líneas de vida limitadas. Por lo tanto, aceptar el hecho de que la línea de vida es limitada y tratar de elegir una dirección con una línea de vida más larga ayudará a mantener las ventajas a largo plazo y la necesidad del producto. **
Generalmente, las líneas de vida se pueden dividir simplemente en niveles de 3/6/12 meses.
•3 meses: Funciones que las grandes empresas no han tenido tiempo de realizar (como funciones que office/ChatGPT no ha tenido tiempo de realizar)
•6 meses: es difícil de implementar y no se puede integrar en las soluciones existentes, pero las ventajas/necesidad desaparecerán a medida que mejore el rendimiento de la IA (como el marco general de IA).
• 12 meses: las ventajas/necesidades pueden existir durante mucho tiempo y no se ven fácilmente afectadas por las grandes empresas/desarrollos tecnológicos (como Hugging Face)
*El ciclo de vida de los productos de plataforma no es necesariamente largo. Después de todo, las tiendas también son plataformas.
Cuando una empresa nueva determina su dirección, sólo necesita un plazo de seis meses, pero uno de 12 meses es difícil de conseguir.
Cuando la línea de vida del producto llega a su fin, generalmente se dan dos situaciones. La primera situación es que las ventajas desaparecen y es necesario reconstruir la tecnología de actualización del producto. Consulte el "rendimiento primero" anterior; la segunda situación es que la necesidad desaparece y el producto será reemplazado gradualmente. En este momento, el producto Todavía quedan varios meses de vida útil de la "operación", suficientes para que las empresas de nueva creación elijan la siguiente dirección.
Consejos para nuevas empresas de IA: Web3+AI puede hacerlo
En la actualidad, existen muchos proyectos empresariales en torno al tema de Web3+AI, pero considerando la incertidumbre del desarrollo tecnológico y la etapa inicial del mercado, el tema de Web3+AI todavía tiene muchas variables en el futuro.
Este artículo tiene como objetivo encontrar certezas con una alta probabilidad de ser correctas entre las incertidumbres, por lo que el autor aún espera inspirarse y proponer algunos temas y direcciones que puedan tener oportunidades de referencia para empresas de nueva creación e investigadores interesados.
•Dessoberanía/Descentralización
En la actualidad, los líderes de la industria de la IA solo ofrecen modelos de código cerrado y la estabilidad, transparencia y neutralidad de su prestación continua de servicios son incontrolables. La desoberanía/descentralización puede convertirse en un tema importante en la industria de la IA, es decir, proporcionar servicios de IA estables, transparentes y neutrales basados en la arquitectura básica de desoberanía/descentralización.
La dessoberanización/descentralización es una "solución alternativa" y una "disuasión", que puede aumentar significativamente el costo poco ético de las empresas de IA centralizadas/soberanizadas e impedirles utilizar modelos de IA en aspectos militares, de culto, políticos y otros.
En casos extremos, una vez que el servicio de IA centralizado/soberano ya no está disponible/no es creíble por alguna razón, la IA descentralizada/descentralizada puede continuar proporcionando servicios de alta disponibilidad para evitar que países/regiones individuales e incluso humanos pierdan los servicios de IA.
•Uso práctico de la potencia informática
Detrás del cambio de ETH de PoW a PoS está el dilema criticado de "la minería no genera valor". La combinación de Web3 y AI puede proporcionar un escenario práctico para la potencia informática, a fin de realizar la digestión de la potencia informática de stock y promover el crecimiento de potencia informática total, etc. Efecto.
•Valorización virtual
La IA es un activo nativo de la potencia informática y el almacenamiento. La combinación de Web3 y la IA puede proporcionar un canal para convertir la IA en activos virtuales. Al mismo tiempo que ejemplifica el valor de la industria de la IA, puede crear activos virtuales verdaderamente nativos para Web3.
•Variables para aplicaciones Web3
La combinación de Web3 e IA puede aportar nuevos puntos funcionales y oportunidades de crecimiento a las aplicaciones Web3, y las aplicaciones Web3 existentes se pueden rehacer por completo.
Escrito al final: Es septiembre, ¿todavía vale la pena iniciar un negocio con IA ahora?
Permítanme comenzar con la conclusión: vale la pena y esta conclusión probablemente pueda utilizarse hasta el Año Nuevo chino.
La gente suele tener una percepción sesgada de la situación y yo no soy una excepción. Algunas personas son demasiado optimistas y otras demasiado pesimistas. El autor se comunicó una vez con dos equipos. Un equipo cree que podrá producir AI Agent en el primer trimestre del próximo año, y el otro equipo piensa que la IA solo es adecuada para la gestión de la base de conocimientos. Obviamente, el primero es demasiado optimista, mientras que el Este último es demasiado pesimista.
Al hacer una planificación a largo plazo, tanto los demasiado optimistas como los demasiado pesimistas caerán en el abismo, y los comentarios ampliamente difundidos suelen ser aquellos con grandes desviaciones, por lo que el pensamiento independiente es muy valioso. Por lo tanto, independientemente de si los lectores pueden aceptar los puntos de vista de este artículo, siempre que tengan pensamiento y juicio independientes en el proceso de lectura, el autor estará muy satisfecho.
Finalmente, coloque un anuncio. Si tiene buenas ideas empresariales de IA o ya ha creado proyectos, bienvenido a comunicarse con amigos de NGC (como yo) en cualquier momento.
Identificamos proyectos con innovación disruptiva, con el objetivo de resolver problemas con soluciones que se caracterizan por la simplicidad, la asequibilidad de los costos, la velocidad, la singularidad y un producto atractivo que se adapta al mercado.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
NGC Ventures: ¿Todavía vale la pena iniciar un negocio en el campo actual de la IA?
Autor: Cherry, gestora de inversiones, NGC Ventures
Prefacio
El primer borrador de este artículo lo completé mientras pescaba en un día de descanso a finales de agosto. Después de una publicación apresurada, recibí muchos consejos, por lo que el autor agregó, modificó y eliminó algunos contenidos para evitar hacer reír a la gente.
El contenido de este artículo evalúa principalmente la situación actual de la industria de la IA desde una perspectiva de inversión, reflexiona y hace conjeturas sobre las rutas de tecnología/productos de diferentes empresas y resume de forma abstracta las estrategias de las empresas de la industria de la IA. Por lo tanto, inevitablemente hay omisiones en las partes relacionadas con tecnologías específicas, tengan paciencia.
Pero en última instancia, las grandes empresas que pueden publicar artículos todavía están en desacuerdo y nadie parece poder evaluar la exactitud del contenido de este artículo. Al igual que usar GPT-4 para obtener GPT-3.5, parece razonable, pero es un poco abstracto si lo piensas.
Por lo tanto, el autor sugiere que este artículo se considere como un "juicio" formado después de la recopilación de información sobre industrias inciertas. Como se trata de un juicio, la posición debe ser clara y debe haber algo que decir. En cuanto a juzgar si es correcto o no, lo dejaremos a la prueba del tiempo.
El autor siempre cree que: la nueva industria es ruidosa, siempre es correcto usar el cerebro y atreverse a emitir juicios. Para las preguntas de verdadero o falso, la tasa correcta de adivinanzas a ciegas es del 50% y la probabilidad de adivinar incorrectamente tres veces seguidas es del 12,5%. Incluso hacer juicios al nivel de lanzar una moneda tiene sentido. No es terrible emitir un juicio, pero lo más terrible es que la precisión del juicio es menor que la de lanzar una moneda.
Antes de abrir oficialmente este artículo, me gustaría agradecer el siguiente trabajo, que proporcionó valiosa inspiración y fuentes de datos para este artículo. Por supuesto, dado que muchas de las inferencias de este artículo se basan en estos trabajos, si hay errores o la comprensión del autor es incorrecta, las inferencias de este artículo ya no serán sólidas y se pide a los lectores que juzguen por sí mismos. Este artículo no constituye un consejo de inversión y es difícil constituir un consejo de inversión.
•Centro de cadena de pensamiento: un esfuerzo continuo para medir el rendimiento del razonamiento de los modelos de lenguaje grandes（
•LIMA: Menos es más para la alineación（
•Junio de 2023, revisión de la etapa de ajuste de instrucciones（
•Arquitectura GPT-4, infraestructura, conjunto de datos de capacitación, costos, visión, MoE（
Bien, comencemos oficialmente este artículo.
Modelo grande: Lanzamiento de un cibercohete
El primer paso para debatir la IA en 2023 es discutir si todavía es posible realizar modelos empresariales a gran escala.
El modelo grande (preentrenamiento) ahora se ha transformado en el problema de lanzar un cohete: siempre que se inicie el fuego y la dirección sea la correcta, cualquiera puede hacerlo. Se puede decir que entrenar modelos grandes es como lanzar cibercohetes.
Algo contrario a la intuición es que los inversores subestiman la dificultad de entrenar modelos grandes, pero sobreestiman la dificultad de lanzar cohetes reales. Con el mismo coste de 60 millones de dólares, los inversores pensarán que existe una segunda oportunidad de que falle el lanzamiento de un cohete, mientras que no poder entrenar un modelo grande se considera una pérdida de dinero.
GPT-4 todavía consume 60 millones de dólares en eficiencia de utilización de la GPU de OpenAI (se informa que es aproximadamente el 30%). Esta es una cuestión de {rendimiento = eficiencia × costo}, y el rendimiento es una barrera. Si otras empresas emergentes no pueden lograr un efecto de rendimiento superior al 30% × 60 millones = $ 18 millones, los usuarios también podrían usar GPT-4 directamente.
En la actualidad, las rondas de financiación de muchas empresas que afirman fabricar modelos grandes oscilan entre 1 y 5 millones de dólares estadounidenses. Dicho esto, incluso las empresas con mayor financiación sólo tienen suficiente munición para un único lanzamiento. E incluso si la tasa de utilización de GPU de este lanzamiento alcanza el 100%, es difícil superar el GPT-4.
Desde esta perspectiva, es mejor lanzar cohetes, porque la mayoría de los cohetes son vehículos de lanzamiento que transportan satélites al cielo y la carga única es limitada, por lo que las pequeñas empresas de cohetes pueden aceptar pedidos de satélites que otros no tienen tiempo de lanzar.
Los modelos grandes son diferentes: el costo marginal de la expansión horizontal de los modelos grandes es solo el costo de la potencia informática, y el costo de la potencia informática se puede expandir elásticamente, lo que significa que para las grandes empresas modelo, el beneficio de cada pedido es el beneficio gratuito. Casi no hay costos adicionales y la capacidad de ejecución es muy grande. Para las grandes empresas modelo recientemente establecidas con mala calidad, es difícil recibir una demanda excesiva.
A menos que se reduzca considerablemente el coste de la formación, a muchas empresas les resultará difícil fabricar un modelo grande que pueda comercializarse en el corto plazo, incluso si conocen la estructura completa de GPT-4.
Personalización: enfrentar el problema de que "el ganador se lo lleva todo"
En la industria del hardware, un fenómeno común es lograr ganancias tempranas a través de requisitos personalizados y luego lograr avances tecnológicos (o vinculaciones) a través de ganancias tempranas. Sin embargo, la personalización en la industria de los grandes modelos no es una salida para los nuevos participantes.
Con respecto a este juicio, la explicación es muy simple: la gran mayoría de los modelos ajustados no pueden alcanzar a GPT-4, incluso si lo logran, el costo de generalización usando directamente GPT-4 es menor y la necesidad de personal es menor. , y la necesidad de suerte es menor y los requisitos de datos son menores. Mientras siga existiendo la brecha de rendimiento entre GPT-4 y otros modelos, la personalización no puede ser la solución para las grandes empresas de modelos.
Un ejemplo muy típico es Jasper, que utiliza GPT-3 optimizado para atender a clientes empresariales. Sin embargo, después de que OpenAI lanzó ChatGPT (GPT-3.5), sus usuarios perdieron rápidamente. Porque el resultado de Jasper se puede obtener simplemente ingresando GPT-3.5, sin usar una "versión anterior" con poca capacidad de generalización y limitada al uso interno en las empresas.
En comparación con las nuevas empresas, Jasper tiene al menos un período de ventana de GPT-3 a GPT-3.5 para su desarrollo. Sin embargo, las nuevas empresas ahora deben enfrentar la presión del GPT-3.5 de alta velocidad y bajo costo y del GPT-4 de alto rendimiento al mismo tiempo.
Por lo tanto, la probabilidad de supervivencia de esperar acumular ganancias mediante la personalización para lograr avances tecnológicos es muy baja.
Ajuste: necesario, no seas supersticioso
La industria actual de la IA tiene expectativas poco realistas de ajuste fino, que están sobreestimadas tanto en términos de implementación técnica específica como de ritmo técnico a nivel macro.
El ajuste que se discute actualmente en la industria se refiere principalmente a "basarse en un modelo previamente entrenado, haciéndolo generar respuestas que satisfagan las intenciones humanas". Este tipo de ajuste se puede llamar "alineación", es decir, alinear la respuesta con las intenciones humanas, en lugar de agregar sabiduría al gran modelo.
Según los resultados de la investigación de varios artículos, el conocimiento de modelos grandes debería provenir principalmente del entrenamiento previo, mientras que el ajuste fino se utiliza más para la alineación.
La explicación simple es que el entrenamiento previo determina el tamaño del cerebro y el ajuste determina el idioma nativo. El ajuste del modelo previamente entrenado es un proceso de "eliminación del analfabetismo".
Sin embargo, el ajuste fino se ve a menudo en la industria como un método para "agregar inteligencia" al modelo, es decir, mejorar el rendimiento del modelo y aumentar el conocimiento del modelo mediante el ajuste fino. Se cree que de esta manera, el "Santo Grial de inteligencia artificial". Esta línea de pensamiento es algo sesgada.
En primer lugar, el rendimiento del modelo en sí no ha mejorado, pero puede alinearse mejor con las intenciones humanas. Si la complejidad de la tarea excede el rendimiento del modelo, el ajuste fino no producirá los resultados esperados. Es como hacer que el cerebro humano realice cálculos cuánticos: no es cuestión de educación si no se puede hacer.
En segundo lugar, el "complemento de conocimientos" se realiza en la parte de "alineación de intenciones", y el efecto es más similar a "repetir como un loro". Es decir: el modelo simplemente imita lo que dicen los expertos sin entender el significado. Aunque muchas industrias pueden obtener buenas soluciones "repitiendo como loros" (después de todo, la mayoría de las industrias no son complicadas...), obviamente este no es el resultado que debemos perseguir a largo plazo.
Finalmente, el entrenamiento para "complementar conjuntos de datos adicionales, mejorar el rendimiento del modelo y aumentar el conocimiento del modelo" debe considerarse como un modelo que tiene la capacidad de "aprendizaje incremental/aprendizaje continuo", es decir, todos los parámetros del modelo se pueden procesar a través de Optimización incremental de conjuntos de datos. Este no es el mismo concepto que el llamado "ajuste de instrucciones".
En términos generales, el ajuste es muy importante, pero es incorrecto adoptar una actitud "supersticiosa" hacia el ajuste actual, especialmente aquellos que están ansiosos por llamar al ajuste actual el Santo Grial, que es una especie de "La física actual está en el edificio. Sólo hay dos nubes oscuras flotando".
Dando un paso atrás, si la necesidad de "aumentar la inteligencia" realmente puede resolverse mediante el ajuste fino de las instrucciones, haciendo una simple búsqueda vectorial, conectando directamente el conocimiento al contexto y simplemente escribiendo algunas plantillas, existe una alta probabilidad que se pueden lograr los mismos o incluso mejores resultados Efecto.
A todo el mundo le gusta el ajuste fino, tal vez esto sea una especie de resurgimiento de las habilidades de alquimia en los tiempos modernos...
Perspectiva del modelo grande: cuatro operaciones aritméticas
(Tenga en cuenta que esta parte del contenido se basa completamente en datos revelados por Dylan Patel y la confiabilidad aún no se puede verificar)
El entrenamiento de GPT-4 se basa en la serie A de tarjetas N. La eficiencia del entrenamiento es del 30%. El tiempo de entrenamiento es de aproximadamente 2 meses. El costo es de aproximadamente 60 millones. La cantidad total de parámetros es {1,7 billones = 110 mil millones × 16 modelos expertos}. Puede manejar un solo problema. Los parámetros rondan los 280 mil millones.
En otras palabras, existen varios parámetros clave que conducirán a cambios en el patrón de entrenamiento de modelos grandes.
•Eficiencia del entrenamiento: aumentar del 30% al 60% puede duplicar directamente el tiempo
•Aumento de la intensidad de la potencia informática: después de cambiar de la serie A a la serie H y luego a la tarjeta dedicada a IA, la intensidad de la potencia informática ha aumentado y se pueden resolver muchos problemas arquitectónicos que afectan la eficiencia.
•El costo de la energía informática disminuyó: Lao Huang (fundador de Nvidia) hizo descuentos en tarjetas gráficas, lo que resultó en una reducción significativa de costos.
• Mejora de la eficiencia de los parámetros: hay margen de mejora en la eficiencia de los parámetros del modelo. En referencia al modelo anterior, la eficiencia de los parámetros del modelo anterior generalmente se puede aumentar muchas veces. Es posible utilizar un 30 %. de los parámetros de GPT-4 para lograr un efecto similar
En resumen, el costo de entrenar un modelo de rendimiento de nivel GPT-4 desde cero puede tener entre 10 y 20 veces el espacio de optimización, es decir, se puede comprimir de 3 a 6 millones de dólares estadounidenses. son más aceptables.
Y este cambio puede tardar unos 2 años en completarse.
En la actualidad, la tecnología principal de modelos grandes todavía se basa en transformadores, la infraestructura no ha cambiado y la idea de refinar la alquimia y agregar parámetros para crear milagros no se ha agotado. El entrenamiento de GPT-4 se lleva a cabo sobre la base de altas limitaciones de potencia informática y el tiempo de entrenamiento no es lo suficientemente largo.
Si los parámetros crecen linealmente con el tiempo de entrenamiento, el límite superior de los parámetros del modelo similar a la arquitectura GPT-4 puede ser de aproximadamente 10 billones, es decir, el tiempo de entrenamiento se duplica (×2) y la tarjeta gráfica paralela se duplica (×2), la eficiencia del entrenamiento es la mitad de rápido (× 1,5), la eficiencia de los parámetros es la mitad (× 1,5) y el resultado final es diez veces mejor. Según el estilo de apetito por el riesgo de Silicon Valley, este parámetro probablemente se alcanzará dentro de un año, independientemente de si el desempeño ha mejorado.
Sin embargo, después de alcanzar los 10 billones de parámetros, se desconoce por completo si LLM todavía puede utilizar la idea de aumentar los parámetros para lograr milagros.
Si el número de parámetros mejora el rendimiento del modelo en un margen decreciente, entonces 10 billones probablemente sean un obstáculo. Sin embargo, también existe la conjetura de que la cantidad de parámetros mejora el rendimiento del modelo con un aumento marginal, similar a "si una persona es lo suficientemente inteligente, puede aprender todo rápidamente". Lo primero está bien, pero si lo segundo se hace realidad, el rendimiento del modelo puede mejorar exponencialmente y lo que sucederá entonces será completamente impredecible.
Es difícil predecir el elixir, pero sí fácil predecir el ritmo estratégico de una empresa. Un modelo con un parámetro total de 10 billones es un punto final a nivel de hito para la mayoría de las empresas, ya sea un gigante como Google/MS/APPL o un OpenAI más pequeño, y es posible detenerse y hacer algunas exploraciones técnicas.
La preferencia de las empresas/capital por el riesgo se puede convertir en un "tiempo de resistencia": si todo el tiempo de resistencia implica quemar gastos intensamente, será difícil superar los 6 meses. La tecnología humana no crece lo suficientemente rápido y un ciclo suele durar cinco años o más. Por lo tanto, dentro de cinco años, se podrá estimar la cantidad definitiva de parámetros del modelo, que debería ser de 20 a 50 billones. A menos que se produzca nuevamente un gran avance en tecnología/arquitectura, la probabilidad de exceder este orden de magnitud es muy baja.
Multimodalidad: El elefante en la habitación
La multimodalidad es el elefante en la habitación y puede afectar profundamente el paisaje de una pista.
La definición simple de multimodalidad es: soportar la entrada y salida de información modal múltiple. Esta definición es muy vaga: por ejemplo, algunos productos en el mercado que afirman poder realizar entradas multimodales son en realidad ChatBot con una capa de OCR fuera de él. También hay modelos que cumplen plenamente con la definición de multimodalidad, pero su desempeño es decepcionante. Incluso la capacidad de entrada de imágenes multimodal de GPT-4 aún no se ha abierto ampliamente y se puede ver que esta función no es muy estable.
Sin embargo, el lanzamiento de la multimodalidad no está lejos. Existe una alta probabilidad de que GPT-5 admita la multimodalidad de forma nativa, es decir, necesite rediseñar la estructura y volver a capacitarse. Según el razonamiento anterior, los parámetros del modelo grande todavía tienen espacio para crecer de 10 a 50 veces, y debería ser suficiente incorporarle capacidades multimodales. Por tanto, se puede esperar que dentro de 2 años aparezca un modelo multimodal con alta disponibilidad y alto rendimiento y, con optimismo, será casi 1 año.
La multimodalidad es el elefante en la habitación, todo el mundo sabe que eventualmente existirá, pero tantos productos/investigaciones/estrategias ignoran su existencia que hay un error de cálculo en partes clave.
Por ejemplo, en teoría, los modelos de una sola imagen pueden verse severamente oprimidos por los modelos multimodales, pero la mayoría de las investigaciones e inversiones ignoran actualmente esta cuestión, lo que lleva a la sobrevaloración de algunas empresas centradas en la imagen. Es probable que estas empresas pierdan barreras técnicas y se transformen en proveedores de servicios en el futuro. Su sistema de valoración debería referirse a proveedores de servicios y no a empresas de tecnología.
Si quiere contar la historia de que "la inversión depende de las personas y el mismo equipo puede transformar el negocio", entonces no lo dije. Las leyendas siempre están ahí, pero no puedes creer en ellas cuando investigas.
¿Quién puede entrenar a GPT-4? Sí, pero no es necesario
Refinar los elixires no lleva tanto tiempo y las grandes empresas están comprando tarjetas gráficas. Una cosa muy obvia es que en un año las grandes empresas podrán entrenar modelos de nivel GPT-4. Pero entrenar o no es otra cuestión.
En el campo de los juegos, existe una propuesta clásica llamada "Yuanshin jugando a Yuanshen", es decir: cuando los jugadores pueden elegir jugar a Yuanshen o un producto competidor de Yuanshen, si el producto de la competencia no es tan bueno como Yuanshen, entonces juegue Original God. .
Este enfoque de “el ganador se lo lleva todo” también se aplica a la industria de los modelos grandes. Si una empresa sigue OpenAI y después de medio año de investigación y desarrollo, lanza su propio modelo grande con un rendimiento del 90% comparable al GPT-4, con la esperanza de llevarlo al mercado. En este momento, la empresa enfrentará los siguientes problemas:
•OpenAI tiene la ventaja de escala de los recursos de la nube y costos más bajos.
•La API de OpenAI se ha utilizado ampliamente en códigos de productos y es difícil reemplazarla.
•El rendimiento del producto de la empresa aún no supera el GPT-4
•El producto de próxima generación de OpenAI (posiblemente GPT-5) está a punto de ser lanzado.
Se puede observar que la presión sobre la empresa es considerable. En lugar de entrenar GPT-4, es mejor apostar directamente por el modelo de próxima generación (contra GPT-5). Entonces el problema pasará de "problema de productos competidores similares" a "problema de innovación tecnológica". Ésta es una carga que las pequeñas empresas no pueden soportar.
Por tanto, discutir "quién puede entrenar GPT-4" es una cuestión estratégicamente muerta: en lugar de pensar en este problema, es mejor encontrar una dirección con más certeza y oportunidades.
Consejos para las empresas emergentes de IA: el rendimiento es lo primero, evitar el estancamiento
El autor ha escrito muchos artículos quejándose de langchain. La causa principal es que langchain no deja espacio para que los desarrolladores mejoren el rendimiento. Se le llama eufemísticamente "marco universal" y, para garantizar la universalidad, se abandona mucho espacio para mejorar el rendimiento de los modelos grandes, como el diálogo de múltiples rondas y el control de formato implementado mediante ajuste fino. De manera similar, existen guías/Auto-GPT/BabyAGI, etc., todos quieren ser un "marco que pueda usarse de por vida".
Un hecho objetivo es que OpenAI lanzó Function Calling en mayo. Muchas áreas problemáticas del código tienen mejores soluciones de implementación, y el costo de implementar mejores soluciones es reconstruir partes clave del código del producto. En agosto, OpenAI emitió el permiso para ajustar GPT-3.5 y muchos enlaces que requieren un control preciso de la salida tienen nuevas soluciones potenciales.
Por lo tanto, las startups deben enfrentar una elección clave: ¿deberían elegir ① mejorar el rendimiento y refactorizar constantemente los productos, o ② reducir el uso de nuevas funciones y utilizar siempre funciones antiguas para el desarrollo?
Para el emprendimiento de aplicaciones de nuevas tecnologías, el “desarrollo” no sólo representa el proceso de escribir código, sino que también representa el “límite superior” de la funcionalidad/estrategia del producto. Cuanto mayor sea el rendimiento que se puede controlar, más funciones teóricas tendrá el producto y mayor será su flexibilidad estratégica.
El desarrollo de la tecnología es impredecible y las innovaciones tecnológicas menores pueden provocar cambios muy sensibles en el panorama competitivo. Las empresas emergentes deben tener capacidades antifrágiles para el desarrollo tecnológico.
——En palabras humanas: Se debe dar prioridad al rendimiento y evitar quedarse. En el nivel de desarrollo, utilice más funciones nuevas; en el lado del producto, piense en qué funciones pueden realizar las nuevas funciones; en el lado estratégico, considere el impacto de las nuevas funciones en la estrategia.
En "Sobre el paso de Qin", se menciona que después del establecimiento de la dinastía Qin, las armas de metal de todo el mundo fueron confiscadas y moldeadas en doce figuras de bronce para eliminar la posibilidad de levantamientos civiles. Pero la dinastía Qin duró muy poco. Es más beneficioso prestar atención a los cambios que ignorarlos.
Consejos para nuevas empresas de IA: cree aplicaciones con confianza
Hay un peligro oculto muy común cuando las startups desarrollan aplicaciones: la entrada de grandes empresas. Las grandes empresas aquí incluyen no solo los gigantes de las aplicaciones, como Meta/Byte/Tencent, etc., sino también los ascendentes de la industria de la IA, como OpenAI.
Generalmente hay dos razones por las que las grandes empresas ingresan al mercado: desarrollar oportunidades de productos y avanzar hacia arriba y hacia abajo.
"Oportunidades de diseño de productos" es el significado literal. Las grandes empresas sienten que vale la pena seguir esta dirección, por lo que lo hacen.
"Arriba y abajo" es en su mayoría un movimiento impotente. Puede deberse a que he desarrollado un modelo a gran escala que se compara con OpenAI, pero debido al problema de que el ganador se lo lleva todo en el modelo a gran escala, hay Sin usuarios, lo que resulta en costos excesivos, falta de ingresos y falta de datos, lo que a su vez lleva a que el rendimiento se rezague gradualmente. En este momento, la única opción es irrumpir en el downstream, desarrollar aplicaciones específicas y utilizar la propia tecnología.
Según la experiencia histórica, debido al problema de la estructura organizacional, cuanto más cerca está la empresa del downstream, más fácil es quedarse atrás en tecnología, y cuanto más atrasada es la tecnología, más tiene que estar downstream. Estas llamadas empresas de tecnología eventualmente competirán por el mismo nicho ecológico que las empresas de capa de aplicación.
Sin embargo, en el campo de batalla de la capa de aplicación, debido al corto tiempo de la tecnología de inteligencia artificial, no existe una ventaja de escala efectiva y reutilizable, y el punto de partida de las grandes empresas y las nuevas empresas es similar. En comparación con las grandes empresas, las nuevas empresas son más eficientes y tienen conocimientos más profundos, lo que facilita su aprovechamiento.
Cabe señalar que casi todos los materiales promocionales de MS Azure ahora se centran en OpenAI, pero una empresa tan grande como Microsoft confía completamente en OpenAI como plataforma, lo que demuestra que las startups tienen ventajas naturales en el campo de la IA.
Por supuesto, es posible que algunos proveedores de nube no puedan aceptar ser liderados por nuevas empresas y quieran comerse todo el mercado ellos mismos. Es caro, lento y no representa una amenaza inmediata.
El hecho es que, de hecho, hay algunas vías de aplicación de la IA que son de muy corta duración, pero todavía hay muchas vías de larga duración que no se han descubierto, y la aplicación de la IA no es una opción en la que el ganador se lo lleva todo. Pasar de la aplicación a la plataforma o la tecnología también es un camino más factible.
Por lo tanto, debemos ser racionales acerca de la capacidad de las grandes empresas para penetrar la capa de aplicaciones. Nuestra sugerencia es que las empresas emergentes de IA puedan realizar aplicaciones con confianza.
Consejos para nuevas empresas de IA: presten atención a las líneas de vida del producto
Como se mencionó anteriormente, las nuevas empresas de IA pueden sentirse libres de crear aplicaciones, pero deben considerar los problemas de rendimiento del modelo de IA para evitar estancamientos. Esta situación se refleja directamente en el hecho de que los productos de IA pueden perder su base de demanda y marchitarse gradualmente en unos pocos meses, y esta situación puede ocurrir con frecuencia.
Las aplicaciones de IA necesitan utilizar servicios de modelos a gran escala, y el rendimiento de los modelos a gran escala sigue mejorando. Esta mejora no es una mejora unidimensional como la "velocidad", sino un cambio general en la calidad, la duración y la controlabilidad de la salida. Cada mejora significativa en la tecnología hará que la tecnología de los productos de capa de aplicación existentes se quede atrás y cree nuevas oportunidades y competidores.
Llamamos al momento en que la aplicación de IA mantiene las ventajas y la necesidad en estrategia/producto/tecnología como "salvavidas".
A continuación se muestran algunos ejemplos de líneas de vida más cortas:
• Cuando ChatGPT/Claude admite la carga de archivos, ChatPDF se vuelve innecesario
•Cuando Office365 admita Copilot, los productos que utilizan IA para dibujar PPT perderán sus ventajas
•Cuando aparezca GPT-3.5, Jasper ya no será necesario
**Teniendo en cuenta que la industria de la IA se está desarrollando rápidamente, la norma son líneas de vida limitadas. Por lo tanto, aceptar el hecho de que la línea de vida es limitada y tratar de elegir una dirección con una línea de vida más larga ayudará a mantener las ventajas a largo plazo y la necesidad del producto. **
Generalmente, las líneas de vida se pueden dividir simplemente en niveles de 3/6/12 meses.
•3 meses: Funciones que las grandes empresas no han tenido tiempo de realizar (como funciones que office/ChatGPT no ha tenido tiempo de realizar)
•6 meses: es difícil de implementar y no se puede integrar en las soluciones existentes, pero las ventajas/necesidad desaparecerán a medida que mejore el rendimiento de la IA (como el marco general de IA).
• 12 meses: las ventajas/necesidades pueden existir durante mucho tiempo y no se ven fácilmente afectadas por las grandes empresas/desarrollos tecnológicos (como Hugging Face)
*El ciclo de vida de los productos de plataforma no es necesariamente largo. Después de todo, las tiendas también son plataformas.
Cuando una empresa nueva determina su dirección, sólo necesita un plazo de seis meses, pero uno de 12 meses es difícil de conseguir.
Cuando la línea de vida del producto llega a su fin, generalmente se dan dos situaciones. La primera situación es que las ventajas desaparecen y es necesario reconstruir la tecnología de actualización del producto. Consulte el "rendimiento primero" anterior; la segunda situación es que la necesidad desaparece y el producto será reemplazado gradualmente. En este momento, el producto Todavía quedan varios meses de vida útil de la "operación", suficientes para que las empresas de nueva creación elijan la siguiente dirección.
Consejos para nuevas empresas de IA: Web3+AI puede hacerlo
En la actualidad, existen muchos proyectos empresariales en torno al tema de Web3+AI, pero considerando la incertidumbre del desarrollo tecnológico y la etapa inicial del mercado, el tema de Web3+AI todavía tiene muchas variables en el futuro.
Este artículo tiene como objetivo encontrar certezas con una alta probabilidad de ser correctas entre las incertidumbres, por lo que el autor aún espera inspirarse y proponer algunos temas y direcciones que puedan tener oportunidades de referencia para empresas de nueva creación e investigadores interesados.
•Dessoberanía/Descentralización
En la actualidad, los líderes de la industria de la IA solo ofrecen modelos de código cerrado y la estabilidad, transparencia y neutralidad de su prestación continua de servicios son incontrolables. La desoberanía/descentralización puede convertirse en un tema importante en la industria de la IA, es decir, proporcionar servicios de IA estables, transparentes y neutrales basados en la arquitectura básica de desoberanía/descentralización.
La dessoberanización/descentralización es una "solución alternativa" y una "disuasión", que puede aumentar significativamente el costo poco ético de las empresas de IA centralizadas/soberanizadas e impedirles utilizar modelos de IA en aspectos militares, de culto, políticos y otros.
En casos extremos, una vez que el servicio de IA centralizado/soberano ya no está disponible/no es creíble por alguna razón, la IA descentralizada/descentralizada puede continuar proporcionando servicios de alta disponibilidad para evitar que países/regiones individuales e incluso humanos pierdan los servicios de IA.
•Uso práctico de la potencia informática
Detrás del cambio de ETH de PoW a PoS está el dilema criticado de "la minería no genera valor". La combinación de Web3 y AI puede proporcionar un escenario práctico para la potencia informática, a fin de realizar la digestión de la potencia informática de stock y promover el crecimiento de potencia informática total, etc. Efecto.
•Valorización virtual
La IA es un activo nativo de la potencia informática y el almacenamiento. La combinación de Web3 y la IA puede proporcionar un canal para convertir la IA en activos virtuales. Al mismo tiempo que ejemplifica el valor de la industria de la IA, puede crear activos virtuales verdaderamente nativos para Web3.
•Variables para aplicaciones Web3
La combinación de Web3 e IA puede aportar nuevos puntos funcionales y oportunidades de crecimiento a las aplicaciones Web3, y las aplicaciones Web3 existentes se pueden rehacer por completo.
Escrito al final: Es septiembre, ¿todavía vale la pena iniciar un negocio con IA ahora?
Permítanme comenzar con la conclusión: vale la pena y esta conclusión probablemente pueda utilizarse hasta el Año Nuevo chino.
La gente suele tener una percepción sesgada de la situación y yo no soy una excepción. Algunas personas son demasiado optimistas y otras demasiado pesimistas. El autor se comunicó una vez con dos equipos. Un equipo cree que podrá producir AI Agent en el primer trimestre del próximo año, y el otro equipo piensa que la IA solo es adecuada para la gestión de la base de conocimientos. Obviamente, el primero es demasiado optimista, mientras que el Este último es demasiado pesimista.
Al hacer una planificación a largo plazo, tanto los demasiado optimistas como los demasiado pesimistas caerán en el abismo, y los comentarios ampliamente difundidos suelen ser aquellos con grandes desviaciones, por lo que el pensamiento independiente es muy valioso. Por lo tanto, independientemente de si los lectores pueden aceptar los puntos de vista de este artículo, siempre que tengan pensamiento y juicio independientes en el proceso de lectura, el autor estará muy satisfecho.
Finalmente, coloque un anuncio. Si tiene buenas ideas empresariales de IA o ya ha creado proyectos, bienvenido a comunicarse con amigos de NGC (como yo) en cualquier momento.
Identificamos proyectos con innovación disruptiva, con el objetivo de resolver problemas con soluciones que se caracterizan por la simplicidad, la asequibilidad de los costos, la velocidad, la singularidad y un producto atractivo que se adapta al mercado.