La transformación inteligente de la industria ha entrado en el área de aguas profundas, y los puntos de demanda de las empresas para las capacidades de IA están cambiando.
Cada vez son más las grandes empresas que miran más allá de una única aplicación inteligente. En sectores como la energía eléctrica y las finanzas, las grandes empresas se están centrando en todo el proceso de producción, aplicación y gestión de las capacidades de IA, y están planteando requisitos para las plataformas de aprendizaje de IA de los fabricantes y las herramientas de productividad de las plataformas, con el fin de resolver una serie de puntos débiles como la escasez de talento, la escasez de datos, las dificultades de gestión y la baja tasa de reutilización de recursos.
Tras la llegada del boom de los modelos grandes, el foco de la competencia de plataformas se ha desplazado hacia el desarrollo y la aplicación de modelos grandes, y los fabricantes están combinando activamente las soluciones de plataformas de IA anteriores con modelos grandes. En la competencia de plataformas, se han destacado las ventajas de algunas empresas. Forrester, una agencia de análisis internacional, publicó recientemente un informe que muestra que en la competencia de las plataformas chinas de inteligencia artificial/aprendizaje automático, Baidu Intelligent Cloud tuvo un buen desempeño, y las plataformas de IA que participaron en la selección recibieron las puntuaciones más altas en 6 categorías, como datos, razonamiento y aplicación15 subcategorías, ubicándose en el cuadrante de líder**.
La plataforma de IA está ayudando a las empresas a crear rápidamente modelos y aplicaciones de IA que satisfagan las necesidades comerciales, y a monitorear y optimizar de manera efectiva el rendimiento de los modelos.
La situación de construir 100 modelos para 100 escenas es cosa del pasado.
01 Uso profundo de la IA, los problemas de las viejas armas
** La industria está entrando en la etapa de aplicación profunda de IA, y la IA ya no está fuera de su alcance. Sin embargo, cada vez más empresas se están dando cuenta de que, con la profundización de las aplicaciones, los usuarios sénior en el campo de la inteligencia empresarial se encuentran con nuevos problemas.
Tomando como ejemplo la industria energética, las grandes compañías eléctricas han utilizado modelos de IA para múltiples escenarios, como la inspección de circuitos. Normalmente, las necesidades relevantes de estas empresas son adquiridas en su mayoría de forma independiente por diferentes departamentos o sucursales. A medida que aumenta el número de aplicaciones de IA, también lo hace el número de modelos. Gestionar un gran número de modelos y mantenerlos funcionando de forma estable y eficiente se está convirtiendo en un reto.
Muchas grandes empresas tienen problemas similares. Un veterano le dijo a Digital Intelligence Frontline que ha visto personalmente que el departamento A de la empresa pone a 5 personas para hacer el algoritmo A, y el departamento B también pone a algunas personas en el equipo B para hacer algoritmos, lo que dificulta llevar a cabo el monitoreo, la optimización, la actualización y el mantenimiento unificados desde el nivel de la empresa, y la tasa general de reutilización de recursos de IA en la empresa es muy baja.
Algunas empresas o instituciones ya han aplicado la tecnología de IA a la aprobación de la elegibilidad para la emisión de tarjetas de crédito y la identificación de fraudes para lograr el control de riesgos de IA y el marketing de precisión. Pero el énfasis de la industria financiera en la seguridad y el cumplimiento también se está extendiendo a la aplicación de la IA. Por ejemplo, el equipo técnico del banco concede gran importancia a los factores de cumplimiento, y al crear un nuevo modelo, quién es responsable de la delegación y aprobación de la construcción, quién maneja la aprobación de la lectura de datos, y la escritura de datos, la producción del modelo, la capacitación, el aterrizaje y el lanzamiento también están garantizados por capas de procesos. Obviamente, este tipo de demanda no es la construcción tradicional de aplicaciones inteligentes.
Un alto funcionario de soluciones de la industria de un proveedor de nube le dijo a Digital Intelligence Frontier que algunas grandes empresas estatales centrales claramente esperan construir un centro inteligente de la empresa y cultivar sus propias capacidades de IA, de modo que el departamento digital de la empresa pueda desarrollar sus propios algoritmos para nuevos escenarios y crear nuevas aplicaciones.
Esta tendencia también se observa en la industria. Jin Wei, arquitecto sénior de la plataforma inteligente de IA en la nube de Baidu, dijo a la primera línea de la inteligencia digital que esto refleja que las aplicaciones de IA se están moviendo hacia un área de aguas profundas, y la transformación sistemática de las empresas se está volviendo cada vez más prominente. Las empresas no solo deben tener una visión y una planificación de objetivos, sino que también deben contar con un sólido mecanismo de coordinación y supervisión de la promoción, y contar con herramientas completas para garantizar una implementación sin problemas. La plataforma de IA es una herramienta de productividad para la transformación inteligente de las empresas.
La industria se ha dado cuenta de la importancia de este producto de plataforma. Forrester, una firma de análisis internacional, publicó recientemente el informe "The Forrester WaveTM: Evaluación de los proveedores de plataformas de IA/ML en el mercado chino, Q42023", en el que se señala que los responsables de la toma de decisiones empresariales de China están priorizando aún más la adopción de la tecnología de IA para impulsar la mejora de la productividad y la innovación empresarial. En el proceso, las empresas necesitan productos de plataforma de IA que puedan admitir casos de uso complejos en sus respectivos entornos empresariales.
Las nuevas tendencias también exigen las capacidades de los proveedores de plataformas de aprendizaje automático. Según Forrester, las plataformas líderes** deben proporcionar herramientas integrales para la gestión de datos, el entrenamiento de modelos y la creación de aplicaciones de IA; También debe adaptarse a los escenarios de la industria para ayudar a algunas empresas que carecen de talentos de IA y científicos de datos a obtener capacidades de IA basadas en sus propias necesidades comerciales**; Además, las herramientas, las tecnologías y las prácticas pueden ayudar a las empresas a desarrollar e implementar modelos a escala.
Forrester evaluó a 14 proveedores de plataformas de aprendizaje automático en China en 25 subcriterios de tres dimensiones: capacidad del producto, diseño estratégico y rendimiento del mercado. Según los datos, Baidu Intelligent Cloud está actualmente calificado como el líder del informe y ha ganado el primer lugar en 9 subpuntuaciones como datos, capacitación, razonamiento predictivo y aplicación.
Jin Wei presentó que las capacidades de los principales productos de Baidu en la plataforma de IA se han acumulado y pulido a largo plazo. La intención original de la plataforma de IA es crear un software de productividad que permita a diferentes tipos de usuarios empresariales construir aplicaciones de IA de forma rápida y económica, y al mismo tiempo logre múltiples algoritmos, herramientas, operación rápida y buenos resultados en la plataforma, ayudando a los clientes a ahorrar servidores y mano de obra.
En la actualidad, algunas grandes empresas de los sectores energético y financiero han sido muy utilizadas. Sobre la base de la plataforma de IA, las empresas no solo pueden crear rápidamente modelos y aplicaciones de IA que satisfagan las necesidades comerciales, sino también monitorear y optimizar de manera efectiva el rendimiento del modelo. Además, es más conveniente y eficiente administrar y coordinar recursos como datos, potencia de cómputo, personas y procesos.
Por ejemplo, en la industria de la energía, la plataforma inteligente de IA en la nube de Baidu está ayudando a los grandes grupos a resolver los puntos débiles de los negocios. Por un lado, el modelo y los datos se pueden compartir entre diferentes filiales para evitar reinventar la rueda. Al mismo tiempo, algunos modelos existentes relacionados con la producción de seguridad utilizan este producto, que puede ser distribuido directamente a la red provincial o municipal por la Red Estatal, que puede hacer un uso eficiente de los recursos de IA y tener una calidad constante. Además, la plataforma de IA también puede ayudar a las empresas a innovar, como el desarrollo de un nuevo algoritmo para el despacho de energía, utilizando el marco de aprendizaje por refuerzo de Baidu, que puede realizar la calibración automática de los parámetros de programación sin la experiencia manual de un gran número de expertos.
En el sector financiero, la solución de plataforma de IA de Baidu Intelligent Cloud también ha ayudado a muchas instituciones financieras a crear módulos de gestión de riesgos de gran tamaño para garantizar el cumplimiento de los procesos y la seguridad de confianza cuando la IA se aplica a escenarios financieros.
02 La era de los modelos grandes, cómo adaptarse
Desde principios de este año, la ola de grandes modelos y la IA generativa ha promovido una aplicación más profunda de la IA en la industria, y las plataformas de aprendizaje automático también están marcando el comienzo de nuevas oportunidades de desarrollo.
Según fuentes de alto nivel, tras la llegada de los grandes modelos de lenguaje, los cambios en las plataformas de aprendizaje automático se reflejan en tres niveles. El cambio más típico se produce en la interfaz de operación, la compleja interfaz de operación antes de NLP se ha vuelto más simple y el umbral para la aplicación empresarial de la IA lingüística está disminuyendo. Al mismo tiempo, se mejora la capacidad de automatización del modelo y se pueden automatizar tareas como el procesamiento de datos, la selección de modelos y la generación automática de informes. Además, también se ha abierto el espacio para aplicaciones innovadoras nativas de IA.
En este contexto, muchas empresas han tomado el modelo grande como una necesidad para responder a la pregunta, y varios fabricantes de plataformas también se están preparando para lanzar varios productos y plataformas para acelerar la aplicación de la tecnología de modelos grandes. Tomando a Baidu como ejemplo, en marzo de este año, lanzó la plataforma de modelos grandes Baidu Intelligent Cloud Qianfan, que integra profundamente las capacidades clave del desarrollo y la aplicación de modelos grandes con la plataforma de IA para crear una "superfábrica" para servicios de modelos grandes.
Con el fin de facilitar a las empresas el uso y el desarrollo de aplicaciones de modelos grandes, Baidu Qianfan actualmente proporciona no solo el modelo grande Wenxin de desarrollo propio de Baidu y el modelo grande de terceros, sino que también proporciona una variedad de herramientas de desarrollo de IA y un conjunto completo de entornos de desarrollo para ayudar a la industria de la IA generativa en diversas industrias a aterrizar.
Específicamente, Baidu resume la demanda de la industria de modelos grandes en cinco tipos, ya sea un cliente que solo necesita potencia informática, o una empresa que desea llamar directamente a la API de modelo grande o realizar un desarrollo secundario basado en el modelo grande existente, y una empresa que desea desarrollar aplicaciones nativas de IA basadas en el modelo grande o usar directamente la aplicación desarrollada, la plataforma Baidu Qianfan puede proporcionar servicios específicos.
Para las empresas que solo necesitan potencia informática, la plataforma Baidu Qianfan puede proporcionar servicios de potencia informática heterogénea altamente eficientes y rentables. Jin Wei reveló que para hacer esto, el equipo técnico de la plataforma inteligente de IA en la nube de Baidu pasó varios años haciendo mucho trabajo sucio. Por ejemplo, es compatible con los chips de IA convencionales en el país y en el extranjero, y debe adaptarse desde cuatro niveles: capa de marco, algoritmo central y red, modelo de chip y sistema operativo. "PyTorch es diferente de TensorFlow, y el sistema operativo es Windows, Linux o microcontrolador, y el trabajo a realizar también es diferente. ** La combinación de cuatro capas ha realizado 40.000 adaptaciones para garantizar el buen funcionamiento de varios modelos. **", dijo Jin Wei.
En la actualidad, la plataforma de modelos grandes de Qianfan no solo está conectada al modelo grande 4.0 de Wenxin, sino que también administra 44 modelos grandes convencionales de terceros en el país y en el extranjero, que es el número más grande entre las plataformas nacionales.
**Algunas empresas desean volver a desarrollar modelos grandes existentes, lo que requiere una amplia cadena de herramientas y un gran número de conjuntos de datos. **La plataforma Qianfan cuenta actualmente con una cadena de herramientas completa y un gran número de conjuntos de datos de alta calidad que cubren todo el ciclo de vida del reentrenamiento, el ajuste, la evaluación y la implementación de modelos grandes, lo que puede optimizar rápidamente el efecto del modelo según los escenarios y mejorar aún más la experiencia del usuario de los grandes modelos de empresas.
Los modelos grandes aportan nuevos cambios al proceso de anotación de datos, y muchas tareas de anotación se pueden completar a través del modelo. En la actualidad, la plataforma Qianfan admite el reflujo de datos comerciales y la anotación de datos altamente automatizada. Por ejemplo, en el escenario de detección de objetos, Qianfan proporciona directamente capacidades de entrenamiento previo, haciendo clic en el botón para etiquetar una pequeña parte, y permite que el modelo aprenda el estilo de anotación humana para anotar automáticamente, lo que puede ahorrar un 70% ~ 90% de mano de obra para las empresas.
También hay muchas empresas que quieren desarrollar aplicaciones nativas de IA basadas en grandes modelos. A mediados de este mes, Baidu Intelligent Cloud lanzó el "Qianfan AI Native Application Development Workbench", que incluye componentes de aplicaciones comunes y servicios de dos capas de marco de aplicaciones para el desarrollo de aplicaciones de modelos a gran escala, que tiene como objetivo el desarrollo de necesidades de aplicaciones nativas de IA.
Tomando como ejemplo los componentes de la aplicación, la plataforma Qianfan incluye varios tipos de capacidades, como grandes componentes de modelos de lenguaje, como preguntas y respuestas y cadena de pensamiento, componentes multimodales como el diagrama de Wensheng y el reconocimiento de voz, así como capacidades tradicionales de servicios en la nube, como bases de datos vectoriales y almacenamiento de objetos.
El marco de la aplicación puede conectar componentes de forma orgánica para completar la tarea completa de un escenario específico. La plataforma Qianfan ha proporcionado servicios de marco de uso común, como Retrieval Enhanced Generation (RAG) y Agent en el mercado, y empresas pioneras como Sany Heavy Industry han aplicado estos marcos para desarrollar rápidamente sus propias aplicaciones de preguntas y respuestas de conocimiento.
La ingeniería es un nuevo campo nacido tras la aparición de los grandes modelos. Esto tiene que ver con la naturaleza del modelo grande, y cambiar un poco las instrucciones puede marcar una gran diferencia en su salida o comportamiento. Actualmente, varios fabricantes están haciendo hincapié en las herramientas de ingeniería. La plataforma Baidu Qianfan también ofrece más de 10 escenarios que cubren diálogos, programación, comercio electrónico, atención médica, juegos, traducción, voz, etc., con un total de 226 plantillas. Según los informes, este es el mayor número de bibliotecas de plantillas en la plataforma principal en China. Los desarrolladores y las empresas también pueden utilizar las diversas herramientas de automatización y por lotes proporcionadas por la plataforma para completar el proceso de manera eficiente.
Jin Wei cree que en los últimos meses, la plataforma de modelos grandes Qianfan en la nube inteligente de Baidu ha sentado una base sólida y está lista para la batalla de los 100 modelos y para ayudar a las empresas a aplicar la IA a gran escala.
**03 Plataforma de IA, ¿cuál es la próxima parada? **
La IA no es solo para las grandes empresas. En la actualidad, los fabricantes de plataformas de aprendizaje automático están dando importancia a la cobertura integral de grandes empresas, clientes pequeños y medianos y mercados de desarrolladores, y las soluciones de plataforma de IA de Baidu Intelligent Cloud también sirven a diferentes grupos de manera específica.
Jin Wei dijo a Digital Intelligence Frontier que la solución de plataforma de IA de Baidu es un término general para una serie de productos, incluidos productos como la plataforma de desarrollo de IA con todas las funciones BML, la plataforma de desarrollo de IA de umbral cero EasyDL y la plataforma de modelo grande Baidu Intelligent Cloud Qianfan. Para diferentes campos o diferentes preferencias de los clientes, la plataforma de IA tiene la correspondiente adaptación del producto. Por ejemplo, la capacidad de procesamiento de datos se empaqueta en el producto EasyData, y la capacidad de modelado de código cero también se extrae para crear el producto EasyDL, que puede ayudar a los usuarios a completar el modelado de código cero con modelos preentrenados de alto rendimiento, y las capacidades de los modelos grandes son llevadas por la plataforma Qianfan en la nube inteligente de Baidu.
En la nube pública, la mayoría de los clientes son pequeñas y medianas empresas, y los módulos de la plataforma de IA se vuelven a desmontar y combinar, con la plataforma de desarrollo de IA con todas las funciones BML y los productos EasyDL como los principales representantes para satisfacer las necesidades. En respuesta a las necesidades de privatización de los grandes clientes, se empaquetarán varios productos en productos súper grandes para completar la entrega.
Según el informe de Forrester, las capacidades del producto de la plataforma inteligente de IA en la nube de Baidu han funcionado bien en cinco áreas principales: procesamiento de datos, entrenamiento de modelos, razonamiento predictivo, aplicación y arquitectura.
Jin Wei presentó las capacidades y ventajas únicas en diferentes campos. Tomando como ejemplo la ingeniería de características en el campo de los datos, Jin Wei presentó que la plataforma de IA de Baidu integra excelentes capacidades de gestión de bibliotecas de funciones, y sus capacidades han alcanzado un nivel profesional. Puede proporcionar funciones como la adición, eliminación, modificación y consulta de características, la producción de características, el uso compartido, la administración de versiones, la verificación de datos, etc., admitir diferentes formas de datos en el flujo de aprobación para los servicios de predicción y garantizar que las características utilizadas en el entrenamiento del modelo sean coherentes con las características de la predicción final. "Si la distribución de características es 50 por ciento masculina y 50 por ciento femenina durante el entrenamiento, y se predice 60 por ciento masculina y 40 por ciento femenina, entonces no se puede esperar que el modelo sea particularmente preciso", dice Jin Wei, lo cual es fundamental para la precisión del modelo.
Por ejemplo, en el campo del entrenamiento de modelos, la plataforma de IA de Baidu puede admitir el modelado y el entrenamiento de varios tipos de datos, incluidas imágenes, videos, texto, voz y datos estructurados. En términos de modelado, se proporciona soporte para la herramienta NoteBook para las personas que están dispuestas a escribir código, y las personas a las que no les gusta escribir código pueden arrastrar y soltar o incluso hacer clic en el botón de ventanilla única integrado para modelar. Para una gran cantidad de escenarios, como la clasificación de imágenes, la etiqueta única y la etiqueta múltiple, la detección de objetos y otros escenarios de CV, el equipo del algoritmo Paddle ha llevado a cabo una optimización en profundidad basada en el operador Paddle, y el rendimiento y el efecto serán mejores.
Las ventajas únicas del rendimiento del producto son inseparables de la inversión técnica a largo plazo y de la atención a las nuevas tendencias tecnológicas. Según el equipo de investigación y desarrollo de la plataforma de IA de Baidu, están muy preocupados por las nuevas tendencias tecnológicas, como hace tres años, la industria estaba discutiendo el problema de la interpretabilidad del modelo, y si no sabe cómo el modelo toma decisiones, afectará el uso del modelo en escenarios con altos requisitos de cumplimiento de seguridad. En términos generales, los modelos de aprendizaje profundo tienen parámetros mucho más amplios que los modelos tradicionales de aprendizaje automático, y el problema de la caja negra será más grave.
Después de un largo período de preparación, el equipo de la plataforma de IA de Baidu finalmente superó el algoritmo de explicabilidad del modelo en el campo del aprendizaje automático convencional, integró los principios de caja blanca de cinco aprendizajes automáticos comunes y también superó algunos problemas de interpretabilidad del aprendizaje profundo. "Se puede atribuir la posibilidad de averiguar cuándo un modelo toma una decisión, ya sea basada en datos o inducida por algoritmos, y estos resultados promueven la aplicación de productos relacionados con la plataforma de IA en escenarios especiales de la industria, como la toma de decisiones financieras". Jin Wei presentó.
En la actualidad, la industria divide el paradigma de desarrollo de modelos grandes en cinco capas, el modelo grande en sí, ingeniería, cadena de herramientas de cadena y cadena de acción, agencia y multiagencia. El enfoque principal de la plataforma Qianfan en la nube inteligente de Baidu ha sido muy sólido en la primera y segunda capa, y las últimas tres capas, incluida la cadena de herramientas, las capacidades de agentes y multiagencias, también se encuentran en la etapa clave de construcción. Jin Wei presentó que la plataforma de modelos grandes de Qianfan continuará mejorándose y actualizándose, de modo que el modelo grande pueda ejercer de forma independiente su iniciativa subjetiva y tener la capacidad de resolver problemas complejos. Al mismo tiempo, no se descartan planes para hacerse a la mar en el futuro**.
En general, bajo la construcción inteligente de las empresas, la aplicación de la IA por parte de las empresas se ha mejorado profundamente y la competencia en el campo de las plataformas de IA se ha vuelto cada vez más feroz. Para mantenerse a la vanguardia y hacer frente a los desafíos a largo plazo de los cambios en el cumplimiento y la complejidad técnica, los fabricantes también tendrán que invertir en tecnología. Jin Wei cree que los fabricantes deben adherirse a la innovación tecnológica y mejorar la satisfacción, la seguridad y el cumplimiento del cliente para adaptarse a este mercado cambiante.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
100 guerras de modelos, no luches por una sola plataforma
Fuente original: Digital Intelligence Frontline
Autor: Xu Xin
La transformación inteligente de la industria ha entrado en el área de aguas profundas, y los puntos de demanda de las empresas para las capacidades de IA están cambiando.
Cada vez son más las grandes empresas que miran más allá de una única aplicación inteligente. En sectores como la energía eléctrica y las finanzas, las grandes empresas se están centrando en todo el proceso de producción, aplicación y gestión de las capacidades de IA, y están planteando requisitos para las plataformas de aprendizaje de IA de los fabricantes y las herramientas de productividad de las plataformas, con el fin de resolver una serie de puntos débiles como la escasez de talento, la escasez de datos, las dificultades de gestión y la baja tasa de reutilización de recursos.
Tras la llegada del boom de los modelos grandes, el foco de la competencia de plataformas se ha desplazado hacia el desarrollo y la aplicación de modelos grandes, y los fabricantes están combinando activamente las soluciones de plataformas de IA anteriores con modelos grandes. En la competencia de plataformas, se han destacado las ventajas de algunas empresas. Forrester, una agencia de análisis internacional, publicó recientemente un informe que muestra que en la competencia de las plataformas chinas de inteligencia artificial/aprendizaje automático, Baidu Intelligent Cloud tuvo un buen desempeño, y las plataformas de IA que participaron en la selección recibieron las puntuaciones más altas en 6 categorías, como datos, razonamiento y aplicación15 subcategorías, ubicándose en el cuadrante de líder**.
La plataforma de IA está ayudando a las empresas a crear rápidamente modelos y aplicaciones de IA que satisfagan las necesidades comerciales, y a monitorear y optimizar de manera efectiva el rendimiento de los modelos.
La situación de construir 100 modelos para 100 escenas es cosa del pasado.
01 Uso profundo de la IA, los problemas de las viejas armas
** La industria está entrando en la etapa de aplicación profunda de IA, y la IA ya no está fuera de su alcance. Sin embargo, cada vez más empresas se están dando cuenta de que, con la profundización de las aplicaciones, los usuarios sénior en el campo de la inteligencia empresarial se encuentran con nuevos problemas.
Tomando como ejemplo la industria energética, las grandes compañías eléctricas han utilizado modelos de IA para múltiples escenarios, como la inspección de circuitos. Normalmente, las necesidades relevantes de estas empresas son adquiridas en su mayoría de forma independiente por diferentes departamentos o sucursales. A medida que aumenta el número de aplicaciones de IA, también lo hace el número de modelos. Gestionar un gran número de modelos y mantenerlos funcionando de forma estable y eficiente se está convirtiendo en un reto.
Muchas grandes empresas tienen problemas similares. Un veterano le dijo a Digital Intelligence Frontline que ha visto personalmente que el departamento A de la empresa pone a 5 personas para hacer el algoritmo A, y el departamento B también pone a algunas personas en el equipo B para hacer algoritmos, lo que dificulta llevar a cabo el monitoreo, la optimización, la actualización y el mantenimiento unificados desde el nivel de la empresa, y la tasa general de reutilización de recursos de IA en la empresa es muy baja.
Algunas empresas o instituciones ya han aplicado la tecnología de IA a la aprobación de la elegibilidad para la emisión de tarjetas de crédito y la identificación de fraudes para lograr el control de riesgos de IA y el marketing de precisión. Pero el énfasis de la industria financiera en la seguridad y el cumplimiento también se está extendiendo a la aplicación de la IA. Por ejemplo, el equipo técnico del banco concede gran importancia a los factores de cumplimiento, y al crear un nuevo modelo, quién es responsable de la delegación y aprobación de la construcción, quién maneja la aprobación de la lectura de datos, y la escritura de datos, la producción del modelo, la capacitación, el aterrizaje y el lanzamiento también están garantizados por capas de procesos. Obviamente, este tipo de demanda no es la construcción tradicional de aplicaciones inteligentes.
Un alto funcionario de soluciones de la industria de un proveedor de nube le dijo a Digital Intelligence Frontier que algunas grandes empresas estatales centrales claramente esperan construir un centro inteligente de la empresa y cultivar sus propias capacidades de IA, de modo que el departamento digital de la empresa pueda desarrollar sus propios algoritmos para nuevos escenarios y crear nuevas aplicaciones.
Esta tendencia también se observa en la industria. Jin Wei, arquitecto sénior de la plataforma inteligente de IA en la nube de Baidu, dijo a la primera línea de la inteligencia digital que esto refleja que las aplicaciones de IA se están moviendo hacia un área de aguas profundas, y la transformación sistemática de las empresas se está volviendo cada vez más prominente. Las empresas no solo deben tener una visión y una planificación de objetivos, sino que también deben contar con un sólido mecanismo de coordinación y supervisión de la promoción, y contar con herramientas completas para garantizar una implementación sin problemas. La plataforma de IA es una herramienta de productividad para la transformación inteligente de las empresas.
La industria se ha dado cuenta de la importancia de este producto de plataforma. Forrester, una firma de análisis internacional, publicó recientemente el informe "The Forrester WaveTM: Evaluación de los proveedores de plataformas de IA/ML en el mercado chino, Q42023", en el que se señala que los responsables de la toma de decisiones empresariales de China están priorizando aún más la adopción de la tecnología de IA para impulsar la mejora de la productividad y la innovación empresarial. En el proceso, las empresas necesitan productos de plataforma de IA que puedan admitir casos de uso complejos en sus respectivos entornos empresariales.
Las nuevas tendencias también exigen las capacidades de los proveedores de plataformas de aprendizaje automático. Según Forrester, las plataformas líderes** deben proporcionar herramientas integrales para la gestión de datos, el entrenamiento de modelos y la creación de aplicaciones de IA; También debe adaptarse a los escenarios de la industria para ayudar a algunas empresas que carecen de talentos de IA y científicos de datos a obtener capacidades de IA basadas en sus propias necesidades comerciales**; Además, las herramientas, las tecnologías y las prácticas pueden ayudar a las empresas a desarrollar e implementar modelos a escala.
Forrester evaluó a 14 proveedores de plataformas de aprendizaje automático en China en 25 subcriterios de tres dimensiones: capacidad del producto, diseño estratégico y rendimiento del mercado. Según los datos, Baidu Intelligent Cloud está actualmente calificado como el líder del informe y ha ganado el primer lugar en 9 subpuntuaciones como datos, capacitación, razonamiento predictivo y aplicación.
Jin Wei presentó que las capacidades de los principales productos de Baidu en la plataforma de IA se han acumulado y pulido a largo plazo. La intención original de la plataforma de IA es crear un software de productividad que permita a diferentes tipos de usuarios empresariales construir aplicaciones de IA de forma rápida y económica, y al mismo tiempo logre múltiples algoritmos, herramientas, operación rápida y buenos resultados en la plataforma, ayudando a los clientes a ahorrar servidores y mano de obra.
En la actualidad, algunas grandes empresas de los sectores energético y financiero han sido muy utilizadas. Sobre la base de la plataforma de IA, las empresas no solo pueden crear rápidamente modelos y aplicaciones de IA que satisfagan las necesidades comerciales, sino también monitorear y optimizar de manera efectiva el rendimiento del modelo. Además, es más conveniente y eficiente administrar y coordinar recursos como datos, potencia de cómputo, personas y procesos.
Por ejemplo, en la industria de la energía, la plataforma inteligente de IA en la nube de Baidu está ayudando a los grandes grupos a resolver los puntos débiles de los negocios. Por un lado, el modelo y los datos se pueden compartir entre diferentes filiales para evitar reinventar la rueda. Al mismo tiempo, algunos modelos existentes relacionados con la producción de seguridad utilizan este producto, que puede ser distribuido directamente a la red provincial o municipal por la Red Estatal, que puede hacer un uso eficiente de los recursos de IA y tener una calidad constante. Además, la plataforma de IA también puede ayudar a las empresas a innovar, como el desarrollo de un nuevo algoritmo para el despacho de energía, utilizando el marco de aprendizaje por refuerzo de Baidu, que puede realizar la calibración automática de los parámetros de programación sin la experiencia manual de un gran número de expertos.
En el sector financiero, la solución de plataforma de IA de Baidu Intelligent Cloud también ha ayudado a muchas instituciones financieras a crear módulos de gestión de riesgos de gran tamaño para garantizar el cumplimiento de los procesos y la seguridad de confianza cuando la IA se aplica a escenarios financieros.
02 La era de los modelos grandes, cómo adaptarse
Desde principios de este año, la ola de grandes modelos y la IA generativa ha promovido una aplicación más profunda de la IA en la industria, y las plataformas de aprendizaje automático también están marcando el comienzo de nuevas oportunidades de desarrollo.
Según fuentes de alto nivel, tras la llegada de los grandes modelos de lenguaje, los cambios en las plataformas de aprendizaje automático se reflejan en tres niveles. El cambio más típico se produce en la interfaz de operación, la compleja interfaz de operación antes de NLP se ha vuelto más simple y el umbral para la aplicación empresarial de la IA lingüística está disminuyendo. Al mismo tiempo, se mejora la capacidad de automatización del modelo y se pueden automatizar tareas como el procesamiento de datos, la selección de modelos y la generación automática de informes. Además, también se ha abierto el espacio para aplicaciones innovadoras nativas de IA.
En este contexto, muchas empresas han tomado el modelo grande como una necesidad para responder a la pregunta, y varios fabricantes de plataformas también se están preparando para lanzar varios productos y plataformas para acelerar la aplicación de la tecnología de modelos grandes. Tomando a Baidu como ejemplo, en marzo de este año, lanzó la plataforma de modelos grandes Baidu Intelligent Cloud Qianfan, que integra profundamente las capacidades clave del desarrollo y la aplicación de modelos grandes con la plataforma de IA para crear una "superfábrica" para servicios de modelos grandes.
Específicamente, Baidu resume la demanda de la industria de modelos grandes en cinco tipos, ya sea un cliente que solo necesita potencia informática, o una empresa que desea llamar directamente a la API de modelo grande o realizar un desarrollo secundario basado en el modelo grande existente, y una empresa que desea desarrollar aplicaciones nativas de IA basadas en el modelo grande o usar directamente la aplicación desarrollada, la plataforma Baidu Qianfan puede proporcionar servicios específicos.
Para las empresas que solo necesitan potencia informática, la plataforma Baidu Qianfan puede proporcionar servicios de potencia informática heterogénea altamente eficientes y rentables. Jin Wei reveló que para hacer esto, el equipo técnico de la plataforma inteligente de IA en la nube de Baidu pasó varios años haciendo mucho trabajo sucio. Por ejemplo, es compatible con los chips de IA convencionales en el país y en el extranjero, y debe adaptarse desde cuatro niveles: capa de marco, algoritmo central y red, modelo de chip y sistema operativo. "PyTorch es diferente de TensorFlow, y el sistema operativo es Windows, Linux o microcontrolador, y el trabajo a realizar también es diferente. ** La combinación de cuatro capas ha realizado 40.000 adaptaciones para garantizar el buen funcionamiento de varios modelos. **", dijo Jin Wei.
En la actualidad, la plataforma de modelos grandes de Qianfan no solo está conectada al modelo grande 4.0 de Wenxin, sino que también administra 44 modelos grandes convencionales de terceros en el país y en el extranjero, que es el número más grande entre las plataformas nacionales.
**Algunas empresas desean volver a desarrollar modelos grandes existentes, lo que requiere una amplia cadena de herramientas y un gran número de conjuntos de datos. **La plataforma Qianfan cuenta actualmente con una cadena de herramientas completa y un gran número de conjuntos de datos de alta calidad que cubren todo el ciclo de vida del reentrenamiento, el ajuste, la evaluación y la implementación de modelos grandes, lo que puede optimizar rápidamente el efecto del modelo según los escenarios y mejorar aún más la experiencia del usuario de los grandes modelos de empresas.
Los modelos grandes aportan nuevos cambios al proceso de anotación de datos, y muchas tareas de anotación se pueden completar a través del modelo. En la actualidad, la plataforma Qianfan admite el reflujo de datos comerciales y la anotación de datos altamente automatizada. Por ejemplo, en el escenario de detección de objetos, Qianfan proporciona directamente capacidades de entrenamiento previo, haciendo clic en el botón para etiquetar una pequeña parte, y permite que el modelo aprenda el estilo de anotación humana para anotar automáticamente, lo que puede ahorrar un 70% ~ 90% de mano de obra para las empresas.
También hay muchas empresas que quieren desarrollar aplicaciones nativas de IA basadas en grandes modelos. A mediados de este mes, Baidu Intelligent Cloud lanzó el "Qianfan AI Native Application Development Workbench", que incluye componentes de aplicaciones comunes y servicios de dos capas de marco de aplicaciones para el desarrollo de aplicaciones de modelos a gran escala, que tiene como objetivo el desarrollo de necesidades de aplicaciones nativas de IA.
El marco de la aplicación puede conectar componentes de forma orgánica para completar la tarea completa de un escenario específico. La plataforma Qianfan ha proporcionado servicios de marco de uso común, como Retrieval Enhanced Generation (RAG) y Agent en el mercado, y empresas pioneras como Sany Heavy Industry han aplicado estos marcos para desarrollar rápidamente sus propias aplicaciones de preguntas y respuestas de conocimiento.
La ingeniería es un nuevo campo nacido tras la aparición de los grandes modelos. Esto tiene que ver con la naturaleza del modelo grande, y cambiar un poco las instrucciones puede marcar una gran diferencia en su salida o comportamiento. Actualmente, varios fabricantes están haciendo hincapié en las herramientas de ingeniería. La plataforma Baidu Qianfan también ofrece más de 10 escenarios que cubren diálogos, programación, comercio electrónico, atención médica, juegos, traducción, voz, etc., con un total de 226 plantillas. Según los informes, este es el mayor número de bibliotecas de plantillas en la plataforma principal en China. Los desarrolladores y las empresas también pueden utilizar las diversas herramientas de automatización y por lotes proporcionadas por la plataforma para completar el proceso de manera eficiente.
Jin Wei cree que en los últimos meses, la plataforma de modelos grandes Qianfan en la nube inteligente de Baidu ha sentado una base sólida y está lista para la batalla de los 100 modelos y para ayudar a las empresas a aplicar la IA a gran escala.
**03 Plataforma de IA, ¿cuál es la próxima parada? **
La IA no es solo para las grandes empresas. En la actualidad, los fabricantes de plataformas de aprendizaje automático están dando importancia a la cobertura integral de grandes empresas, clientes pequeños y medianos y mercados de desarrolladores, y las soluciones de plataforma de IA de Baidu Intelligent Cloud también sirven a diferentes grupos de manera específica.
Jin Wei dijo a Digital Intelligence Frontier que la solución de plataforma de IA de Baidu es un término general para una serie de productos, incluidos productos como la plataforma de desarrollo de IA con todas las funciones BML, la plataforma de desarrollo de IA de umbral cero EasyDL y la plataforma de modelo grande Baidu Intelligent Cloud Qianfan. Para diferentes campos o diferentes preferencias de los clientes, la plataforma de IA tiene la correspondiente adaptación del producto. Por ejemplo, la capacidad de procesamiento de datos se empaqueta en el producto EasyData, y la capacidad de modelado de código cero también se extrae para crear el producto EasyDL, que puede ayudar a los usuarios a completar el modelado de código cero con modelos preentrenados de alto rendimiento, y las capacidades de los modelos grandes son llevadas por la plataforma Qianfan en la nube inteligente de Baidu.
En la nube pública, la mayoría de los clientes son pequeñas y medianas empresas, y los módulos de la plataforma de IA se vuelven a desmontar y combinar, con la plataforma de desarrollo de IA con todas las funciones BML y los productos EasyDL como los principales representantes para satisfacer las necesidades. En respuesta a las necesidades de privatización de los grandes clientes, se empaquetarán varios productos en productos súper grandes para completar la entrega.
Según el informe de Forrester, las capacidades del producto de la plataforma inteligente de IA en la nube de Baidu han funcionado bien en cinco áreas principales: procesamiento de datos, entrenamiento de modelos, razonamiento predictivo, aplicación y arquitectura.
Jin Wei presentó las capacidades y ventajas únicas en diferentes campos. Tomando como ejemplo la ingeniería de características en el campo de los datos, Jin Wei presentó que la plataforma de IA de Baidu integra excelentes capacidades de gestión de bibliotecas de funciones, y sus capacidades han alcanzado un nivel profesional. Puede proporcionar funciones como la adición, eliminación, modificación y consulta de características, la producción de características, el uso compartido, la administración de versiones, la verificación de datos, etc., admitir diferentes formas de datos en el flujo de aprobación para los servicios de predicción y garantizar que las características utilizadas en el entrenamiento del modelo sean coherentes con las características de la predicción final. "Si la distribución de características es 50 por ciento masculina y 50 por ciento femenina durante el entrenamiento, y se predice 60 por ciento masculina y 40 por ciento femenina, entonces no se puede esperar que el modelo sea particularmente preciso", dice Jin Wei, lo cual es fundamental para la precisión del modelo.
Por ejemplo, en el campo del entrenamiento de modelos, la plataforma de IA de Baidu puede admitir el modelado y el entrenamiento de varios tipos de datos, incluidas imágenes, videos, texto, voz y datos estructurados. En términos de modelado, se proporciona soporte para la herramienta NoteBook para las personas que están dispuestas a escribir código, y las personas a las que no les gusta escribir código pueden arrastrar y soltar o incluso hacer clic en el botón de ventanilla única integrado para modelar. Para una gran cantidad de escenarios, como la clasificación de imágenes, la etiqueta única y la etiqueta múltiple, la detección de objetos y otros escenarios de CV, el equipo del algoritmo Paddle ha llevado a cabo una optimización en profundidad basada en el operador Paddle, y el rendimiento y el efecto serán mejores.
Las ventajas únicas del rendimiento del producto son inseparables de la inversión técnica a largo plazo y de la atención a las nuevas tendencias tecnológicas. Según el equipo de investigación y desarrollo de la plataforma de IA de Baidu, están muy preocupados por las nuevas tendencias tecnológicas, como hace tres años, la industria estaba discutiendo el problema de la interpretabilidad del modelo, y si no sabe cómo el modelo toma decisiones, afectará el uso del modelo en escenarios con altos requisitos de cumplimiento de seguridad. En términos generales, los modelos de aprendizaje profundo tienen parámetros mucho más amplios que los modelos tradicionales de aprendizaje automático, y el problema de la caja negra será más grave.
Después de un largo período de preparación, el equipo de la plataforma de IA de Baidu finalmente superó el algoritmo de explicabilidad del modelo en el campo del aprendizaje automático convencional, integró los principios de caja blanca de cinco aprendizajes automáticos comunes y también superó algunos problemas de interpretabilidad del aprendizaje profundo. "Se puede atribuir la posibilidad de averiguar cuándo un modelo toma una decisión, ya sea basada en datos o inducida por algoritmos, y estos resultados promueven la aplicación de productos relacionados con la plataforma de IA en escenarios especiales de la industria, como la toma de decisiones financieras". Jin Wei presentó.
En la actualidad, la industria divide el paradigma de desarrollo de modelos grandes en cinco capas, el modelo grande en sí, ingeniería, cadena de herramientas de cadena y cadena de acción, agencia y multiagencia. El enfoque principal de la plataforma Qianfan en la nube inteligente de Baidu ha sido muy sólido en la primera y segunda capa, y las últimas tres capas, incluida la cadena de herramientas, las capacidades de agentes y multiagencias, también se encuentran en la etapa clave de construcción. Jin Wei presentó que la plataforma de modelos grandes de Qianfan continuará mejorándose y actualizándose, de modo que el modelo grande pueda ejercer de forma independiente su iniciativa subjetiva y tener la capacidad de resolver problemas complejos. Al mismo tiempo, no se descartan planes para hacerse a la mar en el futuro**.
En general, bajo la construcción inteligente de las empresas, la aplicación de la IA por parte de las empresas se ha mejorado profundamente y la competencia en el campo de las plataformas de IA se ha vuelto cada vez más feroz. Para mantenerse a la vanguardia y hacer frente a los desafíos a largo plazo de los cambios en el cumplimiento y la complejidad técnica, los fabricantes también tendrán que invertir en tecnología. Jin Wei cree que los fabricantes deben adherirse a la innovación tecnológica y mejorar la satisfacción, la seguridad y el cumplimiento del cliente para adaptarse a este mercado cambiante.