Patronus AI: Lightspeed America lidera una inversión de 3 millones de dólares, dirigida al mercado empresarial para resolver problemas de seguridad de modelos grandes
**Fuente: **Círculo de pensamiento profundo de SenseAI
"Las grandes empresas necesitan invertir mucho dinero en la detección de errores de IA para prevenirlos. Al mismo tiempo, falta un marco de prueba estándar de LLM en esta etapa. Por lo tanto, la evaluación de LLM no es escalable y el efecto es no es bueno. Esto también afecta el desempeño de las empresas al implementar productos de IA. Por precaución.
Patronus AI espera permitir a las empresas implementar productos de IA de forma segura mediante la construcción de la plataforma de seguridad y evaluación automatizada de LLM, promoviendo así la adopción generalizada de Gen-AI. "
Pensamiento sensorial
Intentamos proponer deducciones y reflexiones más divergentes a partir del contenido del artículo y agradecemos los intercambios.
▪ Puntos débiles en la aplicación de grandes modelos a nivel empresarial: la predicción de lo siguiente utilizando la fórmula autorregresiva del transformador es esencialmente un modelo probabilístico, y la evaluación de la incertidumbre del contenido generado es la clave para la verificación de la capacidad del modelo. Al mismo tiempo, la evaluación del índice académico no se puede adaptar a aplicaciones de campo a nivel empresarial y se necesita una plataforma de evaluación automática multimodelo más orientada al producto.
▪ Cómo equilibrar la precisión y la incertidumbre en el contenido de producción y amplificar las capacidades de LLM a los escenarios de demanda empresarial es el arte de las plataformas de evaluación de modelos y las aplicaciones Gen-AI a nivel empresarial.
Este artículo tiene un total de 2115 palabras y se tarda unos 5 minutos en leerlo detenidamente.
Los usuarios están adoptando IA generativa a un ritmo sin precedentes. ChatGPT es el producto de consumo de más rápido crecimiento hasta la fecha: atrajo a más de 100 millones de usuarios en los primeros dos meses de su lanzamiento. La IA ha estado en el centro de atención este año. Pero al mismo tiempo, las empresas han mostrado una actitud cautelosa ante el rápido despliegue de productos de IA. Les preocupan los errores que pueden provocar los modelos de lenguaje grandes. Desafortunadamente, los esfuerzos actuales para evaluar e inspeccionar modelos lingüísticos son difíciles de ampliar y son ineficientes. Patronus se compromete a cambiar eso y su misión es aumentar la confianza empresarial en la IA generativa.
Antecedentes fundadores de Patronus AI
Los dos fundadores de Patronus, Rebecca y Anand, se conocen desde hace casi 10 años. Después de estudiar ciencias de la computación juntas en la Universidad de Chicago, Rebecca se unió a Meta AI (FAIR) para liderar la investigación relacionada con PNL y ALGN, mientras que Anand desarrolló inferencia causal temprana y fundamentos experimentales en Meta Reality Labs. En Meta, los dos experimentaron de primera mano la dificultad de evaluar e interpretar los resultados del aprendizaje automático: Rebecca desde una perspectiva de investigación y Anand desde una perspectiva de aplicación.
Cuando la CTO de OpenAI, Meera Murati, anunció el lanzamiento de ChatGPT en Twitter en noviembre pasado, Anand le envió la noticia a Rebecca en 5 minutos. Se dan cuenta de que este es un momento de transformación y que las empresas definitivamente aplicarán rápidamente modelos de lenguaje a diversos escenarios. Entonces Anand se sorprendió cuando escuchó que Piper Sandler, el banco de inversión donde trabajaba su hermano, había prohibido el acceso interno a OpenAI. Durante los siguientes meses, escucharon varias veces que las empresas tradicionales estaban avanzando con esta tecnología con mucha cautela.
Se dieron cuenta de que, aunque la tecnología PNL ha logrado avances significativos, todavía está lejos de ser aplicaciones empresariales reales. Todo el mundo está de acuerdo en que la IA generativa es muy útil, pero nadie sabe cómo utilizarla de la forma correcta. Reconocen que la evaluación y la seguridad de la IA serán los temas principales en los próximos años.
Equipo y situación financiera
Patronus anunció el 14 y 23 de septiembre que había recibido 3 millones de dólares estadounidenses en financiación de ronda inicial de Lightspeed Venture Partners. Factorial Capital, el director ejecutivo de Replit, Amjad Masad, Gokul Rajaram, Michael Callahan, Prasanna Gopalakrishnan, Suja Chandrasekaran, etc., también participaron en la ronda inicial. inversión. Estos inversores tienen una amplia experiencia invirtiendo y operando empresas de referencia en seguridad empresarial e inteligencia artificial.
El equipo fundador de Patronus proviene de los mejores entornos de investigación y aplicaciones de ML (aprendizaje automático), incluidos Facebook AI Research (FAIR), Airbnb, Meta Reality Labs e instituciones cuantitativas. Publicaron artículos de investigación de PNL en las principales conferencias de IA (NeurIPS, EMNLP, ACL), diseñaron y lanzaron el primer asistente de IA conversacional de Airbnb, fueron pioneros en la inferencia causal en Meta Reality Labs y abandonaron los productos 0→1 del fondo de cobertura cuantitativo respaldado por Mark Cuban. en startups de rápido crecimiento.
Patronus cuenta con el asesoramiento de Douwe Kiela, director ejecutivo de Contextual AI y profesor adjunto en la Universidad de Stanford, quien también es exdirector de investigación de HuggingFace. Douwe ha realizado investigaciones pioneras en el campo de la PNL, especialmente en evaluación, benchmarking y RAG.
Problemas que Patronus AI resuelve
La evaluación actual de modelos de lenguaje grande no es escalable y tiene un rendimiento deficiente por las siguientes razones:
La evaluación manual es lenta y costosa. Las grandes empresas gastan millones de dólares en contratar miles de evaluadores internos y consultores externos para comprobar manualmente si hay errores en la IA. Los ingenieros que desean implementar productos de IA pasan semanas creando manualmente conjuntos de pruebas y verificando los resultados de la IA.
La naturaleza no determinista de los grandes modelos lingüísticos dificulta la predicción de fallos. Los modelos de lenguaje grandes son sistemas probabilísticos. Dado que su rango de entrada no está limitado (dentro del límite de longitud del contexto), proporciona una amplia superficie de ataque. Por tanto, la causa del fallo será muy compleja.
Actualmente no existe un marco de prueba estándar para modelos de lenguaje grandes. Las pruebas de software se han integrado profundamente en los flujos de trabajo de ingeniería tradicionales, con marcos de pruebas unitarias, grandes equipos de inspección de calidad y ciclos de lanzamiento, pero las empresas aún no han desarrollado procesos similares para modelos de lenguajes grandes. La evaluación, la identificación y la documentación continuas y escalables de errores de modelos de lenguaje grandes y la evaluación comparativa del rendimiento son fundamentales para el uso en producción de modelos de lenguaje grandes.
Los puntos de referencia académicos no reflejan situaciones del mundo real. Actualmente, las empresas prueban grandes modelos de lenguaje en puntos de referencia académicos (como HELM, GLUE, SuperGLUE, etc.), pero estos puntos de referencia no pueden reflejar escenarios de uso reales. Los puntos de referencia académicos tienden a estar saturados y sufren problemas de fuga de datos de capacitación.
La larga cola de fallas de la IA es muy grave y el último 20% es extremadamente desafiante. Los ataques adversarios han demostrado que el problema de seguridad de los grandes modelos lingüísticos está lejos de resolverse. Incluso si los modelos de lenguaje pre-entrenados de propósito general demuestran capacidades básicas sólidas, todavía hay una gran cantidad de situaciones de falla desconocidas. Patronus ha realizado muchas investigaciones innovadoras sobre la evaluación y la solidez de los modelos adversarios, pero esto es solo el comienzo.
La misión de Patronus AI
La misión de Patronus AI es aumentar la confianza empresarial en la IA generativa.
Patronus AI es la primera plataforma de seguridad y evaluación automatizada de la industria para modelos de lenguaje grandes. Los clientes utilizan Patronus AI para detectar grandes errores de modelos de lenguaje a escala para implementar productos de IA de forma segura.
La plataforma realiza automáticamente:
Puntuación: evalúe el rendimiento del modelo y métricas clave como las alucinaciones y la seguridad en escenarios del mundo real.
Generar pruebas: genere automáticamente conjuntos de pruebas adversas a gran escala.
Evaluación comparativa: compare modelos para ayudar a los clientes a determinar el mejor modelo para un caso de uso específico.
Patronus espera evaluaciones frecuentes para adaptarse a modelos, datos y necesidades de los usuarios continuamente actualizados. El objetivo final es obtener una marca de credibilidad. Ninguna empresa quiere ver a sus usuarios insatisfechos con fallos inesperados, o incluso con la prensa negativa o cuestiones regulatorias.
Además, Patronus busca evaluadores externos confiables donde los usuarios necesitan una perspectiva imparcial e independiente. Patronus quiere que todos lo consideren el Moody's de la IA.
Los socios actuales de Patronus incluyen las empresas líderes en inteligencia artificial Cohere, Nomic y Naologic. Además, conocidas empresas de la industria tradicional, como varias empresas de servicios financieros, también están en conversaciones con Patronus AI para llevar a cabo proyectos piloto.
No entres gentilmente en esa buena noche,
Furia,
rabia contra la muerte de la luz.
——Dylan Thomas (1954)
Referencias
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Patronus AI: Lightspeed America lidera una inversión de 3 millones de dólares, dirigida al mercado empresarial para resolver problemas de seguridad de modelos grandes
**Fuente: **Círculo de pensamiento profundo de SenseAI
Pensamiento sensorial
Intentamos proponer deducciones y reflexiones más divergentes a partir del contenido del artículo y agradecemos los intercambios.
▪ Puntos débiles en la aplicación de grandes modelos a nivel empresarial: la predicción de lo siguiente utilizando la fórmula autorregresiva del transformador es esencialmente un modelo probabilístico, y la evaluación de la incertidumbre del contenido generado es la clave para la verificación de la capacidad del modelo. Al mismo tiempo, la evaluación del índice académico no se puede adaptar a aplicaciones de campo a nivel empresarial y se necesita una plataforma de evaluación automática multimodelo más orientada al producto.
▪ Cómo equilibrar la precisión y la incertidumbre en el contenido de producción y amplificar las capacidades de LLM a los escenarios de demanda empresarial es el arte de las plataformas de evaluación de modelos y las aplicaciones Gen-AI a nivel empresarial.
Este artículo tiene un total de 2115 palabras y se tarda unos 5 minutos en leerlo detenidamente.
Los usuarios están adoptando IA generativa a un ritmo sin precedentes. ChatGPT es el producto de consumo de más rápido crecimiento hasta la fecha: atrajo a más de 100 millones de usuarios en los primeros dos meses de su lanzamiento. La IA ha estado en el centro de atención este año. Pero al mismo tiempo, las empresas han mostrado una actitud cautelosa ante el rápido despliegue de productos de IA. Les preocupan los errores que pueden provocar los modelos de lenguaje grandes. Desafortunadamente, los esfuerzos actuales para evaluar e inspeccionar modelos lingüísticos son difíciles de ampliar y son ineficientes. Patronus se compromete a cambiar eso y su misión es aumentar la confianza empresarial en la IA generativa.
Antecedentes fundadores de Patronus AI
Los dos fundadores de Patronus, Rebecca y Anand, se conocen desde hace casi 10 años. Después de estudiar ciencias de la computación juntas en la Universidad de Chicago, Rebecca se unió a Meta AI (FAIR) para liderar la investigación relacionada con PNL y ALGN, mientras que Anand desarrolló inferencia causal temprana y fundamentos experimentales en Meta Reality Labs. En Meta, los dos experimentaron de primera mano la dificultad de evaluar e interpretar los resultados del aprendizaje automático: Rebecca desde una perspectiva de investigación y Anand desde una perspectiva de aplicación.
Cuando la CTO de OpenAI, Meera Murati, anunció el lanzamiento de ChatGPT en Twitter en noviembre pasado, Anand le envió la noticia a Rebecca en 5 minutos. Se dan cuenta de que este es un momento de transformación y que las empresas definitivamente aplicarán rápidamente modelos de lenguaje a diversos escenarios. Entonces Anand se sorprendió cuando escuchó que Piper Sandler, el banco de inversión donde trabajaba su hermano, había prohibido el acceso interno a OpenAI. Durante los siguientes meses, escucharon varias veces que las empresas tradicionales estaban avanzando con esta tecnología con mucha cautela.
Se dieron cuenta de que, aunque la tecnología PNL ha logrado avances significativos, todavía está lejos de ser aplicaciones empresariales reales. Todo el mundo está de acuerdo en que la IA generativa es muy útil, pero nadie sabe cómo utilizarla de la forma correcta. Reconocen que la evaluación y la seguridad de la IA serán los temas principales en los próximos años.
Equipo y situación financiera
Patronus anunció el 14 y 23 de septiembre que había recibido 3 millones de dólares estadounidenses en financiación de ronda inicial de Lightspeed Venture Partners. Factorial Capital, el director ejecutivo de Replit, Amjad Masad, Gokul Rajaram, Michael Callahan, Prasanna Gopalakrishnan, Suja Chandrasekaran, etc., también participaron en la ronda inicial. inversión. Estos inversores tienen una amplia experiencia invirtiendo y operando empresas de referencia en seguridad empresarial e inteligencia artificial.
El equipo fundador de Patronus proviene de los mejores entornos de investigación y aplicaciones de ML (aprendizaje automático), incluidos Facebook AI Research (FAIR), Airbnb, Meta Reality Labs e instituciones cuantitativas. Publicaron artículos de investigación de PNL en las principales conferencias de IA (NeurIPS, EMNLP, ACL), diseñaron y lanzaron el primer asistente de IA conversacional de Airbnb, fueron pioneros en la inferencia causal en Meta Reality Labs y abandonaron los productos 0→1 del fondo de cobertura cuantitativo respaldado por Mark Cuban. en startups de rápido crecimiento.
Patronus cuenta con el asesoramiento de Douwe Kiela, director ejecutivo de Contextual AI y profesor adjunto en la Universidad de Stanford, quien también es exdirector de investigación de HuggingFace. Douwe ha realizado investigaciones pioneras en el campo de la PNL, especialmente en evaluación, benchmarking y RAG.
Problemas que Patronus AI resuelve
La evaluación actual de modelos de lenguaje grande no es escalable y tiene un rendimiento deficiente por las siguientes razones:
La evaluación manual es lenta y costosa. Las grandes empresas gastan millones de dólares en contratar miles de evaluadores internos y consultores externos para comprobar manualmente si hay errores en la IA. Los ingenieros que desean implementar productos de IA pasan semanas creando manualmente conjuntos de pruebas y verificando los resultados de la IA.
La naturaleza no determinista de los grandes modelos lingüísticos dificulta la predicción de fallos. Los modelos de lenguaje grandes son sistemas probabilísticos. Dado que su rango de entrada no está limitado (dentro del límite de longitud del contexto), proporciona una amplia superficie de ataque. Por tanto, la causa del fallo será muy compleja.
Actualmente no existe un marco de prueba estándar para modelos de lenguaje grandes. Las pruebas de software se han integrado profundamente en los flujos de trabajo de ingeniería tradicionales, con marcos de pruebas unitarias, grandes equipos de inspección de calidad y ciclos de lanzamiento, pero las empresas aún no han desarrollado procesos similares para modelos de lenguajes grandes. La evaluación, la identificación y la documentación continuas y escalables de errores de modelos de lenguaje grandes y la evaluación comparativa del rendimiento son fundamentales para el uso en producción de modelos de lenguaje grandes.
Los puntos de referencia académicos no reflejan situaciones del mundo real. Actualmente, las empresas prueban grandes modelos de lenguaje en puntos de referencia académicos (como HELM, GLUE, SuperGLUE, etc.), pero estos puntos de referencia no pueden reflejar escenarios de uso reales. Los puntos de referencia académicos tienden a estar saturados y sufren problemas de fuga de datos de capacitación.
La larga cola de fallas de la IA es muy grave y el último 20% es extremadamente desafiante. Los ataques adversarios han demostrado que el problema de seguridad de los grandes modelos lingüísticos está lejos de resolverse. Incluso si los modelos de lenguaje pre-entrenados de propósito general demuestran capacidades básicas sólidas, todavía hay una gran cantidad de situaciones de falla desconocidas. Patronus ha realizado muchas investigaciones innovadoras sobre la evaluación y la solidez de los modelos adversarios, pero esto es solo el comienzo.
La misión de Patronus AI
La misión de Patronus AI es aumentar la confianza empresarial en la IA generativa.
Patronus AI es la primera plataforma de seguridad y evaluación automatizada de la industria para modelos de lenguaje grandes. Los clientes utilizan Patronus AI para detectar grandes errores de modelos de lenguaje a escala para implementar productos de IA de forma segura.
La plataforma realiza automáticamente:
Puntuación: evalúe el rendimiento del modelo y métricas clave como las alucinaciones y la seguridad en escenarios del mundo real.
Generar pruebas: genere automáticamente conjuntos de pruebas adversas a gran escala.
Evaluación comparativa: compare modelos para ayudar a los clientes a determinar el mejor modelo para un caso de uso específico.
Patronus espera evaluaciones frecuentes para adaptarse a modelos, datos y necesidades de los usuarios continuamente actualizados. El objetivo final es obtener una marca de credibilidad. Ninguna empresa quiere ver a sus usuarios insatisfechos con fallos inesperados, o incluso con la prensa negativa o cuestiones regulatorias.
Además, Patronus busca evaluadores externos confiables donde los usuarios necesitan una perspectiva imparcial e independiente. Patronus quiere que todos lo consideren el Moody's de la IA.
Los socios actuales de Patronus incluyen las empresas líderes en inteligencia artificial Cohere, Nomic y Naologic. Además, conocidas empresas de la industria tradicional, como varias empresas de servicios financieros, también están en conversaciones con Patronus AI para llevar a cabo proyectos piloto.
No entres gentilmente en esa buena noche,
Furia,
rabia contra la muerte de la luz.
——Dylan Thomas (1954)
Referencias