Lightspeed America: Onde está o futuro da camada de infraestrutura de IA?

Original: SenseAI

"Desde que a OpenAI lançou o GPT-4 em abril deste ano, mais e mais modelos têm sido de código aberto, e o foco dos que acreditam na IA está mudando de modelos para aplicativos. O último artigo da Lightspeed deduz a tendência de desenvolvimento de modelos de IA e propõe o futuro O modelo em grande escala será dividido em três tipos de modelos, e as possíveis oportunidades no nível do modelo serão organizadas de forma estruturada.O conteúdo desta edição trará a você a tendência de desenvolvimento e a oportunidade de pensar na camada de infraestrutura do modelo , incluindo a camada intermediária de AI Ops."

Pensamento Sensível

Procuramos apresentar deduções e reflexões mais divergentes com base no conteúdo do artigo e acolhemos trocas.

De acordo com a capacidade e o custo do modelo, os modelos de IA serão divididos em “modelo cerebral”, “modelo desafiador” e “modelo de cauda longa”. O modelo de cauda longa é pequeno e flexível e é mais adequado para treinar modelos especialistas para domínios subdivididos. A periodicidade da Lei de Moore é sobreposta e não haverá bloqueio do poder de computação no futuro. É difícil eliminar os cenários de aplicação do modelo cerebral. O mercado provavelmente escolherá um modelo adequado de acordo com o tamanho do espaço do cenário de aplicação e as regras de distribuição da cadeia de valor.

Oportunidades de sistema emergentes no lado do modelo: 1) estrutura de avaliação de modelo; 2) operação e manutenção de modelos; 3) melhoria de sistemas. O que precisa de ser considerado são as diferenças nos diferentes mercados na China e nos Estados Unidos, a ecologia original dos serviços corporativos e as preferências do capital.

Oportunidades de plataforma RAG (melhoria de recuperação) de nível empresarial: oportunidades trazidas pela complexidade e diversidade do modelo, 1) ferramentas operacionais: observabilidade, segurança, conformidade; 2) dados: na diferenciação do valor comercial e no fornecimento social geral Em termos de valor, a tecnologia trará oportunidades para monetização de dados.

O texto deste artigo tem um total de 2.426 palavras e leva cerca de 7 minutos para ser lido com atenção

Ao longo da última década, Lightspeed, um fundo veterano dos EUA, tem trabalhado com empresas de destaque na área de IA/ML, as plataformas que constroem e os clientes que atendem para entender melhor como as empresas estão pensando sobre Gen-AI. Especificamente, Lightspeed estudou o ecossistema do modelo subjacente e fez perguntas como “Haverá uma dinâmica em que o vencedor leva tudo para o melhor modelo?” e “Os casos de uso corporativo chamam a API da OpenAI por padrão ou o uso real será mais diversificado? " e outras questões. As respostas determinarão a direção futura do crescimento deste ecossistema e do fluxo de energia, talento e capital.

01. Classificação do ecossistema modelo

Com base no nosso aprendizado, acreditamos que uma explosão cambriana de modelos está prestes a ocorrer na IA. Os desenvolvedores e as empresas escolherão o modelo que melhor se adapta à “tarefa a ser realizada”, embora o uso durante a fase de exploração possa parecer mais focado. Um caminho provável para a adoção empresarial é usar modelos grandes para exploração, passando gradualmente para modelos especializados menores (ajustados + refinados) para uso na produção à medida que aumenta a compreensão do caso de uso. O diagrama abaixo descreve como vemos a evolução do ecossistema do modelo subjacente.

O cenário do modelo de IA pode ser dividido em três categorias principais, possivelmente sobrepostas:

Categoria 1: Modelo "Cérebro"

Estes são os melhores modelos e representam o que há de mais moderno em modelagem. É daí que vêm essas demonstrações emocionantes e mágicas. Esses modelos costumam ser as primeiras coisas que os desenvolvedores consideram ao tentar explorar os limites do que a IA pode fazer por seus aplicativos. Esses modelos são caros para treinar e complexos para manter e expandir. Mas o mesmo modelo pode fazer o LSAT, MCAT, escrever sua redação do ensino médio e interagir com você como um chatbot. Atualmente, os desenvolvedores estão experimentando esses modelos e avaliando o uso de IA em aplicações empresariais.

No entanto, os modelos de uso geral são caros de usar, têm alta latência de inferência e podem ser um exagero para casos de uso restritos e bem definidos. O segundo problema é que estes modelos são generalistas e podem ser menos precisos em tarefas especializadas. (Veja este artigo da Cornell.) Finalmente, em quase todos os casos, são também caixas negras, o que pode criar desafios de privacidade e segurança para as empresas que tentam aproveitar estes modelos sem abrir mão dos seus activos de dados. OpenAI, Anthropic, Cohere são alguns exemplos de empresas.

Categoria Dois: Modelo "Challenger"

Estes são também modelos de alta capacidade, com competências e capacidades perdendo apenas para os grandes modelos de uso geral que os precedem. Llama 2 e Falcon são os melhores representantes desta categoria. Eles geralmente são tão bons quanto um modelo Gen “N-1” ou “N-2” da empresa que treinou o modelo geral. Por exemplo, de acordo com alguns benchmarks, o Llama2 é tão bom quanto o GPT-3.5-turbo. Ajustar esses modelos em dados corporativos pode torná-los tão bons quanto grandes modelos de uso geral de primeira classe em tarefas específicas.

Muitos desses modelos são de código aberto (ou próximos) e, uma vez lançados, imediatamente trouxeram melhorias e otimizações da comunidade de código aberto.

Categoria Três: Modelo "Cauda Longa"

Estes são modelos "especializados". Eles são construídos para atender a um propósito específico, como classificar documentos, identificar atributos específicos em imagens ou vídeos, identificar padrões em dados de negócios, etc. Esses modelos são flexíveis, baratos para treinar e usar e podem ser executados no data center ou na borda.

Uma rápida olhada no Hugging Face é suficiente para entender o tamanho desse ecossistema, tanto agora quanto no futuro, já que ele atende a uma ampla gama de casos de uso.

02. Adaptação básica e casos práticos

Embora ainda esteja em seus estágios iniciais, já vemos algumas equipes de desenvolvimento e empresas líderes já pensando sobre os ecossistemas desta forma diferenciada. Queremos combinar o uso com o melhor modelo possível. Use até mesmo vários modelos para atender a um caso de uso mais complexo.

Os fatores na avaliação de qual modelo/modelo usar normalmente incluem o seguinte:

1. Requisitos de conformidade e privacidade de dados: Isso afeta se o modelo precisa ser executado na infraestrutura corporativa ou se os dados podem ser enviados para um terminal de inferência hospedado externamente

2. Se o modelo permite ajustes finos

3. Nível desejado de “desempenho” de inferência (latência, precisão, custo, etc.)

No entanto, na realidade, os factores a considerar são muitas vezes muito mais longos do que os listados acima, reflectindo a enorme diversidade de casos de utilização que os programadores esperam implementar com IA.

03. Onde estão as oportunidades?

1. Estrutura de avaliação de modelos: As empresas precisarão de acesso a ferramentas e conhecimentos especializados para ajudar a avaliar qual modelo usar para cada caso de uso. Os desenvolvedores precisam decidir a melhor forma de avaliar se um modelo específico é adequado para o “trabalho a ser realizado”. A avaliação precisa considerar múltiplos fatores, incluindo não apenas o desempenho do modelo, mas também o custo, o nível de controle que pode ser implementado, etc.

2. Executar e manter modelos: Surgirão plataformas para ajudar as empresas a treinar, ajustar e executar modelos (especialmente o terceiro tipo de modelos de cauda longa). Tradicionalmente, estas plataformas têm sido amplamente referidas como plataformas ML Ops, e esperamos que esta definição também se expanda para a IA generativa. Plataformas como Databricks, Weights and Biases, Tecton, etc. estão se movendo rapidamente nessa direção.

3. Sistemas de aumento: Modelos, especialmente LLMs hospedados, exigem geração de aumento de recuperação para entregar resultados desejáveis. Isto requer uma série de decisões de apoio, incluindo

Extração de dados e metadados: como conectar-se a fontes de dados corporativos estruturados e não estruturados e, em seguida, extrair os dados junto com os metadados, como políticas de acesso.

Embeddings de geração e armazenamento de dados: qual modelo é usado para gerar embeddings para os dados. E então como armazená-los: Qual banco de dados vetorial usar, especialmente com base no desempenho, escala e funcionalidade necessários?

Agora é a oportunidade de construir uma plataforma RAG de nível empresarial que elimine a complexidade de selecionar e unir:

1. Ferramentas operacionais: a TI empresarial precisará construir barreiras de proteção para equipes de engenharia, gerenciar custos, etc.; todas as tarefas de desenvolvimento de software que elas realizam agora precisarão se estender ao uso de inteligência artificial. As áreas de interesse dos departamentos de TI incluem

Observabilidade: Qual será o desempenho do modelo na produção? Seu desempenho melhora/degrada com o tempo? Existem padrões de uso que podem afetar a escolha do modelo de aplicação para versões futuras?

Segurança: como manter seguros os aplicativos nativos de IA. Estas aplicações são vulneráveis a novos vetores de ataque que exigem novas plataformas?

Conformidade: Prevemos que as aplicações nativas de IA e o uso de LLM precisarão estar em conformidade com as estruturas que os órgãos governamentais relevantes já começaram a desenvolver. Isto se soma aos regimes de conformidade existentes para privacidade, segurança, proteção ao consumidor, justiça, etc. As empresas precisarão de plataformas que possam ajudá-las a manter a conformidade, realizar auditorias, gerar evidências de conformidade e tarefas relacionadas.

2. Dados: Plataformas que ajudam a entender quais ativos de dados uma empresa possui e como aproveitá-los para obter o máximo valor dos novos modelos de IA serão rapidamente adotadas. Uma das maiores empresas de software do mundo disse-nos uma vez: "Os nossos dados são o nosso fosso, a nossa principal propriedade intelectual e a nossa vantagem competitiva. Usar a inteligência artificial para rentabilizar estes dados e utilizá-los de uma forma " "Facilitar a diferenciação sem enfraquecer a defensibilidade" irá Plataformas como a Snorkel desempenham um papel vital neste sentido.

Agora é um excelente momento para construir uma plataforma de infraestrutura de IA. A aplicação da inteligência artificial continuará a transformar indústrias inteiras, mas exigirá infraestrutura de suporte, middleware, segurança, observabilidade e plataformas de operações para que todas as empresas do planeta possam adotar esta poderosa tecnologia.

Referências

Autor: Vela, Yihao, Leo

Edição e formatação: Zoey, Vela