A Web3 não conseguiu subverter a Web2, mas a pilha emergente de desenvolvimento de grandes modelos está permitindo que os desenvolvedores passem da era “nativa da nuvem” para uma nova pilha de tecnologia de IA.
Os engenheiros imediatos podem não ser capazes de irritar os desenvolvedores para correr para modelos grandes, mas as palavras dos gerentes de produto ou líderes: Um "agente" pode ser desenvolvido, uma "cadeia" pode ser implementada e "Qual banco de dados vetorial deve ser usado?" Estudantes de tecnologia de driver nas principais empresas de aplicação de grandes modelos superam as dificuldades na geração de desenvolvimento de IA.
Então, quais são as camadas da pilha de tecnologia emergente? Onde está a parte mais difícil? Este artigo o levará a descobrir.
A pilha de tecnologia precisa ser atualizada e os desenvolvedores estão inaugurando a era dos engenheiros de IA.
No ano passado, o surgimento de ferramentas como LangChain e LlamaIndex permitiu o amadurecimento do ecossistema de desenvolvedores de aplicações de IA. Existe até um termo para descrever desenvolvedores focados em inteligência artificial: “engenheiros de IA”, que é o próximo passo de “engenheiros de ponta”, de acordo com seu defensor Shawn @swyx Wang. Ele também criou um gráfico que visualiza onde os engenheiros de IA se enquadram no ecossistema mais amplo de IA:
Fonte da imagem: swyx
Grandes modelos de linguagem (LLM) são a tecnologia central dos engenheiros de IA. Não é por acaso que tanto LangChain quanto LlamaIndex são ferramentas que ampliam e complementam o LLM. Mas que outras ferramentas estão disponíveis para esta nova geração de desenvolvedores?
Até agora, o melhor diagrama que vi da pilha LLM vem da empresa de capital de risco Andreessen Horowitz (a16z). Aqui está o que diz sobre “pilha de aplicativos LLM”:
Fonte da imagem: a16z
Isso mesmo, o nível superior ainda são os dados.
Obviamente, a coisa mais importante na pilha de tecnologia LLM são os dados. No diagrama de a16z, esta é a camada superior. É nos "modelos incorporados" que entra o LLM - você pode escolher entre OpenAI, Cohere, Hugging Face ou dezenas de outras opções de LLM, incluindo o cada vez mais popular LLM de código aberto.
Mas mesmo antes de usar o LLM, um "pipeline de dados" precisa ser configurado - ele lista Databricks e Airflow como dois exemplos, ou os dados podem ser processados "não estruturados". Isso também se enquadra no ciclo de dados e pode ajudar as empresas a “limpar” ou simplesmente organizar os dados antes de inseri-los em um LLM personalizado. Empresas de “inteligência de dados” como a Alation fornecem esse tipo de serviço – que se parece um pouco com ferramentas como “inteligência de negócios”, mais conhecidas na pilha de tecnologia de TI.
A última parte da camada de dados é o recentemente famoso banco de dados vetorial para armazenar e processar dados LLM. De acordo com a definição da Microsoft, trata-se de “um banco de dados que armazena dados como vetores de alta dimensão, que são representações matemáticas de recursos ou atributos”.
Fornecedor líder de banco de dados vetorial, Pinecone, observou em um bate-papo na mídia que as ferramentas da Pinecone são frequentemente usadas com ferramentas de pipeline de dados, como Databricks. Nesse caso, os dados normalmente residem em outro lugar (por exemplo, um data lake), que é então transformado em incorporação por meio de um modelo de aprendizado de máquina. Depois que os dados são processados e fragmentados, os vetores resultantes são enviados para a Pinecone.
Dicas e dúvidas
As próximas duas camadas podem ser resumidas como prompts e consultas - é aqui que o aplicativo de IA faz interface com o LLM e (opcionalmente) outras ferramentas de dados. A16z posiciona LangChain e LlamaIndex como “estruturas de orquestração”, o que significa que os desenvolvedores podem usar essas ferramentas assim que souberem qual LLM estão usando.
De acordo com a16z, estruturas de orquestração como LangChain e LlamaIndex “abstraem muitos dos detalhes da vinculação imediata”, o que significa consultar e gerenciar dados entre o aplicativo e o LLM. Esse processo de orquestração inclui interface com APIs externas, recuperação de dados de contexto do banco de dados vetorial e manutenção da memória em várias chamadas LLM. A caixa mais interessante no gráfico do a16z é “Playground”, que inclui OpenAI, nat.dev e Humanloop.
A16z não o definiu exatamente na postagem do blog, mas podemos inferir que a ferramenta “playground” ajuda os desenvolvedores a realizar o que A16z chama de “cue jiu-jitsu”. Nesses locais, os desenvolvedores podem experimentar várias técnicas de prompt.
Humanloop é uma empresa britânica cuja plataforma apresenta um “espaço de trabalho colaborativo imediato”. Ele ainda se descreve como um "kit de ferramentas de desenvolvimento completo para funcionalidade LLM de produção". Então, basicamente, ele permite que você experimente coisas do LLM e, em seguida, implante-as em seu aplicativo, se funcionar.
Operação de pipeline: LLMOps
A linha de montagem para a produção de grandes modelos está agora gradualmente se tornando mais clara. À direita da caixa de orquestração estão várias caixas de operação, incluindo cache e verificação LLM. Há também uma variedade de serviços de API e nuvem relacionados ao LLM, incluindo repositórios de API abertos, como Hugging Face, e provedores de API proprietários, como OpenAI.
Este é provavelmente o lugar mais semelhante na pilha de tecnologia de desenvolvedor com a qual estamos acostumados na era “nativa da nuvem”, e não é por acaso que muitas empresas de DevOps adicionaram inteligência artificial à sua lista de produtos. Em maio, conversei com o CEO da Harness, Jyoti Bansal. A Harness opera uma "plataforma de entrega de software" que se concentra na parte "CD" do processo de CI/CD.
Bansai me disse que a IA pode aliviar as tarefas tediosas e repetitivas envolvidas no ciclo de vida de entrega de software, desde a geração de especificações com base na funcionalidade existente até a escrita de código. Além disso, ele disse que a IA pode automatizar revisões de código, testes de vulnerabilidade, correções de bugs e até mesmo criar pipelines de CI/CD para compilações e implantações. De acordo com outra conversa que tive em maio, a IA também está mudando a produtividade dos desenvolvedores. Trisha Gee, da ferramenta de automação de construção Gradle, me disse que a IA pode acelerar o desenvolvimento, reduzindo o tempo em tarefas repetitivas, como escrever código clichê, e permitindo que os desenvolvedores se concentrem no panorama geral, como garantir que o código atenda às necessidades do negócio.
Web3 acabou, uma grande pilha de desenvolvimento de modelos está chegando
Na pilha emergente de tecnologia de desenvolvimento LLM, vemos uma série de novos tipos de produtos, como estruturas de orquestração (LangChain e LlamaIndex), bancos de dados vetoriais e plataformas de "playground", como Humanloop. Tudo isso amplia e/ou complementa a tecnologia central subjacente desta era: grandes modelos de linguagem.
Assim como o surgimento de ferramentas da era nativa da nuvem, como Spring Cloud e Kubernetes, nos anos anteriores. No entanto, actualmente, quase todas as grandes, pequenas e importantes empresas na era nativa da nuvem estão a tentar o seu melhor para adaptar as suas ferramentas à engenharia de IA, o que será muito benéfico para o desenvolvimento futuro da pilha de tecnologia LLM.
Sim, desta vez o grande modelo parece estar “sobre os ombros de gigantes”.As melhores inovações em tecnologia informática são sempre construídas sobre os alicerces anteriores. Talvez seja por isso que a revolução "Web3" falhou - não se baseou tanto na geração anterior, mas sim na tentativa de usurpá-la.
É claro que a pilha de tecnologia LLM parece ter feito isso, é uma ponte da era de desenvolvimento em nuvem para um ecossistema de desenvolvedores mais recente baseado em IA.
Links de referência:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
A grande pilha de desenvolvimento de modelos está pronta!
Autor | Richard MacManus
Planejamento | Comentários
Fonte丨Pilha de tecnologia 51CTO
A Web3 não conseguiu subverter a Web2, mas a pilha emergente de desenvolvimento de grandes modelos está permitindo que os desenvolvedores passem da era “nativa da nuvem” para uma nova pilha de tecnologia de IA.
Os engenheiros imediatos podem não ser capazes de irritar os desenvolvedores para correr para modelos grandes, mas as palavras dos gerentes de produto ou líderes: Um "agente" pode ser desenvolvido, uma "cadeia" pode ser implementada e "Qual banco de dados vetorial deve ser usado?" Estudantes de tecnologia de driver nas principais empresas de aplicação de grandes modelos superam as dificuldades na geração de desenvolvimento de IA.
Então, quais são as camadas da pilha de tecnologia emergente? Onde está a parte mais difícil? Este artigo o levará a descobrir.
A pilha de tecnologia precisa ser atualizada e os desenvolvedores estão inaugurando a era dos engenheiros de IA.
No ano passado, o surgimento de ferramentas como LangChain e LlamaIndex permitiu o amadurecimento do ecossistema de desenvolvedores de aplicações de IA. Existe até um termo para descrever desenvolvedores focados em inteligência artificial: “engenheiros de IA”, que é o próximo passo de “engenheiros de ponta”, de acordo com seu defensor Shawn @swyx Wang. Ele também criou um gráfico que visualiza onde os engenheiros de IA se enquadram no ecossistema mais amplo de IA:
Grandes modelos de linguagem (LLM) são a tecnologia central dos engenheiros de IA. Não é por acaso que tanto LangChain quanto LlamaIndex são ferramentas que ampliam e complementam o LLM. Mas que outras ferramentas estão disponíveis para esta nova geração de desenvolvedores?
Até agora, o melhor diagrama que vi da pilha LLM vem da empresa de capital de risco Andreessen Horowitz (a16z). Aqui está o que diz sobre “pilha de aplicativos LLM”:
Isso mesmo, o nível superior ainda são os dados.
Obviamente, a coisa mais importante na pilha de tecnologia LLM são os dados. No diagrama de a16z, esta é a camada superior. É nos "modelos incorporados" que entra o LLM - você pode escolher entre OpenAI, Cohere, Hugging Face ou dezenas de outras opções de LLM, incluindo o cada vez mais popular LLM de código aberto.
Mas mesmo antes de usar o LLM, um "pipeline de dados" precisa ser configurado - ele lista Databricks e Airflow como dois exemplos, ou os dados podem ser processados "não estruturados". Isso também se enquadra no ciclo de dados e pode ajudar as empresas a “limpar” ou simplesmente organizar os dados antes de inseri-los em um LLM personalizado. Empresas de “inteligência de dados” como a Alation fornecem esse tipo de serviço – que se parece um pouco com ferramentas como “inteligência de negócios”, mais conhecidas na pilha de tecnologia de TI.
A última parte da camada de dados é o recentemente famoso banco de dados vetorial para armazenar e processar dados LLM. De acordo com a definição da Microsoft, trata-se de “um banco de dados que armazena dados como vetores de alta dimensão, que são representações matemáticas de recursos ou atributos”.
Fornecedor líder de banco de dados vetorial, Pinecone, observou em um bate-papo na mídia que as ferramentas da Pinecone são frequentemente usadas com ferramentas de pipeline de dados, como Databricks. Nesse caso, os dados normalmente residem em outro lugar (por exemplo, um data lake), que é então transformado em incorporação por meio de um modelo de aprendizado de máquina. Depois que os dados são processados e fragmentados, os vetores resultantes são enviados para a Pinecone.
Dicas e dúvidas
As próximas duas camadas podem ser resumidas como prompts e consultas - é aqui que o aplicativo de IA faz interface com o LLM e (opcionalmente) outras ferramentas de dados. A16z posiciona LangChain e LlamaIndex como “estruturas de orquestração”, o que significa que os desenvolvedores podem usar essas ferramentas assim que souberem qual LLM estão usando.
De acordo com a16z, estruturas de orquestração como LangChain e LlamaIndex “abstraem muitos dos detalhes da vinculação imediata”, o que significa consultar e gerenciar dados entre o aplicativo e o LLM. Esse processo de orquestração inclui interface com APIs externas, recuperação de dados de contexto do banco de dados vetorial e manutenção da memória em várias chamadas LLM. A caixa mais interessante no gráfico do a16z é “Playground”, que inclui OpenAI, nat.dev e Humanloop.
A16z não o definiu exatamente na postagem do blog, mas podemos inferir que a ferramenta “playground” ajuda os desenvolvedores a realizar o que A16z chama de “cue jiu-jitsu”. Nesses locais, os desenvolvedores podem experimentar várias técnicas de prompt.
Humanloop é uma empresa britânica cuja plataforma apresenta um “espaço de trabalho colaborativo imediato”. Ele ainda se descreve como um "kit de ferramentas de desenvolvimento completo para funcionalidade LLM de produção". Então, basicamente, ele permite que você experimente coisas do LLM e, em seguida, implante-as em seu aplicativo, se funcionar.
Operação de pipeline: LLMOps
A linha de montagem para a produção de grandes modelos está agora gradualmente se tornando mais clara. À direita da caixa de orquestração estão várias caixas de operação, incluindo cache e verificação LLM. Há também uma variedade de serviços de API e nuvem relacionados ao LLM, incluindo repositórios de API abertos, como Hugging Face, e provedores de API proprietários, como OpenAI.
Este é provavelmente o lugar mais semelhante na pilha de tecnologia de desenvolvedor com a qual estamos acostumados na era “nativa da nuvem”, e não é por acaso que muitas empresas de DevOps adicionaram inteligência artificial à sua lista de produtos. Em maio, conversei com o CEO da Harness, Jyoti Bansal. A Harness opera uma "plataforma de entrega de software" que se concentra na parte "CD" do processo de CI/CD.
Bansai me disse que a IA pode aliviar as tarefas tediosas e repetitivas envolvidas no ciclo de vida de entrega de software, desde a geração de especificações com base na funcionalidade existente até a escrita de código. Além disso, ele disse que a IA pode automatizar revisões de código, testes de vulnerabilidade, correções de bugs e até mesmo criar pipelines de CI/CD para compilações e implantações. De acordo com outra conversa que tive em maio, a IA também está mudando a produtividade dos desenvolvedores. Trisha Gee, da ferramenta de automação de construção Gradle, me disse que a IA pode acelerar o desenvolvimento, reduzindo o tempo em tarefas repetitivas, como escrever código clichê, e permitindo que os desenvolvedores se concentrem no panorama geral, como garantir que o código atenda às necessidades do negócio.
Web3 acabou, uma grande pilha de desenvolvimento de modelos está chegando
Na pilha emergente de tecnologia de desenvolvimento LLM, vemos uma série de novos tipos de produtos, como estruturas de orquestração (LangChain e LlamaIndex), bancos de dados vetoriais e plataformas de "playground", como Humanloop. Tudo isso amplia e/ou complementa a tecnologia central subjacente desta era: grandes modelos de linguagem.
Assim como o surgimento de ferramentas da era nativa da nuvem, como Spring Cloud e Kubernetes, nos anos anteriores. No entanto, actualmente, quase todas as grandes, pequenas e importantes empresas na era nativa da nuvem estão a tentar o seu melhor para adaptar as suas ferramentas à engenharia de IA, o que será muito benéfico para o desenvolvimento futuro da pilha de tecnologia LLM.
Sim, desta vez o grande modelo parece estar “sobre os ombros de gigantes”.As melhores inovações em tecnologia informática são sempre construídas sobre os alicerces anteriores. Talvez seja por isso que a revolução "Web3" falhou - não se baseou tanto na geração anterior, mas sim na tentativa de usurpá-la.
É claro que a pilha de tecnologia LLM parece ter feito isso, é uma ponte da era de desenvolvimento em nuvem para um ecossistema de desenvolvedores mais recente baseado em IA.
Links de referência: