Faça bom uso de modelos pequenos e faça uma grande diferença.
Fonte original: Machine Energy
Fonte da imagem: Gerado por Unbounded AI
A utilização da IA está a tornar-se cada vez mais generalizada e não se limita à sua utilização pelos indivíduos. Também está se tornando cada vez mais popular nas empresas usar IA para melhorar fluxos de trabalho e avançar no trabalho. Mas é preciso mencionar que os mais poderosos são muitas vezes modelos maiores, o que causará dificuldades na implantação empresarial. Silvio Saese escreveu sobre seus pensamentos sobre este problema, ** modelos não são maiores é melhor, modelos pequenos podem lidar melhor com o conteúdo de trabalho. **
Segue-se a tradução e disposição do texto original pelo coração da máquina sem alterar o significado original.
Endereço original:
Nos últimos meses, escrevi muito sobre o que chamo de LAM (Large Action Model), uma variante mais ativa e autônoma do LLM. Não só gera conteúdo como texto ou imagens, mas pode concluir tarefas inteiras e até mesmo participar de fluxos de trabalho, seja com pessoas ou por conta própria. Este ano, na Dreamforce 2023, com o lançamento do Einstein Copilot, essa visão deu um grande passo em direção à realidade. O Einstein Copilot, assistente conversacional de IA da Salesforce, será lançado em toda a plataforma Salesforce e estará pronto para ser integrado a quase tudo o que os clientes fazem.
Einstein Copilot: Um vislumbre do futuro da IA generativa
É difícil não impressionar com o Einstein Copilot fora da caixa. Ele foi projetado desde o início para ser produtivo de forma segura, auxiliando os usuários em quase todos os tipos de fluxos de trabalho. Ele pode lidar com perguntas publicadas em linguagem natural e fornecer respostas confiáveis relevantes extraídas de dados proprietários que são seguros pela empresa. Esta é uma imagem clara de onde acredito que a IA está indo na empresa: uma interface única e confiável projetada em torno da interação cotidiana humano-computador e capaz de ajudar em uma variedade de tarefas. Isso demonstra o poder da IA para garantir que a tecnologia atenda às necessidades das empresas, e não tenho dúvidas de que também mudará a maneira como os clientes trabalham. E a LAM, à medida que evolui em flexibilidade e funcionalidade, levará esta força já muito poderosa para o próximo nível.
Faça modelos de IA generativos "pequenos e grandes"
Recentemente, muitos dos tópicos em IA generativa giraram em torno da escala de modelo e arquitetura de modelo que alimentam LLM e LAM. À medida que empresas como a OpenAI continuam a ultrapassar os limites de escala, com o número de parâmetros bem acima de 100 bilhões, não é difícil concluir que maior é melhor. De facto, os modelos de grande dimensão vangloriam-se frequentemente de que o seu desempenho é difícil ou impossível de alcançar de outra forma. E à medida que o tamanho do modelo aumenta, um comportamento incrivelmente complexo emerge, sugerindo que estratégias de maior escala podem trazer benefícios significativos.
Como o downsizing estratégico dos modelos pode trazer enormes benefícios
Embora os modelos maiores continuem a dominar as manchetes, perseguir modelos maiores não é a melhor estratégia. Obviamente, os maiores modelos são agora computacionalmente caros, e muitas empresas estão fora de alcance. E, mesmo as empresas que podem se dar ao luxo de implantá-los devem reconhecer que a produção de alta qualidade que prometem pode ser extremamente lenta. Além disso, ainda enfrentamos problemas com confiança, segurança, nocividade e reivindicações de propriedade, como direitos autorais, todos decorrentes dos conjuntos de dados massivos de origem global nos quais os modelos de hiperescala dependem.
Estas insuficiências tornam os pequenos modelos cada vez mais atraentes em muitas áreas. Eles são relativamente econômicos e podem ser ajustados a velocidades incríveis. Hoje, o LLM especialmente projetado pode até ser executado inteiramente na borda em alguns casos, incluindo os dispositivos móveis dos usuários finais. E como exigem menos treinamento, os clientes podem assumir um papel de gerenciamento mais ativo na preparação de seus conjuntos de dados. Neste ponto, grandes melhorias podem ser feitas em termos de qualidade, segurança e até mesmo status legal do conteúdo contido no conjunto de dados.
Ao concentrar-se em áreas mais restritas, a qualidade da produção de pequenos modelos também pode estar ao nível dos seus "irmãos mais velhos". Modelos como o ChatGPT são essencialmente projetados para todos, ajudando com a lição de casa, receitas de jantar, respondendo a perguntas sobre ciência, tecnologia, história e cultura pop. Em contrapartida, a IA generativa para as empresas pode e deve centrar-se em áreas problemáticas mais pequenas e mais relevantes. Trata-se claramente de uma situação vantajosa para ambas as partes: significa reduzir as barreiras à entrada sem comprometer a qualidade dos resultados. **
Como a orquestração de pequenos modelos oferece um grande potencial
Mesmo modelos pequenos podem fornecer soluções grandes, só precisamos pensar de forma diferente sobre escala. Em vez de tornar o modelo em si maior, entrelaça vários modelos para servir a um objetivo de nível mais alto. **Cada modelo é projetado com um objetivo específico em mente e treinado em um conjunto de dados cuidadosamente selecionado, rigorosamente verificado e proprietário. E se agentes de IA como o Einstein Copilot pudessem ser combinados ou coordenados, assim como vários humanos poderiam fazer mais trabalho em equipe do que como indivíduos? Por exemplo, um restaurante, que é uma organização que só pode ser alcançada pelo trabalho em equipe, cada membro tem suas próprias habilidades e áreas de foco: garçons são responsáveis por pedidos, chefs são responsáveis por preparar comida, rececionistas são responsáveis por lidar com reservas e pedidos, e motoristas são responsáveis por entregar comida. Então, como seria a LAM quando organizada de forma semelhante?
Tenho pensado em orquestração ultimamente, e acho que é uma das tecnologias mais interessantes, mas também a mais prática, para trazer agentes úteis e autônomos de forma segura e eficiente. Mais importante ainda, orquestração significa que mesmo as soluções mais ambiciosas são transparentes e conhecidas pelos criadores e pelas pessoas que trabalham ao seu lado. Tenha em mente que, neste caso, a escala não vem de redes neurais cada vez maiores, mas de componentes independentes e bem definidos que são organizados de maneiras que fazem sentido para os seres humanos. Por exemplo, em vez de treinar um modelo gigante para registrar notas de reunião do cliente, extrair inferências dos resultados, atualizar os registros de CRM correspondentes e, em seguida, enviar informações de acompanhamento, atribua cada uma dessas tarefas a um modelo treinado separadamente.
Na verdade, passei a maior parte da minha carreira de pesquisa em robótica, e não posso deixar de olhar mais longe, imaginando que tal coreografia pode ser feita em um espaço do mundo real. Em fábricas, escritórios, hospitais e até restaurantes, maquetes trabalham lado a lado com humanos para realizar uma variedade de tarefas. Parece elevado e distante, mas, neste momento, o potencial de orquestração é enorme.
Vamos falar sobre seus benefícios. Em primeiro lugar, a orquestração nos salva da dificuldade de montar um conjunto de dados grande o suficiente e tornar um único modelo tão flexível para resolver as dificuldades de agentes entre domínios, e também elimina o risco de colocar uma grande quantidade de dados muito diferentes em um único conjunto de treinamento. **Além disso, cada modelo pode ser ajustado pela RLHF. Portanto, neste sistema, cada componente é muito especializado e usado para completar as etapas críticas, mas gerenciáveis, em uma tarefa maior.
Quando surgem problemas, seja durante o comissionamento ou a produção, os problemas podem ser mais facilmente identificados através de um modelo único e dedicado para melhor compreendê-los e resolvê-los. Mesmo falhas graves podem ser tratadas de forma modular mais robusta. E vários modelos trabalham juntos, as falhas são mais fáceis de controlar e isolar e há mais oportunidades de continuidade quando um único componente falha.
A Art Nouveau para IA Generativa: Design em vários modelos
Mais importante ainda, eleva a criação de modelos de IA empresarial de uma tarefa puramente técnica para uma tarefa de modelar processos de negócios em termos que as partes interessadas humanas possam entender. Assim como um bom gerente dividiria um problema para uma equipe resolver, um orquestrador de IA teria a capacidade de dividir um problema em uma série de modelos construídos para esse fim.
O que é particularmente empolgante nessa visão é que ela aponta para uma nova habilidade, pode-se até chamá-la de arte emergente, e estou ansioso para vê-la evoluir na empresa. Os especialistas em orquestração de LAM pensarão em alto nível, tratando as necessidades da empresa como um negócio, não apenas uma plataforma de tecnologia, e usarão essa perceção para dividir tarefas grandes e significativas em uma série de tarefas menores a serem resolvidas pelas "equipes" da LAM.
Seu trabalho entrelaça infraestrutura, ciência de dados e design de interface homem-máquina. O primeiro garante que essas equipes modelo possam implantar com segurança e eficiência, enquanto o segundo se esforça para coletar conjuntos de dados exclusivos para resolver problemas menores e menos ambíguos. Em outras palavras, os especialistas em orquestração podem se tornar os novos rostos da IA empresarial, focando menos nas especificidades das redes neurais e mais em como construir sistemas robustos e robustos.
Na verdade, o que eu espero é que essa habilidade não seja rara nem exclusiva, mas sim difundida, transformando a orquestração da LAM em uma solução poderosa e personalizada que desempenhará um papel cada vez mais importante em nossas vidas profissionais. À medida que o mercado emerge, a barreira à entrada pode ser reduzida ainda mais, trazendo ao mundo uma solução de orquestração LAM semelhante a um copiloto que simplesmente alimenta a IA generativa em escala incrível.
Alguns usarão esta solução de mercado diretamente, tornando a orquestração LAM uma realidade. Outros irão tratá-los como módulos e combiná-los com outros módulos para formar soluções de vários tamanhos de acordo com suas necessidades. Mas, em ambos os casos, o que mais me entusiasma é que a IA generativa é moldada não tanto por um pequeno grupo de elite de tecnólogos, mas pela criatividade e visão de profissionais de várias áreas.
Na verdade, a minha visão para o futuro do trabalho é um mundo onde a IA apoia as competências humanas e nos permite pensar a um nível mais elevado, simplificando tudo o que fazemos, mantendo a criatividade, o estilo e a perspetiva que nos distinguem.
Resumo
Realizar qualquer nova visão é gradual, e a LAM não é exceção. No entanto, os últimos anos mostraram que cada passo do caminho será transformador. Desde a sua criação, o LLM mostrou um raro potencial de disrupção e inovação. Agentes de apoio, como o Einstein Copilot, levam essa barra para o próximo nível com uma interface intuitiva, fortes recursos de confiança e segurança e integração perfeita com sistemas copilot tradicionais.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Orquestração de modelos pequenos, para que 1+1_2, o trabalho empresarial seja mais flexível e eficiente
Fonte original: Machine Energy
A utilização da IA está a tornar-se cada vez mais generalizada e não se limita à sua utilização pelos indivíduos. Também está se tornando cada vez mais popular nas empresas usar IA para melhorar fluxos de trabalho e avançar no trabalho. Mas é preciso mencionar que os mais poderosos são muitas vezes modelos maiores, o que causará dificuldades na implantação empresarial. Silvio Saese escreveu sobre seus pensamentos sobre este problema, ** modelos não são maiores é melhor, modelos pequenos podem lidar melhor com o conteúdo de trabalho. **
Segue-se a tradução e disposição do texto original pelo coração da máquina sem alterar o significado original.
Nos últimos meses, escrevi muito sobre o que chamo de LAM (Large Action Model), uma variante mais ativa e autônoma do LLM. Não só gera conteúdo como texto ou imagens, mas pode concluir tarefas inteiras e até mesmo participar de fluxos de trabalho, seja com pessoas ou por conta própria. Este ano, na Dreamforce 2023, com o lançamento do Einstein Copilot, essa visão deu um grande passo em direção à realidade. O Einstein Copilot, assistente conversacional de IA da Salesforce, será lançado em toda a plataforma Salesforce e estará pronto para ser integrado a quase tudo o que os clientes fazem.
Einstein Copilot: Um vislumbre do futuro da IA generativa
É difícil não impressionar com o Einstein Copilot fora da caixa. Ele foi projetado desde o início para ser produtivo de forma segura, auxiliando os usuários em quase todos os tipos de fluxos de trabalho. Ele pode lidar com perguntas publicadas em linguagem natural e fornecer respostas confiáveis relevantes extraídas de dados proprietários que são seguros pela empresa. Esta é uma imagem clara de onde acredito que a IA está indo na empresa: uma interface única e confiável projetada em torno da interação cotidiana humano-computador e capaz de ajudar em uma variedade de tarefas. Isso demonstra o poder da IA para garantir que a tecnologia atenda às necessidades das empresas, e não tenho dúvidas de que também mudará a maneira como os clientes trabalham. E a LAM, à medida que evolui em flexibilidade e funcionalidade, levará esta força já muito poderosa para o próximo nível.
Faça modelos de IA generativos "pequenos e grandes"
Recentemente, muitos dos tópicos em IA generativa giraram em torno da escala de modelo e arquitetura de modelo que alimentam LLM e LAM. À medida que empresas como a OpenAI continuam a ultrapassar os limites de escala, com o número de parâmetros bem acima de 100 bilhões, não é difícil concluir que maior é melhor. De facto, os modelos de grande dimensão vangloriam-se frequentemente de que o seu desempenho é difícil ou impossível de alcançar de outra forma. E à medida que o tamanho do modelo aumenta, um comportamento incrivelmente complexo emerge, sugerindo que estratégias de maior escala podem trazer benefícios significativos.
Como o downsizing estratégico dos modelos pode trazer enormes benefícios
Embora os modelos maiores continuem a dominar as manchetes, perseguir modelos maiores não é a melhor estratégia. Obviamente, os maiores modelos são agora computacionalmente caros, e muitas empresas estão fora de alcance. E, mesmo as empresas que podem se dar ao luxo de implantá-los devem reconhecer que a produção de alta qualidade que prometem pode ser extremamente lenta. Além disso, ainda enfrentamos problemas com confiança, segurança, nocividade e reivindicações de propriedade, como direitos autorais, todos decorrentes dos conjuntos de dados massivos de origem global nos quais os modelos de hiperescala dependem.
Estas insuficiências tornam os pequenos modelos cada vez mais atraentes em muitas áreas. Eles são relativamente econômicos e podem ser ajustados a velocidades incríveis. Hoje, o LLM especialmente projetado pode até ser executado inteiramente na borda em alguns casos, incluindo os dispositivos móveis dos usuários finais. E como exigem menos treinamento, os clientes podem assumir um papel de gerenciamento mais ativo na preparação de seus conjuntos de dados. Neste ponto, grandes melhorias podem ser feitas em termos de qualidade, segurança e até mesmo status legal do conteúdo contido no conjunto de dados.
Ao concentrar-se em áreas mais restritas, a qualidade da produção de pequenos modelos também pode estar ao nível dos seus "irmãos mais velhos". Modelos como o ChatGPT são essencialmente projetados para todos, ajudando com a lição de casa, receitas de jantar, respondendo a perguntas sobre ciência, tecnologia, história e cultura pop. Em contrapartida, a IA generativa para as empresas pode e deve centrar-se em áreas problemáticas mais pequenas e mais relevantes. Trata-se claramente de uma situação vantajosa para ambas as partes: significa reduzir as barreiras à entrada sem comprometer a qualidade dos resultados. **
Como a orquestração de pequenos modelos oferece um grande potencial
Mesmo modelos pequenos podem fornecer soluções grandes, só precisamos pensar de forma diferente sobre escala. Em vez de tornar o modelo em si maior, entrelaça vários modelos para servir a um objetivo de nível mais alto. **Cada modelo é projetado com um objetivo específico em mente e treinado em um conjunto de dados cuidadosamente selecionado, rigorosamente verificado e proprietário. E se agentes de IA como o Einstein Copilot pudessem ser combinados ou coordenados, assim como vários humanos poderiam fazer mais trabalho em equipe do que como indivíduos? Por exemplo, um restaurante, que é uma organização que só pode ser alcançada pelo trabalho em equipe, cada membro tem suas próprias habilidades e áreas de foco: garçons são responsáveis por pedidos, chefs são responsáveis por preparar comida, rececionistas são responsáveis por lidar com reservas e pedidos, e motoristas são responsáveis por entregar comida. Então, como seria a LAM quando organizada de forma semelhante?
Tenho pensado em orquestração ultimamente, e acho que é uma das tecnologias mais interessantes, mas também a mais prática, para trazer agentes úteis e autônomos de forma segura e eficiente. Mais importante ainda, orquestração significa que mesmo as soluções mais ambiciosas são transparentes e conhecidas pelos criadores e pelas pessoas que trabalham ao seu lado. Tenha em mente que, neste caso, a escala não vem de redes neurais cada vez maiores, mas de componentes independentes e bem definidos que são organizados de maneiras que fazem sentido para os seres humanos. Por exemplo, em vez de treinar um modelo gigante para registrar notas de reunião do cliente, extrair inferências dos resultados, atualizar os registros de CRM correspondentes e, em seguida, enviar informações de acompanhamento, atribua cada uma dessas tarefas a um modelo treinado separadamente.
Na verdade, passei a maior parte da minha carreira de pesquisa em robótica, e não posso deixar de olhar mais longe, imaginando que tal coreografia pode ser feita em um espaço do mundo real. Em fábricas, escritórios, hospitais e até restaurantes, maquetes trabalham lado a lado com humanos para realizar uma variedade de tarefas. Parece elevado e distante, mas, neste momento, o potencial de orquestração é enorme.
Vamos falar sobre seus benefícios. Em primeiro lugar, a orquestração nos salva da dificuldade de montar um conjunto de dados grande o suficiente e tornar um único modelo tão flexível para resolver as dificuldades de agentes entre domínios, e também elimina o risco de colocar uma grande quantidade de dados muito diferentes em um único conjunto de treinamento. **Além disso, cada modelo pode ser ajustado pela RLHF. Portanto, neste sistema, cada componente é muito especializado e usado para completar as etapas críticas, mas gerenciáveis, em uma tarefa maior.
Quando surgem problemas, seja durante o comissionamento ou a produção, os problemas podem ser mais facilmente identificados através de um modelo único e dedicado para melhor compreendê-los e resolvê-los. Mesmo falhas graves podem ser tratadas de forma modular mais robusta. E vários modelos trabalham juntos, as falhas são mais fáceis de controlar e isolar e há mais oportunidades de continuidade quando um único componente falha.
A Art Nouveau para IA Generativa: Design em vários modelos
Mais importante ainda, eleva a criação de modelos de IA empresarial de uma tarefa puramente técnica para uma tarefa de modelar processos de negócios em termos que as partes interessadas humanas possam entender. Assim como um bom gerente dividiria um problema para uma equipe resolver, um orquestrador de IA teria a capacidade de dividir um problema em uma série de modelos construídos para esse fim.
O que é particularmente empolgante nessa visão é que ela aponta para uma nova habilidade, pode-se até chamá-la de arte emergente, e estou ansioso para vê-la evoluir na empresa. Os especialistas em orquestração de LAM pensarão em alto nível, tratando as necessidades da empresa como um negócio, não apenas uma plataforma de tecnologia, e usarão essa perceção para dividir tarefas grandes e significativas em uma série de tarefas menores a serem resolvidas pelas "equipes" da LAM.
Seu trabalho entrelaça infraestrutura, ciência de dados e design de interface homem-máquina. O primeiro garante que essas equipes modelo possam implantar com segurança e eficiência, enquanto o segundo se esforça para coletar conjuntos de dados exclusivos para resolver problemas menores e menos ambíguos. Em outras palavras, os especialistas em orquestração podem se tornar os novos rostos da IA empresarial, focando menos nas especificidades das redes neurais e mais em como construir sistemas robustos e robustos.
Na verdade, o que eu espero é que essa habilidade não seja rara nem exclusiva, mas sim difundida, transformando a orquestração da LAM em uma solução poderosa e personalizada que desempenhará um papel cada vez mais importante em nossas vidas profissionais. À medida que o mercado emerge, a barreira à entrada pode ser reduzida ainda mais, trazendo ao mundo uma solução de orquestração LAM semelhante a um copiloto que simplesmente alimenta a IA generativa em escala incrível.
Alguns usarão esta solução de mercado diretamente, tornando a orquestração LAM uma realidade. Outros irão tratá-los como módulos e combiná-los com outros módulos para formar soluções de vários tamanhos de acordo com suas necessidades. Mas, em ambos os casos, o que mais me entusiasma é que a IA generativa é moldada não tanto por um pequeno grupo de elite de tecnólogos, mas pela criatividade e visão de profissionais de várias áreas.
Na verdade, a minha visão para o futuro do trabalho é um mundo onde a IA apoia as competências humanas e nos permite pensar a um nível mais elevado, simplificando tudo o que fazemos, mantendo a criatividade, o estilo e a perspetiva que nos distinguem.
Resumo
Realizar qualquer nova visão é gradual, e a LAM não é exceção. No entanto, os últimos anos mostraram que cada passo do caminho será transformador. Desde a sua criação, o LLM mostrou um raro potencial de disrupção e inovação. Agentes de apoio, como o Einstein Copilot, levam essa barra para o próximo nível com uma interface intuitiva, fortes recursos de confiança e segurança e integração perfeita com sistemas copilot tradicionais.