modelo grande + modelo plug-in é provavelmente uma das respostas para a comercialização de modelos grandes de IA.
Em 17 de outubro, na "2023 Baidu World Conference", Robin Li lançou oficialmente a mais recente versão do modelo Wenxin 4.0.
Durante algum tempo, várias avaliações se derramaram, e os principais meios científicos e tecnológicos realizaram avaliações abrangentes do modelo a partir dos aspetos de compreensão, geração, lógica e capacidade de memória.
No entanto, além do repetidamente falado sobre Wenxin 4.0, outra função ligeiramente discreta na conferência de imprensa também mostrou friamente a tendência de desenvolvimento de futuros modelos grandes.
**Esta é a função de plug-in do Baidu Wenxin 4.0. **
Atualmente, Wenxin 4.0 tem 8 plug-ins sozinho, incluindo uma sombra de fluxo de espelho (texto para vídeo), digamos pintura de imagem (olhar para imagens e falar), E Yan Yi Tu (análise de dados visuais) e assim por diante.
Esses plugins também podem ser livremente combinados para realizar tarefas mais complexas.
Não só isso, a plataforma de desenvolvimento de plug-in de modelo grande Baidu Wenxin, Lingjing Matrix Platform, foi aplicada por 27.000 desenvolvedores por um mês após seu lançamento, e os desenvolvedores individuais representam mais de 30%.
Então, por que o Baidu dá tanta importância aos plugins? E o que significa a prosperidade do ecossistema plug-in para o grande modelo?
Plugin, deixe o modelo grande como uma asa de tigre
Até certo ponto, os plug-ins são equivalentes a outro "aplicativo assassino" oculto para modelos grandes. "
Sem melhorar o algoritmo e os parâmetros do modelo, é possível expandir e melhorar significativamente os recursos do modelo com apenas um simples suplemento.
Anteriormente, o GPT-4 conseguiu o efeito de fortalecer o tigre através da função plug-in. O mundo exterior até chamou esse aumentoA chegada do GPT-4.5.
Em 9 de julho deste ano, a OpenAI anunciou que o plugin oficial Code Interpreter (Code Interpreter) estará disponível para todos os usuários do ChatGPT Plus através do painel Beta em Configurações.
Então, o que exatamente o Code Interpreter pode fazer?
Simplificando, é equivalente a uma grande expansão do limite de capacidade GPT-4, permitindo que o GPT-4 faça muitas coisas que não eram possíveis antes.
Por exemplo, após o lançamento do plugin, o usuário do Twitter @歸藏 demonstrado o processo de análise dos dados dos assinantes da newsletter com um analisador de código.
O analisador de código não precisa usar nenhum software complicado de análise de dados para mapeamento, basta dizer algo tão contundente: "Quero analisar a tendência de crescimento de assinantes no último mês."
Além disso, as pessoas também podem usar diretamente a "fala humana" para permitir que o GPT faça algumas imagens GIF visuais a partir de dados.
Por exemplo, se as pessoas quiserem criar um ícone geográfico de um farol americano, elas só precisam carregar os dados de localização geográfica, e a GPT pode fazer automaticamente o seguinte GIF através da função de plug-in.
E mesmo se você quiser gerar vídeo a partir de imagens, CodeInterpreter pode fazê-lo na ponta dos seus dedos. Depois de ativar o plugin, basta dizer ao GPT: "Quero usar esta imagem para fazer um vídeo panorâmico da direita para a esquerda." "
A GPT fará automaticamente um vídeo das imagens geradas pelo Midjourney de acordo com as suas necessidades.
Netizen ChaseLean usa ChatGPT para gerar um vídeo de hambúrguer
Mesmo pessoas com pouca experiência em código e programação podem usar o plugin CodeInterpreter para fazer um jogo simples em 5 minutos.
Com apenas alguns prompts, um mini-jogo simples está completo
Em geral, o CodeInterpreter inclui funções que abrangem muitas tarefas diferentes, como quebrar barreiras modais, converter formulários de material e executar análise de dados.
A razão pela qual o plugin tem uma função tão "desafiante do céu" é porque quebra a barreira entre a linguagem natural e a linguagem de código. **
Com ele, os usuários podem cortar processos de código complexos e completar diretamente várias tarefas entre domínios e entre modais por meio da interação em linguagem natural (a chamada "fala humana").
Por causa disso, algumas pessoas exclamaram que este plug-in que dobra as capacidades do modelo é a chegada do GPT-4.5.
Portanto, não é difícil entender por que o Baidu atribui tanta importância ao desenvolvimento de plugins.
Para grandes equipes de desenvolvimento de modelos, é impossível e irrealista fazer com que um modelo inclua todas as necessidades dos usuários. Porque no processo de evolução da IA, os utilizadores irão inevitavelmente gerar mais ideias e necessidades novas e imprevisíveis.
Neste momento, uma variedade de plug-ins flexíveis tornaram-se uma "prótese" que amplia a capacidade de modelos grandes.
Plugins florescem
Além dos plugins nativos que vêm com o OpenAI, outros plugins surgiram na trilha atual da IA.
Aqui, faremos uma enumeração simples para ver o que diversos plugins de extensões com diferentes funções trarão para modelos maiores.
ChatPDF
ChatPDF é uma poderosa ferramenta de PDF on-line, os usuários só precisam fazer upload de arquivos PDF para ChatPDF, ChatPDF pode usar rapidamente IA para analisar o conteúdo do arquivo PDF e gerar respostas precisas para responder às perguntas dos usuários.
Além do recurso inteligente de perguntas e respostas, o ChatPDF também oferece edição, conversão e compactação de arquivos on-line. Se os usuários quiserem adicionar ou remover elementos de um arquivo PDF, ou alterar algum texto ou imagens, o recurso de edição on-line do ChatPDF será muito útil.
### Mônica
Um plugin de barra lateral de página da web que se conecta à interface API do ChatGPT e, quando lançado, Monica pode usar a capacidade do ChatGPT para interpretar qualquer informação ou texto, ou discutir o conteúdo da página, e fornecer traduções ao navegar em qualquer site.
Vale ressaltar que, além do ChatGPT, Monica também integra as interfaces de outras IAs, como Claued e Bard, e se isso não for suficiente, os usuários também podem pesquisar e adicionar outras ferramentas de IA por conta própria na biblioteca de IA que acessam, para que possam atender às suas diversas necessidades por meio de diferentes IAs.
### ChatHub
É um plugin que permite que você use diferentes chatbots em um aplicativo, atualmente suporta ChatGPT e o novo BingChat, e integrará mais chatbots como o Google Bard no futuro. Os usuários podem se comunicar com vários chatbots ao mesmo tempo e comparar facilmente suas respostas.
### NotaGPT
Este é um plugin que usa ChatGPT para resumir vídeos. Suporte a tirar capturas de tela e tomar notas em sites de vídeo com um clique.
Depois de lançar o plugin, os usuários podem usar rapidamente o ChatGPT para obter informações importantes sobre o conteúdo de vídeo e gerar resumos e resumos ao enfrentar certos vídeos longos, enquanto também fazem capturas de tela ou gravam notas com carimbo de data/hora enquanto assistem a vídeos com um clique.
### Assistente de IA Smart Star
Este é o primeiro produto de modelo cognitivo de IA na China que suporta plug-ins, e a Zhixing AI atualmente tem acesso a 7 plug-ins, incluindo consulta meteorológica, pesquisa Bing, Wolfram, etc., que podem fornecer rapidamente informações meteorológicas em tempo real, responder a problemas matemáticos avançados e conduzir análises financeiras aprofundadas.
Em comparação, o ChatGPT só pode usar 3 plugins de cada vez, enquanto o Smartstar AI não tem limite para o número de plugins.
### WPSAI
É equivalente à versão doméstica do Microsoft365 Copilot, com abreviação, expansão, continuação, alteração do estilo de escrita, resumindo e resumindo os principais pontos do artigo, gerando rapidamente esboços PPT, produção de modelos PPT com um clique, processamento inteligente de tabelas Excel e outras funções, e tem novos recursos de interação por voz, que podem ser usados para escritório móvel em terminais de tela pequena, como telefones celulares.
Ambição no plugin
Além dos diferentes tipos de funções de plug-in de terceiros acima mencionados, os principais gigantes da tecnologia também mostraram um impulso na direção dos plug-ins.
Por exemplo, a plataforma de plug-in de IA da Microsoft fornece uma série de ferramentas e serviços que permitem aos desenvolvedores usar o ChatGPT da Microsoft e o novo Bing para criar e implantar vários plug-ins de IA, incluindo classes de modelo de capacidade, classes de dados, classes de aplicativos, etc. Seus plug-ins abrangem vários cenários e produtos, como Dynamics 365, Microsoft 365 e muito mais. **
Na China, a Baidu também lançou a plataforma "Spirit Matrix", que é conhecida por permitir que todos desenvolvam plug-ins de IA, tentando construir um enorme ecossistema de plug-ins com base nas palavras de Wen Xin.
Por trás deste grande layout, pelo menos as intenções dos gigantes são reveladas em dois aspetos:
**1. Tome plug-ins como um ponto de avanço para abrir o caminho da comercialização em larga escala; **
**2. Com um enorme ecossistema de plug-in, construa barreiras de software como o CUDA da NVIDIA. **
Em relação ao primeiro ponto, por que o modelo modelo grande + modelo plug-in é provavelmente a resposta para a comercialização em larga escala da IA?
A razão é realmente muito simples, o modelo grande anterior, seja texto de IA, desenho, seu campo de habilitação só pode ser limitado a um único e estreito escopo.
Um modelo grande pode ter um bom nível de escrita, mas na realidade, como resolver as tarefas multi-categoria e específicas de comparação de commodities e análise financeira?
As necessidades das pessoas na vida são diversas e multiníveis, deste ponto de vista, quando o grande modelo rompe a limitação de um único modo e atende a essa demanda diversificada, é o início de sua real comercialização em larga escala. **
E as funções de plug-in de cada externo são equivalentes a modelos grandes? "Olho" e "mão" fazem com que deixe de se limitar a um único campo e ao âmbito da modalidade.
No futuro, os usuários podem precisar apenas de um grande modelo de entrada para concluir tarefas como reservar ingressos, pedir comida, pedir comida e pedir comida para levar.
Isso também leva ao segundo ponto, ou seja, a barreira ecológica dominada por ** plug-ins. **
Na trilha atual de grandes modelos, embora existam inúmeras aplicações de IA derivadas no país e no exterior, quando uma parte considerável delas ainda são produtos "shell" baseados em ChatGPT.
Essa realidade também reflete de um lado: na escolha de modelos grandes, a maioria dos desenvolvedores e usuários ainda só reconhecem os produtos de cabeça mais forte.
A A16Z, uma conhecida instituição de investimento, anunciou no mês passado que uma parte considerável dos 50 principais sites de IA por tráfego são aplicações "shell"
Em outras palavras, para modelos grandes, desde que o usuário encontre um que seja o melhor para usar, ele é menos propenso a usar o outro.
Sob essa lógica, se muitas empresas não querem cair na situação de repetir a roda, a melhor escolha deve ser mudar seu foco para o lado da aplicação.
A experiência histórica mostra que, na concorrência de software e aplicações, quem pode proporcionar aos programadores um ambiente de desenvolvimento de porta aberta e amigável, pode assumir a liderança no estabelecimento das suas próprias barreiras ecológicas.
A este respeito, pode-se dizer que o CUDA da NVIDIA deu um excelente exemplo.
Após uma evolução contínua, a CUDA formou um ecossistema rico e maduro. A NVIDIA também alcançou uma ligação profunda de software e hardware: com seu software, você deve comprar seu hardware, e comprar seu hardware usando CUDA pode ser duas vezes mais eficaz.
Atualmente, o layout dos principais gigantes em plug-ins também é bastante semelhante ao CUDA da NVIDIA: se os desenvolvedores ou usuários querem alcançar o desenvolvimento rápido e de baixo limiar de aplicativos de IA, eles devem ser baseados nas capacidades de seus grandes modelos.
Por sua vez, a prosperidade da ecologia de aplicações fortalecerá a confiança das pessoas em seu grande modelo.
Quem assumir a liderança na realização de um ecossistema que promove e complementa uns aos outros com aplicações será o primeiro a erguer suas próprias barreiras ecológicas na era da IA.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Plugins: aplicativos nativos alternativos de IA com a menor barreira de entrada
Fonte: AI New Intelligence
Em 17 de outubro, na "2023 Baidu World Conference", Robin Li lançou oficialmente a mais recente versão do modelo Wenxin 4.0.
Durante algum tempo, várias avaliações se derramaram, e os principais meios científicos e tecnológicos realizaram avaliações abrangentes do modelo a partir dos aspetos de compreensão, geração, lógica e capacidade de memória.
**Esta é a função de plug-in do Baidu Wenxin 4.0. **
Atualmente, Wenxin 4.0 tem 8 plug-ins sozinho, incluindo uma sombra de fluxo de espelho (texto para vídeo), digamos pintura de imagem (olhar para imagens e falar), E Yan Yi Tu (análise de dados visuais) e assim por diante.
Não só isso, a plataforma de desenvolvimento de plug-in de modelo grande Baidu Wenxin, Lingjing Matrix Platform, foi aplicada por 27.000 desenvolvedores por um mês após seu lançamento, e os desenvolvedores individuais representam mais de 30%.
Então, por que o Baidu dá tanta importância aos plugins? E o que significa a prosperidade do ecossistema plug-in para o grande modelo?
Plugin, deixe o modelo grande como uma asa de tigre
Até certo ponto, os plug-ins são equivalentes a outro "aplicativo assassino" oculto para modelos grandes. "
Sem melhorar o algoritmo e os parâmetros do modelo, é possível expandir e melhorar significativamente os recursos do modelo com apenas um simples suplemento.
Anteriormente, o GPT-4 conseguiu o efeito de fortalecer o tigre através da função plug-in. O mundo exterior até chamou esse aumentoA chegada do GPT-4.5.
Então, o que exatamente o Code Interpreter pode fazer?
Simplificando, é equivalente a uma grande expansão do limite de capacidade GPT-4, permitindo que o GPT-4 faça muitas coisas que não eram possíveis antes.
Por exemplo, após o lançamento do plugin, o usuário do Twitter @歸藏 demonstrado o processo de análise dos dados dos assinantes da newsletter com um analisador de código.
O analisador de código não precisa usar nenhum software complicado de análise de dados para mapeamento, basta dizer algo tão contundente: "Quero analisar a tendência de crescimento de assinantes no último mês."
Por exemplo, se as pessoas quiserem criar um ícone geográfico de um farol americano, elas só precisam carregar os dados de localização geográfica, e a GPT pode fazer automaticamente o seguinte GIF através da função de plug-in.
A GPT fará automaticamente um vídeo das imagens geradas pelo Midjourney de acordo com as suas necessidades.
Mesmo pessoas com pouca experiência em código e programação podem usar o plugin CodeInterpreter para fazer um jogo simples em 5 minutos.
Em geral, o CodeInterpreter inclui funções que abrangem muitas tarefas diferentes, como quebrar barreiras modais, converter formulários de material e executar análise de dados.
A razão pela qual o plugin tem uma função tão "desafiante do céu" é porque quebra a barreira entre a linguagem natural e a linguagem de código. **
Com ele, os usuários podem cortar processos de código complexos e completar diretamente várias tarefas entre domínios e entre modais por meio da interação em linguagem natural (a chamada "fala humana").
Por causa disso, algumas pessoas exclamaram que este plug-in que dobra as capacidades do modelo é a chegada do GPT-4.5.
Para grandes equipes de desenvolvimento de modelos, é impossível e irrealista fazer com que um modelo inclua todas as necessidades dos usuários. Porque no processo de evolução da IA, os utilizadores irão inevitavelmente gerar mais ideias e necessidades novas e imprevisíveis.
Neste momento, uma variedade de plug-ins flexíveis tornaram-se uma "prótese" que amplia a capacidade de modelos grandes.
Plugins florescem
Além dos plugins nativos que vêm com o OpenAI, outros plugins surgiram na trilha atual da IA.
Aqui, faremos uma enumeração simples para ver o que diversos plugins de extensões com diferentes funções trarão para modelos maiores.
ChatPDF
ChatPDF é uma poderosa ferramenta de PDF on-line, os usuários só precisam fazer upload de arquivos PDF para ChatPDF, ChatPDF pode usar rapidamente IA para analisar o conteúdo do arquivo PDF e gerar respostas precisas para responder às perguntas dos usuários.
Além do recurso inteligente de perguntas e respostas, o ChatPDF também oferece edição, conversão e compactação de arquivos on-line. Se os usuários quiserem adicionar ou remover elementos de um arquivo PDF, ou alterar algum texto ou imagens, o recurso de edição on-line do ChatPDF será muito útil.
Um plugin de barra lateral de página da web que se conecta à interface API do ChatGPT e, quando lançado, Monica pode usar a capacidade do ChatGPT para interpretar qualquer informação ou texto, ou discutir o conteúdo da página, e fornecer traduções ao navegar em qualquer site.
Vale ressaltar que, além do ChatGPT, Monica também integra as interfaces de outras IAs, como Claued e Bard, e se isso não for suficiente, os usuários também podem pesquisar e adicionar outras ferramentas de IA por conta própria na biblioteca de IA que acessam, para que possam atender às suas diversas necessidades por meio de diferentes IAs.
É um plugin que permite que você use diferentes chatbots em um aplicativo, atualmente suporta ChatGPT e o novo BingChat, e integrará mais chatbots como o Google Bard no futuro. Os usuários podem se comunicar com vários chatbots ao mesmo tempo e comparar facilmente suas respostas.
Este é um plugin que usa ChatGPT para resumir vídeos. Suporte a tirar capturas de tela e tomar notas em sites de vídeo com um clique.
Depois de lançar o plugin, os usuários podem usar rapidamente o ChatGPT para obter informações importantes sobre o conteúdo de vídeo e gerar resumos e resumos ao enfrentar certos vídeos longos, enquanto também fazem capturas de tela ou gravam notas com carimbo de data/hora enquanto assistem a vídeos com um clique.
Este é o primeiro produto de modelo cognitivo de IA na China que suporta plug-ins, e a Zhixing AI atualmente tem acesso a 7 plug-ins, incluindo consulta meteorológica, pesquisa Bing, Wolfram, etc., que podem fornecer rapidamente informações meteorológicas em tempo real, responder a problemas matemáticos avançados e conduzir análises financeiras aprofundadas.
Em comparação, o ChatGPT só pode usar 3 plugins de cada vez, enquanto o Smartstar AI não tem limite para o número de plugins.
É equivalente à versão doméstica do Microsoft365 Copilot, com abreviação, expansão, continuação, alteração do estilo de escrita, resumindo e resumindo os principais pontos do artigo, gerando rapidamente esboços PPT, produção de modelos PPT com um clique, processamento inteligente de tabelas Excel e outras funções, e tem novos recursos de interação por voz, que podem ser usados para escritório móvel em terminais de tela pequena, como telefones celulares.
Ambição no plugin
Além dos diferentes tipos de funções de plug-in de terceiros acima mencionados, os principais gigantes da tecnologia também mostraram um impulso na direção dos plug-ins.
Por exemplo, a plataforma de plug-in de IA da Microsoft fornece uma série de ferramentas e serviços que permitem aos desenvolvedores usar o ChatGPT da Microsoft e o novo Bing para criar e implantar vários plug-ins de IA, incluindo classes de modelo de capacidade, classes de dados, classes de aplicativos, etc. Seus plug-ins abrangem vários cenários e produtos, como Dynamics 365, Microsoft 365 e muito mais. **
Por trás deste grande layout, pelo menos as intenções dos gigantes são reveladas em dois aspetos:
**1. Tome plug-ins como um ponto de avanço para abrir o caminho da comercialização em larga escala; **
**2. Com um enorme ecossistema de plug-in, construa barreiras de software como o CUDA da NVIDIA. **
A razão é realmente muito simples, o modelo grande anterior, seja texto de IA, desenho, seu campo de habilitação só pode ser limitado a um único e estreito escopo.
Um modelo grande pode ter um bom nível de escrita, mas na realidade, como resolver as tarefas multi-categoria e específicas de comparação de commodities e análise financeira?
As necessidades das pessoas na vida são diversas e multiníveis, deste ponto de vista, quando o grande modelo rompe a limitação de um único modo e atende a essa demanda diversificada, é o início de sua real comercialização em larga escala. **
No futuro, os usuários podem precisar apenas de um grande modelo de entrada para concluir tarefas como reservar ingressos, pedir comida, pedir comida e pedir comida para levar.
Isso também leva ao segundo ponto, ou seja, a barreira ecológica dominada por ** plug-ins. **
Na trilha atual de grandes modelos, embora existam inúmeras aplicações de IA derivadas no país e no exterior, quando uma parte considerável delas ainda são produtos "shell" baseados em ChatGPT.
Essa realidade também reflete de um lado: na escolha de modelos grandes, a maioria dos desenvolvedores e usuários ainda só reconhecem os produtos de cabeça mais forte.
Em outras palavras, para modelos grandes, desde que o usuário encontre um que seja o melhor para usar, ele é menos propenso a usar o outro.
Sob essa lógica, se muitas empresas não querem cair na situação de repetir a roda, a melhor escolha deve ser mudar seu foco para o lado da aplicação.
A experiência histórica mostra que, na concorrência de software e aplicações, quem pode proporcionar aos programadores um ambiente de desenvolvimento de porta aberta e amigável, pode assumir a liderança no estabelecimento das suas próprias barreiras ecológicas.
A este respeito, pode-se dizer que o CUDA da NVIDIA deu um excelente exemplo.
Atualmente, o layout dos principais gigantes em plug-ins também é bastante semelhante ao CUDA da NVIDIA: se os desenvolvedores ou usuários querem alcançar o desenvolvimento rápido e de baixo limiar de aplicativos de IA, eles devem ser baseados nas capacidades de seus grandes modelos.
Por sua vez, a prosperidade da ecologia de aplicações fortalecerá a confiança das pessoas em seu grande modelo.
Quem assumir a liderança na realização de um ecossistema que promove e complementa uns aos outros com aplicações será o primeiro a erguer suas próprias barreiras ecológicas na era da IA.