**Nota do editor: este artigo explora os dez principais desafios na pesquisa de modelos de linguagem grande (LLM). O autor é Chip Huyen, que se formou na Universidade de Stanford e agora é o fundador da Claypot AI, uma plataforma de aprendizado de máquina em tempo real. Ela esteve anteriormente na NVIDIA, Snorkel AI, Netflix e Primer desenvolvendo ferramentas de aprendizado de máquina. **
Estou testemunhando uma situação sem precedentes: muitas das principais mentes do mundo estão agora dedicadas ao objetivo unificado de “tornar os modelos de linguagem (LLMs) melhores”.
Depois de conversar com muitos colegas da indústria e da academia, tentei resumir dez principais direções de pesquisa que estão em franca expansão:
1. Reduzir e medir alucinações (Nota do editor: alucinações, alucinações de IA, ou seja, partes incorretas ou sem sentido da produção de IA, embora tal produção seja sintaticamente razoável)
2. Otimize o comprimento e a construção do contexto
3. Integre outros modos de dados
4. Aumente a velocidade e reduza os custos dos LLMs
5. Projete uma nova arquitetura de modelo
6. Desenvolva alternativas de GPU
7. Melhore a disponibilidade do agente
8. Maior capacidade de aprender com as preferências humanas
9. Melhore a eficiência da interface de chat
10. Construindo LLMs para idiomas diferentes do inglês
Entre elas, as duas primeiras direcções, nomeadamente a redução das "ilusões" e a "aprendizagem contextual", podem ser as direcções mais populares neste momento. Pessoalmente, estou mais interessado nos itens 3 (multimodalidade), 5 (nova arquitetura) e 6 (alternativas de GPU).
01 Reduza e meça ilusões
Refere-se ao fenômeno que ocorre quando um modelo de IA cria conteúdo falso.
A ilusão é uma qualidade inevitável em muitas situações que exigem criatividade. No entanto, para a maioria dos outros cenários de aplicação, é uma desvantagem.
Recentemente participei de um grupo de discussão sobre LLM e conversei com pessoas de empresas como Dropbox, Langchain, Elastics e Anthropic, e eles acreditam que empresas em grande escala adoção O maior obstáculo à produção comercial de LLM é o problema da ilusão.
Mitigar o fenómeno das alucinações e desenvolver métricas para medi-las é um tema de investigação em expansão, com muitas startups focadas na resolução deste problema.
Atualmente, existem alguns métodos temporários para reduzir as alucinações, como adicionar mais contexto, cadeias de pensamento, autoconsistência às instruções ou exigir que o resultado do modelo permaneça conciso.
A seguir estão discursos relacionados que você pode consultar
·Pesquisa de alucinações na geração de linguagem natural (Ji et al., 2022)·Como as alucinações do modelo de linguagem podem crescer como uma bola de neve (Zhang et al., 2023)·Uma versão multitarefa, multilíngue e multimodal do ChatGPT sobre raciocínio, alucinação e interatividade (Bang et al., 2023)·Aprendizagem contrastiva reduz alucinações em conversas (Sun et al., 2022)·Autoconsistência melhora o raciocínio da cadeia de pensamento em modelos de linguagem (Wang et al., 2022)·SelfCheckGPT: caixa preta com recurso zero Detecção de alucinações para modelos generativos de grandes linguagens (Manakul et al., 2023)
02 Otimize o comprimento e a construção do contexto
A grande maioria dos problemas enfrentados pela IA requer contexto.
Por exemplo, se perguntarmos ao ChatGPT: “Qual restaurante vietnamita é o melhor?”, o contexto necessário pode ser “onde” porque o melhor restaurante no Vietnã pode ser diferente do melhor restaurante vietnamita nos Estados Unidos.
De acordo com o interessante artigo "SituatedQA" (Zhang & Choi, 2021), uma proporção considerável de questões de busca de informação tem respostas dependentes do contexto. Por exemplo, cerca de 16,5% das questões no conjunto de dados NQ-Open são deste tipo. .
Pessoalmente, penso que para cenários de aplicações empresariais, esta proporção pode ser ainda maior. Suponha que uma empresa construa um chatbot para clientes. Para que o robô seja capaz de responder a qualquer pergunta do cliente sobre qualquer produto, o contexto necessário pode ser o histórico do cliente ou informações sobre o produto.
Como o modelo “aprende” com o contexto que lhe é fornecido, esse processo também é conhecido como aprendizagem contextual.
Para geração aprimorada de recuperação (RAG, que também é o principal método na direção de aplicação da indústria LLM), o comprimento do contexto é particularmente importante.
O RAG pode ser simplesmente dividido em duas etapas:
Fase 1: Chunking (também chamado de indexação)
Colete todos os documentos a serem usados pelo LLM, divida esses documentos em partes que podem ser alimentadas no LLM para gerar embeddings e armazene esses embeddings em um banco de dados vetorial.
Segunda etapa: consulta
Quando um usuário envia uma consulta, como “Minha apólice de seguro cobrirá este medicamento
Figura: Captura de tela do discurso de Jerry Liu no LlamaIndex (2023)
Quanto maior o comprimento do contexto, mais blocos podemos inserir no contexto. Mas será que quanto mais informação um modelo tiver acesso, melhores serão as suas respostas?
Nem sempre é esse o caso. Quanto contexto um modelo pode usar e quão eficientemente o modelo será usado são duas questões diferentes. Tão importante quanto aumentar o comprimento do contexto do modelo é o aprendizado mais eficiente do contexto, que também é chamado de "engenharia de dicas".
Um artigo recente e amplamente divulgado mostra que os modelos têm um desempenho muito melhor na compreensão das informações do início e do final do índice do que do meio: Perdidos no meio: como os modelos de linguagem usam contextos longos (Liu et al., 2023).
03Integrar outros modos de dados
Na minha opinião, a multimodalidade é muito poderosa, mas muitas vezes subestimada.
Em primeiro lugar, muitos cenários de aplicação da vida real requerem o processamento de grandes quantidades de dados multimodais, tais como cuidados de saúde, robótica, comércio eletrónico, retalho, jogos, entretenimento, etc. As previsões médicas exigem o uso de texto (como anotações médicas, questionários de pacientes) e imagens (como tomografia computadorizada, raio-X, ressonância magnética); os dados do produto geralmente incluem imagens, vídeos, descrições e até dados tabulares (como data de produção, peso, cor).
Em segundo lugar, a multimodalidade promete trazer enormes melhorias no desempenho do modelo. Um modelo que pudesse compreender texto e imagens não teria um desempenho melhor do que um modelo que pudesse compreender apenas texto? Os modelos baseados em texto requerem grandes quantidades de dados de texto, e agora estamos realmente preocupados com a falta de dados da Internet para treinar modelos baseados em texto. Esgotado o texto, precisamos aproveitar outras modalidades de dados.
Uma direção de aplicação que me deixou particularmente entusiasmado recentemente é que a tecnologia multimodal pode ajudar pessoas com deficiência visual a navegar na Internet e no mundo real.
A seguir estão vários desenvolvimentos de pesquisa multimodais pendentes:· [CLIP] Aprendendo modelos visuais transferíveis a partir da supervisão de linguagem natural (OpenAI, 2021)·Flamingo: um modelo de linguagem visual para aprendizagem de poucas tentativas (DeepMind, 2022)·BLIP-2: Inicializando o pré-treinamento de linguagem-imagem com codificadores de imagem congelados e modelos de linguagem grandes (Salesforce, 2023)·KOSMOS-1: A linguagem não é tudo que você precisa: Alinhando a percepção com modelos de linguagem (Microsoft, 2023)·PaLM-E: Um modelo de linguagem multimodal incorporado (Google, 2023)·LLaVA: Ajuste de instrução visual (Liu et al., 2023)·NeVA: NeMo Vision and Language Assistant (NVIDIA, 2023)
04Melhorando a velocidade e reduzindo custos de LLMs
Quando o GPT-3.5 foi lançado pela primeira vez no final de novembro de 2022, muitas pessoas expressaram preocupações sobre os atrasos e custos de utilização do modelo em produção.
Agora, a análise de atraso/custo causada pelo uso do GPT-3.5 tomou um novo rumo. Em meio ano, toda a comunidade de modelagem encontrou uma nova maneira de criar um modelo quase próximo do GPT-3.5 em termos de desempenho, mas com menos de 2% do consumo de memória.
Um dos meus argumentos é: se você criar algo bom o suficiente, outra pessoa encontrará uma maneira de torná-lo rápido e econômico.
O seguinte é baseado em dados relatados no artigo Guanaco, que compara o desempenho do Guanaco 7B com ChatGPT GPT-3.5 e GPT-4.
É importante notar que, no geral, o desempenho destes modelos está longe de ser perfeito. Para o LLM, ainda é muito difícil melhorar significativamente o desempenho.
Lembro-me de que há quatro anos, quando comecei a escrever as notas para a seção "Compressão de Modelo" do livro "Projetando Sistemas de Aprendizado de Máquina", havia quatro técnicas principais de otimização/compressão de modelo na indústria:
Quantificação: de longe o método de otimização de modelo mais comum. A quantização reduz o tamanho do modelo usando menos bits para representar os parâmetros do modelo.Por exemplo, em vez de usar 32 bits para representar números de ponto flutuante, apenas 16 bits ou mesmo 4 bits são usados.
Destilação de conhecimento: isto é, treinar um modelo pequeno (modelo de aluno), que pode imitar um modelo maior ou conjunto de modelos (modelo de professor).
Decomposição de baixa classificação: Sua ideia principal é usar tensores de baixa dimensão para substituir tensores de alta dimensão para reduzir o número de parâmetros. Por exemplo, um tensor 3x3 pode ser decomposto no produto de um tensor 3x1 e um tensor 1x3, de modo que em vez de 9 parâmetros, existam apenas 6 parâmetros.
Poda: refere-se à redução do tamanho do modelo removendo pesos ou conexões do modelo que contribuem menos para o desempenho geral.
Essas quatro técnicas ainda são populares hoje. Alpaca é treinado por meio de destilação de conhecimento, enquanto QLoRA usa uma combinação de decomposição e quantização de baixo escalão.
05Projetar nova arquitetura de modelo
Desde AlexNet em 2012, vimos muitas arquiteturas irem e virem, incluindo LSTM, seq2seq, etc.
Comparado com essas arquiteturas, o Transformer, lançado em 2017, é extremamente estável, embora não esteja claro por quanto tempo essa arquitetura será popular.
Não é fácil desenvolver uma nova arquitetura que possa superar o Transformer. Nos últimos 6 anos, o Transformer passou por muita otimização. Em hardware adequado, a escala e o efeito deste modelo podem alcançar resultados surpreendentes (PS: O Transformer foi projetado pela primeira vez pelo Google para rodar rapidamente em TPU e mais tarde foi otimizado no GPU).
Em 2021, a pesquisa "Modelagem Eficiente de Sequências Longas com Espaços de Estados Estruturados" (Gu et al., 2021) do laboratório de Chris Ré desencadeou muitas discussões na indústria. Não tenho certeza do que aconteceu a seguir. Mas o Chris Ré Labs ainda está desenvolvendo ativamente novas arquiteturas e lançou recentemente uma arquitetura chamada Monarch Mixer em parceria com a startup Together.
A ideia principal deles é que, para a arquitetura Transformer existente, a complexidade da atenção seja proporcional ao quadrado do comprimento da sequência, e a complexidade do MLP seja proporcional ao quadrado da dimensão do modelo. Arquiteturas com complexidade subquadrática serão mais eficientes.
Tenho certeza de que muitos outros laboratórios estão explorando essa ideia, embora eu não tenha conhecimento de nenhum estudo que a tenha tentado publicamente. Se você souber do progresso, entre em contato comigo!
06Desenvolvimento de alternativas de GPU
Desde o advento do AlexNet em 2012, a GPU tem sido o principal hardware para aprendizado profundo.
Na verdade, uma das razões geralmente reconhecidas para a popularidade do AlexNet é que ele foi o primeiro artigo a usar GPUs com sucesso para treinar redes neurais. Antes das GPUs, se você quisesse treinar um modelo do tamanho do AlexNet, precisaria de milhares de CPUs, assim como o servidor que o Google lançou alguns meses antes do AlexNet.
Em comparação com milhares de CPUs, algumas GPUs são mais acessíveis a estudantes de doutoramento e investigadores, desencadeando um boom na investigação em aprendizagem profunda.
Na última década, muitas empresas, tanto grandes como startups, tentaram criar novo hardware para inteligência artificial. As tentativas mais notáveis incluem TPU do Google, IPU da Graphcore e Cerebras. SambaNova também arrecadou mais de US$ 1 bilhão para desenvolver novos chips de IA, mas parece ter se transformado em uma plataforma generativa de IA.
Nesse período, a computação quântica também despertou muitas expectativas, entre as quais os principais players incluem:
· Processador quântico da IBM
·O computador quântico do Google. Um marco importante na redução de erros quânticos foi relatado na Nature no início deste ano. Sua máquina virtual quântica é acessível publicamente por meio do Google Colab.
·Laboratórios de pesquisa em universidades, como MIT Quantum Engineering Center, Max Planck Institute for Quantum Optics, Chicago Quantum Exchange Center, etc.
Outra direção igualmente interessante são os chips fotônicos. Esta é a direção que menos conheço. Se houver algum erro, corrija-me.
Os chips existentes usam eletricidade para transmitir dados, o que consome muita energia e cria latência. Os chips fotônicos usam fótons para transmitir dados, aproveitando a velocidade da luz para uma computação mais rápida e eficiente. Várias startups neste espaço levantaram centenas de milhões de dólares, incluindo Lightmatter (US$ 270 milhões), Ayar Labs (US$ 220 milhões), Lightelligence (US$ 200 milhões+) e Luminous Computing (US$ 115 milhões).
A seguir está o cronograma de progresso dos três métodos principais de cálculo da matriz de fótons, extraído de Multiplicação de matriz fotônica acende acelerador fotônico e além (Zhou et al., Nature 2022). Os três métodos diferentes são Conversão Planar de Luz (PLC), Interferômetro Mach-Zehnder (MZI) e Multiplexação por Divisão de Comprimento de Onda (WDM).
07Melhorando a disponibilidade do agente
Os agentes podem ser considerados LLMs que podem realizar ações, como navegar na Internet, enviar e-mails, etc. Em comparação com outras direções de pesquisa neste artigo, esta pode ser a direção mais jovem.
Há grande interesse nos agentes devido à sua novidade e grande potencial. Auto-GPT é agora a 25ª biblioteca mais popular em número de estrelas no GitHub. GPT-Engineering também é outra biblioteca popular.
Apesar disso, ainda há dúvidas sobre se os LLMs são suficientemente confiáveis, têm um bom desempenho e possuem certas capacidades operacionais.
Agora existe uma direção de aplicação interessante, que é a utilização de agentes para pesquisas sociais. Uma experiência de Stanford mostrou que um pequeno grupo de agentes generativos produziu um comportamento social emergente: começando com apenas uma ideia especificada pelo utilizador, de que um agente queria organizar uma festa de Dia dos Namorados, vários outros agentes espalharam-na de forma autónoma durante os dois dias seguintes. Convites para festas, fazer novos amigos, convidar uns aos outros para festas... (Agentes Geradores: Simulacros Interativos do Comportamento Humano, Park et al., 2023).
Talvez a startup mais notável neste espaço seja a Adept, fundada por dois coautores do Transformer (embora ambos tenham saído desde então) e um ex-vice-presidente da OpenAI, e que arrecadou quase US$ 500 milhões até o momento em dólares. No ano passado, eles mostraram como seu agente poderia navegar na Internet e adicionar novas contas no Salesforce. Estou ansioso para ver sua nova demo 🙂.
08 Melhorando a capacidade de aprender com as preferências humanas
RLHF (Aprendizagem por Reforço a partir da Preferência Humana) é legal, mas um pouco tedioso.
Não estou surpreso que as pessoas encontrem maneiras melhores de treinar LLMs. Existem muitas questões em aberto sobre RLHF, tais como:
·Como representar matematicamente as preferências humanas?
Atualmente, as preferências humanas são determinadas através de comparação: um anotador humano determina se a resposta A é melhor que a resposta B. No entanto, não leva em conta até que ponto específico a resposta A é melhor ou pior que a resposta B.
·Quais são as preferências humanas?
A Anthropic mede a qualidade das respostas do modelo em três dimensões: útil, honesta e inofensiva. Artigo de referência: IA constitucional: inocuidade do feedback da IA (Bai et al., 2022).
A DeepMind tenta gerar respostas que agradem melhor ao maior número de pessoas. Artigo de referência: Ajustando modelos de linguagem para encontrar acordo entre humanos com preferências diversas (Bakker et al., 2022).
Além disso, queremos uma IA que possa tomar posição ou uma IA genérica que evite falar sobre qualquer tema potencialmente controverso?
·De quem são as preferências “humanas”, tendo em conta diferenças de cultura, religião, tendências políticas, etc.?
Existem muitos desafios na obtenção de dados de formação que sejam suficientemente representativos de todos os potenciais utilizadores.
Por exemplo, os dados InstructGPT da OpenAI não possuem anotadores com mais de 65 anos. Os taggers são principalmente filipinos e bangladeshianos. Artigo de referência: InstructGPT: Treinamento de modelos de linguagem para seguir instruções com feedback humano (Ouyang et al., 2022).
Embora as intenções originais dos esforços liderados pela comunidade de IA nos últimos anos sejam admiráveis, ainda existe preconceito nos dados. Por exemplo, no conjunto de dados OpenAssistant, 201 dos 222 entrevistados (90,5%) declararam-se homens. Jeremy Howard postou uma série de tweets sobre o assunto no Twitter.
09Melhore a eficiência da interface de chat
Desde a introdução do ChatGPT, tem havido uma discussão contínua sobre se o chat é adequado para uma ampla gama de tarefas. por exemplo:
·A linguagem natural é a interface de usuário preguiçosa (Austin Z. Henley, 2023)
·Por que os chatbots não são o futuro (Amelia Wattenberger, 2023)
·Que tipos de perguntas exigem conversa para serem respondidas? Um estudo de caso de perguntas do AskReddit (Huang et al., 2023)
·Interfaces de chat de IA podem se tornar a principal interface de usuário para leitura de documentação (Tom Johnson, 2023)
·Interagindo com LLMs com bate-papo mínimo (Eugene Yan, 2023)
Contudo, esta não é uma discussão nova. Em muitos países, especialmente na Ásia, o chat tem sido usado como interface para superaplicativos há cerca de uma década. Dan Grover discutiu esse fenômeno em 2014.
Esse tipo de discussão voltou a ficar acalorado em 2016, com muitas pessoas considerando que os tipos de aplicativos existentes são obsoletos e que os chatbots são o futuro. Por exemplo, os seguintes estudos:
·No chat como interface (Alistair Croll, 2016)
·A tendência do Chatbot é um grande mal-entendido? (Will Knight, 2016)
·Os bots não substituirão os aplicativos. Melhores aplicativos substituirão os aplicativos (Dan Grover, 2016)
Pessoalmente, gosto da interface de chat pelos seguintes motivos:
A interface de bate-papo é aquela que todos (mesmo pessoas sem experiência anterior com computadores ou Internet) podem aprender a usar rapidamente.
Quando fiz voluntariado num bairro de baixos rendimentos no Quénia, no início da década de 2010, fiquei surpreendido ao ver como todos se sentiam confortáveis com serviços bancários através de mensagens de texto nos seus telefones. Mesmo que ninguém naquela comunidade tenha um computador.
A interface de bate-papo geralmente é de fácil acesso. Também podemos usar a fala em vez de texto se nossas mãos estiverem ocupadas com outras coisas.
A interface de chat também é uma interface muito poderosa, pois responderá a qualquer solicitação feita pelo usuário, mesmo que algumas das respostas não sejam muito boas.
No entanto, acho que existem algumas áreas onde a interface do chat poderia ser melhorada:
·Múltiplas mensagens em uma rodada
Atualmente, presumimos que haja apenas uma mensagem por vez. Mas quando meus amigos e eu enviamos mensagens de texto, muitas vezes são necessárias várias mensagens para concluir um bate-papo porque preciso inserir dados diferentes (por exemplo, imagens, locais, links), esqueci algo de uma mensagem anterior ou simplesmente não quero caber tudo em um grande parágrafo.
·Entrada multimodal
No campo das aplicações multimodais, a maior parte dos esforços é despendida na construção de melhores modelos e menos na construção de melhores interfaces. Veja o chatbot NeVA da NVIDIA como exemplo. Não sou especialista em experiência do usuário, mas acho que pode haver espaço para melhorias aqui.
PS Desculpe, equipe NeVA, por nomear você. Mesmo assim, seu trabalho é incrível!
Figura: Interface NeVA da NVIDIA
·Integrar IA generativa em fluxos de trabalho
Linus Lee aborda isso muito bem em sua palestra "Interface generativa de IA além dos chats". Por exemplo, se você quiser fazer uma pergunta sobre uma coluna do gráfico na qual está trabalhando, basta apontar para essa coluna e perguntar.
·Editar e excluir mensagens
Como editar ou remover a entrada do usuário altera o fluxo da conversa com o chatbot?
10 Construindo LLMs para idiomas diferentes do inglês
Sabemos que os atuais LLMs ministrados em inglês têm um desempenho fraco em muitos outros idiomas, seja em termos de desempenho, latência ou velocidade.
Aqui estão estudos relevantes que você pode consultar:
·ChatGPT além do inglês: rumo a uma utilização abrangente de grandes modelos linguísticos na aprendizagem multilíngue (Lai et al., 2023)
·Todos os idiomas NÃO são criados (tokenizados) iguais (Yennie Jun, 2023)
Alguns leitores me disseram que não acham que eu deveria seguir essa direção por dois motivos.
Esta é mais uma questão “logística” do que uma questão de pesquisa. Já sabemos como fazer. Alguém só precisa investir dinheiro e esforço.
Isso não é inteiramente correto. A maioria dos idiomas são considerados idiomas de poucos recursos, pois possuem dados de muito menos qualidade do que o inglês ou o chinês, por exemplo, e podem exigir técnicas diferentes para treinar grandes modelos de idiomas.
Aqui estão estudos relevantes que você pode consultar:
·Línguas de poucos recursos: uma revisão de trabalhos anteriores e desafios futuros (Magueresse et al., 2020)
·JW300: Um corpus paralelo de ampla cobertura para idiomas de poucos recursos (Agić et al., 2019)
Os mais pessimistas acreditam que no futuro muitas línguas desaparecerão e a Internet será dois mundos compostos por duas línguas: inglês e chinês. Essa forma de pensar não é nova. Alguém se lembra do Esperanto?
O impacto das ferramentas de IA, como a tradução automática e os chatbots, na aprendizagem de línguas permanece incerto. Eles ajudarão as pessoas a aprender novos idiomas mais rapidamente ou eliminarão totalmente a necessidade de aprender novos idiomas?
para concluir
Dos 10 desafios mencionados acima, alguns são realmente mais difíceis do que outros.
Por exemplo, penso que o item 10, Construindo LLMs para línguas não inglesas, aponta mais diretamente para tempo e recursos adequados.
O item 1, reduzir as alucinações, será mais difícil porque as alucinações são apenas LLMs realizando sua tarefa probabilística.
O item 4, tornar os LLMs mais rápidos e baratos, nunca alcançará um estado totalmente resolvido. Muito progresso foi feito nesta área e há mais por vir, mas nunca deixaremos de melhorar.
Os itens 5 e 6, nova arquitetura e novo hardware, são muito desafiadores e inevitáveis. Devido à relação simbiótica entre arquitetura e hardware, as novas arquiteturas precisam ser otimizadas para hardware comum, e o hardware precisa suportar arquiteturas comuns. Eles podem ser liquidados pela mesma empresa.
Alguns desses problemas podem ser resolvidos com mais do que apenas conhecimento técnico. Por exemplo, o Item 8, Melhorar a Aprendizagem a partir das Preferências Humanas, pode ser mais uma questão estratégica do que técnica.
O item 9, melhorar a eficiência da interface de chat, é mais uma questão de experiência do usuário. Precisamos de mais pessoas com formação não técnica trabalhando juntas para resolver esses problemas.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Os principais talentos dos grandes modelos linguísticos só se preocupam com esses 10 desafios
Fonte: Silicon Rabbit Racing
Autor: Lin Ju Editor: Man Manzhou
**Nota do editor: este artigo explora os dez principais desafios na pesquisa de modelos de linguagem grande (LLM). O autor é Chip Huyen, que se formou na Universidade de Stanford e agora é o fundador da Claypot AI, uma plataforma de aprendizado de máquina em tempo real. Ela esteve anteriormente na NVIDIA, Snorkel AI, Netflix e Primer desenvolvendo ferramentas de aprendizado de máquina. **
Estou testemunhando uma situação sem precedentes: muitas das principais mentes do mundo estão agora dedicadas ao objetivo unificado de “tornar os modelos de linguagem (LLMs) melhores”.
Depois de conversar com muitos colegas da indústria e da academia, tentei resumir dez principais direções de pesquisa que estão em franca expansão:
1. Reduzir e medir alucinações (Nota do editor: alucinações, alucinações de IA, ou seja, partes incorretas ou sem sentido da produção de IA, embora tal produção seja sintaticamente razoável)
2. Otimize o comprimento e a construção do contexto
3. Integre outros modos de dados
4. Aumente a velocidade e reduza os custos dos LLMs
5. Projete uma nova arquitetura de modelo
6. Desenvolva alternativas de GPU
7. Melhore a disponibilidade do agente
8. Maior capacidade de aprender com as preferências humanas
9. Melhore a eficiência da interface de chat
10. Construindo LLMs para idiomas diferentes do inglês
Entre elas, as duas primeiras direcções, nomeadamente a redução das "ilusões" e a "aprendizagem contextual", podem ser as direcções mais populares neste momento. Pessoalmente, estou mais interessado nos itens 3 (multimodalidade), 5 (nova arquitetura) e 6 (alternativas de GPU).
01 Reduza e meça ilusões
Refere-se ao fenômeno que ocorre quando um modelo de IA cria conteúdo falso.
A ilusão é uma qualidade inevitável em muitas situações que exigem criatividade. No entanto, para a maioria dos outros cenários de aplicação, é uma desvantagem.
Recentemente participei de um grupo de discussão sobre LLM e conversei com pessoas de empresas como Dropbox, Langchain, Elastics e Anthropic, e eles acreditam que empresas em grande escala adoção O maior obstáculo à produção comercial de LLM é o problema da ilusão.
Mitigar o fenómeno das alucinações e desenvolver métricas para medi-las é um tema de investigação em expansão, com muitas startups focadas na resolução deste problema.
Atualmente, existem alguns métodos temporários para reduzir as alucinações, como adicionar mais contexto, cadeias de pensamento, autoconsistência às instruções ou exigir que o resultado do modelo permaneça conciso.
A seguir estão discursos relacionados que você pode consultar
·Pesquisa de alucinações na geração de linguagem natural (Ji et al., 2022)·Como as alucinações do modelo de linguagem podem crescer como uma bola de neve (Zhang et al., 2023)·Uma versão multitarefa, multilíngue e multimodal do ChatGPT sobre raciocínio, alucinação e interatividade (Bang et al., 2023)·Aprendizagem contrastiva reduz alucinações em conversas (Sun et al., 2022)·Autoconsistência melhora o raciocínio da cadeia de pensamento em modelos de linguagem (Wang et al., 2022)·SelfCheckGPT: caixa preta com recurso zero Detecção de alucinações para modelos generativos de grandes linguagens (Manakul et al., 2023)
02 Otimize o comprimento e a construção do contexto
A grande maioria dos problemas enfrentados pela IA requer contexto.
Por exemplo, se perguntarmos ao ChatGPT: “Qual restaurante vietnamita é o melhor?”, o contexto necessário pode ser “onde” porque o melhor restaurante no Vietnã pode ser diferente do melhor restaurante vietnamita nos Estados Unidos.
De acordo com o interessante artigo "SituatedQA" (Zhang & Choi, 2021), uma proporção considerável de questões de busca de informação tem respostas dependentes do contexto. Por exemplo, cerca de 16,5% das questões no conjunto de dados NQ-Open são deste tipo. .
Pessoalmente, penso que para cenários de aplicações empresariais, esta proporção pode ser ainda maior. Suponha que uma empresa construa um chatbot para clientes. Para que o robô seja capaz de responder a qualquer pergunta do cliente sobre qualquer produto, o contexto necessário pode ser o histórico do cliente ou informações sobre o produto.
Como o modelo “aprende” com o contexto que lhe é fornecido, esse processo também é conhecido como aprendizagem contextual.
O RAG pode ser simplesmente dividido em duas etapas:
Fase 1: Chunking (também chamado de indexação)
Colete todos os documentos a serem usados pelo LLM, divida esses documentos em partes que podem ser alimentadas no LLM para gerar embeddings e armazene esses embeddings em um banco de dados vetorial.
Segunda etapa: consulta
Quando um usuário envia uma consulta, como “Minha apólice de seguro cobrirá este medicamento
Quanto maior o comprimento do contexto, mais blocos podemos inserir no contexto. Mas será que quanto mais informação um modelo tiver acesso, melhores serão as suas respostas?
Nem sempre é esse o caso. Quanto contexto um modelo pode usar e quão eficientemente o modelo será usado são duas questões diferentes. Tão importante quanto aumentar o comprimento do contexto do modelo é o aprendizado mais eficiente do contexto, que também é chamado de "engenharia de dicas".
Um artigo recente e amplamente divulgado mostra que os modelos têm um desempenho muito melhor na compreensão das informações do início e do final do índice do que do meio: Perdidos no meio: como os modelos de linguagem usam contextos longos (Liu et al., 2023).
03Integrar outros modos de dados
Na minha opinião, a multimodalidade é muito poderosa, mas muitas vezes subestimada.
Em primeiro lugar, muitos cenários de aplicação da vida real requerem o processamento de grandes quantidades de dados multimodais, tais como cuidados de saúde, robótica, comércio eletrónico, retalho, jogos, entretenimento, etc. As previsões médicas exigem o uso de texto (como anotações médicas, questionários de pacientes) e imagens (como tomografia computadorizada, raio-X, ressonância magnética); os dados do produto geralmente incluem imagens, vídeos, descrições e até dados tabulares (como data de produção, peso, cor).
Em segundo lugar, a multimodalidade promete trazer enormes melhorias no desempenho do modelo. Um modelo que pudesse compreender texto e imagens não teria um desempenho melhor do que um modelo que pudesse compreender apenas texto? Os modelos baseados em texto requerem grandes quantidades de dados de texto, e agora estamos realmente preocupados com a falta de dados da Internet para treinar modelos baseados em texto. Esgotado o texto, precisamos aproveitar outras modalidades de dados.
A seguir estão vários desenvolvimentos de pesquisa multimodais pendentes:· [CLIP] Aprendendo modelos visuais transferíveis a partir da supervisão de linguagem natural (OpenAI, 2021)·Flamingo: um modelo de linguagem visual para aprendizagem de poucas tentativas (DeepMind, 2022)·BLIP-2: Inicializando o pré-treinamento de linguagem-imagem com codificadores de imagem congelados e modelos de linguagem grandes (Salesforce, 2023)·KOSMOS-1: A linguagem não é tudo que você precisa: Alinhando a percepção com modelos de linguagem (Microsoft, 2023)·PaLM-E: Um modelo de linguagem multimodal incorporado (Google, 2023)·LLaVA: Ajuste de instrução visual (Liu et al., 2023)·NeVA: NeMo Vision and Language Assistant (NVIDIA, 2023)
04Melhorando a velocidade e reduzindo custos de LLMs
Quando o GPT-3.5 foi lançado pela primeira vez no final de novembro de 2022, muitas pessoas expressaram preocupações sobre os atrasos e custos de utilização do modelo em produção.
Agora, a análise de atraso/custo causada pelo uso do GPT-3.5 tomou um novo rumo. Em meio ano, toda a comunidade de modelagem encontrou uma nova maneira de criar um modelo quase próximo do GPT-3.5 em termos de desempenho, mas com menos de 2% do consumo de memória.
Um dos meus argumentos é: se você criar algo bom o suficiente, outra pessoa encontrará uma maneira de torná-lo rápido e econômico.
É importante notar que, no geral, o desempenho destes modelos está longe de ser perfeito. Para o LLM, ainda é muito difícil melhorar significativamente o desempenho.
Lembro-me de que há quatro anos, quando comecei a escrever as notas para a seção "Compressão de Modelo" do livro "Projetando Sistemas de Aprendizado de Máquina", havia quatro técnicas principais de otimização/compressão de modelo na indústria:
Quantificação: de longe o método de otimização de modelo mais comum. A quantização reduz o tamanho do modelo usando menos bits para representar os parâmetros do modelo.Por exemplo, em vez de usar 32 bits para representar números de ponto flutuante, apenas 16 bits ou mesmo 4 bits são usados.
Destilação de conhecimento: isto é, treinar um modelo pequeno (modelo de aluno), que pode imitar um modelo maior ou conjunto de modelos (modelo de professor).
Decomposição de baixa classificação: Sua ideia principal é usar tensores de baixa dimensão para substituir tensores de alta dimensão para reduzir o número de parâmetros. Por exemplo, um tensor 3x3 pode ser decomposto no produto de um tensor 3x1 e um tensor 1x3, de modo que em vez de 9 parâmetros, existam apenas 6 parâmetros.
Poda: refere-se à redução do tamanho do modelo removendo pesos ou conexões do modelo que contribuem menos para o desempenho geral.
Essas quatro técnicas ainda são populares hoje. Alpaca é treinado por meio de destilação de conhecimento, enquanto QLoRA usa uma combinação de decomposição e quantização de baixo escalão.
05Projetar nova arquitetura de modelo
Desde AlexNet em 2012, vimos muitas arquiteturas irem e virem, incluindo LSTM, seq2seq, etc.
Comparado com essas arquiteturas, o Transformer, lançado em 2017, é extremamente estável, embora não esteja claro por quanto tempo essa arquitetura será popular.
Não é fácil desenvolver uma nova arquitetura que possa superar o Transformer. Nos últimos 6 anos, o Transformer passou por muita otimização. Em hardware adequado, a escala e o efeito deste modelo podem alcançar resultados surpreendentes (PS: O Transformer foi projetado pela primeira vez pelo Google para rodar rapidamente em TPU e mais tarde foi otimizado no GPU).
Em 2021, a pesquisa "Modelagem Eficiente de Sequências Longas com Espaços de Estados Estruturados" (Gu et al., 2021) do laboratório de Chris Ré desencadeou muitas discussões na indústria. Não tenho certeza do que aconteceu a seguir. Mas o Chris Ré Labs ainda está desenvolvendo ativamente novas arquiteturas e lançou recentemente uma arquitetura chamada Monarch Mixer em parceria com a startup Together.
A ideia principal deles é que, para a arquitetura Transformer existente, a complexidade da atenção seja proporcional ao quadrado do comprimento da sequência, e a complexidade do MLP seja proporcional ao quadrado da dimensão do modelo. Arquiteturas com complexidade subquadrática serão mais eficientes.
06Desenvolvimento de alternativas de GPU
Desde o advento do AlexNet em 2012, a GPU tem sido o principal hardware para aprendizado profundo.
Na verdade, uma das razões geralmente reconhecidas para a popularidade do AlexNet é que ele foi o primeiro artigo a usar GPUs com sucesso para treinar redes neurais. Antes das GPUs, se você quisesse treinar um modelo do tamanho do AlexNet, precisaria de milhares de CPUs, assim como o servidor que o Google lançou alguns meses antes do AlexNet.
Em comparação com milhares de CPUs, algumas GPUs são mais acessíveis a estudantes de doutoramento e investigadores, desencadeando um boom na investigação em aprendizagem profunda.
Na última década, muitas empresas, tanto grandes como startups, tentaram criar novo hardware para inteligência artificial. As tentativas mais notáveis incluem TPU do Google, IPU da Graphcore e Cerebras. SambaNova também arrecadou mais de US$ 1 bilhão para desenvolver novos chips de IA, mas parece ter se transformado em uma plataforma generativa de IA.
Nesse período, a computação quântica também despertou muitas expectativas, entre as quais os principais players incluem:
· Processador quântico da IBM
·O computador quântico do Google. Um marco importante na redução de erros quânticos foi relatado na Nature no início deste ano. Sua máquina virtual quântica é acessível publicamente por meio do Google Colab.
·Laboratórios de pesquisa em universidades, como MIT Quantum Engineering Center, Max Planck Institute for Quantum Optics, Chicago Quantum Exchange Center, etc.
Outra direção igualmente interessante são os chips fotônicos. Esta é a direção que menos conheço. Se houver algum erro, corrija-me.
Os chips existentes usam eletricidade para transmitir dados, o que consome muita energia e cria latência. Os chips fotônicos usam fótons para transmitir dados, aproveitando a velocidade da luz para uma computação mais rápida e eficiente. Várias startups neste espaço levantaram centenas de milhões de dólares, incluindo Lightmatter (US$ 270 milhões), Ayar Labs (US$ 220 milhões), Lightelligence (US$ 200 milhões+) e Luminous Computing (US$ 115 milhões).
A seguir está o cronograma de progresso dos três métodos principais de cálculo da matriz de fótons, extraído de Multiplicação de matriz fotônica acende acelerador fotônico e além (Zhou et al., Nature 2022). Os três métodos diferentes são Conversão Planar de Luz (PLC), Interferômetro Mach-Zehnder (MZI) e Multiplexação por Divisão de Comprimento de Onda (WDM).
07Melhorando a disponibilidade do agente
Os agentes podem ser considerados LLMs que podem realizar ações, como navegar na Internet, enviar e-mails, etc. Em comparação com outras direções de pesquisa neste artigo, esta pode ser a direção mais jovem.
Há grande interesse nos agentes devido à sua novidade e grande potencial. Auto-GPT é agora a 25ª biblioteca mais popular em número de estrelas no GitHub. GPT-Engineering também é outra biblioteca popular.
Apesar disso, ainda há dúvidas sobre se os LLMs são suficientemente confiáveis, têm um bom desempenho e possuem certas capacidades operacionais.
Agora existe uma direção de aplicação interessante, que é a utilização de agentes para pesquisas sociais. Uma experiência de Stanford mostrou que um pequeno grupo de agentes generativos produziu um comportamento social emergente: começando com apenas uma ideia especificada pelo utilizador, de que um agente queria organizar uma festa de Dia dos Namorados, vários outros agentes espalharam-na de forma autónoma durante os dois dias seguintes. Convites para festas, fazer novos amigos, convidar uns aos outros para festas... (Agentes Geradores: Simulacros Interativos do Comportamento Humano, Park et al., 2023).
Talvez a startup mais notável neste espaço seja a Adept, fundada por dois coautores do Transformer (embora ambos tenham saído desde então) e um ex-vice-presidente da OpenAI, e que arrecadou quase US$ 500 milhões até o momento em dólares. No ano passado, eles mostraram como seu agente poderia navegar na Internet e adicionar novas contas no Salesforce. Estou ansioso para ver sua nova demo 🙂.
08 Melhorando a capacidade de aprender com as preferências humanas
RLHF (Aprendizagem por Reforço a partir da Preferência Humana) é legal, mas um pouco tedioso.
Não estou surpreso que as pessoas encontrem maneiras melhores de treinar LLMs. Existem muitas questões em aberto sobre RLHF, tais como:
·Como representar matematicamente as preferências humanas?
Atualmente, as preferências humanas são determinadas através de comparação: um anotador humano determina se a resposta A é melhor que a resposta B. No entanto, não leva em conta até que ponto específico a resposta A é melhor ou pior que a resposta B.
·Quais são as preferências humanas?
A Anthropic mede a qualidade das respostas do modelo em três dimensões: útil, honesta e inofensiva. Artigo de referência: IA constitucional: inocuidade do feedback da IA (Bai et al., 2022).
A DeepMind tenta gerar respostas que agradem melhor ao maior número de pessoas. Artigo de referência: Ajustando modelos de linguagem para encontrar acordo entre humanos com preferências diversas (Bakker et al., 2022).
Além disso, queremos uma IA que possa tomar posição ou uma IA genérica que evite falar sobre qualquer tema potencialmente controverso?
·De quem são as preferências “humanas”, tendo em conta diferenças de cultura, religião, tendências políticas, etc.?
Existem muitos desafios na obtenção de dados de formação que sejam suficientemente representativos de todos os potenciais utilizadores.
Por exemplo, os dados InstructGPT da OpenAI não possuem anotadores com mais de 65 anos. Os taggers são principalmente filipinos e bangladeshianos. Artigo de referência: InstructGPT: Treinamento de modelos de linguagem para seguir instruções com feedback humano (Ouyang et al., 2022).
09Melhore a eficiência da interface de chat
Desde a introdução do ChatGPT, tem havido uma discussão contínua sobre se o chat é adequado para uma ampla gama de tarefas. por exemplo:
·A linguagem natural é a interface de usuário preguiçosa (Austin Z. Henley, 2023)
·Por que os chatbots não são o futuro (Amelia Wattenberger, 2023)
·Que tipos de perguntas exigem conversa para serem respondidas? Um estudo de caso de perguntas do AskReddit (Huang et al., 2023)
·Interfaces de chat de IA podem se tornar a principal interface de usuário para leitura de documentação (Tom Johnson, 2023)
·Interagindo com LLMs com bate-papo mínimo (Eugene Yan, 2023)
Contudo, esta não é uma discussão nova. Em muitos países, especialmente na Ásia, o chat tem sido usado como interface para superaplicativos há cerca de uma década. Dan Grover discutiu esse fenômeno em 2014.
·No chat como interface (Alistair Croll, 2016)
·A tendência do Chatbot é um grande mal-entendido? (Will Knight, 2016)
·Os bots não substituirão os aplicativos. Melhores aplicativos substituirão os aplicativos (Dan Grover, 2016)
Pessoalmente, gosto da interface de chat pelos seguintes motivos:
A interface de bate-papo é aquela que todos (mesmo pessoas sem experiência anterior com computadores ou Internet) podem aprender a usar rapidamente.
Quando fiz voluntariado num bairro de baixos rendimentos no Quénia, no início da década de 2010, fiquei surpreendido ao ver como todos se sentiam confortáveis com serviços bancários através de mensagens de texto nos seus telefones. Mesmo que ninguém naquela comunidade tenha um computador.
A interface de bate-papo geralmente é de fácil acesso. Também podemos usar a fala em vez de texto se nossas mãos estiverem ocupadas com outras coisas.
A interface de chat também é uma interface muito poderosa, pois responderá a qualquer solicitação feita pelo usuário, mesmo que algumas das respostas não sejam muito boas.
No entanto, acho que existem algumas áreas onde a interface do chat poderia ser melhorada:
·Múltiplas mensagens em uma rodada
Atualmente, presumimos que haja apenas uma mensagem por vez. Mas quando meus amigos e eu enviamos mensagens de texto, muitas vezes são necessárias várias mensagens para concluir um bate-papo porque preciso inserir dados diferentes (por exemplo, imagens, locais, links), esqueci algo de uma mensagem anterior ou simplesmente não quero caber tudo em um grande parágrafo.
·Entrada multimodal
No campo das aplicações multimodais, a maior parte dos esforços é despendida na construção de melhores modelos e menos na construção de melhores interfaces. Veja o chatbot NeVA da NVIDIA como exemplo. Não sou especialista em experiência do usuário, mas acho que pode haver espaço para melhorias aqui.
PS Desculpe, equipe NeVA, por nomear você. Mesmo assim, seu trabalho é incrível!
·Integrar IA generativa em fluxos de trabalho
Linus Lee aborda isso muito bem em sua palestra "Interface generativa de IA além dos chats". Por exemplo, se você quiser fazer uma pergunta sobre uma coluna do gráfico na qual está trabalhando, basta apontar para essa coluna e perguntar.
·Editar e excluir mensagens
Como editar ou remover a entrada do usuário altera o fluxo da conversa com o chatbot?
10 Construindo LLMs para idiomas diferentes do inglês
Sabemos que os atuais LLMs ministrados em inglês têm um desempenho fraco em muitos outros idiomas, seja em termos de desempenho, latência ou velocidade.
Aqui estão estudos relevantes que você pode consultar:
·ChatGPT além do inglês: rumo a uma utilização abrangente de grandes modelos linguísticos na aprendizagem multilíngue (Lai et al., 2023)
·Todos os idiomas NÃO são criados (tokenizados) iguais (Yennie Jun, 2023)
Esta é mais uma questão “logística” do que uma questão de pesquisa. Já sabemos como fazer. Alguém só precisa investir dinheiro e esforço.
Isso não é inteiramente correto. A maioria dos idiomas são considerados idiomas de poucos recursos, pois possuem dados de muito menos qualidade do que o inglês ou o chinês, por exemplo, e podem exigir técnicas diferentes para treinar grandes modelos de idiomas.
Aqui estão estudos relevantes que você pode consultar:
·Línguas de poucos recursos: uma revisão de trabalhos anteriores e desafios futuros (Magueresse et al., 2020)
·JW300: Um corpus paralelo de ampla cobertura para idiomas de poucos recursos (Agić et al., 2019)
Os mais pessimistas acreditam que no futuro muitas línguas desaparecerão e a Internet será dois mundos compostos por duas línguas: inglês e chinês. Essa forma de pensar não é nova. Alguém se lembra do Esperanto?
O impacto das ferramentas de IA, como a tradução automática e os chatbots, na aprendizagem de línguas permanece incerto. Eles ajudarão as pessoas a aprender novos idiomas mais rapidamente ou eliminarão totalmente a necessidade de aprender novos idiomas?
para concluir
Dos 10 desafios mencionados acima, alguns são realmente mais difíceis do que outros.
Por exemplo, penso que o item 10, Construindo LLMs para línguas não inglesas, aponta mais diretamente para tempo e recursos adequados.
O item 1, reduzir as alucinações, será mais difícil porque as alucinações são apenas LLMs realizando sua tarefa probabilística.
O item 4, tornar os LLMs mais rápidos e baratos, nunca alcançará um estado totalmente resolvido. Muito progresso foi feito nesta área e há mais por vir, mas nunca deixaremos de melhorar.
Os itens 5 e 6, nova arquitetura e novo hardware, são muito desafiadores e inevitáveis. Devido à relação simbiótica entre arquitetura e hardware, as novas arquiteturas precisam ser otimizadas para hardware comum, e o hardware precisa suportar arquiteturas comuns. Eles podem ser liquidados pela mesma empresa.
Alguns desses problemas podem ser resolvidos com mais do que apenas conhecimento técnico. Por exemplo, o Item 8, Melhorar a Aprendizagem a partir das Preferências Humanas, pode ser mais uma questão estratégica do que técnica.
O item 9, melhorar a eficiência da interface de chat, é mais uma questão de experiência do usuário. Precisamos de mais pessoas com formação não técnica trabalhando juntas para resolver esses problemas.