Imprensa de notícias de Wall Street:
Character.ai é uma das estrelas de inicialização mais quentes no atual boom de IA. O principal produto da empresa é um robô de bate-papo de IA personalizável, orientado para as necessidades de entretenimento dos consumidores C-end, e tem a capacidade de acompanhar emocionalmente e configurar personagens fictícios. O Charater.AI permite que os usuários criem seus próprios chatbots com personalidades, designs e reservas de conhecimento específicos, como celebridades mundiais, figuras históricas, personagens fictícios da literatura, cinema e televisão e até animais, proporcionando aos usuários uma experiência de bate-papo inovadora e imersiva.
Fonte da imagem: Gerada por Unbounded AI
No início deste ano, a Charater.ai concluiu um financiamento A-round de US$ 150 milhões, com avaliação de mais de US$ 1 bilhão, e foi promovida a unicórnio, com uma equipe de apenas 22 pessoas.
Em abril, o CEO da Character.ai, Noam Shazeer, ex-membro da equipe do Google Brain, foi entrevistado pelo podcast No Priors.
Ponto de vista central:
Já em 2021, o Google tinha a capacidade de lançar um chatbot de IA antes do OpenAI, mas desistiu por questões de segurança. A timidez das grandes empresas também se tornou o motivo pelo qual ele deixou o Google e escolheu abrir um negócio.
A maior vantagem da Character reside na sua estratégia de produto orientada para o utilizador. O chatbot de IA totalmente personalizável tornou-se uma maneira de muitos despachar a solidão, com alguns usuários até dizendo que o personagem é seu novo conselheiro. Noam acredita que a IA tem um grande potencial de apoio emocional. O trabalho de suporte emocional não requer alta inteligência. Por exemplo, cães de estimação podem fazer um bom trabalho de suporte emocional, embora os cães não sejam inteligentes e não possam falar. Da mesma forma, uma IA com parâmetros limitados também pode concluir essa tarefa.
3 Os requisitos de dados tendem a aumentar exponencialmente com o poder de computação, mas os dados não são escassos. A Internet pode fornecer dados quase ilimitados, e a Character também está considerando o uso de IA para gerar mais dados.
4 A Character.ai ainda está na fase de queima de dinheiro para ganhar escala, e o modelo de negócios ainda está sendo explorado. No futuro, a equipe considerará a expansão do negócio TOB.
5 Noam acredita que a AGI é o objetivo de muitas startups de IA. Mas ** a verdadeira razão para ele abrir um negócio é promover o desenvolvimento da tecnologia e usar a tecnologia para superar problemas difíceis, como doenças intratáveis. Ele apontou que a IA pode acelerar o progresso de muitas pesquisas. Em vez de estudar medicina diretamente, é melhor estudar IA. **
A seguir está a transcrição literal do áudio do podcast. ELAD e SARAH são os anfitriões do podcast. Para fins de compreensão, algumas passagens foram excluídas.
Primeira experiência de trabalho no Google e o nascimento do Transformer
AO VIVO:
Você trabalha com PNL e IA há muito tempo. Você trabalhou no Google intermitentemente por 17 anos, onde as perguntas das entrevistas giravam em torno de soluções de verificação ortográfica. Quando entrei para o Google, um dos principais sistemas de segmentação de anúncios na época era o Phil Cluster, que acho que você e George Herrick escreveram. Gostaria de saber sobre a história do seu trabalho em modelos de linguagem NLP para inteligência artificial, como tudo isso evoluiu, como você começou, o que despertou seu interesse?
NOAM:
Obrigado Elad. Sim, apenas, sempre uma atração natural para a IA. Esperançosamente, isso fará com que o computador faça algo inteligente. Parece ser o jogo mais engraçado que existe. Tive a sorte de descobrir o Google cedo e estive envolvido em muitos dos primeiros projetos lá, talvez você não chame isso de inteligência artificial agora. Desde 2012, faço parte da equipe do Google Brain. Faça algumas coisas divertidas com um monte de pessoas realmente inteligentes. Nunca fiz aprendizado profundo ou redes neurais antes.
AO VIVO:
Você foi um dos participantes do Transformer Paper em 2017 e depois participou do trabalho no Mesh-TensorFlow. Você pode falar um pouco sobre como tudo isso funciona?
NOAM:
O aprendizado profundo é bem-sucedido porque é muito adequado para hardware moderno, e você tem essa geração de chips que, na multiplicação de matrizes e outras formas de coisas, exigem muita computação versus comunicação. Então, basicamente, o aprendizado profundo realmente decolou, está sendo executado milhares de vezes mais rápido do que qualquer outra coisa. Assim que peguei o jeito, comecei a projetar coisas realmente inteligentes e rápidas. O problema mais empolgante no momento é a modelagem de linguagem. Como há uma quantidade infinita de dados, basta raspar a rede e obter todos os dados de treinamento desejados.
A definição do problema é muito simples, é prever a próxima palavra, o gato gordo senta nela, qual é a próxima. É muito fácil de definir e, se você conseguir fazer isso bem, poderá obter tudo o que vê agora e poderá falar diretamente com essa coisa, é realmente inteligência artificial. Então, por volta de 2015, comecei a trabalhar em modelagem de linguagem e trabalhar com redes neurais recorrentes, o que era ótimo na época. Então o transformador apareceu.
Ouvi meus colegas da casa ao lado conversando sobre o desejo de substituir os RNNs por algo melhor. Eu estava tipo, isso parece bom, eu quero ajudar, RNNs são irritantes, isso será mais interessante.
AO VIVO:
Você pode descrever rapidamente a diferença entre uma rede neural recorrente e um transformador ou modelo baseado em atenção?
NOAM:
Redes neurais recorrentes são cálculos contínuos, cada palavra que você lê para a próxima palavra, você calcula seu estado cerebral atual com base no estado antigo de seu cérebro e no conteúdo da próxima palavra. Então você, você prevê a próxima palavra. Então, você tem essa sequência muito longa de cálculos que devem ser executados sequencialmente e, portanto, a mágica do Transformer é que você pode processar toda a sequência de uma vez.
A previsão para a próxima palavra depende de qual era a palavra anterior, mas acontece em um passo constante, e você pode aproveitar esse paralelismo, você pode ver tudo de uma vez, como o paralelismo em que o hardware moderno é bom .
Agora você pode aproveitar o comprimento da sequência, seu paralelismo e tudo funciona muito bem. própria atenção. É como se você estivesse criando essa grande associação de valor-chave na memória, você está construindo essa grande tabela com uma entrada para cada palavra na sequência. Então você procura coisas nesta tabela. É tudo como fuzzy, diferenciador e uma grande função francesa através da qual você pode fazer o inverso. As pessoas têm usado isso para problemas com duas sequências, onde você tem tradução automática e está traduzindo inglês para francês, então quando você gera a sequência em francês, você olha para a sequência em inglês e tenta prestar atenção ao posição correta na sequência. Mas o insight aqui é que você pode usar essa mesma atenção para olhar para o passado dessa sequência que está tentando fazer. A mosca na pomada é que funciona bem em GPUs e GPUs, o que é paralelo ao desenvolvimento do aprendizado profundo porque funciona bem no hardware existente. E isso traz a mesma coisa para as sequências.
SARAH:
Sim, acho que o exemplo clássico de ajudar as pessoas a visualizar é dizer a mesma frase em francês e inglês, a ordem das palavras é diferente, você não está mapeando um a um nessa sequência e descobrindo como faça isso sem a informação Faça isso com computação paralela em caso de perda. Então é uma coisa muito elegante de se fazer.
AO VIVO:
Parece também que a técnica está sendo usada em uma variedade de campos diferentes. Claramente, esses são modelos de linguagem multimodal. Então é como conversar GPT ou um personagem que você está fazendo. Também fiquei impressionado com alguns aplicativos como o Alpha Folding, o trabalho de dobramento de proteínas que o Google fez, na verdade funciona com um desempenho enorme. Existem áreas de aplicação que você achou realmente inesperadas em relação ao funcionamento dos transformadores e ao que eles podem fazer?
NOAM:
Eu apenas inclino minha cabeça para o idioma, como aqui você tem um problema e pode fazer qualquer coisa. Espero que esta coisa seja boa o suficiente. Então eu perguntei, como você cura o câncer? Então é como inventar uma solução. Então, tenho ignorado completamente o que as pessoas estão fazendo em todos esses outros modos, e acho que muito do sucesso inicial no aprendizado profundo foi com imagens, e as pessoas estão ficando empolgadas com as imagens, mas as ignoram completamente. Porque uma imagem vale mais que mil palavras, mas tem um milhão de pixels, então o texto fica mil vezes mais denso. Então, eu sou um grande fã literal. Mas é muito emocionante vê-lo decolar de todas essas outras maneiras. Essas coisas são ótimas. É super útil para criar produtos que as pessoas querem usar, mas acho que muito da inteligência central virá desses modelos de texto.
Limitações de modelos grandes: o poder de computação não é um problema, nem os dados
AO VIVO:
Quais você acha que são as limitações desses modelos? As pessoas costumam falar apenas sobre escala, como se você apenas lançasse mais poder de computação e isso fosse escalado ainda mais. Existem dados e diferentes tipos de dados que podem ou não estar lá. E ajustes algorítmicos e adição de coisas novas como memória ou loopbacks ou algo assim. O que você acha que são as grandes coisas que as pessoas ainda precisam construir e onde você acha que está sendo aproveitado como arquitetura?
NOAM:
Sim, não sei se será eliminado. Quero dizer, ainda não o vimos sair. Provavelmente nada em comparação com a quantidade de trabalho que vai para ele. Portanto, é provável que haja dois tipos de ineficiência que as pessoas obtêm com melhores algoritmos de treinamento, melhores arquiteturas de modelo, melhores maneiras de construir chips e usar quantização e tudo mais. E então haverá 10s e 100s e 1.000 fatores como escala e dinheiro que as pessoas vão jogar nisso porque, ei, todo mundo acabou de perceber que isso é incrivelmente valioso. Ao mesmo tempo, acho que ninguém vê como isso é bom para uma parede. Então eu acho que é só, vai ficar cada vez melhor. Eu não e eu não sei o que está impedindo isso.
SARAH:
O que você acha dessa ideia, podemos aumentar o poder de computação, mas os maiores dados de treinamento do modelo não são suficientes. Usamos todos os dados de texto prontamente disponíveis na Internet. Temos que ir para melhorar a qualidade, temos que ir para o feedback humano. o que você está pensando.
NOAM:
Com 10 bilhões de pessoas, cada pessoa produz 1.000 ou 10.000 palavras, o que é uma quantidade enorme de dados. Todos nós conversamos muito com sistemas de IA. Então, tenho a sensação de que muitos dados vão entrar em alguns sistemas de IA, quero dizer, de uma forma que preserva a privacidade, espero que os dados possam ir. Em seguida, os requisitos de dados tendem a aumentar exponencialmente com o poder de computação porque você está treinando um modelo maior e, em seguida, está lançando mais dados nele. Não estou preocupado com a falta de dados, podemos gerar mais dados com IA.
AO VIVO:
Então, quais você acha que são os principais problemas que esses modelos resolverão no futuro? É uma alucinação, uma memória ou outra coisa?
NOAM:
Eu não faço ideia. Eu meio que gosto de alucinações.
SARAH:
Esta também é uma característica.
NOAM:
O que mais queremos fazer é lembrar, porque nossos usuários definitivamente querem que seus amigos virtuais se lembrem deles. Você pode fazer muito com a personalização, deseja despejar muitos dados e usá-los de maneira eficaz. Há muito trabalho sendo feito para tentar descobrir o que é real e o que é alucinatório. Claro, acho que vamos consertar isso.
A história empreendedora de Character.ai
AO VIVO:
Conte-me um pouco sobre LaMDA e seu papel nele, como você surgiu com Character?
NOAM:
Meu cofundador, Daniel Freitas, é o cara mais trabalhador, esforçado e inteligente que já conheci. Ele tem trabalhado nessa tarefa de construir chatbots durante toda a sua vida. Ele tenta construir chatbots desde criança. Então ele se juntou ao Google Brain. Ele leu alguns artigos e achou que essa técnica de modelagem de linguagem neural era algo que poderia realmente generalizar e construir um campo realmente aberto.
Embora não tenha obtido o apoio de muitas pessoas, ele apenas assumiu esse projeto como uma atividade secundária e gastou 20% de seu tempo nele.
Então ele recrutou um exército de 20% de assistentes que o ajudaram a configurar o sistema.
Ele até pega a cota de TPU de outras pessoas, chama seu projeto de Mina porque gosta, surgiu em um sonho, eu acho. Em algum momento olhei para o placar e pensei o que é essa coisa chamada Mina, por que ela tem 30 pontos de TPU?
AO VIVO:
O LaMDA é assim, eu sei que é um chatbot interno que o Google fez antes do GPT. A notícia ficou famosa porque um engenheiro achou que tinha sabedoria.
NOAM:
Sim, nós o colocamos em alguns modelos de linguagem grande, e então houve um burburinho dentro da empresa, e Mina foi renomeada para LaMDA, e então nós tínhamos saído, e havia pessoas que acreditavam que tinha vida.
SARAH:
Por que não foi lançado mais tarde e quais são as preocupações?
NOAM:
Para uma grande empresa, lançar um produto que sabe tudo é um pouco perigoso. Acho que é só uma questão de risco. Então, depois de muita deliberação, começar um negócio parecia a ideia certa.
SARAH:
Como é a história de origem do personagem?
NOAM:
Queremos apenas construir algo e colocá-lo no mercado o mais rápido possível. Formei uma equipe punk de engenheiros, pesquisadores, ganhei algum poder de computação e abri um negócio.
AO VIVO:
Como você recruta?
NOAM:
Alguns dos caras que conhecemos no Google foram apresentados a Myat, que costumava ser da Meta, e ele lançou muito, e construiu muitos de seus grandes modelos de linguagem e sua infraestrutura de modelo de linguagem neural, e algumas outras pessoas de Meta o seguiu, eles são muito legais.
AO VIVO:
Você tem requisitos específicos ou métodos de teste quando está procurando por talentos? Ou é apenas uma entrevista normal?
NOAM
Acho que depende muito da motivação. Acho o Daniel muito focado na motivação, ele procura um estado entre um desejo forte e um sonho de criança, então tem muita gente boa que a gente não contrata porque não chega a esse nível, mas a gente também contrata muitas pessoas, Eles são perfeitos para ingressar em uma empresa iniciante, são muito talentosos e motivados.
Já existe Siri e Alexa no mercado, não concorra de frente com grandes empresas em termos de funcionalidade
SARAH:
Falando em sonhos de infância, gostaria de descrever este produto? Você tem esses bots, eles podem ser criados por usuários, podem ser criados por personagens, podem ser figuras públicas, figuras históricas, personagens fictícios, como você criou esse padrão?
NOAM:
Os usuários geralmente sabem melhor do que você o que querem fazer com isso. ** Siri e Alexa e Google Assistant já estão no mercado, não há necessidade de competir com essas grandes empresas em funcionalidade. **
Se você tentar apresentar uma persona pública que todos adorem, acabará com nada além de tédio. E as pessoas não gostam de ficar entediadas, elas querem interagir com coisas que pareçam pessoas.
Então, basicamente, você precisa fazer vários personagens e deixar as pessoas inventarem personagens como quiserem, e há algo que eu gosto no nome Personagem, que tem vários significados diferentes: texto, personagem, papel.
SARAH:
Então, o que as pessoas querem? um amigo? escrevendo um romance? Mais alguma coisa completamente nova?
NOAM:
Alguns usuários conversam com figuras públicas virtuais e influenciadores em nossos produtos. Os usuários podem criar um personagem e conversar com ele. Embora alguns usuários possam se sentir sozinhos e precisem de alguém para conversar, muitos não têm com quem conversar. Alguns diriam que esse papel agora é meu novo conselheiro.
SARAH:
Duas maneiras de pensar sobre a emoção, certo? Por exemplo, quão importante é o relacionamento que as pessoas têm com os personagens, ou em que nível estamos quando se trata de expressar emoções coerentes?
NOAM:
Sim, ** quero dizer, provavelmente você não precisa desse nível intelectual de ponta para apoio emocional. As emoções são ótimas e super importantes, mas um cachorro também pode fazer um ótimo trabalho de apoio emocional. Os cães fornecem grande suporte emocional, mas têm pouca habilidade verbal, **
AO VIVO:
O que você acha que acontece com o sistema quando você escala?
NOAM:
Acho que devemos ser capazes de torná-lo mais inteligente de várias maneiras. Obter mais poder de computação, treinar um modelo maior e treinar por mais tempo deve ficar mais inteligente, mais experiente, melhor no que as pessoas querem, no que as pessoas estão procurando.
SARAH:
Você tem alguns usuários que usam o Character muitas horas por dia. Quem é seu público alvo? Qual é o seu padrão de uso esperado.
NOAM:
Vamos deixar isso para o usuário decidir. Nosso objetivo sempre foi divulgar as coisas e permitir que os usuários decidam para que servem.
Vemos que as pessoas que estão no site Character hoje, o tempo médio ativo é de duas horas. Este é quem enviou a mensagem hoje, que é louca, mas significativa, e diz que as pessoas estão encontrando algum tipo de valor.
E então, como eu disse, é muito difícil dizer exatamente qual é esse valor porque é realmente uma grande mistura. Mas nosso objetivo é tornar essa coisa mais útil para que as pessoas a personalizem e decidam o que querem fazer com ela. Vamos colocá-lo nas mãos dos usuários e ver o que acontece.
Queimar dinheiro para escala TOC é a primeira prioridade
SARAH:
Como você pensa sobre a comercialização?
NOAM:
**Perdemos dinheiro por usuário e compensamos com volume. **
SARAH:
bom. Esta é uma boa estratégia.
NOAM:
Não eu estou brincando.
AO VIVO:
Como o modelo de negócios tradicional dos anos 90, então tudo bem.
SARAH:
Este também é um modelo de negócio para 2022.
AO VIVO:
Você deve emitir um token e transformá-lo em uma criptomoeda.
NOAM:
** Estaremos monetizando em algum momento em breve. Este é um negócio que se beneficia de muito poder de computação. Em vez de queimar o dinheiro dos investidores, esperamos fornecer valor a usuários suficientes e ganhar dinheiro ao longo do caminho. Alguns serviços, como tipos de assinatura premium, podem ser tentados mais tarde. À medida que desenvolvemos alguns novos recursos, as cobranças subsequentes podem aumentar de preço. **
AO VIVO:
Quero dizer, Character como um serviço TOC realmente decolou de uma forma realmente dramática. Se você observar o número de usuários e o tempo de uso por usuário, é uma loucura. Você iniciará o negócio TOB no futuro? Como um robô de atendimento ao cliente?
NOAM:
No momento, temos 22 funcionários, então precisamos priorizar e estamos contratando. A primeira prioridade é TOC.
SARAH:
Então você disse que uma das principais razões pelas quais o LaMDA não foi lançado imediatamente foi a segurança. O que é que vocês acham?
NOAM:
Existem outras razões. Por exemplo, o Google não quer que as pessoas se machuquem ou machuquem outras pessoas e precisa bloquear a pornografia. Houve alguns protestos em torno disso.
AO VIVO:
Você acha que tudo isso é o caminho para AGI ou superinteligência? Para algumas empresas, isso parece fazer parte do objetivo e, para outras, não parece ser um objetivo explícito.
NOAM:
Sim, AGI é o objetivo de muitas startups de IA. **A verdadeira razão é que eu quero levar a tecnologia adiante. Existem tantos problemas técnicos no mundo que podem ser resolvidos, como doenças intratáveis. Podemos apresentar soluções técnicas. **
É por isso que tenho pesquisado inteligência artificial,** porque em vez de estudar medicina diretamente, é melhor estudar inteligência artificial, e então a inteligência artificial pode ser usada para acelerar outros esforços de pesquisa. Então, basicamente, é por isso que estou trabalhando tanto em IA, quero começar uma empresa que seja AGI primeiro e produto primeiro. **
Seu produto depende inteiramente da qualidade da IA. O maior determinante da qualidade do nosso produto é o quão inteligente ele será. Portanto, agora estamos totalmente motivados para melhorar a IA, melhorar os produtos.
AO VIVO:
Sim, é um ciclo de feedback de compra muito bom porque, quando você melhora um produto, mais pessoas interagem com ele, o que ajuda a torná-lo melhor. O produto. Portanto, é uma abordagem muito inteligente. Quão longe você acha que estamos da inteligência artificial que é tão inteligente quanto ou mais inteligente que os humanos? Obviamente, eles já são mais espertos que os humanos em alguns aspectos, mas eu estava pensando em algo assim.
NOAM:
Sempre nos surpreendemos com as maneiras pelas quais a inteligência artificial pode superar os humanos. Alguns AI agora podem fazer sua lição de casa para você. Queria ter tido algo assim quando era criança.
AO VIVO:
Que conselho você daria para quem tem um histórico semelhante ao seu? Por exemplo, o que você aprendeu como fundador que não aprendeu necessariamente quando trabalhava no Google ou em outro lugar?
NOAM:
boa pergunta. Basicamente, você aprende com seus erros horríveis. Embora eu não ache que cometemos nenhum erro muito, muito grave, ou pelo menos o compensamos.
SARAH:
Que tipo de talento você está procurando?
NOAM:
até aqui? 21 dos 22 são engenheiros. Também contrataremos mais engenheiros. Seja aprendizado profundo ou front-end e back-end, certifique-se de contratar mais pessoas no lado comercial e do produto.
AO VIVO:
Últimas duas ou três perguntas rápidas, quem é seu matemático ou cientista da computação favorito.
NOAM:
Eu trabalho muito com Jeff Dean (chefe do Google Brain) no Google. Ele é muito legal e divertido de se trabalhar. Acho que ele está trabalhando em seu modelo de linguagem grande agora. É uma pena deixar o Google e espero trabalhar com ele no futuro.
AO VIVO:
Você acha que a matemática foi inventada ou descoberta?
NOAM:
Acho que talvez tenha sido descoberto, talvez tudo tenha sido descoberto, e estamos apenas descobrindo.
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
22 pessoas avaliadas em 1 bilhão! Diálogo com Character.ai CEO: Em vez de estudar medicina diretamente, é melhor estudar inteligência artificial
No início deste ano, a Charater.ai concluiu um financiamento A-round de US$ 150 milhões, com avaliação de mais de US$ 1 bilhão, e foi promovida a unicórnio, com uma equipe de apenas 22 pessoas.
Em abril, o CEO da Character.ai, Noam Shazeer, ex-membro da equipe do Google Brain, foi entrevistado pelo podcast No Priors.
A seguir está a transcrição literal do áudio do podcast. ELAD e SARAH são os anfitriões do podcast. Para fins de compreensão, algumas passagens foram excluídas.
Primeira experiência de trabalho no Google e o nascimento do Transformer
AO VIVO:
Você trabalha com PNL e IA há muito tempo. Você trabalhou no Google intermitentemente por 17 anos, onde as perguntas das entrevistas giravam em torno de soluções de verificação ortográfica. Quando entrei para o Google, um dos principais sistemas de segmentação de anúncios na época era o Phil Cluster, que acho que você e George Herrick escreveram. Gostaria de saber sobre a história do seu trabalho em modelos de linguagem NLP para inteligência artificial, como tudo isso evoluiu, como você começou, o que despertou seu interesse?
NOAM:
Obrigado Elad. Sim, apenas, sempre uma atração natural para a IA. Esperançosamente, isso fará com que o computador faça algo inteligente. Parece ser o jogo mais engraçado que existe. Tive a sorte de descobrir o Google cedo e estive envolvido em muitos dos primeiros projetos lá, talvez você não chame isso de inteligência artificial agora. Desde 2012, faço parte da equipe do Google Brain. Faça algumas coisas divertidas com um monte de pessoas realmente inteligentes. Nunca fiz aprendizado profundo ou redes neurais antes.
AO VIVO:
Você foi um dos participantes do Transformer Paper em 2017 e depois participou do trabalho no Mesh-TensorFlow. Você pode falar um pouco sobre como tudo isso funciona?
NOAM:
O aprendizado profundo é bem-sucedido porque é muito adequado para hardware moderno, e você tem essa geração de chips que, na multiplicação de matrizes e outras formas de coisas, exigem muita computação versus comunicação. Então, basicamente, o aprendizado profundo realmente decolou, está sendo executado milhares de vezes mais rápido do que qualquer outra coisa. Assim que peguei o jeito, comecei a projetar coisas realmente inteligentes e rápidas. O problema mais empolgante no momento é a modelagem de linguagem. Como há uma quantidade infinita de dados, basta raspar a rede e obter todos os dados de treinamento desejados.
A definição do problema é muito simples, é prever a próxima palavra, o gato gordo senta nela, qual é a próxima. É muito fácil de definir e, se você conseguir fazer isso bem, poderá obter tudo o que vê agora e poderá falar diretamente com essa coisa, é realmente inteligência artificial. Então, por volta de 2015, comecei a trabalhar em modelagem de linguagem e trabalhar com redes neurais recorrentes, o que era ótimo na época. Então o transformador apareceu.
Ouvi meus colegas da casa ao lado conversando sobre o desejo de substituir os RNNs por algo melhor. Eu estava tipo, isso parece bom, eu quero ajudar, RNNs são irritantes, isso será mais interessante.
AO VIVO:
Você pode descrever rapidamente a diferença entre uma rede neural recorrente e um transformador ou modelo baseado em atenção?
NOAM:
Redes neurais recorrentes são cálculos contínuos, cada palavra que você lê para a próxima palavra, você calcula seu estado cerebral atual com base no estado antigo de seu cérebro e no conteúdo da próxima palavra. Então você, você prevê a próxima palavra. Então, você tem essa sequência muito longa de cálculos que devem ser executados sequencialmente e, portanto, a mágica do Transformer é que você pode processar toda a sequência de uma vez.
A previsão para a próxima palavra depende de qual era a palavra anterior, mas acontece em um passo constante, e você pode aproveitar esse paralelismo, você pode ver tudo de uma vez, como o paralelismo em que o hardware moderno é bom .
Agora você pode aproveitar o comprimento da sequência, seu paralelismo e tudo funciona muito bem. própria atenção. É como se você estivesse criando essa grande associação de valor-chave na memória, você está construindo essa grande tabela com uma entrada para cada palavra na sequência. Então você procura coisas nesta tabela. É tudo como fuzzy, diferenciador e uma grande função francesa através da qual você pode fazer o inverso. As pessoas têm usado isso para problemas com duas sequências, onde você tem tradução automática e está traduzindo inglês para francês, então quando você gera a sequência em francês, você olha para a sequência em inglês e tenta prestar atenção ao posição correta na sequência. Mas o insight aqui é que você pode usar essa mesma atenção para olhar para o passado dessa sequência que está tentando fazer. A mosca na pomada é que funciona bem em GPUs e GPUs, o que é paralelo ao desenvolvimento do aprendizado profundo porque funciona bem no hardware existente. E isso traz a mesma coisa para as sequências.
SARAH:
Sim, acho que o exemplo clássico de ajudar as pessoas a visualizar é dizer a mesma frase em francês e inglês, a ordem das palavras é diferente, você não está mapeando um a um nessa sequência e descobrindo como faça isso sem a informação Faça isso com computação paralela em caso de perda. Então é uma coisa muito elegante de se fazer.
AO VIVO:
Parece também que a técnica está sendo usada em uma variedade de campos diferentes. Claramente, esses são modelos de linguagem multimodal. Então é como conversar GPT ou um personagem que você está fazendo. Também fiquei impressionado com alguns aplicativos como o Alpha Folding, o trabalho de dobramento de proteínas que o Google fez, na verdade funciona com um desempenho enorme. Existem áreas de aplicação que você achou realmente inesperadas em relação ao funcionamento dos transformadores e ao que eles podem fazer?
NOAM:
Eu apenas inclino minha cabeça para o idioma, como aqui você tem um problema e pode fazer qualquer coisa. Espero que esta coisa seja boa o suficiente. Então eu perguntei, como você cura o câncer? Então é como inventar uma solução. Então, tenho ignorado completamente o que as pessoas estão fazendo em todos esses outros modos, e acho que muito do sucesso inicial no aprendizado profundo foi com imagens, e as pessoas estão ficando empolgadas com as imagens, mas as ignoram completamente. Porque uma imagem vale mais que mil palavras, mas tem um milhão de pixels, então o texto fica mil vezes mais denso. Então, eu sou um grande fã literal. Mas é muito emocionante vê-lo decolar de todas essas outras maneiras. Essas coisas são ótimas. É super útil para criar produtos que as pessoas querem usar, mas acho que muito da inteligência central virá desses modelos de texto.
Limitações de modelos grandes: o poder de computação não é um problema, nem os dados
AO VIVO:
Quais você acha que são as limitações desses modelos? As pessoas costumam falar apenas sobre escala, como se você apenas lançasse mais poder de computação e isso fosse escalado ainda mais. Existem dados e diferentes tipos de dados que podem ou não estar lá. E ajustes algorítmicos e adição de coisas novas como memória ou loopbacks ou algo assim. O que você acha que são as grandes coisas que as pessoas ainda precisam construir e onde você acha que está sendo aproveitado como arquitetura?
NOAM:
Sim, não sei se será eliminado. Quero dizer, ainda não o vimos sair. Provavelmente nada em comparação com a quantidade de trabalho que vai para ele. Portanto, é provável que haja dois tipos de ineficiência que as pessoas obtêm com melhores algoritmos de treinamento, melhores arquiteturas de modelo, melhores maneiras de construir chips e usar quantização e tudo mais. E então haverá 10s e 100s e 1.000 fatores como escala e dinheiro que as pessoas vão jogar nisso porque, ei, todo mundo acabou de perceber que isso é incrivelmente valioso. Ao mesmo tempo, acho que ninguém vê como isso é bom para uma parede. Então eu acho que é só, vai ficar cada vez melhor. Eu não e eu não sei o que está impedindo isso.
SARAH:
O que você acha dessa ideia, podemos aumentar o poder de computação, mas os maiores dados de treinamento do modelo não são suficientes. Usamos todos os dados de texto prontamente disponíveis na Internet. Temos que ir para melhorar a qualidade, temos que ir para o feedback humano. o que você está pensando.
NOAM:
Com 10 bilhões de pessoas, cada pessoa produz 1.000 ou 10.000 palavras, o que é uma quantidade enorme de dados. Todos nós conversamos muito com sistemas de IA. Então, tenho a sensação de que muitos dados vão entrar em alguns sistemas de IA, quero dizer, de uma forma que preserva a privacidade, espero que os dados possam ir. Em seguida, os requisitos de dados tendem a aumentar exponencialmente com o poder de computação porque você está treinando um modelo maior e, em seguida, está lançando mais dados nele. Não estou preocupado com a falta de dados, podemos gerar mais dados com IA.
AO VIVO:
Então, quais você acha que são os principais problemas que esses modelos resolverão no futuro? É uma alucinação, uma memória ou outra coisa?
NOAM:
Eu não faço ideia. Eu meio que gosto de alucinações.
SARAH:
Esta também é uma característica.
NOAM:
O que mais queremos fazer é lembrar, porque nossos usuários definitivamente querem que seus amigos virtuais se lembrem deles. Você pode fazer muito com a personalização, deseja despejar muitos dados e usá-los de maneira eficaz. Há muito trabalho sendo feito para tentar descobrir o que é real e o que é alucinatório. Claro, acho que vamos consertar isso.
A história empreendedora de Character.ai
AO VIVO:
Conte-me um pouco sobre LaMDA e seu papel nele, como você surgiu com Character?
NOAM:
Meu cofundador, Daniel Freitas, é o cara mais trabalhador, esforçado e inteligente que já conheci. Ele tem trabalhado nessa tarefa de construir chatbots durante toda a sua vida. Ele tenta construir chatbots desde criança. Então ele se juntou ao Google Brain. Ele leu alguns artigos e achou que essa técnica de modelagem de linguagem neural era algo que poderia realmente generalizar e construir um campo realmente aberto.
Embora não tenha obtido o apoio de muitas pessoas, ele apenas assumiu esse projeto como uma atividade secundária e gastou 20% de seu tempo nele.
Então ele recrutou um exército de 20% de assistentes que o ajudaram a configurar o sistema.
Ele até pega a cota de TPU de outras pessoas, chama seu projeto de Mina porque gosta, surgiu em um sonho, eu acho. Em algum momento olhei para o placar e pensei o que é essa coisa chamada Mina, por que ela tem 30 pontos de TPU?
AO VIVO:
O LaMDA é assim, eu sei que é um chatbot interno que o Google fez antes do GPT. A notícia ficou famosa porque um engenheiro achou que tinha sabedoria.
NOAM:
Sim, nós o colocamos em alguns modelos de linguagem grande, e então houve um burburinho dentro da empresa, e Mina foi renomeada para LaMDA, e então nós tínhamos saído, e havia pessoas que acreditavam que tinha vida.
SARAH:
Por que não foi lançado mais tarde e quais são as preocupações?
NOAM:
Para uma grande empresa, lançar um produto que sabe tudo é um pouco perigoso. Acho que é só uma questão de risco. Então, depois de muita deliberação, começar um negócio parecia a ideia certa.
SARAH:
Como é a história de origem do personagem?
NOAM:
Queremos apenas construir algo e colocá-lo no mercado o mais rápido possível. Formei uma equipe punk de engenheiros, pesquisadores, ganhei algum poder de computação e abri um negócio.
AO VIVO:
Como você recruta?
NOAM:
Alguns dos caras que conhecemos no Google foram apresentados a Myat, que costumava ser da Meta, e ele lançou muito, e construiu muitos de seus grandes modelos de linguagem e sua infraestrutura de modelo de linguagem neural, e algumas outras pessoas de Meta o seguiu, eles são muito legais.
AO VIVO:
Você tem requisitos específicos ou métodos de teste quando está procurando por talentos? Ou é apenas uma entrevista normal?
NOAM
Acho que depende muito da motivação. Acho o Daniel muito focado na motivação, ele procura um estado entre um desejo forte e um sonho de criança, então tem muita gente boa que a gente não contrata porque não chega a esse nível, mas a gente também contrata muitas pessoas, Eles são perfeitos para ingressar em uma empresa iniciante, são muito talentosos e motivados.
Já existe Siri e Alexa no mercado, não concorra de frente com grandes empresas em termos de funcionalidade
SARAH:
Falando em sonhos de infância, gostaria de descrever este produto? Você tem esses bots, eles podem ser criados por usuários, podem ser criados por personagens, podem ser figuras públicas, figuras históricas, personagens fictícios, como você criou esse padrão?
NOAM:
Os usuários geralmente sabem melhor do que você o que querem fazer com isso. ** Siri e Alexa e Google Assistant já estão no mercado, não há necessidade de competir com essas grandes empresas em funcionalidade. **
Se você tentar apresentar uma persona pública que todos adorem, acabará com nada além de tédio. E as pessoas não gostam de ficar entediadas, elas querem interagir com coisas que pareçam pessoas.
Então, basicamente, você precisa fazer vários personagens e deixar as pessoas inventarem personagens como quiserem, e há algo que eu gosto no nome Personagem, que tem vários significados diferentes: texto, personagem, papel.
SARAH:
Então, o que as pessoas querem? um amigo? escrevendo um romance? Mais alguma coisa completamente nova?
NOAM:
Alguns usuários conversam com figuras públicas virtuais e influenciadores em nossos produtos. Os usuários podem criar um personagem e conversar com ele. Embora alguns usuários possam se sentir sozinhos e precisem de alguém para conversar, muitos não têm com quem conversar. Alguns diriam que esse papel agora é meu novo conselheiro.
SARAH:
Duas maneiras de pensar sobre a emoção, certo? Por exemplo, quão importante é o relacionamento que as pessoas têm com os personagens, ou em que nível estamos quando se trata de expressar emoções coerentes?
NOAM:
Sim, ** quero dizer, provavelmente você não precisa desse nível intelectual de ponta para apoio emocional. As emoções são ótimas e super importantes, mas um cachorro também pode fazer um ótimo trabalho de apoio emocional. Os cães fornecem grande suporte emocional, mas têm pouca habilidade verbal, **
AO VIVO:
O que você acha que acontece com o sistema quando você escala?
NOAM:
Acho que devemos ser capazes de torná-lo mais inteligente de várias maneiras. Obter mais poder de computação, treinar um modelo maior e treinar por mais tempo deve ficar mais inteligente, mais experiente, melhor no que as pessoas querem, no que as pessoas estão procurando.
SARAH:
Você tem alguns usuários que usam o Character muitas horas por dia. Quem é seu público alvo? Qual é o seu padrão de uso esperado.
NOAM:
Vamos deixar isso para o usuário decidir. Nosso objetivo sempre foi divulgar as coisas e permitir que os usuários decidam para que servem.
Vemos que as pessoas que estão no site Character hoje, o tempo médio ativo é de duas horas. Este é quem enviou a mensagem hoje, que é louca, mas significativa, e diz que as pessoas estão encontrando algum tipo de valor.
E então, como eu disse, é muito difícil dizer exatamente qual é esse valor porque é realmente uma grande mistura. Mas nosso objetivo é tornar essa coisa mais útil para que as pessoas a personalizem e decidam o que querem fazer com ela. Vamos colocá-lo nas mãos dos usuários e ver o que acontece.
Queimar dinheiro para escala TOC é a primeira prioridade
SARAH:
Como você pensa sobre a comercialização?
NOAM:
**Perdemos dinheiro por usuário e compensamos com volume. **
SARAH:
bom. Esta é uma boa estratégia.
NOAM:
Não eu estou brincando.
AO VIVO:
Como o modelo de negócios tradicional dos anos 90, então tudo bem.
SARAH:
Este também é um modelo de negócio para 2022.
AO VIVO:
Você deve emitir um token e transformá-lo em uma criptomoeda.
NOAM:
** Estaremos monetizando em algum momento em breve. Este é um negócio que se beneficia de muito poder de computação. Em vez de queimar o dinheiro dos investidores, esperamos fornecer valor a usuários suficientes e ganhar dinheiro ao longo do caminho. Alguns serviços, como tipos de assinatura premium, podem ser tentados mais tarde. À medida que desenvolvemos alguns novos recursos, as cobranças subsequentes podem aumentar de preço. **
AO VIVO:
Quero dizer, Character como um serviço TOC realmente decolou de uma forma realmente dramática. Se você observar o número de usuários e o tempo de uso por usuário, é uma loucura. Você iniciará o negócio TOB no futuro? Como um robô de atendimento ao cliente?
NOAM:
No momento, temos 22 funcionários, então precisamos priorizar e estamos contratando. A primeira prioridade é TOC.
SARAH:
Então você disse que uma das principais razões pelas quais o LaMDA não foi lançado imediatamente foi a segurança. O que é que vocês acham?
NOAM:
Existem outras razões. Por exemplo, o Google não quer que as pessoas se machuquem ou machuquem outras pessoas e precisa bloquear a pornografia. Houve alguns protestos em torno disso.
AO VIVO:
Você acha que tudo isso é o caminho para AGI ou superinteligência? Para algumas empresas, isso parece fazer parte do objetivo e, para outras, não parece ser um objetivo explícito.
NOAM:
Sim, AGI é o objetivo de muitas startups de IA. **A verdadeira razão é que eu quero levar a tecnologia adiante. Existem tantos problemas técnicos no mundo que podem ser resolvidos, como doenças intratáveis. Podemos apresentar soluções técnicas. **
É por isso que tenho pesquisado inteligência artificial,** porque em vez de estudar medicina diretamente, é melhor estudar inteligência artificial, e então a inteligência artificial pode ser usada para acelerar outros esforços de pesquisa. Então, basicamente, é por isso que estou trabalhando tanto em IA, quero começar uma empresa que seja AGI primeiro e produto primeiro. **
Seu produto depende inteiramente da qualidade da IA. O maior determinante da qualidade do nosso produto é o quão inteligente ele será. Portanto, agora estamos totalmente motivados para melhorar a IA, melhorar os produtos.
AO VIVO:
Sim, é um ciclo de feedback de compra muito bom porque, quando você melhora um produto, mais pessoas interagem com ele, o que ajuda a torná-lo melhor. O produto. Portanto, é uma abordagem muito inteligente. Quão longe você acha que estamos da inteligência artificial que é tão inteligente quanto ou mais inteligente que os humanos? Obviamente, eles já são mais espertos que os humanos em alguns aspectos, mas eu estava pensando em algo assim.
NOAM:
Sempre nos surpreendemos com as maneiras pelas quais a inteligência artificial pode superar os humanos. Alguns AI agora podem fazer sua lição de casa para você. Queria ter tido algo assim quando era criança.
AO VIVO:
Que conselho você daria para quem tem um histórico semelhante ao seu? Por exemplo, o que você aprendeu como fundador que não aprendeu necessariamente quando trabalhava no Google ou em outro lugar?
NOAM:
boa pergunta. Basicamente, você aprende com seus erros horríveis. Embora eu não ache que cometemos nenhum erro muito, muito grave, ou pelo menos o compensamos.
SARAH:
Que tipo de talento você está procurando?
NOAM:
até aqui? 21 dos 22 são engenheiros. Também contrataremos mais engenheiros. Seja aprendizado profundo ou front-end e back-end, certifique-se de contratar mais pessoas no lado comercial e do produto.
AO VIVO:
Últimas duas ou três perguntas rápidas, quem é seu matemático ou cientista da computação favorito.
NOAM:
Eu trabalho muito com Jeff Dean (chefe do Google Brain) no Google. Ele é muito legal e divertido de se trabalhar. Acho que ele está trabalhando em seu modelo de linguagem grande agora. É uma pena deixar o Google e espero trabalhar com ele no futuro.
AO VIVO:
Você acha que a matemática foi inventada ou descoberta?
NOAM:
Acho que talvez tenha sido descoberto, talvez tudo tenha sido descoberto, e estamos apenas descobrindo.