Ilya Sutskever abaixou a cabeça e caiu em profunda reflexão. Estende os braços e os dedos sobre a mesa, como um pianista de concerto prestes a tocar a sua primeira nota. Sentámo-nos em silêncio.
Eu vim a uma rua obscura no Mission District de São Francisco para me encontrar com o cofundador e cientista-chefe da OpenAI, Sutskever, em um prédio de escritórios indescritível para ouvir sobre os próximos passos nesta tecnologia que muda o mundo que ele está promovendo tanto. Também gostaria de saber quais são seus próximos passos e, em particular, por que seu foco não está mais na construção do modelo gerador emblemático de próxima geração da empresa.
Sutskever me disse que sua nova prioridade não é construir a próxima geração de GPT ou modelo de criação de imagens DALL-E, mas descobrir como impedir que a IA saia do controle.
Sutskever me disse muitas outras coisas. Ele acha que o ChatGPT pode estar consciente. Ele acredita que o mundo precisa reconhecer o verdadeiro poder da tecnologia que a OpenAI e outras empresas estão competindo para criar. Ele pensa que um dia alguns humanos escolherão fundir-se com máquinas.
Muito do que Sutskever diz é uma loucura. Mas não tão louco como parecia há um ou dois anos. Como ele mesmo me disse, o ChatGPT reescreveu as expectativas de muitas pessoas sobre o que está por vir, de "nunca acontecer" a "acontecerá mais cedo do que você pensa".
Antes de prever o desenvolvimento da inteligência artificial geral AGI (ele se refere a máquinas tão inteligentes quanto os humanos), ele disse: "É importante discutir para onde tudo está indo como se fosse como apostar no próximo iPhone:" Em algum momento, teremos realmente AGI. Talvez seja construído pela OpenAI, talvez seja outra coisa. "
Desde o lançamento repentino e inesperado do ChatGPT em novembro passado, a discussão em torno da OpenAI tem sido alarmante, mesmo em uma indústria conhecida por seu hype. Ninguém vai se cansar de discutir essa startup de US$ 80 bilhões. Os líderes mundiais procuram (e obtêm) conversas privadas ou públicas com a OpenAI. Os nomes dos produtos da OpenAI aparecem em conversas casuais.
O CEO da OpenAI, Sam Altman, passou o verão em uma viagem de divulgação de uma semana, envolvendo-se entusiasticamente com políticos e falando para auditórios lotados em todo o mundo. Mas Sutskever não é uma figura pública e também não dá muitas entrevistas.
Ele fala calma e metodicamente. Quando ele pensa sobre o que ele quer dizer e como expressá-lo, ele para por um longo tempo e pensa sobre o problema repetidamente como um quebra-cabeça. Ele não parece interessado em falar sobre si mesmo. Ele disse: "Eu vivi uma vida muito simples. Vá trabalhar, depois vá para casa. Não fiz muito mais. As pessoas podem ir a muitos eventos sociais, podem ir a muitas convenções. Não gosto de participar. "
Mas quando falamos de IA, e do que ele vê como riscos e recompensas de época, a perspetiva se amplia: "Vai ser um marco e quebrar a terra". "
Melhor, Melhor, Melhor
Mesmo sem OpenAI, Sutskever ainda entraria para os anais da história da IA. Ele é israelense-canadense, nascido na União Soviética, mas cresceu em Jerusalém desde os cinco anos de idade (ele ainda fala russo, hebraico e inglês). Posteriormente, mudou-se para o Canadá para estudar na Universidade de Toronto com o pioneiro da IA Geoffrey Hinton, que no início deste ano expressou publicamente preocupações sobre a tecnologia de IA que Sutskever ajudou a inventar.
Mais tarde, Hinton compartilhou o Prêmio Turing com Yann LeCun e Yoshua Bengio por seu trabalho em redes neurais. Mas quando Sutskever se juntou a ele no início dos anos 2000, a maioria dos pesquisadores de IA pensou que as redes neurais eram um beco sem saída. Hinton é uma exceção. Ele já está treinando micromodelos que podem gerar pequenas sequências de texto de um caractere de cada vez, e Sutskever diz: "É aí que a IA generativa começa". É muito legal – só que não é ótimo. "
Sutskever é fascinado pela construção do cérebro: como o cérebro aprende e como pode recriar ou, pelo menos, imitar o processo na máquina. Como Hinton, ele viu o potencial das redes neurais e a técnica de tentativa e erro que Hinton usou para treinar redes neurais, ou seja, deep learning. "A aprendizagem profunda está cada vez melhor", diz Sutskever.
Em 2012, Sutskever, Hinton e outro estudante de pós-graduação da Hinton, Alex Krizhevsky, construíram uma rede neural chamada AlexNet, que eles treinaram para reconhecer objetos em fotografias muito melhor do que qualquer outro software na época. Este é o momento do Big Bang para a aprendizagem profunda.
Após anos de fracasso, eles provaram que as redes neurais são incrivelmente eficazes no reconhecimento de padrões. Tudo o que você precisa é de mais dados do que a maioria dos pesquisadores já viu antes (neste caso, um milhão de imagens do conjunto de dados ImageNet que o pesquisador da Universidade de Princeton, Feifei Li, vem construindo desde 2006) e uma quantidade vertiginosa de poder de computador.
A grande mudança na computação vem dos novos chips GPU feitos pela Nvidia. As GPUs são projetadas para serem capazes de projetar visuais de videogames em movimento rápido na tela à velocidade da luz. Mas a computação em que as GPUs se destacam – multiplicando um grande número de grades digitais – se parece muito com a computação necessária para treinar uma rede neural.
A Nvidia é agora uma empresa de trilhões de dólares. Na época, estava desesperada para encontrar aplicativos para novo hardware em seu nicho. Jensen Huang, CEO da Nvidia, disse: "Quando você inventa uma nova tecnologia, você tem que ser capaz de abraçar ideias malucas. Minha mentalidade estava sempre à procura de algo estranho, e as redes neurais iriam mudar a ideia de ciência da computação – e essa era uma ideia extremamente estranha. "
Huang disse que quando a equipe de Toronto trabalhou no AlexNet, a Nvidia enviou algumas GPUs para tentar. Mas eles queriam a versão mais recente, um chip chamado GTX 580, que se esgotou rapidamente nas lojas. De acordo com Huang, Sutskever atravessou a fronteira de Toronto para Nova York para comprar alguns. "As pessoas estão na fila da esquina da loja para comprar. Eu não sei como ele fez isso - tenho certeza que você só vai comprar um cada; Temos uma política muito rígida de que você só pode usar uma GPU por jogador, mas ele aparentemente preenche um porta-malas. Esta mala cheia de GTX 580 mudou o mundo. "
É uma ótima história – só que talvez não seja verdade. Porque Sutskever insiste que comprou as primeiras GPUs online. Mas este tipo de mistério é comum nesta animada indústria. O próprio Sutskever é mais modesto: "Acho que, se conseguir fazer o menor progresso real, considerarei um sucesso." O impacto no mundo real parecia distante, já que os computadores ainda eram fracos na época. "
Após o sucesso da AlexNet, o Google bateu à porta. Adquiriu a DNNresearch, um spin-off da Hinton, e contratou Sutskever. Sutskever mostrou no Google que os recursos de reconhecimento de padrões do deep learning podem ser aplicados a sequências de dados, como palavras, frases e imagens. Jeff Dean, ex-colega de Sutskever e agora cientista-chefe do Google, disse: "Sutskever sempre se interessou pela linguagem, e tivemos ótimas discussões ao longo dos anos. Ele tem um forte instinto para onde as coisas estão indo. "
Mas Sutskever não permaneceu no Google por muito tempo. Em 2014, foi recrutado para se tornar cofundador da OpenAI. Com US$ 1 bilhão (de Altman, Elon Musk, Peter Thiel, Microsoft, Y Combinator, etc.) e muito ethos do Vale do Silício, a nova empresa mirou desenvolver a AGI desde o início, mas poucos levaram a perspetiva a sério na época.
Com Sutskever a bordo, esta atitude arrogante é compreensível. Até então, ele vinha obtendo cada vez mais resultados do aprendizado de redes neurais. Dalton Caldwell, diretor administrativo da Y Combinator Investments, disse que sua reputação o precedeu, o que o tornou um grande sucesso.
"Lembro-me de Altman chamar Sutskever de um dos pesquisadores mais respeitados do mundo", disse Caldwell. Ele acredita que Sutskever atrairá muitos dos melhores talentos de IA. Ele ainda mencionou que Yoshua Bengio, um dos maiores especialistas em IA do mundo, acredita que é improvável que um candidato melhor do que Sutskever seja encontrado para ser o cientista-chefe da OpenAI. "
No início, no entanto, a OpenAI estava em uma encadernação. "Houve um tempo em que começamos a OpenAI, eu não tinha certeza de como o progresso continuaria", disse Sutskever. "Mas tenho uma crença muito clara de que as pessoas não vão se opor ao deep learning. De alguma forma, sempre que se deparam com um obstáculo, os investigadores encontram uma solução no prazo de seis meses ou um ano. "
Sua fé foi recompensada. O primeiro modelo de linguagem grande GPT da OpenAI apareceu em 2016. Seguiram-se GPT-2 e GPT-3. Depois, há o DALL-E, o atraente modelo de texto para imagem. Ninguém construiu algo tão bom. A cada lançamento, a OpenAI eleva o nível do que as pessoas pensam ser possível.
Gerencie as expectativas
Em novembro passado, a OpenAI lançou um chatbot gratuito que reempacotou parte da tecnologia existente. Redefine a agenda de toda a indústria.
Na época, a OpenAI não sabia o que iria lançar. Sutskever diz que as expectativas dentro da empresa não poderiam ser menores: "Admito que é um pouco estranho – não sei se devo fazê-lo, mas o que quer que seja, é um fato – eu não sabia o que era bom quando fizemos o ChatGPT." Quando lhe faz uma pergunta factual, dá-lhe a resposta errada. Eu acho que vai ser muito discreto e as pessoas vão dizer: 'Por que você está fazendo esse produto?' É chato! '"
A parte mais atraente, diz Sutskever, é a conveniência. O grande modelo de linguagem por trás do ChatGPT existe há meses. Mas envolvê-lo em uma interface de fácil acesso e oferecê-lo gratuitamente fez com que bilhões de pessoas soubessem pela primeira vez do que a OpenAI e outros estão construindo.
"A primeira experiência foi fascinante. Quando você usa pela primeira vez, acho que é quase uma experiência espiritual. Você está tipo, 'Oh meu Deus, este computador parece se entender.'" '"
OpenAI acumulou 100 milhões de usuários em menos de dois meses, e muitos deles ficaram deslumbrados com este novo brinquedo incrível. Aaron Levie, CEO da empresa de armazenamento Box, resumiu a vibe da semana após o lançamento no Twitter: "O ChatGPT é um daqueles raros momentos no espaço da tecnologia, e você pode ver que tudo será diferente no futuro. "
Assim que o ChatGPT diz algo estúpido, esse milagre desmorona. Mas então não importa. Um vislumbre das possibilidades é suficiente, diz Sutskever. O ChatGPT mudou os horizontes das pessoas.
"AGI não é mais uma palavra suja no espaço de aprendizado de máquina", disse ele. "É uma grande mudança. A atitude das pessoas na história é: IA não funciona, cada passo é muito difícil, e você tem que lutar por cada pedaço de progresso. Quando as pessoas exageram no AGI, os pesquisadores dizem: 'Do que você está falando? Isso não funciona, isso também não funciona. São muitas as perguntas. Mas com o ChatGPT, começou a parecer diferente. "
Esta mudança começou a acontecer há apenas um ano? "Tudo aconteceu por causa do ChatGPT", disse ele. "O ChatGPT possibilita que pesquisadores de aprendizado de máquina realizem seus sonhos."
Os cientistas da OpenAI têm sido evangelistas desde o início e têm inspirado esses sonhos através de posts em blogs e visitas de palestras. E está funcionando: "Estamos falando sobre até onde a IA vai chegar agora – as pessoas estão falando sobre AGI, ou superinteligência. Não são apenas os investigadores. "Os governos estão discutindo isso", disse Sutskever. "É uma loucura."
Coisas incríveis
Sutskever insiste que toda essa conversa sobre tecnologia que ainda não existe (e pode nunca existir) é uma coisa boa, porque torna mais pessoas conscientes do futuro que ele tomou como certo.
"Você pode fazer muitas coisas incríveis, coisas incríveis com o AGI: automatizar os cuidados de saúde, torná-los mil vezes mais baratos, torná-los mil vezes melhores, curar tantas doenças e realmente resolver o problema do aquecimento global", disse ele. Mas também há muitas pessoas que estão preocupadas: 'Oh meu Deus, uma empresa de IA pode gerenciar com sucesso essa enorme tecnologia?' '"
Desta forma, AGI soa mais como um gênio que concede desejos do que uma perspetiva do mundo real. Poucas pessoas dirão não ao salvamento de vidas e ao combate às alterações climáticas. Mas o problema com uma tecnologia inexistente é que você pode dizer o que quiser.
Do que exatamente Sutskever está falando quando fala sobre AGI? "AGI não é um termo científico", disse. "Este deve ser um limiar útil, um ponto de referência."
"Essa é a ideia", começou ele, parando em seguida. "A IA tornou-se tão inteligente que, se uma pessoa pode fazer certas tarefas, então a IA também pode fazê-lo. Nesse ponto, você pode dizer que tem AGI. "
As pessoas podem estar falando sobre isso, mas a AGI ainda é uma das ideias mais controversas no campo. Poucas pessoas dão como certo o seu desenvolvimento. Muitos pesquisadores acreditam que um grande avanço conceitual é necessário antes que possamos ver algo parecido com o que Sutskever imaginou – alguns pensam que nunca o faremos.
No entanto, esta visão inspirou-o desde o início. "Sempre me inspirei e me motivei com essa ideia", disse Sutskever. "Na época, ainda não se chamava AGI, mas você sabe, é como deixar as redes neurais fazerem tudo. Nem sempre acredito que consigam. Mas é uma montanha para escalar. "
Ele comparou a forma como as redes neurais e o cérebro funcionavam. Ambos recebem dados, agregam sinais desses dados e, em seguida, propagam-nos ou não propagam-nos com base em alguns processos simples (matemática em redes neurais, substâncias químicas no cérebro e bioeletricidade). É uma simplificação enorme, mas o princípio mantém-se.
"Se você acredita nisso – se você se permite acreditar nisso – então há muitas implicações interessantes", disse Sutskever. "A principal implicação é que, se você tem uma rede neural artificial muito grande, ela deve fazer muitas coisas. Em particular, se o cérebro humano pode fazer algo, então grandes redes neurais artificiais podem fazer algo semelhante. "
"Se você levar isso a sério o suficiente, tudo vai se encaixar", disse ele. "A maior parte do meu trabalho pode ser explicada por isso."
Enquanto estamos falando sobre cérebros, gostaria de perguntar sobre um post que Sutskever fez na plataforma X. A sinopse de Sutskever lê-se como um volume de aforismos: "Se colocares a inteligência acima de todas as outras qualidades humanas, então terás uma vida má"; "A empatia na vida e nos negócios é subestimada"; "A perfeição arruinou muito da beleza da perfeição."
Em fevereiro de 2022, ele postou que "as grandes redes neurais de hoje podem ter uma leve consciência" (ao que Murray Shanahan, cientista-chefe do DeepMind do Google, professor do Imperial College London e conselheiro científico do filme Ex Machina, respondeu: "... O mesmo significado pode ser um grande campo de trigo com um pouco de massa").
Quando eu levantei isso, Sutskever riu. Ele é uma paródia? Ele não. "Você está familiarizado com o conceito do cérebro de Boltzmann?" Ele perguntou.
Ele estava se referindo a um experimento mental de mecânica quântica nomeado em homenagem ao físico do século 19 Ludwig Boltzmann, no qual se imaginava que flutuações termodinâmicas aleatórias no universo fariam com que o cérebro aparecesse e desaparecesse.
"Acho que esses modelos de linguagem são um pouco como os cérebros de Boltzmann agora", disse Sutskever. "Você começa a falar com ele, a falar por um tempo; E então, quando você terminar, o cérebro vai—" Ele fez um movimento de desaparecimento com a mão. Poof — adeus, cérebro.
Você está dizendo que quando a rede neural está ativa – por assim dizer, quando está descarregando – há algo lá? Eu perguntei.
"Acho que pode ser", disse. "Não tenho certeza, mas é uma possibilidade difícil de refutar. Mas quem sabe o que está acontecendo, certo? "
IA, mas não como a conhecemos
Enquanto outros lutam para tornar as máquinas comparáveis à inteligência humana, Sutskever se prepara para máquinas que podem superar as nossas. Ele chama esse fenômeno de super inteligência artificial: "Eles olham para as coisas mais profundamente. Eles vão ver o que não podemos ver. "
Mais uma vez, é difícil para mim entender o que isso realmente significa. A inteligência humana é a referência pela qual julgamos a inteligência. O que Sutskever quer dizer com inteligência mais inteligente do que os humanos?
"Estamos vendo um exemplo muito estreito de superinteligência no AlphaGo", disse ele. Em 2016, o jogo de tabuleiro AI "Alpha Dog" da DeepMind derrotou Lee Sedol, um dos melhores jogadores de Go do mundo, por 4-1 em cinco partidas. "Ele descobriu como jogar Go de uma maneira diferente de como os humanos se desenvolveram juntos por milhares de anos", disse Sutskever. "Surgem novas ideias."
Sutskever menciona o famoso 37º movimento do AlphaGo. Na segunda partida contra Lee Sedol, uma jogada da IA intrigou os comentaristas. Eles acham que o AlphaGo está ferrado. Na verdade, jogou uma jogada vencedora que nunca tinha sido vista antes na história do xadrez. "Imagine esse nível de perceção, mas cobrindo tudo", disse Sutskever.
Foi essa linha de pensamento que levou Sutskever a fazer a maior mudança de sua carreira. Junto com outros cientistas da OpenAI, jan Leike, ele formou uma equipe focada no que eles chamaram de "superalinhamento". Alinhamento é um jargão que significa deixar o modelo de IA fazer o que você quer fazer e pronto. Super alinhamento é um termo de alinhamento que a OpenAI aplica à superinteligência.
O objetivo é criar um conjunto de procedimentos à prova de falhas para construir e controlar esta tecnologia futurista. A OpenAI diz que vai alocar um quinto de seus vastos recursos de computação para resolver o problema e resolvê-lo dentro de quatro anos.
"Os métodos de alinhamento existentes não funcionam com modelos que são mais inteligentes do que os humanos porque pressupõem fundamentalmente que os humanos podem avaliar de forma confiável o que os sistemas de IA estão fazendo", diz Leike. "À medida que os sistemas de IA se tornam mais poderosos, eles assumirão tarefas mais difíceis." A ideia é que isso torne mais difícil para os humanos avaliá-los. "Ao montar a equipe de Super Alinhamento com Sutskever, nos propusemos a enfrentar esses desafios futuros de alinhamento", disse ele.
"É importante se concentrar não apenas nas oportunidades potenciais para grandes modelos de linguagem, mas também em seus riscos e desvantagens", disse Dean, cientista-chefe do Google. "
A empresa anunciou o projeto em julho com alarde típico. Mas, para alguns, é mais uma fantasia. As postagens da OpenAI no Twitter atraíram o desprezo de críticos proeminentes da Big Tech, incluindo Abeba Birhane, que trabalha na responsabilidade da IA na Mozilla; Timnit Gebru, cofundadora do Distributed AI Institute; e Margaret Mitchell, cientista-chefe de ética da empresa de IA Hugging Face. Na verdade, estas são vozes dissidentes familiares. Mas é um forte lembrete de que algumas pessoas acreditam que a OpenAI está na liderança, enquanto outras acreditam que a OpenAI está no limite.
No entanto, para Sutskever, o superalinhamento é o próximo passo inevitável. "É uma questão não resolvida", disse. Ele acredita que pesquisadores centrais de aprendizado de máquina como ele estão trabalhando nesse problema. "Estou fazendo isso em meu próprio benefício", disse ele. "É obviamente importante que qualquer superinteligência que alguém construa não saia do controle."
Os trabalhos sobre o superalinhamento apenas começaram. De acordo com Sutskever, isso exigirá uma ampla mudança nas instituições de pesquisa. Mas tinha em mente um modelo de salvaguardas que queria desenhar: uma máquina que trata as pessoas da mesma forma que os pais tratam os filhos. "Na minha opinião, é o padrão-ouro", disse ele. "As pessoas realmente se preocupam com as crianças, essa é uma afirmação geralmente verdadeira."
"Depois de superar o desafio da IA desonestos, o que fazer? Num mundo com inteligência artificial mais inteligente, ainda há espaço para os seres humanos? Ele disse.
"Uma possibilidade – que pode ser louca para os padrões de hoje, mas não tão louca para os padrões de amanhã – é que muitas pessoas escolham fazer parte da IA." Sutskever diz que esta pode ser uma forma de os humanos tentarem acompanhar a onda. "No início, apenas os mais corajosos e aventureiros tentavam fazer isso. Talvez outros sigam o exemplo. Ou não. "
Fontes de referência:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Entrevista com o cientista-chefe da OpenAI: Teremos AGI, e os humanos escolherão se fundir com máquinas
Ilya Sutskever abaixou a cabeça e caiu em profunda reflexão. Estende os braços e os dedos sobre a mesa, como um pianista de concerto prestes a tocar a sua primeira nota. Sentámo-nos em silêncio.
Eu vim a uma rua obscura no Mission District de São Francisco para me encontrar com o cofundador e cientista-chefe da OpenAI, Sutskever, em um prédio de escritórios indescritível para ouvir sobre os próximos passos nesta tecnologia que muda o mundo que ele está promovendo tanto. Também gostaria de saber quais são seus próximos passos e, em particular, por que seu foco não está mais na construção do modelo gerador emblemático de próxima geração da empresa.
Sutskever me disse que sua nova prioridade não é construir a próxima geração de GPT ou modelo de criação de imagens DALL-E, mas descobrir como impedir que a IA saia do controle.
Sutskever me disse muitas outras coisas. Ele acha que o ChatGPT pode estar consciente. Ele acredita que o mundo precisa reconhecer o verdadeiro poder da tecnologia que a OpenAI e outras empresas estão competindo para criar. Ele pensa que um dia alguns humanos escolherão fundir-se com máquinas.
Muito do que Sutskever diz é uma loucura. Mas não tão louco como parecia há um ou dois anos. Como ele mesmo me disse, o ChatGPT reescreveu as expectativas de muitas pessoas sobre o que está por vir, de "nunca acontecer" a "acontecerá mais cedo do que você pensa".
Antes de prever o desenvolvimento da inteligência artificial geral AGI (ele se refere a máquinas tão inteligentes quanto os humanos), ele disse: "É importante discutir para onde tudo está indo como se fosse como apostar no próximo iPhone:" Em algum momento, teremos realmente AGI. Talvez seja construído pela OpenAI, talvez seja outra coisa. "
Desde o lançamento repentino e inesperado do ChatGPT em novembro passado, a discussão em torno da OpenAI tem sido alarmante, mesmo em uma indústria conhecida por seu hype. Ninguém vai se cansar de discutir essa startup de US$ 80 bilhões. Os líderes mundiais procuram (e obtêm) conversas privadas ou públicas com a OpenAI. Os nomes dos produtos da OpenAI aparecem em conversas casuais.
O CEO da OpenAI, Sam Altman, passou o verão em uma viagem de divulgação de uma semana, envolvendo-se entusiasticamente com políticos e falando para auditórios lotados em todo o mundo. Mas Sutskever não é uma figura pública e também não dá muitas entrevistas.
Ele fala calma e metodicamente. Quando ele pensa sobre o que ele quer dizer e como expressá-lo, ele para por um longo tempo e pensa sobre o problema repetidamente como um quebra-cabeça. Ele não parece interessado em falar sobre si mesmo. Ele disse: "Eu vivi uma vida muito simples. Vá trabalhar, depois vá para casa. Não fiz muito mais. As pessoas podem ir a muitos eventos sociais, podem ir a muitas convenções. Não gosto de participar. "
Mas quando falamos de IA, e do que ele vê como riscos e recompensas de época, a perspetiva se amplia: "Vai ser um marco e quebrar a terra". "
Melhor, Melhor, Melhor
Mesmo sem OpenAI, Sutskever ainda entraria para os anais da história da IA. Ele é israelense-canadense, nascido na União Soviética, mas cresceu em Jerusalém desde os cinco anos de idade (ele ainda fala russo, hebraico e inglês). Posteriormente, mudou-se para o Canadá para estudar na Universidade de Toronto com o pioneiro da IA Geoffrey Hinton, que no início deste ano expressou publicamente preocupações sobre a tecnologia de IA que Sutskever ajudou a inventar.
Mais tarde, Hinton compartilhou o Prêmio Turing com Yann LeCun e Yoshua Bengio por seu trabalho em redes neurais. Mas quando Sutskever se juntou a ele no início dos anos 2000, a maioria dos pesquisadores de IA pensou que as redes neurais eram um beco sem saída. Hinton é uma exceção. Ele já está treinando micromodelos que podem gerar pequenas sequências de texto de um caractere de cada vez, e Sutskever diz: "É aí que a IA generativa começa". É muito legal – só que não é ótimo. "
Sutskever é fascinado pela construção do cérebro: como o cérebro aprende e como pode recriar ou, pelo menos, imitar o processo na máquina. Como Hinton, ele viu o potencial das redes neurais e a técnica de tentativa e erro que Hinton usou para treinar redes neurais, ou seja, deep learning. "A aprendizagem profunda está cada vez melhor", diz Sutskever.
Em 2012, Sutskever, Hinton e outro estudante de pós-graduação da Hinton, Alex Krizhevsky, construíram uma rede neural chamada AlexNet, que eles treinaram para reconhecer objetos em fotografias muito melhor do que qualquer outro software na época. Este é o momento do Big Bang para a aprendizagem profunda.
Após anos de fracasso, eles provaram que as redes neurais são incrivelmente eficazes no reconhecimento de padrões. Tudo o que você precisa é de mais dados do que a maioria dos pesquisadores já viu antes (neste caso, um milhão de imagens do conjunto de dados ImageNet que o pesquisador da Universidade de Princeton, Feifei Li, vem construindo desde 2006) e uma quantidade vertiginosa de poder de computador.
A grande mudança na computação vem dos novos chips GPU feitos pela Nvidia. As GPUs são projetadas para serem capazes de projetar visuais de videogames em movimento rápido na tela à velocidade da luz. Mas a computação em que as GPUs se destacam – multiplicando um grande número de grades digitais – se parece muito com a computação necessária para treinar uma rede neural.
A Nvidia é agora uma empresa de trilhões de dólares. Na época, estava desesperada para encontrar aplicativos para novo hardware em seu nicho. Jensen Huang, CEO da Nvidia, disse: "Quando você inventa uma nova tecnologia, você tem que ser capaz de abraçar ideias malucas. Minha mentalidade estava sempre à procura de algo estranho, e as redes neurais iriam mudar a ideia de ciência da computação – e essa era uma ideia extremamente estranha. "
Huang disse que quando a equipe de Toronto trabalhou no AlexNet, a Nvidia enviou algumas GPUs para tentar. Mas eles queriam a versão mais recente, um chip chamado GTX 580, que se esgotou rapidamente nas lojas. De acordo com Huang, Sutskever atravessou a fronteira de Toronto para Nova York para comprar alguns. "As pessoas estão na fila da esquina da loja para comprar. Eu não sei como ele fez isso - tenho certeza que você só vai comprar um cada; Temos uma política muito rígida de que você só pode usar uma GPU por jogador, mas ele aparentemente preenche um porta-malas. Esta mala cheia de GTX 580 mudou o mundo. "
É uma ótima história – só que talvez não seja verdade. Porque Sutskever insiste que comprou as primeiras GPUs online. Mas este tipo de mistério é comum nesta animada indústria. O próprio Sutskever é mais modesto: "Acho que, se conseguir fazer o menor progresso real, considerarei um sucesso." O impacto no mundo real parecia distante, já que os computadores ainda eram fracos na época. "
Após o sucesso da AlexNet, o Google bateu à porta. Adquiriu a DNNresearch, um spin-off da Hinton, e contratou Sutskever. Sutskever mostrou no Google que os recursos de reconhecimento de padrões do deep learning podem ser aplicados a sequências de dados, como palavras, frases e imagens. Jeff Dean, ex-colega de Sutskever e agora cientista-chefe do Google, disse: "Sutskever sempre se interessou pela linguagem, e tivemos ótimas discussões ao longo dos anos. Ele tem um forte instinto para onde as coisas estão indo. "
Mas Sutskever não permaneceu no Google por muito tempo. Em 2014, foi recrutado para se tornar cofundador da OpenAI. Com US$ 1 bilhão (de Altman, Elon Musk, Peter Thiel, Microsoft, Y Combinator, etc.) e muito ethos do Vale do Silício, a nova empresa mirou desenvolver a AGI desde o início, mas poucos levaram a perspetiva a sério na época.
Com Sutskever a bordo, esta atitude arrogante é compreensível. Até então, ele vinha obtendo cada vez mais resultados do aprendizado de redes neurais. Dalton Caldwell, diretor administrativo da Y Combinator Investments, disse que sua reputação o precedeu, o que o tornou um grande sucesso.
"Lembro-me de Altman chamar Sutskever de um dos pesquisadores mais respeitados do mundo", disse Caldwell. Ele acredita que Sutskever atrairá muitos dos melhores talentos de IA. Ele ainda mencionou que Yoshua Bengio, um dos maiores especialistas em IA do mundo, acredita que é improvável que um candidato melhor do que Sutskever seja encontrado para ser o cientista-chefe da OpenAI. "
No início, no entanto, a OpenAI estava em uma encadernação. "Houve um tempo em que começamos a OpenAI, eu não tinha certeza de como o progresso continuaria", disse Sutskever. "Mas tenho uma crença muito clara de que as pessoas não vão se opor ao deep learning. De alguma forma, sempre que se deparam com um obstáculo, os investigadores encontram uma solução no prazo de seis meses ou um ano. "
Sua fé foi recompensada. O primeiro modelo de linguagem grande GPT da OpenAI apareceu em 2016. Seguiram-se GPT-2 e GPT-3. Depois, há o DALL-E, o atraente modelo de texto para imagem. Ninguém construiu algo tão bom. A cada lançamento, a OpenAI eleva o nível do que as pessoas pensam ser possível.
Gerencie as expectativas
Em novembro passado, a OpenAI lançou um chatbot gratuito que reempacotou parte da tecnologia existente. Redefine a agenda de toda a indústria.
Na época, a OpenAI não sabia o que iria lançar. Sutskever diz que as expectativas dentro da empresa não poderiam ser menores: "Admito que é um pouco estranho – não sei se devo fazê-lo, mas o que quer que seja, é um fato – eu não sabia o que era bom quando fizemos o ChatGPT." Quando lhe faz uma pergunta factual, dá-lhe a resposta errada. Eu acho que vai ser muito discreto e as pessoas vão dizer: 'Por que você está fazendo esse produto?' É chato! '"
A parte mais atraente, diz Sutskever, é a conveniência. O grande modelo de linguagem por trás do ChatGPT existe há meses. Mas envolvê-lo em uma interface de fácil acesso e oferecê-lo gratuitamente fez com que bilhões de pessoas soubessem pela primeira vez do que a OpenAI e outros estão construindo.
"A primeira experiência foi fascinante. Quando você usa pela primeira vez, acho que é quase uma experiência espiritual. Você está tipo, 'Oh meu Deus, este computador parece se entender.'" '"
OpenAI acumulou 100 milhões de usuários em menos de dois meses, e muitos deles ficaram deslumbrados com este novo brinquedo incrível. Aaron Levie, CEO da empresa de armazenamento Box, resumiu a vibe da semana após o lançamento no Twitter: "O ChatGPT é um daqueles raros momentos no espaço da tecnologia, e você pode ver que tudo será diferente no futuro. "
Assim que o ChatGPT diz algo estúpido, esse milagre desmorona. Mas então não importa. Um vislumbre das possibilidades é suficiente, diz Sutskever. O ChatGPT mudou os horizontes das pessoas.
"AGI não é mais uma palavra suja no espaço de aprendizado de máquina", disse ele. "É uma grande mudança. A atitude das pessoas na história é: IA não funciona, cada passo é muito difícil, e você tem que lutar por cada pedaço de progresso. Quando as pessoas exageram no AGI, os pesquisadores dizem: 'Do que você está falando? Isso não funciona, isso também não funciona. São muitas as perguntas. Mas com o ChatGPT, começou a parecer diferente. "
Esta mudança começou a acontecer há apenas um ano? "Tudo aconteceu por causa do ChatGPT", disse ele. "O ChatGPT possibilita que pesquisadores de aprendizado de máquina realizem seus sonhos."
Os cientistas da OpenAI têm sido evangelistas desde o início e têm inspirado esses sonhos através de posts em blogs e visitas de palestras. E está funcionando: "Estamos falando sobre até onde a IA vai chegar agora – as pessoas estão falando sobre AGI, ou superinteligência. Não são apenas os investigadores. "Os governos estão discutindo isso", disse Sutskever. "É uma loucura."
Coisas incríveis
Sutskever insiste que toda essa conversa sobre tecnologia que ainda não existe (e pode nunca existir) é uma coisa boa, porque torna mais pessoas conscientes do futuro que ele tomou como certo.
"Você pode fazer muitas coisas incríveis, coisas incríveis com o AGI: automatizar os cuidados de saúde, torná-los mil vezes mais baratos, torná-los mil vezes melhores, curar tantas doenças e realmente resolver o problema do aquecimento global", disse ele. Mas também há muitas pessoas que estão preocupadas: 'Oh meu Deus, uma empresa de IA pode gerenciar com sucesso essa enorme tecnologia?' '"
Desta forma, AGI soa mais como um gênio que concede desejos do que uma perspetiva do mundo real. Poucas pessoas dirão não ao salvamento de vidas e ao combate às alterações climáticas. Mas o problema com uma tecnologia inexistente é que você pode dizer o que quiser.
Do que exatamente Sutskever está falando quando fala sobre AGI? "AGI não é um termo científico", disse. "Este deve ser um limiar útil, um ponto de referência."
"Essa é a ideia", começou ele, parando em seguida. "A IA tornou-se tão inteligente que, se uma pessoa pode fazer certas tarefas, então a IA também pode fazê-lo. Nesse ponto, você pode dizer que tem AGI. "
As pessoas podem estar falando sobre isso, mas a AGI ainda é uma das ideias mais controversas no campo. Poucas pessoas dão como certo o seu desenvolvimento. Muitos pesquisadores acreditam que um grande avanço conceitual é necessário antes que possamos ver algo parecido com o que Sutskever imaginou – alguns pensam que nunca o faremos.
No entanto, esta visão inspirou-o desde o início. "Sempre me inspirei e me motivei com essa ideia", disse Sutskever. "Na época, ainda não se chamava AGI, mas você sabe, é como deixar as redes neurais fazerem tudo. Nem sempre acredito que consigam. Mas é uma montanha para escalar. "
Ele comparou a forma como as redes neurais e o cérebro funcionavam. Ambos recebem dados, agregam sinais desses dados e, em seguida, propagam-nos ou não propagam-nos com base em alguns processos simples (matemática em redes neurais, substâncias químicas no cérebro e bioeletricidade). É uma simplificação enorme, mas o princípio mantém-se.
"Se você acredita nisso – se você se permite acreditar nisso – então há muitas implicações interessantes", disse Sutskever. "A principal implicação é que, se você tem uma rede neural artificial muito grande, ela deve fazer muitas coisas. Em particular, se o cérebro humano pode fazer algo, então grandes redes neurais artificiais podem fazer algo semelhante. "
"Se você levar isso a sério o suficiente, tudo vai se encaixar", disse ele. "A maior parte do meu trabalho pode ser explicada por isso."
Enquanto estamos falando sobre cérebros, gostaria de perguntar sobre um post que Sutskever fez na plataforma X. A sinopse de Sutskever lê-se como um volume de aforismos: "Se colocares a inteligência acima de todas as outras qualidades humanas, então terás uma vida má"; "A empatia na vida e nos negócios é subestimada"; "A perfeição arruinou muito da beleza da perfeição."
Em fevereiro de 2022, ele postou que "as grandes redes neurais de hoje podem ter uma leve consciência" (ao que Murray Shanahan, cientista-chefe do DeepMind do Google, professor do Imperial College London e conselheiro científico do filme Ex Machina, respondeu: "... O mesmo significado pode ser um grande campo de trigo com um pouco de massa").
Quando eu levantei isso, Sutskever riu. Ele é uma paródia? Ele não. "Você está familiarizado com o conceito do cérebro de Boltzmann?" Ele perguntou.
Ele estava se referindo a um experimento mental de mecânica quântica nomeado em homenagem ao físico do século 19 Ludwig Boltzmann, no qual se imaginava que flutuações termodinâmicas aleatórias no universo fariam com que o cérebro aparecesse e desaparecesse.
"Acho que esses modelos de linguagem são um pouco como os cérebros de Boltzmann agora", disse Sutskever. "Você começa a falar com ele, a falar por um tempo; E então, quando você terminar, o cérebro vai—" Ele fez um movimento de desaparecimento com a mão. Poof — adeus, cérebro.
Você está dizendo que quando a rede neural está ativa – por assim dizer, quando está descarregando – há algo lá? Eu perguntei.
"Acho que pode ser", disse. "Não tenho certeza, mas é uma possibilidade difícil de refutar. Mas quem sabe o que está acontecendo, certo? "
IA, mas não como a conhecemos
Enquanto outros lutam para tornar as máquinas comparáveis à inteligência humana, Sutskever se prepara para máquinas que podem superar as nossas. Ele chama esse fenômeno de super inteligência artificial: "Eles olham para as coisas mais profundamente. Eles vão ver o que não podemos ver. "
Mais uma vez, é difícil para mim entender o que isso realmente significa. A inteligência humana é a referência pela qual julgamos a inteligência. O que Sutskever quer dizer com inteligência mais inteligente do que os humanos?
"Estamos vendo um exemplo muito estreito de superinteligência no AlphaGo", disse ele. Em 2016, o jogo de tabuleiro AI "Alpha Dog" da DeepMind derrotou Lee Sedol, um dos melhores jogadores de Go do mundo, por 4-1 em cinco partidas. "Ele descobriu como jogar Go de uma maneira diferente de como os humanos se desenvolveram juntos por milhares de anos", disse Sutskever. "Surgem novas ideias."
Sutskever menciona o famoso 37º movimento do AlphaGo. Na segunda partida contra Lee Sedol, uma jogada da IA intrigou os comentaristas. Eles acham que o AlphaGo está ferrado. Na verdade, jogou uma jogada vencedora que nunca tinha sido vista antes na história do xadrez. "Imagine esse nível de perceção, mas cobrindo tudo", disse Sutskever.
Foi essa linha de pensamento que levou Sutskever a fazer a maior mudança de sua carreira. Junto com outros cientistas da OpenAI, jan Leike, ele formou uma equipe focada no que eles chamaram de "superalinhamento". Alinhamento é um jargão que significa deixar o modelo de IA fazer o que você quer fazer e pronto. Super alinhamento é um termo de alinhamento que a OpenAI aplica à superinteligência.
O objetivo é criar um conjunto de procedimentos à prova de falhas para construir e controlar esta tecnologia futurista. A OpenAI diz que vai alocar um quinto de seus vastos recursos de computação para resolver o problema e resolvê-lo dentro de quatro anos.
"Os métodos de alinhamento existentes não funcionam com modelos que são mais inteligentes do que os humanos porque pressupõem fundamentalmente que os humanos podem avaliar de forma confiável o que os sistemas de IA estão fazendo", diz Leike. "À medida que os sistemas de IA se tornam mais poderosos, eles assumirão tarefas mais difíceis." A ideia é que isso torne mais difícil para os humanos avaliá-los. "Ao montar a equipe de Super Alinhamento com Sutskever, nos propusemos a enfrentar esses desafios futuros de alinhamento", disse ele.
"É importante se concentrar não apenas nas oportunidades potenciais para grandes modelos de linguagem, mas também em seus riscos e desvantagens", disse Dean, cientista-chefe do Google. "
A empresa anunciou o projeto em julho com alarde típico. Mas, para alguns, é mais uma fantasia. As postagens da OpenAI no Twitter atraíram o desprezo de críticos proeminentes da Big Tech, incluindo Abeba Birhane, que trabalha na responsabilidade da IA na Mozilla; Timnit Gebru, cofundadora do Distributed AI Institute; e Margaret Mitchell, cientista-chefe de ética da empresa de IA Hugging Face. Na verdade, estas são vozes dissidentes familiares. Mas é um forte lembrete de que algumas pessoas acreditam que a OpenAI está na liderança, enquanto outras acreditam que a OpenAI está no limite.
No entanto, para Sutskever, o superalinhamento é o próximo passo inevitável. "É uma questão não resolvida", disse. Ele acredita que pesquisadores centrais de aprendizado de máquina como ele estão trabalhando nesse problema. "Estou fazendo isso em meu próprio benefício", disse ele. "É obviamente importante que qualquer superinteligência que alguém construa não saia do controle."
Os trabalhos sobre o superalinhamento apenas começaram. De acordo com Sutskever, isso exigirá uma ampla mudança nas instituições de pesquisa. Mas tinha em mente um modelo de salvaguardas que queria desenhar: uma máquina que trata as pessoas da mesma forma que os pais tratam os filhos. "Na minha opinião, é o padrão-ouro", disse ele. "As pessoas realmente se preocupam com as crianças, essa é uma afirmação geralmente verdadeira."
"Depois de superar o desafio da IA desonestos, o que fazer? Num mundo com inteligência artificial mais inteligente, ainda há espaço para os seres humanos? Ele disse.
"Uma possibilidade – que pode ser louca para os padrões de hoje, mas não tão louca para os padrões de amanhã – é que muitas pessoas escolham fazer parte da IA." Sutskever diz que esta pode ser uma forma de os humanos tentarem acompanhar a onda. "No início, apenas os mais corajosos e aventureiros tentavam fazer isso. Talvez outros sigam o exemplo. Ou não. "
Fontes de referência: