No lançamento do primeiro dia do desenvolvedor da OpenAI, Sam Altman elaborou uma série de desenvolvimentos importantes para a empresa, não se limitando ao GPT-4 Turbo, um novo modelo com mais potência, contexto mais longo e mais controle, bem como o lançamento da API de Assistência para simplificar a experiência para os desenvolvedores construírem agentes assistidos, a OpenAI destacou que a linguagem natural será uma maneira importante de interagir com computadores no futuro, e também introduziu a programação GPT através da conversa Altman anunciou o próximo lançamento da GPT Store, que permitirá aos usuários compartilhar e descobrir aplicativos GPT inovadores e fornecer incentivos de compartilhamento de receita. Altman também falou sobre o aprofundamento da colaboração com a Microsoft, apresentando o novo modelo text-to-speech e chamadas de recursos aprimoradas, que podem ser resumidas nas seguintes sessões:
GPT-4 Turbo: Novos modelos foram lançados, com maior comprimento de contexto e controle mais preciso.
API de assistência: Fornece um processo simplificado para os desenvolvedores criarem um agente secundário.
Programação em Linguagem Natural: Mostra como criar GPT através de conversas.
GPT Store: Permite que os usuários compartilhem e descubram aplicativos GPT e fornece compartilhamento de receita para criadores.
Microsoft Collaboration: Apresentou um novo modelo text-to-speech, bem como um discurso do CEO da Microsoft, Satya Nadella.
Agradecimentos da equipe: Altman expressou gratidão à equipe OpenAI por seu trabalho.
Tech Showcase: Novos recursos foram apresentados, incluindo uma demonstração para aplicativos de viagens e um assistente ativado por voz.
Aqui está todo o conteúdo completo do primeiro dia do desenvolvedor da OpenAI:
Primeiro, Altman lembra o lançamento de 30 de novembro do ChatGPT como uma prévia de pesquisa discreta e orgulhosamente anuncia o lançamento do GPT-4 em março, o modelo mais poderoso do mundo atualmente.
Altman também introduziu os recursos visuais e de fala introduzidos no ChatGPT nos últimos meses, dando-lhe a capacidade de ver, ouvir e falar, e anunciou que DALL· O lançamento do E 3, o modelo de imagem mais avançado do mundo e foi integrado no ChatGPT.
Para clientes de nível empresarial, a OpenAI lançou o ChatGPT Enterprise, que oferece acesso GPT mais rápido, janelas de contexto mais longas e mais proteções de segurança e privacidade de nível empresarial. Altman revelou que cerca de 2 milhões de desenvolvedores estão usando suas APIs, mais de 92% das empresas da Fortune 500 estão construindo soluções com base em seus produtos e o ChatGPT agora tem cerca de 100 milhões de usuários ativos semanais. Em particular, ele observou que essa conquista depende inteiramente do boca-a-boca, já que os usuários acham o produto útil e o recomendam aos amigos. Ele concluiu observando que, embora os dados sejam impressionantes, o mais importante é como as pessoas estão usando esses produtos e como estão aproveitando a IA, e então mostrou um vídeo que visualiza esses avanços.
Na conferência de desenvolvedores da OpenAI, Sam Altman nos mostrou como a IA pode impactar profundamente a vida pessoal e a criatividade das pessoas em um vídeo. Um dos casos do vídeo conta a história de um homem que usa o ChatGPT de uma forma não romântica, mas respeitosa e afetuosa, para contar ao pai o seu amor e apoio na língua materna do pai – o tagalo – e uma estrutura gramatical complexa. Este caso demonstra a capacidade do ChatGPT de compreender e aplicar nuances culturais e linguísticas.
De acordo com Altman, os aplicativos criativos do ChatGPT são incríveis e podem ajudar os criadores a expandir seu pensamento e aumentar sua confiança. Um exemplo é alguém que usa o ChatGPT para ajudá-los em tarefas diárias, como verificar o que está faltando na geladeira, planejar uma receita vegetariana ou até mesmo ajudar na criação de planilhas e escrever código, e o personagem em outro vídeo descobre a afinidade, paciência, conhecimento e capacidade de resposta do ChatGPT. Para uma aluna 4.0 e mãe de quatro filhos, a capacidade do ChatGPT de fornecer respostas a perguntas e explicações reduz sua dependência de tutores e lhe compra mais tempo com sua família e consigo mesma. Por fim, há também um homem no vídeo que conta como se limitou ao uso da mão esquerda depois de passar por uma cirurgia na medula espinhal e no cérebro. Agora, usando a entrada de voz e os recursos de conversação do ChatGPT, esse usuário foi muito auxiliado e facilitado. Essas histórias de caso ilustram o potencial do ChatGPT para ajudar na vida diária, apoiar o aprendizado e superar obstáculos, ao mesmo tempo em que demonstram como a IA pode conectar e capacitar os usuários em uma escala global como nunca antes.
Sam Altman então compartilhou como as pessoas estão aproveitando sua tecnologia e enfatizou que é exatamente o que elas fazem. Em seguida, anunciou uma série de novos desenvolvimentos. Altman diz que eles passaram muito tempo conversando com desenvolvedores ao redor do mundo e ouvindo seus comentários, o que teve um impacto profundo no que vamos mostrar hoje.
OpenAI lançou um novo modelo, GPT-4 Turbo. Este novo modelo atenderá às necessidades de muitos desenvolvedores. Ele detalhou seis grandes atualizações: a primeira é o comprimento do contexto, o GPT-4 suporta contextos de até 8.000 tokens e, em alguns casos, pode chegar a 32.000. O GPT-4 Turbo suporta contextos de até 128.000 tokens, o que equivale a 300 páginas de um livro padrão e 16 vezes mais do que o contexto de 8.000 tokens. Além do maior comprimento do contexto, a precisão deste modelo ao lidar com contextos longos também foi significativamente melhorada.
A segunda atualização é mais controle. Para dar aos desenvolvedores mais controle sobre as respostas e saídas do modelo, eles introduziram um novo recurso chamado JSON Schema para garantir que os modelos respondam a JSON válido, o que simplificará muito as chamadas de API. O modelo também melhorou em termos de chamadas de função, permitindo que várias funções sejam chamadas ao mesmo tempo e sigam melhor as instruções. Eles também introduziram um novo recurso chamado "Reproducible Output", que permite que o modelo retorne uma saída consistente passando um parâmetro semente, o que obviamente fornece um maior grau de controle sobre o comportamento do modelo. Este recurso está atualmente em versão beta.
Nas próximas semanas, eles lançarão um novo recurso que permitirá que as sondas de log sejam visualizadas na API. A terceira atualização é um melhor conhecimento do mundo. Para dar ao modelo acesso a um conhecimento do mundo mais preciso, eles introduziram um recurso de recuperação que permite que o conhecimento seja extraído de documentos ou bancos de dados externos. Eles também atualizaram o prazo de conhecimento, e o conhecimento mundial do GPT-4 Turbo foi atualizado para abril de 2023 e continuará a melhorar.
A quarta atualização é uma nova modalidade, DALL· E 3, os recursos visuais do GPT-4 Turbo e o novo modelo text-to-speech estão chegando à API hoje, e um punhado de clientes já está usando o DALL· E 3 Gera imagens e desenhos de forma programática. Hoje, a Coca-Cola está lançando uma campanha para permitir que os clientes usem o DALL· E 3 Gerar cartões de felicitações Diwali.
É claro que seus sistemas de segurança ajudam os desenvolvedores a evitar que os aplicativos sejam usados indevidamente, e essas ferramentas podem ser usadas em APIs. O GPT-4 Turbo agora pode aceitar entrada de imagem via API e gerar legendas, classificações e análises. Por exemplo, Miis usa essa tecnologia para ajudar pessoas cegas ou com baixa visão com tarefas diárias, como identificar o produto à sua frente. E com o novo modelo de conversão de texto em fala, você poderá gerar áudio de som natural a partir de texto na API, com seis sons predefinidos para escolher.
Altman tocou um exemplo de um som que mostrou a naturalidade de seu novo modelo de conversão de texto em fala. Essa tecnologia de voz para voz torna a interação do aplicativo mais natural e acessível, e desbloqueia muitos casos de uso, como aprendizagem de idiomas e assistentes de voz.
Altman também anunciou a próxima versão de seu modelo de reconhecimento de fala de código aberto, Whisper v3, e disse que adicionará APIs em breve. Esta versão melhorou o desempenho em vários idiomas, e ele acha que os desenvolvedores vão realmente gostar.
Em seguida, ele discutiu a questão da personalização. Desde o lançamento do GPT 3.5 há alguns meses, o recurso de ajuste fino teve um bom desempenho. A partir de hoje, isso será estendido para a versão 16K do modelo. Eles também convidam os usuários que usam ativamente o ajuste fino a se candidatarem ao Programa de Acesso a Experimentos de Ajuste Fino GPT-4. A API de ajuste fino é ideal para melhorar o desempenho de um modelo com relativamente poucos dados em uma variedade de aplicativos, seja aprendendo áreas de conhecimento totalmente novas ou trabalhando com grandes quantidades de dados proprietários.
Na quinta atualização, Altman anunciou uma nova iniciativa chamada "Custom Models", onde os pesquisadores da OpenAI trabalharão em estreita colaboração com a empresa para usar suas ferramentas para construir modelos personalizados especializados para casos de uso específicos. Isso inclui modificar cada etapa do processo de treinamento do modelo, fazer pré-treinamento específico do domínio, personalizar o processo de pós-treinamento de aprendizagem de reforço e muito mais. Admite que, num primeiro momento, não conseguirão trabalhar com muitas empresas, o que dará muito trabalho e não será barato, pelo menos inicialmente. Mas se há empresas que procuram levar as coisas aos seus limites atuais, contacte-as.
Além disso, Altman anunciou limites de taxas mais altos. Eles dobrarão o número de tokens por minuto para todos os clientes GPT-4 existentes, tornando mais fácil fazer mais, e podem solicitar mais alterações de limite de taxa e cota diretamente nas configurações da conta da API. Além desses limites de taxa, eles também introduziram o Copyright Shield, o que significa que, se um cliente enfrentar uma ação legal por violação de direitos autorais, a OpenAI intervirá para proteger o cliente e cobrir os custos incorridos. Isso se aplica ao ChatGPT Enterprise e às APIs. Ele lembra claramente a todos que eles nunca usam dados de APIs ou ChatGPT Enterprise para treinamento.
Altman continuou falando sobre um pedido de desenvolvedor que era maior do que todos os anteriores, e essa era a questão dos preços. Ele anunciou que o GPT-4 Turbo não é apenas mais inteligente do que o GPT-4, mas também mais barato, levando a uma redução de 3x no token e uma redução de 2x no token de conclusão. O novo preço é de US$ 0,01 por 1.000 tokens de prompt e US$ 0,03 por 1.000 tokens de conclusão. Isso resulta na taxa combinada do GPT-4 Turbo sendo mais de 2,75 vezes mais barata do que o GPT-4. Eles trabalharam muito duro para conseguir isso e espero que todos fiquem animados com isso.
Eles tiveram que escolher entre preço e velocidade ao decidir priorizar a questão do preço, mas em seguida eles trabalharão para aumentar a velocidade. Ele também anunciou um corte de preço para o GPT 3.5 Turbo 16K, com uma redução de 3x nos tokens de entrada e uma redução de 2x nos tokens de saída, o que significa que o GPT 3.516K agora é mais barato do que o modelo GPT 3.54K anterior. A versão GPT 3.5 Turbo 16K ajustada também é mais barata de rodar do que a versão 4K ajustada mais antiga, e ele espera que as mudanças atendam ao feedback de todos e está animado para trazer essas melhorias para todos.
Apresentando tudo, ele mencionou que a OpenAI tem sorte de ter um parceiro que desempenha um papel vital em tornar isso possível. Por isso, trouxe um convidado especial, Satya Nadella, CEO da Microsoft.
Nadella lembra que encontrou a OpenAI pela primeira vez, onde Altman perguntou se ele tinha alguns créditos do Azure disponíveis, e eles percorreram um longo caminho desde então. Ele elogiou a OpenAI por construir algo mágico e compartilhou dois dos pensamentos da Microsoft sobre a parceria: primeiro, cargas de trabalho, onde eles trabalham juntos para construir sistemas que suportam os modelos que a OpenAI está construindo, de energia a data centers, racks e aceleradores e redes. O objetivo da Microsoft é construir o melhor sistema para que a OpenAI possa construir o melhor modelo e disponibilizá-lo aos desenvolvedores. Em segundo lugar, a Microsoft é uma desenvolvedora em si mesma e está criando produtos. Nadella mencionou que, quando conheceu o GitHub Copilot e GPT, sua crença em toda a geração de modelos básicos mudou completamente. Eles estão comprometidos em construir seu produto com base nas APIs da OpenAI e esperam tornar o GitHub Copilot Enterprise disponível para todos os participantes para experimentá-lo.
Altman também perguntou a Nadella o que ela pensa sobre o futuro das parcerias e o futuro da IA. Nadella enfatizou que a Microsoft está totalmente comprometida em fornecer os sistemas e recursos de computação necessários para apoiar a OpenAI em seu progresso ousado em seu roteiro. Eles estão comprometidos em fornecer os melhores sistemas de treinamento e inferência, bem como a maioria dos recursos de computação, para que a OpenAI possa continuar a impulsionar a vanguarda. Nadella acredita que o verdadeiro valor da IA está na sua capacidade de capacitar as pessoas, o que se alinha com a missão da OpenAI e da Microsoft de capacitar todas as pessoas e todas as organizações do planeta a fazer mais. Ele mencionou que a segurança é um foco chave em sua colaboração, e que é um foco de seus esforços conjuntos, não uma reflexão posterior. As palavras de Nadella ressaltam a profundidade e o propósito da parceria entre a OpenAI e a Microsoft, demonstrando a visão compartilhada das duas empresas para impulsionar o crescimento e a adoção da IA.
Altman então se voltou para o tópico da conferência, e embora fosse uma conferência para desenvolvedores, eles fizeram algumas melhorias no ChatGPT. Agora, o ChatGPT usa o GPT-4 Turbo e todas as melhorias mais recentes, incluindo os últimos tempos de corte de conhecimento, e continuará a ser atualizado, que já estão em vigor no mesmo dia. ChatGPT agora é capaz de navegar na web, escrever e executar código, analisar dados, gerar imagens e muito mais quando necessário. Eles também ouviram comentários dos usuários de que o seletor de modelo é extremamente irritante e, portanto, foi removido. A partir de hoje, os usuários não precisam clicar em um menu suspenso e o ChatGPT saberá automaticamente qual recurso usar quando.
Altman ressalta que, embora o preço seja uma questão importante, não é a principal coisa no pedido do desenvolvedor. Eles acreditam que, se as pessoas receberem ferramentas melhores, elas farão coisas incríveis. As pessoas querem que a IA seja mais inteligente, mais personalizada, mais personalizável e capaz de fazer mais em nome do usuário. Eventualmente, o usuário simplesmente solicita o PC e ele faz todas essas tarefas para você. No campo da IA, essas capacidades são muitas vezes referidas como "agentes". Para abordar a segurança da IA, a OpenAI acredita que uma implantação gradual e iterativa é a melhor abordagem, e acredita que é especialmente importante avançar cautelosamente em direção ao futuro deste "agente". Isso exigirá muito trabalho técnico e muita ponderação por parte da sociedade.
Então, eles deram o primeiro pequeno passo em direção a esse futuro. Altman ficou entusiasmado em apresentar o GPT – a versão do ChatGPT adaptada para um propósito específico. Você pode criar uma versão personalizada do ChatGPT de quase tudo com instruções, conhecimento estendido e ações e, em seguida, publicá-lo para outros usarem. Como combinam instruções, conhecimento estendido e ação, eles podem ser mais úteis, mais adequados a vários contextos e fornecer um melhor controle.
Eles tornarão mais fácil realizar várias tarefas ou apenas torná-lo mais divertido para você. Você pode usá-los diretamente no ChatGPT. Na verdade, você pode programar GPT em linguagem falando com ele. É fácil personalizar o comportamento para atender às suas necessidades. Isso torna muito fácil construí-los e capacita a todos.
Altman continuou dizendo que eles mostrarão o que são GPTs, como usá-los, como construí-los e, em seguida, discutirão como eles serão distribuídos e descobertos. Em seguida, para os desenvolvedores, eles mostrarão como criar essas experiências semelhantes a agentes em seus próprios aplicativos.
Apresentou alguns exemplos. Os parceiros da Code.org estão trabalhando para expandir o currículo de ciência da computação da escola, e eles têm cursos usados por dezenas de milhões de alunos em todo o mundo. Code.org desenvolveu um plano de aula e GPT para ajudar os professores a proporcionar uma experiência mais envolvente para os alunos do ensino médio. Por exemplo, se o professor pedir uma maneira criativa de explicar o loop, ele o fará e, neste caso, explicará com a maneira como um personagem de videogame pega moedas repetidamente, o que é muito fácil para um aluno da oitava série entender. Este GPT combina o extenso currículo e experiência da code.org, permitindo que os professores se adaptem rápida e facilmente às suas necessidades.
Em seguida, o Canva cria um GPT onde você pode começar o trabalho de design descrevendo o design desejado em linguagem natural. Se você disser, faça um cartaz para a receção do Dev Day esta tarde e forneça alguns detalhes, ele gerará algumas opções iniciais ligando para a API do Canva.
Altman observa que o conceito pode ser familiar para alguns. Eles desenvolveram o plugin em uma ação personalizada para GPT. Você pode continuar conversando com este para ver as diferentes iterações, e quando você vê o que você gosta, você pode clicar para viajar para o Canva para a experiência completa de design.
Então, eles queriam mostrar um GPT ao vivo. Zapier construiu um GPT que permite executar ações em 6000 aplicativos, desbloqueando uma ampla gama de possibilidades de integração. Altman apresentou Jessica, Arquiteta de Soluções da OpenAI, que será responsável pela apresentação.
A arquiteta de soluções Jessica Shei subiu ao palco e rapidamente começou a demonstração, com Jessica apontando que os GPTs estariam localizados no canto superior esquerdo da interface e mostrando um exemplo chamado Zapier AI actions. Ela mostrou sua agenda para o dia e mencionou que havia conectado GPTs ao seu calendário.
Durante a apresentação, Jéssica perguntou sobre a programação do dia. Ela enfatizou que os GPTs são construídos com a segurança em mente, e o sistema pede a permissão do usuário antes que qualquer ação ou dados sejam compartilhados. Ela permite que os GPTs acessem sua programação e explica que os GPTs são projetados para receber instruções do usuário para decidir qual função invocar para executar a ação apropriada.
Em seguida, Jessica mostrou como os GPTs se conectaram com sucesso ao seu calendário e extraíram as informações do evento. Ela também instruiu os GPTs a verificar conflitos no calendário e mostrou que identificou com sucesso um. Ela então demonstra como deixar uma pessoa chamada Sam saber que ela precisa sair cedo e mudar para uma conversa com Sam para pedir para fazê-lo.
Quando os GPTs completaram o pedido, Jessica perguntou a Sam se ela tinha recebido a notificação, e Sam confirmou o recebimento. Jessica usou isso como um exemplo para ilustrar o potencial dos GPTs e expressou sua expectativa de ver o que os outros construiriam.
Sam então passou a introduzir mais exemplos de GPT. Ele mencionou que, além dos demonstrados, existem muitos GPTs que estão sendo criados e serão criados em breve. Ele percebeu que muitas pessoas que queriam construir o GPT não podiam programar, então eles tornaram possível para as pessoas programarem o GPT através da conversa. Altman acredita que a linguagem natural será uma parte importante de como as pessoas usarão computadores no futuro, e vê isso como um exemplo inicial interessante.
Em seguida, Altman mostra como criar um GPT. Ele queria criar um GPT que ajudasse os fundadores e desenvolvedores a fornecer conselhos ao lançar novos projetos. Ele entra no construtor GPT, diz o que ele quer, e GPT começa a construir instruções detalhadas com base em sua descrição. Ele também vem com um nome "Startup Mentor" e começa a preencher com informações e possíveis perguntas no modo de visualização. Altman carregou uma transcrição do seu discurso anterior sobre empreendedorismo para fornecer conselhos com base nele, acrescentando "feedback conciso e construtivo" à diretiva.
Altman então tentou este GPT na tag de visualização e ficou satisfeito com os resultados. Ele decidiu apenas postá-lo para si mesmo por enquanto, para que ele pudesse refiná-lo ainda mais e compartilhá-lo mais tarde. Ele mencionou que sempre quis criar um robô assim e agora estava feliz por poder fazer isso acontecer. Altman enfatizou que os GPTs permitem que as pessoas compartilhem e descubram facilmente coisas interessantes que fazem com o ChatGPT. As pessoas podem criar GPTs de forma privada, ou compartilhar suas criações publicamente por meio de links, ou fazer GPTs apenas para sua empresa se usarem o ChatGPT Enterprise. Eles planejam lançar uma loja GPT no final deste mês, onde as pessoas podem listar GPTs, e a OpenAI apresentará os melhores e mais populares GPTs.
Altman também mencionou que a OpenAI garantirá que os GPTs nas lojas sigam suas políticas, e que a OpenAI valorize o compartilhamento de receita e pagará uma parte da receita para aqueles que construírem os GPTs mais úteis e populares. Eles estão ansiosos para promover um ecossistema vibrante através da GPT Store e estão entusiasmados com mais informações que serão compartilhadas.
Altman também enfatizou que esta é uma conferência para desenvolvedores que estão trazendo os mesmos conceitos para APIs. Ele mencionou que muitas pessoas já construíram experiências semelhantes a proxy em APIs, como o Shopify Sidekick e o Collide do Discord, bem como minha IA, um chatbot personalizado que pode ser adicionado a chats em grupo e fornecer recomendações. Essas experiências são ótimas, mas construí-las muitas vezes é difícil, às vezes levando meses e equipes de dezenas de engenheiros. Para simplificar esse processo, eles lançaram uma nova API de assistência.
A API de Assistência inclui threads persistentes, um interpretador de código de recuperação integrado, um interpretador Python funcional e um ambiente de sandbox, além da funcionalidade aprimorada de chamada de função discutida anteriormente.
Este foi seguido por Raman, Chefe de Experiência do Desenvolvedor na OpenAI, mostrando como isso funciona. Ramon diz que se sente encorajado por ver tantas pessoas incorporando IA em seus aplicativos. Ramon anunciou que não só estão introduzindo novos padrões na API, mas também estão animados para melhorar a experiência do desenvolvedor para que seja mais fácil para as pessoas criarem agentes secundários. Em seguida, ele mostra o processo de construção diretamente.
Ramon apresentou o aplicativo de viagens que ele está construindo chamado "desejo de viajar" para exploradores de todo o mundo. Ele também apresentou ideias de destino geradas com GPT-4, bem como o uso do novo DALL· Ilustrações geradas programaticamente pela API E 3. Posteriormente, Ramon mostrou como melhorar o aplicativo adicionando um assistente simples. Ele muda para o novo playground de ferramentas de assistência, cria um assistente, dá-lhe um nome, fornece instruções iniciais, seleciona o modelo, habilita o interpretador de código e funções de recuperação e, em seguida, salva.
Ramon continuou explicando como integrar o assistente ao aplicativo, analisando alguns dos códigos e demonstrando como criar um novo thread para cada novo usuário e adicionar suas mensagens a esses threads. Ele também mostra como executar o assistente a qualquer momento para retornar a resposta ao aplicativo.
Em seguida, Ramon mostrou a chamada de função, um recurso que ele gostou particularmente. As chamadas de função agora garantem a saída JSON, e várias funções podem ser chamadas ao mesmo tempo. Ele então demonstrou como o assistente conhece os recursos para incluir rótulos no mapa à direita e adiciona marcadores ao mapa em tempo real.
Ramon também discute o recurso de recuperação, que é sobre dar aos assistentes mais conhecimento do que mensagens instantâneas do usuário. Ele carrega um arquivo PDF, que é lido pelo sistema e exibido na tela. Em seguida, ele arrasta e solta as informações de reserva do Airbnb na conversa também.
Ramon enfatizou que os desenvolvedores normalmente precisam calcular incorporações, configurar algoritmos de fragmentação e agora tudo isso é tratado pela nova API stateful. Ele também mostra o painel do desenvolvedor onde você pode ver as etapas tomadas pela ferramenta, incluindo as funções que foram chamadas e os arquivos PDF que foram carregados.
Ramon então discutiu um novo recurso que muitos desenvolvedores esperavam: o interpretador de código, que agora também está disponível na API. Ele permite que a IA escreva e execute código e até mesmo gere arquivos na hora. Ele demonstra como um intérprete de código funcionaria se você disser um problema que requer conversão de moeda e cálculos de dias. Finalmente, Ramon descreve como criar rapidamente um agente que pode gerenciar o estado das conversas do usuário, aproveitar ferramentas externas, como recuperação de conhecimento e interpretadores de código, e chamar suas próprias funções para implementar funcionalidades.
Ramon também introduziu recursos que combinam padrões recém-lançados e chamadas de recursos, e ele criou um assistente personalizado para o Dev Day. Além disso, ele decidiu usar a voz em vez da interface de bate-papo. Ele mostrou um aplicativo Swift simples que pode receber entrada de microfone e mostrar o que está acontecendo em segundo plano nos logs do terminal. Ele usou sussurro para converter entrada de voz em texto, utilizou o assistente do GPT-4 Turbo e usou a nova API TTS para torná-lo som.
Ramon também demonstra como o assistente pode se conectar à internet e executar ações do mundo real para o usuário. Ele se ofereceu para que o assistente desse US $ 500 em créditos OpenAI para cinco participantes aleatórios do Dia de Desenvolvimento, e o assistente completou a tarefa com sucesso.
Finalmente, em suas observações finais no Dia do Desenvolvedor da OpenAI, Sam Altman disse que a API de apoio está em testes beta e que ele está animado para ver como os desenvolvedores a usarão. Ele enfatizou que o GPT e as ferramentas assistivas são pioneiros no caminho para agentes mais complexos que serão capazes de planejar e executar tarefas mais complexas para os usuários.
Altman reitera a importância de implantações iterativas graduais e incentiva as pessoas a começarem a usar esses agentes agora, a fim de se adaptarem a um mundo futuro onde se tornem mais capazes. Ele garantiu que a OpenAI continuará a atualizar o sistema com base no feedback dos usuários, dizendo que a OpenAI tem uma excelente densidade de talentos, mas ainda é preciso muito esforço e coordenação para alcançar tudo isso. Ele sente que tem os melhores colegas do mundo e está incrivelmente grato por poder trabalhar com eles.
É por isso que a equipe da OpenAI está trabalhando tanto: eles acreditam que a IA fará parte de uma revolução tecnológica e social que mudará o mundo de muitas maneiras. Altman mencionou que eles haviam discutido anteriormente que, dando às pessoas melhores ferramentas, elas poderiam mudar o mundo. Ele acredita que a IA trará empoderamento pessoal e escala de agência sem precedentes, elevando assim a humanidade a um nível sem precedentes. À medida que a inteligência se torna mais ubíqua, todos nós temos superpoderes em todos os momentos. Ele está animado sobre como você usará a tecnologia e o novo futuro que estamos construindo juntos.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Primeira conferência de desenvolvedores da OpenAI: GPT-4 Turbo, GPT Store
Fonte: Há um novo Newin
No lançamento do primeiro dia do desenvolvedor da OpenAI, Sam Altman elaborou uma série de desenvolvimentos importantes para a empresa, não se limitando ao GPT-4 Turbo, um novo modelo com mais potência, contexto mais longo e mais controle, bem como o lançamento da API de Assistência para simplificar a experiência para os desenvolvedores construírem agentes assistidos, a OpenAI destacou que a linguagem natural será uma maneira importante de interagir com computadores no futuro, e também introduziu a programação GPT através da conversa Altman anunciou o próximo lançamento da GPT Store, que permitirá aos usuários compartilhar e descobrir aplicativos GPT inovadores e fornecer incentivos de compartilhamento de receita. Altman também falou sobre o aprofundamento da colaboração com a Microsoft, apresentando o novo modelo text-to-speech e chamadas de recursos aprimoradas, que podem ser resumidas nas seguintes sessões:
Aqui está todo o conteúdo completo do primeiro dia do desenvolvedor da OpenAI:
Primeiro, Altman lembra o lançamento de 30 de novembro do ChatGPT como uma prévia de pesquisa discreta e orgulhosamente anuncia o lançamento do GPT-4 em março, o modelo mais poderoso do mundo atualmente.
Altman também introduziu os recursos visuais e de fala introduzidos no ChatGPT nos últimos meses, dando-lhe a capacidade de ver, ouvir e falar, e anunciou que DALL· O lançamento do E 3, o modelo de imagem mais avançado do mundo e foi integrado no ChatGPT.
Para clientes de nível empresarial, a OpenAI lançou o ChatGPT Enterprise, que oferece acesso GPT mais rápido, janelas de contexto mais longas e mais proteções de segurança e privacidade de nível empresarial. Altman revelou que cerca de 2 milhões de desenvolvedores estão usando suas APIs, mais de 92% das empresas da Fortune 500 estão construindo soluções com base em seus produtos e o ChatGPT agora tem cerca de 100 milhões de usuários ativos semanais. Em particular, ele observou que essa conquista depende inteiramente do boca-a-boca, já que os usuários acham o produto útil e o recomendam aos amigos. Ele concluiu observando que, embora os dados sejam impressionantes, o mais importante é como as pessoas estão usando esses produtos e como estão aproveitando a IA, e então mostrou um vídeo que visualiza esses avanços.
Na conferência de desenvolvedores da OpenAI, Sam Altman nos mostrou como a IA pode impactar profundamente a vida pessoal e a criatividade das pessoas em um vídeo. Um dos casos do vídeo conta a história de um homem que usa o ChatGPT de uma forma não romântica, mas respeitosa e afetuosa, para contar ao pai o seu amor e apoio na língua materna do pai – o tagalo – e uma estrutura gramatical complexa. Este caso demonstra a capacidade do ChatGPT de compreender e aplicar nuances culturais e linguísticas.
De acordo com Altman, os aplicativos criativos do ChatGPT são incríveis e podem ajudar os criadores a expandir seu pensamento e aumentar sua confiança. Um exemplo é alguém que usa o ChatGPT para ajudá-los em tarefas diárias, como verificar o que está faltando na geladeira, planejar uma receita vegetariana ou até mesmo ajudar na criação de planilhas e escrever código, e o personagem em outro vídeo descobre a afinidade, paciência, conhecimento e capacidade de resposta do ChatGPT. Para uma aluna 4.0 e mãe de quatro filhos, a capacidade do ChatGPT de fornecer respostas a perguntas e explicações reduz sua dependência de tutores e lhe compra mais tempo com sua família e consigo mesma. Por fim, há também um homem no vídeo que conta como se limitou ao uso da mão esquerda depois de passar por uma cirurgia na medula espinhal e no cérebro. Agora, usando a entrada de voz e os recursos de conversação do ChatGPT, esse usuário foi muito auxiliado e facilitado. Essas histórias de caso ilustram o potencial do ChatGPT para ajudar na vida diária, apoiar o aprendizado e superar obstáculos, ao mesmo tempo em que demonstram como a IA pode conectar e capacitar os usuários em uma escala global como nunca antes.
Sam Altman então compartilhou como as pessoas estão aproveitando sua tecnologia e enfatizou que é exatamente o que elas fazem. Em seguida, anunciou uma série de novos desenvolvimentos. Altman diz que eles passaram muito tempo conversando com desenvolvedores ao redor do mundo e ouvindo seus comentários, o que teve um impacto profundo no que vamos mostrar hoje.
OpenAI lançou um novo modelo, GPT-4 Turbo. Este novo modelo atenderá às necessidades de muitos desenvolvedores. Ele detalhou seis grandes atualizações: a primeira é o comprimento do contexto, o GPT-4 suporta contextos de até 8.000 tokens e, em alguns casos, pode chegar a 32.000. O GPT-4 Turbo suporta contextos de até 128.000 tokens, o que equivale a 300 páginas de um livro padrão e 16 vezes mais do que o contexto de 8.000 tokens. Além do maior comprimento do contexto, a precisão deste modelo ao lidar com contextos longos também foi significativamente melhorada.
A segunda atualização é mais controle. Para dar aos desenvolvedores mais controle sobre as respostas e saídas do modelo, eles introduziram um novo recurso chamado JSON Schema para garantir que os modelos respondam a JSON válido, o que simplificará muito as chamadas de API. O modelo também melhorou em termos de chamadas de função, permitindo que várias funções sejam chamadas ao mesmo tempo e sigam melhor as instruções. Eles também introduziram um novo recurso chamado "Reproducible Output", que permite que o modelo retorne uma saída consistente passando um parâmetro semente, o que obviamente fornece um maior grau de controle sobre o comportamento do modelo. Este recurso está atualmente em versão beta.
Nas próximas semanas, eles lançarão um novo recurso que permitirá que as sondas de log sejam visualizadas na API. A terceira atualização é um melhor conhecimento do mundo. Para dar ao modelo acesso a um conhecimento do mundo mais preciso, eles introduziram um recurso de recuperação que permite que o conhecimento seja extraído de documentos ou bancos de dados externos. Eles também atualizaram o prazo de conhecimento, e o conhecimento mundial do GPT-4 Turbo foi atualizado para abril de 2023 e continuará a melhorar.
A quarta atualização é uma nova modalidade, DALL· E 3, os recursos visuais do GPT-4 Turbo e o novo modelo text-to-speech estão chegando à API hoje, e um punhado de clientes já está usando o DALL· E 3 Gera imagens e desenhos de forma programática. Hoje, a Coca-Cola está lançando uma campanha para permitir que os clientes usem o DALL· E 3 Gerar cartões de felicitações Diwali.
É claro que seus sistemas de segurança ajudam os desenvolvedores a evitar que os aplicativos sejam usados indevidamente, e essas ferramentas podem ser usadas em APIs. O GPT-4 Turbo agora pode aceitar entrada de imagem via API e gerar legendas, classificações e análises. Por exemplo, Miis usa essa tecnologia para ajudar pessoas cegas ou com baixa visão com tarefas diárias, como identificar o produto à sua frente. E com o novo modelo de conversão de texto em fala, você poderá gerar áudio de som natural a partir de texto na API, com seis sons predefinidos para escolher.
Altman tocou um exemplo de um som que mostrou a naturalidade de seu novo modelo de conversão de texto em fala. Essa tecnologia de voz para voz torna a interação do aplicativo mais natural e acessível, e desbloqueia muitos casos de uso, como aprendizagem de idiomas e assistentes de voz.
Altman também anunciou a próxima versão de seu modelo de reconhecimento de fala de código aberto, Whisper v3, e disse que adicionará APIs em breve. Esta versão melhorou o desempenho em vários idiomas, e ele acha que os desenvolvedores vão realmente gostar.
Em seguida, ele discutiu a questão da personalização. Desde o lançamento do GPT 3.5 há alguns meses, o recurso de ajuste fino teve um bom desempenho. A partir de hoje, isso será estendido para a versão 16K do modelo. Eles também convidam os usuários que usam ativamente o ajuste fino a se candidatarem ao Programa de Acesso a Experimentos de Ajuste Fino GPT-4. A API de ajuste fino é ideal para melhorar o desempenho de um modelo com relativamente poucos dados em uma variedade de aplicativos, seja aprendendo áreas de conhecimento totalmente novas ou trabalhando com grandes quantidades de dados proprietários.
Na quinta atualização, Altman anunciou uma nova iniciativa chamada "Custom Models", onde os pesquisadores da OpenAI trabalharão em estreita colaboração com a empresa para usar suas ferramentas para construir modelos personalizados especializados para casos de uso específicos. Isso inclui modificar cada etapa do processo de treinamento do modelo, fazer pré-treinamento específico do domínio, personalizar o processo de pós-treinamento de aprendizagem de reforço e muito mais. Admite que, num primeiro momento, não conseguirão trabalhar com muitas empresas, o que dará muito trabalho e não será barato, pelo menos inicialmente. Mas se há empresas que procuram levar as coisas aos seus limites atuais, contacte-as.
Além disso, Altman anunciou limites de taxas mais altos. Eles dobrarão o número de tokens por minuto para todos os clientes GPT-4 existentes, tornando mais fácil fazer mais, e podem solicitar mais alterações de limite de taxa e cota diretamente nas configurações da conta da API. Além desses limites de taxa, eles também introduziram o Copyright Shield, o que significa que, se um cliente enfrentar uma ação legal por violação de direitos autorais, a OpenAI intervirá para proteger o cliente e cobrir os custos incorridos. Isso se aplica ao ChatGPT Enterprise e às APIs. Ele lembra claramente a todos que eles nunca usam dados de APIs ou ChatGPT Enterprise para treinamento.
Altman continuou falando sobre um pedido de desenvolvedor que era maior do que todos os anteriores, e essa era a questão dos preços. Ele anunciou que o GPT-4 Turbo não é apenas mais inteligente do que o GPT-4, mas também mais barato, levando a uma redução de 3x no token e uma redução de 2x no token de conclusão. O novo preço é de US$ 0,01 por 1.000 tokens de prompt e US$ 0,03 por 1.000 tokens de conclusão. Isso resulta na taxa combinada do GPT-4 Turbo sendo mais de 2,75 vezes mais barata do que o GPT-4. Eles trabalharam muito duro para conseguir isso e espero que todos fiquem animados com isso.
Eles tiveram que escolher entre preço e velocidade ao decidir priorizar a questão do preço, mas em seguida eles trabalharão para aumentar a velocidade. Ele também anunciou um corte de preço para o GPT 3.5 Turbo 16K, com uma redução de 3x nos tokens de entrada e uma redução de 2x nos tokens de saída, o que significa que o GPT 3.516K agora é mais barato do que o modelo GPT 3.54K anterior. A versão GPT 3.5 Turbo 16K ajustada também é mais barata de rodar do que a versão 4K ajustada mais antiga, e ele espera que as mudanças atendam ao feedback de todos e está animado para trazer essas melhorias para todos.
Apresentando tudo, ele mencionou que a OpenAI tem sorte de ter um parceiro que desempenha um papel vital em tornar isso possível. Por isso, trouxe um convidado especial, Satya Nadella, CEO da Microsoft.
Nadella lembra que encontrou a OpenAI pela primeira vez, onde Altman perguntou se ele tinha alguns créditos do Azure disponíveis, e eles percorreram um longo caminho desde então. Ele elogiou a OpenAI por construir algo mágico e compartilhou dois dos pensamentos da Microsoft sobre a parceria: primeiro, cargas de trabalho, onde eles trabalham juntos para construir sistemas que suportam os modelos que a OpenAI está construindo, de energia a data centers, racks e aceleradores e redes. O objetivo da Microsoft é construir o melhor sistema para que a OpenAI possa construir o melhor modelo e disponibilizá-lo aos desenvolvedores. Em segundo lugar, a Microsoft é uma desenvolvedora em si mesma e está criando produtos. Nadella mencionou que, quando conheceu o GitHub Copilot e GPT, sua crença em toda a geração de modelos básicos mudou completamente. Eles estão comprometidos em construir seu produto com base nas APIs da OpenAI e esperam tornar o GitHub Copilot Enterprise disponível para todos os participantes para experimentá-lo.
Altman também perguntou a Nadella o que ela pensa sobre o futuro das parcerias e o futuro da IA. Nadella enfatizou que a Microsoft está totalmente comprometida em fornecer os sistemas e recursos de computação necessários para apoiar a OpenAI em seu progresso ousado em seu roteiro. Eles estão comprometidos em fornecer os melhores sistemas de treinamento e inferência, bem como a maioria dos recursos de computação, para que a OpenAI possa continuar a impulsionar a vanguarda. Nadella acredita que o verdadeiro valor da IA está na sua capacidade de capacitar as pessoas, o que se alinha com a missão da OpenAI e da Microsoft de capacitar todas as pessoas e todas as organizações do planeta a fazer mais. Ele mencionou que a segurança é um foco chave em sua colaboração, e que é um foco de seus esforços conjuntos, não uma reflexão posterior. As palavras de Nadella ressaltam a profundidade e o propósito da parceria entre a OpenAI e a Microsoft, demonstrando a visão compartilhada das duas empresas para impulsionar o crescimento e a adoção da IA.
Altman então se voltou para o tópico da conferência, e embora fosse uma conferência para desenvolvedores, eles fizeram algumas melhorias no ChatGPT. Agora, o ChatGPT usa o GPT-4 Turbo e todas as melhorias mais recentes, incluindo os últimos tempos de corte de conhecimento, e continuará a ser atualizado, que já estão em vigor no mesmo dia. ChatGPT agora é capaz de navegar na web, escrever e executar código, analisar dados, gerar imagens e muito mais quando necessário. Eles também ouviram comentários dos usuários de que o seletor de modelo é extremamente irritante e, portanto, foi removido. A partir de hoje, os usuários não precisam clicar em um menu suspenso e o ChatGPT saberá automaticamente qual recurso usar quando.
Altman ressalta que, embora o preço seja uma questão importante, não é a principal coisa no pedido do desenvolvedor. Eles acreditam que, se as pessoas receberem ferramentas melhores, elas farão coisas incríveis. As pessoas querem que a IA seja mais inteligente, mais personalizada, mais personalizável e capaz de fazer mais em nome do usuário. Eventualmente, o usuário simplesmente solicita o PC e ele faz todas essas tarefas para você. No campo da IA, essas capacidades são muitas vezes referidas como "agentes". Para abordar a segurança da IA, a OpenAI acredita que uma implantação gradual e iterativa é a melhor abordagem, e acredita que é especialmente importante avançar cautelosamente em direção ao futuro deste "agente". Isso exigirá muito trabalho técnico e muita ponderação por parte da sociedade.
Então, eles deram o primeiro pequeno passo em direção a esse futuro. Altman ficou entusiasmado em apresentar o GPT – a versão do ChatGPT adaptada para um propósito específico. Você pode criar uma versão personalizada do ChatGPT de quase tudo com instruções, conhecimento estendido e ações e, em seguida, publicá-lo para outros usarem. Como combinam instruções, conhecimento estendido e ação, eles podem ser mais úteis, mais adequados a vários contextos e fornecer um melhor controle.
Eles tornarão mais fácil realizar várias tarefas ou apenas torná-lo mais divertido para você. Você pode usá-los diretamente no ChatGPT. Na verdade, você pode programar GPT em linguagem falando com ele. É fácil personalizar o comportamento para atender às suas necessidades. Isso torna muito fácil construí-los e capacita a todos.
Altman continuou dizendo que eles mostrarão o que são GPTs, como usá-los, como construí-los e, em seguida, discutirão como eles serão distribuídos e descobertos. Em seguida, para os desenvolvedores, eles mostrarão como criar essas experiências semelhantes a agentes em seus próprios aplicativos.
Apresentou alguns exemplos. Os parceiros da Code.org estão trabalhando para expandir o currículo de ciência da computação da escola, e eles têm cursos usados por dezenas de milhões de alunos em todo o mundo. Code.org desenvolveu um plano de aula e GPT para ajudar os professores a proporcionar uma experiência mais envolvente para os alunos do ensino médio. Por exemplo, se o professor pedir uma maneira criativa de explicar o loop, ele o fará e, neste caso, explicará com a maneira como um personagem de videogame pega moedas repetidamente, o que é muito fácil para um aluno da oitava série entender. Este GPT combina o extenso currículo e experiência da code.org, permitindo que os professores se adaptem rápida e facilmente às suas necessidades.
Em seguida, o Canva cria um GPT onde você pode começar o trabalho de design descrevendo o design desejado em linguagem natural. Se você disser, faça um cartaz para a receção do Dev Day esta tarde e forneça alguns detalhes, ele gerará algumas opções iniciais ligando para a API do Canva.
Altman observa que o conceito pode ser familiar para alguns. Eles desenvolveram o plugin em uma ação personalizada para GPT. Você pode continuar conversando com este para ver as diferentes iterações, e quando você vê o que você gosta, você pode clicar para viajar para o Canva para a experiência completa de design.
Então, eles queriam mostrar um GPT ao vivo. Zapier construiu um GPT que permite executar ações em 6000 aplicativos, desbloqueando uma ampla gama de possibilidades de integração. Altman apresentou Jessica, Arquiteta de Soluções da OpenAI, que será responsável pela apresentação.
A arquiteta de soluções Jessica Shei subiu ao palco e rapidamente começou a demonstração, com Jessica apontando que os GPTs estariam localizados no canto superior esquerdo da interface e mostrando um exemplo chamado Zapier AI actions. Ela mostrou sua agenda para o dia e mencionou que havia conectado GPTs ao seu calendário.
Durante a apresentação, Jéssica perguntou sobre a programação do dia. Ela enfatizou que os GPTs são construídos com a segurança em mente, e o sistema pede a permissão do usuário antes que qualquer ação ou dados sejam compartilhados. Ela permite que os GPTs acessem sua programação e explica que os GPTs são projetados para receber instruções do usuário para decidir qual função invocar para executar a ação apropriada.
Em seguida, Jessica mostrou como os GPTs se conectaram com sucesso ao seu calendário e extraíram as informações do evento. Ela também instruiu os GPTs a verificar conflitos no calendário e mostrou que identificou com sucesso um. Ela então demonstra como deixar uma pessoa chamada Sam saber que ela precisa sair cedo e mudar para uma conversa com Sam para pedir para fazê-lo.
Quando os GPTs completaram o pedido, Jessica perguntou a Sam se ela tinha recebido a notificação, e Sam confirmou o recebimento. Jessica usou isso como um exemplo para ilustrar o potencial dos GPTs e expressou sua expectativa de ver o que os outros construiriam.
Sam então passou a introduzir mais exemplos de GPT. Ele mencionou que, além dos demonstrados, existem muitos GPTs que estão sendo criados e serão criados em breve. Ele percebeu que muitas pessoas que queriam construir o GPT não podiam programar, então eles tornaram possível para as pessoas programarem o GPT através da conversa. Altman acredita que a linguagem natural será uma parte importante de como as pessoas usarão computadores no futuro, e vê isso como um exemplo inicial interessante.
Em seguida, Altman mostra como criar um GPT. Ele queria criar um GPT que ajudasse os fundadores e desenvolvedores a fornecer conselhos ao lançar novos projetos. Ele entra no construtor GPT, diz o que ele quer, e GPT começa a construir instruções detalhadas com base em sua descrição. Ele também vem com um nome "Startup Mentor" e começa a preencher com informações e possíveis perguntas no modo de visualização. Altman carregou uma transcrição do seu discurso anterior sobre empreendedorismo para fornecer conselhos com base nele, acrescentando "feedback conciso e construtivo" à diretiva.
Altman então tentou este GPT na tag de visualização e ficou satisfeito com os resultados. Ele decidiu apenas postá-lo para si mesmo por enquanto, para que ele pudesse refiná-lo ainda mais e compartilhá-lo mais tarde. Ele mencionou que sempre quis criar um robô assim e agora estava feliz por poder fazer isso acontecer. Altman enfatizou que os GPTs permitem que as pessoas compartilhem e descubram facilmente coisas interessantes que fazem com o ChatGPT. As pessoas podem criar GPTs de forma privada, ou compartilhar suas criações publicamente por meio de links, ou fazer GPTs apenas para sua empresa se usarem o ChatGPT Enterprise. Eles planejam lançar uma loja GPT no final deste mês, onde as pessoas podem listar GPTs, e a OpenAI apresentará os melhores e mais populares GPTs.
Altman também mencionou que a OpenAI garantirá que os GPTs nas lojas sigam suas políticas, e que a OpenAI valorize o compartilhamento de receita e pagará uma parte da receita para aqueles que construírem os GPTs mais úteis e populares. Eles estão ansiosos para promover um ecossistema vibrante através da GPT Store e estão entusiasmados com mais informações que serão compartilhadas.
Altman também enfatizou que esta é uma conferência para desenvolvedores que estão trazendo os mesmos conceitos para APIs. Ele mencionou que muitas pessoas já construíram experiências semelhantes a proxy em APIs, como o Shopify Sidekick e o Collide do Discord, bem como minha IA, um chatbot personalizado que pode ser adicionado a chats em grupo e fornecer recomendações. Essas experiências são ótimas, mas construí-las muitas vezes é difícil, às vezes levando meses e equipes de dezenas de engenheiros. Para simplificar esse processo, eles lançaram uma nova API de assistência.
A API de Assistência inclui threads persistentes, um interpretador de código de recuperação integrado, um interpretador Python funcional e um ambiente de sandbox, além da funcionalidade aprimorada de chamada de função discutida anteriormente.
Este foi seguido por Raman, Chefe de Experiência do Desenvolvedor na OpenAI, mostrando como isso funciona. Ramon diz que se sente encorajado por ver tantas pessoas incorporando IA em seus aplicativos. Ramon anunciou que não só estão introduzindo novos padrões na API, mas também estão animados para melhorar a experiência do desenvolvedor para que seja mais fácil para as pessoas criarem agentes secundários. Em seguida, ele mostra o processo de construção diretamente.
Ramon apresentou o aplicativo de viagens que ele está construindo chamado "desejo de viajar" para exploradores de todo o mundo. Ele também apresentou ideias de destino geradas com GPT-4, bem como o uso do novo DALL· Ilustrações geradas programaticamente pela API E 3. Posteriormente, Ramon mostrou como melhorar o aplicativo adicionando um assistente simples. Ele muda para o novo playground de ferramentas de assistência, cria um assistente, dá-lhe um nome, fornece instruções iniciais, seleciona o modelo, habilita o interpretador de código e funções de recuperação e, em seguida, salva.
Ramon continuou explicando como integrar o assistente ao aplicativo, analisando alguns dos códigos e demonstrando como criar um novo thread para cada novo usuário e adicionar suas mensagens a esses threads. Ele também mostra como executar o assistente a qualquer momento para retornar a resposta ao aplicativo.
Em seguida, Ramon mostrou a chamada de função, um recurso que ele gostou particularmente. As chamadas de função agora garantem a saída JSON, e várias funções podem ser chamadas ao mesmo tempo. Ele então demonstrou como o assistente conhece os recursos para incluir rótulos no mapa à direita e adiciona marcadores ao mapa em tempo real.
Ramon também discute o recurso de recuperação, que é sobre dar aos assistentes mais conhecimento do que mensagens instantâneas do usuário. Ele carrega um arquivo PDF, que é lido pelo sistema e exibido na tela. Em seguida, ele arrasta e solta as informações de reserva do Airbnb na conversa também.
Ramon enfatizou que os desenvolvedores normalmente precisam calcular incorporações, configurar algoritmos de fragmentação e agora tudo isso é tratado pela nova API stateful. Ele também mostra o painel do desenvolvedor onde você pode ver as etapas tomadas pela ferramenta, incluindo as funções que foram chamadas e os arquivos PDF que foram carregados.
Ramon então discutiu um novo recurso que muitos desenvolvedores esperavam: o interpretador de código, que agora também está disponível na API. Ele permite que a IA escreva e execute código e até mesmo gere arquivos na hora. Ele demonstra como um intérprete de código funcionaria se você disser um problema que requer conversão de moeda e cálculos de dias. Finalmente, Ramon descreve como criar rapidamente um agente que pode gerenciar o estado das conversas do usuário, aproveitar ferramentas externas, como recuperação de conhecimento e interpretadores de código, e chamar suas próprias funções para implementar funcionalidades.
Ramon também introduziu recursos que combinam padrões recém-lançados e chamadas de recursos, e ele criou um assistente personalizado para o Dev Day. Além disso, ele decidiu usar a voz em vez da interface de bate-papo. Ele mostrou um aplicativo Swift simples que pode receber entrada de microfone e mostrar o que está acontecendo em segundo plano nos logs do terminal. Ele usou sussurro para converter entrada de voz em texto, utilizou o assistente do GPT-4 Turbo e usou a nova API TTS para torná-lo som.
Ramon também demonstra como o assistente pode se conectar à internet e executar ações do mundo real para o usuário. Ele se ofereceu para que o assistente desse US $ 500 em créditos OpenAI para cinco participantes aleatórios do Dia de Desenvolvimento, e o assistente completou a tarefa com sucesso.
Finalmente, em suas observações finais no Dia do Desenvolvedor da OpenAI, Sam Altman disse que a API de apoio está em testes beta e que ele está animado para ver como os desenvolvedores a usarão. Ele enfatizou que o GPT e as ferramentas assistivas são pioneiros no caminho para agentes mais complexos que serão capazes de planejar e executar tarefas mais complexas para os usuários.
Altman reitera a importância de implantações iterativas graduais e incentiva as pessoas a começarem a usar esses agentes agora, a fim de se adaptarem a um mundo futuro onde se tornem mais capazes. Ele garantiu que a OpenAI continuará a atualizar o sistema com base no feedback dos usuários, dizendo que a OpenAI tem uma excelente densidade de talentos, mas ainda é preciso muito esforço e coordenação para alcançar tudo isso. Ele sente que tem os melhores colegas do mundo e está incrivelmente grato por poder trabalhar com eles.
É por isso que a equipe da OpenAI está trabalhando tanto: eles acreditam que a IA fará parte de uma revolução tecnológica e social que mudará o mundo de muitas maneiras. Altman mencionou que eles haviam discutido anteriormente que, dando às pessoas melhores ferramentas, elas poderiam mudar o mundo. Ele acredita que a IA trará empoderamento pessoal e escala de agência sem precedentes, elevando assim a humanidade a um nível sem precedentes. À medida que a inteligência se torna mais ubíqua, todos nós temos superpoderes em todos os momentos. Ele está animado sobre como você usará a tecnologia e o novo futuro que estamos construindo juntos.