Quando a maioria das pessoas lamenta as ondas enormes, os marinheiros ansiosos já partiram para encontrar o novo continente. Recentemente, Karpathy, o diretor de IA da Tesla e principal streamer de IA que retornou ao OpenAI não muito tempo atrás, retweetou o último episódio do podcast Latent Space, pensando que acompanhar o desenvolvimento da IA tornou-se um trabalho em tempo integral. necessário, e a demanda excederá em muito os engenheiros de algoritmos de aprendizado de máquina de hoje. Nesta edição, continuaremos a fazer mais análises sobre o retrato de capacidade dos talentos de IA que serão necessários no futuro.
Pensamento Sensual
Tentamos apresentar deduções mais divergentes e pensamentos profundos com base no conteúdo do artigo, bem-vindo ao intercâmbio.
**Tecnologia de modelo versus desembarque de produto: **Enquanto a maioria das pessoas lamenta as ondas enormes, os marinheiros entusiasmados partiram para encontrar novos continentes. Os artesãos que inventaram a bússola e construíram navios desempenharam um papel importante na época e, a seguir, marinheiros e trabalhadores expandiram o território.
**Era do Software 3.0:**O SenseAI mais uma vez enfatiza a rede do Agente. Desta vez, a máquina está chegando até nós, e a linguagem natural se tornará o pacote de linguagem que completa a maioria das necessidades de desenvolvimento, liberando ainda mais a imaginação humana. Os agentes usam densidade de interação e colaboração em rede para resolver a execução, e o que os humanos devem fazer é propor a imaginação de baixo nível, destruir e reconstruir.
Este artigo tem um total de 3255 palavras, e leva cerca de 9 minutos para ler com atenção
01. Novo emprego: Engenheiro de IA
Estamos observando uma "mudança para a direita" da IA aplicada geracional, impulsionada pelos recursos emergentes e pela disponibilidade de código aberto/API dos modelos subjacentes. Uma série de tarefas de inteligência artificial que levaram 5 anos e uma equipe de pesquisa para concluir em 2013 agora podem ser concluídas apenas com a documentação da API e uma tarde livre.
A API é universal: os engenheiros de IA podem ir para a esquerda para otimizar/hospedar modelos, e os engenheiros de pesquisa podem ir para a direita para criar aplicativos sobre a API, mas seus pontos fortes relativos e bases técnicas são claros.
No entanto, o trabalho mais difícil está nos detalhes específicos da implementação. No momento, o LLM ainda tem os seguintes desafios em termos de avaliação, aplicação e produção bem-sucedidas:
**1. Modelo:**A partir da avaliação dos maiores modelos GPT-4 e Claude, até o menor Huggingface de código aberto, LLaMA e outros modelos.
2. Ferramentas: Das ferramentas mais populares de vinculação, recuperação e pesquisa de vetores, como LangChain, LlamaIndex e Pinecone, ao campo emergente de ferramentas de proxy, como Auto-GPT e BabyAGT.
3. Notícias: O número de artigos, modelos e técnicas publicadas todos os dias está crescendo exponencialmente com atenção e capital, a ponto de manter o cheiro de todos esses desenvolvimentos de ponta tornou-se quase um trabalho em tempo integral .
O LLM cria um emprego de tempo integral. A engenharia de software incubará uma nova subdisciplina, focará na aplicação de IA e usará efetivamente a pilha de tecnologia emergente, assim como "engenheiro de confiabilidade do local", "engenheiro de operação e manutenção de desenvolvimento", "engenheiro de dados" e “Engenheiro Analítico” como promissor.
**Engenheiros de IA, subirão para representar esse tipo de função. **
Quase toda startup tem algum tipo de grupo de discussão de IA. Esses grupos farão a transição de grupos informais para equipes formais, como já fizeram Amplitude, Replit e Notion. Esses milhares de engenheiros de software que trabalham na produção de APIs de IA e modelos de OSS, seja no horário comercial ou à noite e nos fins de semana, no Slack corporativo ou no Discord autônomo, serão especializados e reunidos sob um título - engenheiro de IA. Este provavelmente será o trabalho de engenharia mais procurado na próxima década.
Das maiores empresas como Microsoft e Google, a startups de ponta como Figma (adquirida pela Diagram), Vercel (RoomGPT de Hassan El Mghari) e Notion (Notion AI de Ivan Zhao e Simon Last), a hackers independentes como Simon Willison, Pieter Levels (Photo/InteriorAI) e Riley Goodside (agora na Scale AI). Eles ganham $ 300.000 por ano fazendo engenharia de dicas na Anthropic e $ 900.000 construindo software na OpenAI. Eles passam fins de semana livres trabalhando em ideias na AGI House e compartilhando dicas no /r/LocalLLaMA2. O que todos eles têm em comum é que estão transformando os avanços da inteligência artificial em produtos reais que são usados por milhões quase da noite para o dia.
**Nenhum tem um Ph.D. Quando se trata de lançar produtos de IA, você precisa de engenheiros, não de pesquisadores. **
02, engenheiros de IA substituirão engenheiros de ML
A demanda por engenheiros de IA crescerá rapidamente no futuro. Atualmente no Indeed, os engenheiros de ML têm 10 vezes mais oportunidades de trabalho do que os engenheiros de IA, mas a maior taxa de crescimento da IA leva a crer que essa proporção será revertida em 5 anos.
Gráfico mensal de tendências de emprego para HN que está contratando
Todos os cargos são unilaterais, mas alguns são úteis. Estamos cautelosos e cansados do debate semântico interminável entre IA e ML, mas estamos bem cientes de que o papel convencional de "engenheiro de software" é perfeitamente capaz de construir software de IA. No entanto, uma pergunta recente no Ask HN sobre como entrar na engenharia de IA revela uma percepção fundamental que ainda existe no mercado:
Captura de tela de junho de 2023: respostas mais votadas para "Como invadir a engenharia de IA"
A maioria das pessoas ainda vê a engenharia de IA como uma forma de aprendizado de máquina ou engenharia de dados, então recomendam a mesma pilha de tecnologia. Mas você pode ter certeza de que nenhum dos engenheiros de IA altamente eficazes mencionados acima fez um trabalho equivalente ao curso de Andrew Ng Coursera, eles não conhecem o PyTorch e não sabem a diferença entre um data lake e um data warehouse.
** Em breve, ninguém irá sugerir iniciar a engenharia de IA lendo Atenção é tudo que você precisa, assim como você não aprenderá a dirigir lendo desenhos de um Ford Modelo T. Claro, entender os fundamentos e a história é sempre útil e pode realmente ajudá-lo a encontrar inovações e ganhos de eficiência/capacidade que ainda não entraram na consciência geral. Mas, às vezes, você pode usar os produtos diretamente e conhecer suas qualidades através da experiência.
É certo que a reversão de engenheiros de IA e engenheiros de ML não acontecerá da noite para o dia. As pessoas naturalmente querem aprofundar seus currículos, preencher mapas de mercado e se destacar citando tópicos mais profundos e confiáveis. Dito isso, a engenharia imediata e a engenharia de IA se sentirão em desvantagem em relação àqueles com um histórico sólido de ciência de dados/aprendizado de máquina por um longo tempo. No entanto, a economia de oferta e demanda acabará vencendo, e a demanda por engenheiros de IA excederá em muito a de engenheiros de ML.
**03. Por que agora? **
O modelo básico é um "aprendiz de poucos tiros", exibindo a capacidade de aprender até mesmo a transferência de tiro zero no contexto, que vai além da intenção original do treinador de modelo. Em outras palavras, as pessoas que criaram esses modelos não sabiam totalmente do que eram capazes. Aqueles que não são pesquisadores do LLM podem descobrir e tirar proveito desses recursos simplesmente gastando mais tempo interagindo com os modelos e aplicando-os a áreas de pesquisa subestimadas (por exemplo, a aplicação de Jasper à redação).
Microsoft, Google, Meta e grandes laboratórios de modelos fundamentais monopolizaram os escassos talentos de pesquisa, essencialmente fornecendo APIs de "pesquisa de IA como serviço". Você não pode contratá-los, mas pode alugá-los - se tiver engenheiros de software em sua equipe que saibam como trabalhar com eles. **Existem cerca de 5.000 pesquisadores LLM em todo o mundo, mas existem cerca de 50 milhões de engenheiros de software. As restrições de fornecimento determinam que um engenheiro de IA "hub" surgirá para atender à demanda do mercado. **
**3. Reserva de GPU. **É claro que a OpenAI/Microsoft foi a primeira a fazer esse trabalho, mas a Stability AI desencadeou uma corrida armamentista de GPU entre as startups ao enfatizar seu cluster de 4.000 GPUs.
**4 Ação ágil diretamente do produto. **Em vez de exigir que os cientistas de dados/engenheiros de ML façam um trabalho pesado de coleta de dados antes de treinar um modelo específico de domínio e, em seguida, colocá-lo em produção, os gerentes de produto/engenheiros de software podem solicitar o LLM primeiro e criar/validar uma ideia de produto e depois Em seguida, obtenha dados específicos para ajuste fino.
Digamos que o último seja 100x a 1000x mais do que o anterior e, ao indicar o fluxo de trabalho "disparar, preparar, apontar" do LLM, você fica 10x a 100x mais rápido do que o aprendizado de máquina tradicional. Como resultado, os engenheiros de IA poderão validar produtos de IA a um custo 1.000 a 10.000 vezes menor. Este é outro desenvolvimento Waterfall versus Agile, e AI é Agile.
** 5. Python → Java. **Data/AI tradicionalmente depende muito do Python, e as primeiras ferramentas de engenharia de IA, como LangChain, LlamaIndex e Guardrails, também se originaram da mesma comunidade. No entanto, agora existem tantos desenvolvedores Java quanto desenvolvedores Python, então as ferramentas agora atendem cada vez mais a essa base de usuários expandida, de LangChain.js e Transformers.js ao novo AI SDK da Vercel. A oportunidade de expansão do mercado é enorme.
**6. IA generativa vs ML classificadora. ** O termo "IA generativa" saiu de moda, abrindo caminho para outras categorias, como "Mecanismos de inferência", mas descreve sucintamente a diferença entre as ferramentas MLOps existentes e os praticantes de aprendizado de máquina e o que é mais adequado para usar o LLM e ainda muito útil quando se olha para o papel novo e distinto do gerador de texto para imagem. Embora a pesquisa de aprendizado de máquina existente possa se concentrar em coisas como risco de fraude, sistemas de recomendação, detecção de anomalias e armazenamento de recursos, os engenheiros de IA estão criando aplicativos de escrita, ferramentas de aprendizado personalizadas, planilhas de linguagem natural e aplicativos do tipo Factorio. Linguagem de programação visual.
Sempre que há um subgrupo com um histórico completamente diferente, falando um idioma diferente, produzindo um produto completamente diferente e usando uma ferramenta completamente diferente, eles acabam se dividindo em grupos separados.
04, 1+2=3: Programação na era do software 3.0
Há 6 anos, Andrej Karpathy escreveu um artigo muito influente descrevendo o Software 2.0, contrastando a "pilha clássica" de linguagens de programação escritas à mão tradicionais que modelam a lógica com precisão e as novas redes neurais de "aprendizado de máquina" que aproximam a lógica. pilha, permitindo que o software resolva mais problemas do que os humanos podem modelar. Este ano, ele observou em um artigo subsequente que a linguagem de programação mais popular é o inglês, finalmente preenchendo a área cinzenta que não marcou em seu artigo original.
A engenharia se tornou um meme no ano passado, descrevendo como o trabalho mudará quando as pessoas começarem a aproveitar o GPT-3 e a difusão estável. As pessoas zombam das startups de IA por chamá-las de "invólucros OpenAI" e levantam preocupações de que os aplicativos LLM sejam vulneráveis à engenharia de dicas e à engenharia de dicas reversas. As barreiras realmente existem? (O senso diz: consulte nosso primeiro artigo "Sistemas inteligentes: o fosso das futuras empresas de IA")
Mas um dos maiores temas em 2023 será restabelecer o papel do código escrito por humanos na coordenação e deslocamento dos recursos LLM, do Langchain de mais de $ 200 milhões ao Voyager apoiado pela Nvidia, demonstrando a clara importância da geração e reutilização de código . A engenharia é exagerada e veio para ficar, mas o ressurgimento do paradigma do Software 1.0 em aplicativos de Software 3.0 é uma grande oportunidade e uma área de confusão, criando espaço em branco para várias startups.
Um investidor que não pode fazer pesquisa de mercado não é um bom investidor
Claro, isso não é apenas um código escrito por humanos. As histórias de vários projetos (desenvolvedor smol, mais amplamente engenheiro gpt e as aventuras de outros agentes geradores de código como Codium AI, Codegen.ai e Morph/Rift) sugerem que eles farão cada vez mais parte da IA kit de ferramentas do engenheiro. À medida que os engenheiros humanos aprendem a aproveitar a IA, a IA estará cada vez mais envolvida na engenharia.
Até que algum dia no futuro distante olharemos para cima e não seremos mais capazes de dizer a diferença entre os dois.
Referências
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
_ Engenheiro está obsoleto? Nasce uma nova carreira promovida por figurões da IA
Fonte: SenseAI
Pensamento Sensual
Tentamos apresentar deduções mais divergentes e pensamentos profundos com base no conteúdo do artigo, bem-vindo ao intercâmbio.
**Tecnologia de modelo versus desembarque de produto: **Enquanto a maioria das pessoas lamenta as ondas enormes, os marinheiros entusiasmados partiram para encontrar novos continentes. Os artesãos que inventaram a bússola e construíram navios desempenharam um papel importante na época e, a seguir, marinheiros e trabalhadores expandiram o território.
**Era do Software 3.0:**O SenseAI mais uma vez enfatiza a rede do Agente. Desta vez, a máquina está chegando até nós, e a linguagem natural se tornará o pacote de linguagem que completa a maioria das necessidades de desenvolvimento, liberando ainda mais a imaginação humana. Os agentes usam densidade de interação e colaboração em rede para resolver a execução, e o que os humanos devem fazer é propor a imaginação de baixo nível, destruir e reconstruir.
Este artigo tem um total de 3255 palavras, e leva cerca de 9 minutos para ler com atenção
01. Novo emprego: Engenheiro de IA
Estamos observando uma "mudança para a direita" da IA aplicada geracional, impulsionada pelos recursos emergentes e pela disponibilidade de código aberto/API dos modelos subjacentes. Uma série de tarefas de inteligência artificial que levaram 5 anos e uma equipe de pesquisa para concluir em 2013 agora podem ser concluídas apenas com a documentação da API e uma tarde livre.
No entanto, o trabalho mais difícil está nos detalhes específicos da implementação. No momento, o LLM ainda tem os seguintes desafios em termos de avaliação, aplicação e produção bem-sucedidas:
**1. Modelo:**A partir da avaliação dos maiores modelos GPT-4 e Claude, até o menor Huggingface de código aberto, LLaMA e outros modelos.
2. Ferramentas: Das ferramentas mais populares de vinculação, recuperação e pesquisa de vetores, como LangChain, LlamaIndex e Pinecone, ao campo emergente de ferramentas de proxy, como Auto-GPT e BabyAGT.
3. Notícias: O número de artigos, modelos e técnicas publicadas todos os dias está crescendo exponencialmente com atenção e capital, a ponto de manter o cheiro de todos esses desenvolvimentos de ponta tornou-se quase um trabalho em tempo integral .
O LLM cria um emprego de tempo integral. A engenharia de software incubará uma nova subdisciplina, focará na aplicação de IA e usará efetivamente a pilha de tecnologia emergente, assim como "engenheiro de confiabilidade do local", "engenheiro de operação e manutenção de desenvolvimento", "engenheiro de dados" e “Engenheiro Analítico” como promissor.
**Engenheiros de IA, subirão para representar esse tipo de função. **
Quase toda startup tem algum tipo de grupo de discussão de IA. Esses grupos farão a transição de grupos informais para equipes formais, como já fizeram Amplitude, Replit e Notion. Esses milhares de engenheiros de software que trabalham na produção de APIs de IA e modelos de OSS, seja no horário comercial ou à noite e nos fins de semana, no Slack corporativo ou no Discord autônomo, serão especializados e reunidos sob um título - engenheiro de IA. Este provavelmente será o trabalho de engenharia mais procurado na próxima década.
Das maiores empresas como Microsoft e Google, a startups de ponta como Figma (adquirida pela Diagram), Vercel (RoomGPT de Hassan El Mghari) e Notion (Notion AI de Ivan Zhao e Simon Last), a hackers independentes como Simon Willison, Pieter Levels (Photo/InteriorAI) e Riley Goodside (agora na Scale AI). Eles ganham $ 300.000 por ano fazendo engenharia de dicas na Anthropic e $ 900.000 construindo software na OpenAI. Eles passam fins de semana livres trabalhando em ideias na AGI House e compartilhando dicas no /r/LocalLLaMA2. O que todos eles têm em comum é que estão transformando os avanços da inteligência artificial em produtos reais que são usados por milhões quase da noite para o dia.
**Nenhum tem um Ph.D. Quando se trata de lançar produtos de IA, você precisa de engenheiros, não de pesquisadores. **
02, engenheiros de IA substituirão engenheiros de ML
A demanda por engenheiros de IA crescerá rapidamente no futuro. Atualmente no Indeed, os engenheiros de ML têm 10 vezes mais oportunidades de trabalho do que os engenheiros de IA, mas a maior taxa de crescimento da IA leva a crer que essa proporção será revertida em 5 anos.
Todos os cargos são unilaterais, mas alguns são úteis. Estamos cautelosos e cansados do debate semântico interminável entre IA e ML, mas estamos bem cientes de que o papel convencional de "engenheiro de software" é perfeitamente capaz de construir software de IA. No entanto, uma pergunta recente no Ask HN sobre como entrar na engenharia de IA revela uma percepção fundamental que ainda existe no mercado:
A maioria das pessoas ainda vê a engenharia de IA como uma forma de aprendizado de máquina ou engenharia de dados, então recomendam a mesma pilha de tecnologia. Mas você pode ter certeza de que nenhum dos engenheiros de IA altamente eficazes mencionados acima fez um trabalho equivalente ao curso de Andrew Ng Coursera, eles não conhecem o PyTorch e não sabem a diferença entre um data lake e um data warehouse.
** Em breve, ninguém irá sugerir iniciar a engenharia de IA lendo Atenção é tudo que você precisa, assim como você não aprenderá a dirigir lendo desenhos de um Ford Modelo T. Claro, entender os fundamentos e a história é sempre útil e pode realmente ajudá-lo a encontrar inovações e ganhos de eficiência/capacidade que ainda não entraram na consciência geral. Mas, às vezes, você pode usar os produtos diretamente e conhecer suas qualidades através da experiência.
É certo que a reversão de engenheiros de IA e engenheiros de ML não acontecerá da noite para o dia. As pessoas naturalmente querem aprofundar seus currículos, preencher mapas de mercado e se destacar citando tópicos mais profundos e confiáveis. Dito isso, a engenharia imediata e a engenharia de IA se sentirão em desvantagem em relação àqueles com um histórico sólido de ciência de dados/aprendizado de máquina por um longo tempo. No entanto, a economia de oferta e demanda acabará vencendo, e a demanda por engenheiros de IA excederá em muito a de engenheiros de ML.
**03. Por que agora? **
O modelo básico é um "aprendiz de poucos tiros", exibindo a capacidade de aprender até mesmo a transferência de tiro zero no contexto, que vai além da intenção original do treinador de modelo. Em outras palavras, as pessoas que criaram esses modelos não sabiam totalmente do que eram capazes. Aqueles que não são pesquisadores do LLM podem descobrir e tirar proveito desses recursos simplesmente gastando mais tempo interagindo com os modelos e aplicando-os a áreas de pesquisa subestimadas (por exemplo, a aplicação de Jasper à redação).
Microsoft, Google, Meta e grandes laboratórios de modelos fundamentais monopolizaram os escassos talentos de pesquisa, essencialmente fornecendo APIs de "pesquisa de IA como serviço". Você não pode contratá-los, mas pode alugá-los - se tiver engenheiros de software em sua equipe que saibam como trabalhar com eles. **Existem cerca de 5.000 pesquisadores LLM em todo o mundo, mas existem cerca de 50 milhões de engenheiros de software. As restrições de fornecimento determinam que um engenheiro de IA "hub" surgirá para atender à demanda do mercado. **
**3. Reserva de GPU. **É claro que a OpenAI/Microsoft foi a primeira a fazer esse trabalho, mas a Stability AI desencadeou uma corrida armamentista de GPU entre as startups ao enfatizar seu cluster de 4.000 GPUs.
**4 Ação ágil diretamente do produto. **Em vez de exigir que os cientistas de dados/engenheiros de ML façam um trabalho pesado de coleta de dados antes de treinar um modelo específico de domínio e, em seguida, colocá-lo em produção, os gerentes de produto/engenheiros de software podem solicitar o LLM primeiro e criar/validar uma ideia de produto e depois Em seguida, obtenha dados específicos para ajuste fino.
** 5. Python → Java. **Data/AI tradicionalmente depende muito do Python, e as primeiras ferramentas de engenharia de IA, como LangChain, LlamaIndex e Guardrails, também se originaram da mesma comunidade. No entanto, agora existem tantos desenvolvedores Java quanto desenvolvedores Python, então as ferramentas agora atendem cada vez mais a essa base de usuários expandida, de LangChain.js e Transformers.js ao novo AI SDK da Vercel. A oportunidade de expansão do mercado é enorme.
**6. IA generativa vs ML classificadora. ** O termo "IA generativa" saiu de moda, abrindo caminho para outras categorias, como "Mecanismos de inferência", mas descreve sucintamente a diferença entre as ferramentas MLOps existentes e os praticantes de aprendizado de máquina e o que é mais adequado para usar o LLM e ainda muito útil quando se olha para o papel novo e distinto do gerador de texto para imagem. Embora a pesquisa de aprendizado de máquina existente possa se concentrar em coisas como risco de fraude, sistemas de recomendação, detecção de anomalias e armazenamento de recursos, os engenheiros de IA estão criando aplicativos de escrita, ferramentas de aprendizado personalizadas, planilhas de linguagem natural e aplicativos do tipo Factorio. Linguagem de programação visual.
Sempre que há um subgrupo com um histórico completamente diferente, falando um idioma diferente, produzindo um produto completamente diferente e usando uma ferramenta completamente diferente, eles acabam se dividindo em grupos separados.
04, 1+2=3: Programação na era do software 3.0
Há 6 anos, Andrej Karpathy escreveu um artigo muito influente descrevendo o Software 2.0, contrastando a "pilha clássica" de linguagens de programação escritas à mão tradicionais que modelam a lógica com precisão e as novas redes neurais de "aprendizado de máquina" que aproximam a lógica. pilha, permitindo que o software resolva mais problemas do que os humanos podem modelar. Este ano, ele observou em um artigo subsequente que a linguagem de programação mais popular é o inglês, finalmente preenchendo a área cinzenta que não marcou em seu artigo original.
Mas um dos maiores temas em 2023 será restabelecer o papel do código escrito por humanos na coordenação e deslocamento dos recursos LLM, do Langchain de mais de $ 200 milhões ao Voyager apoiado pela Nvidia, demonstrando a clara importância da geração e reutilização de código . A engenharia é exagerada e veio para ficar, mas o ressurgimento do paradigma do Software 1.0 em aplicativos de Software 3.0 é uma grande oportunidade e uma área de confusão, criando espaço em branco para várias startups.
Claro, isso não é apenas um código escrito por humanos. As histórias de vários projetos (desenvolvedor smol, mais amplamente engenheiro gpt e as aventuras de outros agentes geradores de código como Codium AI, Codegen.ai e Morph/Rift) sugerem que eles farão cada vez mais parte da IA kit de ferramentas do engenheiro. À medida que os engenheiros humanos aprendem a aproveitar a IA, a IA estará cada vez mais envolvida na engenharia.
Até que algum dia no futuro distante olharemos para cima e não seremos mais capazes de dizer a diferença entre os dois.
Referências