A Apple recentemente forneceu aos desenvolvedores de IA o chip M3, e agora eles podem trabalhar perfeitamente com modelos grandes com bilhões de parâmetros em seus MacBooks. Em sua postagem no blog, a Apple disse: "O suporte para até 128 GB de RAM desbloqueia fluxos de trabalho que antes eram inatingíveis em laptops". "
Atualmente, apenas o MacBook Pro de 14 polegadas suporta os chips M3, M3 Pro e M3 Max, enquanto o MacBook Pro de 16 polegadas suporta apenas as configurações M3 Pro e M3 Max. A Apple também afirma que seu Neural Engine aprimorado ajuda a acelerar modelos poderosos de aprendizado de máquina (ML) enquanto protege a privacidade.
Os desenvolvedores agora podem executar o maior LLM de código aberto (Falcon com 180 bilhões de parâmetros) em um laptop de 14 polegadas com uma perda de baixa qualidade.
No entanto, executar um LLM de código aberto em um laptop não é novidade. Anteriormente, as pessoas de IA também tentaram M1. Anshul Khandelwal, cofundador e CTO da Invideo, experimentou um LLM de código aberto de 65 bilhões de parâmetros em seu MacBook (alimentado por M1). Ele diz que agora muda tudo cerca de uma vez por semana. "Não é um longo caminho a percorrer no futuro para todos os técnicos terem um LLM local", acrescenta.
Aravind Srinivas, cofundador e CEO da Perplexity.ai, brincou que, uma vez que os MacBooks sejam fortes o suficiente em termos de FLOPs para cada chip M1, grandes organizações onde todos usam MacBooks e intranets de alta velocidade precisarão ser regulamentadas e precisarão relatar sua presença ao governo.
M3 para cargas de trabalho de IA
A Apple afirma que os chips da série M3 são atualmente 15% mais rápidos do que os chips da série M2 e 60% mais rápidos do que os chips da série M1. Obviamente, existem apenas diferenças percetíveis entre o M2 e o M3 em termos de desempenho e outras especificações. Os chips mais recentes da Apple têm o mesmo número de núcleos, mas têm um equilíbrio diferente de núcleos de desempenho e eficiência (6 núcleos cada, 8 P's e 4 E's) e suportam até 36GB de memória em vez de 32GB.
O chip M3 suporta até 128GB de memória unificada, dobrando a capacidade em comparação com seus antecessores, os chips M1 e M2. Essa capacidade de memória expandida é especialmente importante para cargas de trabalho de IA/ML que exigem recursos de memória significativos para treinar e executar grandes modelos de linguagem e algoritmos complexos.
Além de um mecanismo neural aprimorado e suporte de memória expandido, o chip M3 apresenta uma arquitetura de GPU redesenhada.
A arquitetura foi desenvolvida especificamente para oferecer desempenho e eficiência superiores, combinando cache dinâmico, sombreamento de malha e ray tracing. Esses avanços são projetados especificamente para acelerar cargas de trabalho de IA/ML e otimizar a eficiência geral da computação.
Ao contrário das GPUs tradicionais, o novo M3 possui uma GPU com "Cache Dinâmico" que usa memória local em tempo real, melhora a utilização da GPU e melhora drasticamente o desempenho de aplicativos e jogos profissionais exigentes. **
O poder da GPU será benéfico para desenvolvedores de jogos e usuários de aplicativos com uso intensivo de gráficos, como Photoshop ou ferramentas de IA relacionadas a fotos. A Apple afirma que é até 1 vez mais rápido do que os chips da série M2.5, tem sombreamento de grade acelerado por hardware e melhora o desempenho com menor consumo de energia.
A Apple e o Mundo
A Apple não está sozinha, com outras como AMD, Intel, Qualcomm e Nvidia investindo pesado no aprimoramento de recursos de borda que permitem aos usuários executar grandes cargas de trabalho de IA em laptops e PCs.
Por exemplo, a AMD revelou recentemente o AMD Ryzen AI, que inclui o primeiro mecanismo de IA integrado para laptops Windows x86 e o único mecanismo de IA integrado em sua classe.
A Intel, por outro lado, está depositando suas esperanças no Meteor Lake de 14ª geração. É o primeiro processador Intel a apresentar uma arquitetura tiled que pode misturar e combinar diferentes tipos de núcleos, como núcleos de alto desempenho e núcleos de baixo consumo, para alcançar o melhor equilíbrio entre desempenho e eficiência energética.
Recentemente, a Qualcomm também lançou o Snapdragon X Elite. O CEO da empresa, Cristiano Amon, afirma que ela supera o chip M2 Max da Apple, com desempenho máximo comparável e uma redução de 30% no consumo de energia. Ao mesmo tempo, a NVIDIA está investindo em casos de uso de borda e trabalhando silenciosamente no projeto de CPUs que são compatíveis com o sistema operacional Windows da Microsoft, usando a tecnologia Arm.
Os desenvolvedores de IA estão cada vez mais executando e experimentando modelos de linguagem localmente, e é realmente fascinante observar como esse campo se desenvolve. Dados os últimos avanços no campo, a Apple está lenta mas seguramente se tornando a escolha ideal para desenvolvedores de IA.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
A Apple se tornou a nova favorita dos desenvolvedores de IA para executar o maior LLM (modelo de linguagem grande) de código aberto.
Fonte do artigo: AI Ape
A Apple recentemente forneceu aos desenvolvedores de IA o chip M3, e agora eles podem trabalhar perfeitamente com modelos grandes com bilhões de parâmetros em seus MacBooks. Em sua postagem no blog, a Apple disse: "O suporte para até 128 GB de RAM desbloqueia fluxos de trabalho que antes eram inatingíveis em laptops". "
Atualmente, apenas o MacBook Pro de 14 polegadas suporta os chips M3, M3 Pro e M3 Max, enquanto o MacBook Pro de 16 polegadas suporta apenas as configurações M3 Pro e M3 Max. A Apple também afirma que seu Neural Engine aprimorado ajuda a acelerar modelos poderosos de aprendizado de máquina (ML) enquanto protege a privacidade.
Os desenvolvedores agora podem executar o maior LLM de código aberto (Falcon com 180 bilhões de parâmetros) em um laptop de 14 polegadas com uma perda de baixa qualidade.
No entanto, executar um LLM de código aberto em um laptop não é novidade. Anteriormente, as pessoas de IA também tentaram M1. Anshul Khandelwal, cofundador e CTO da Invideo, experimentou um LLM de código aberto de 65 bilhões de parâmetros em seu MacBook (alimentado por M1). Ele diz que agora muda tudo cerca de uma vez por semana. "Não é um longo caminho a percorrer no futuro para todos os técnicos terem um LLM local", acrescenta.
Aravind Srinivas, cofundador e CEO da Perplexity.ai, brincou que, uma vez que os MacBooks sejam fortes o suficiente em termos de FLOPs para cada chip M1, grandes organizações onde todos usam MacBooks e intranets de alta velocidade precisarão ser regulamentadas e precisarão relatar sua presença ao governo.
M3 para cargas de trabalho de IA
A Apple afirma que os chips da série M3 são atualmente 15% mais rápidos do que os chips da série M2 e 60% mais rápidos do que os chips da série M1. Obviamente, existem apenas diferenças percetíveis entre o M2 e o M3 em termos de desempenho e outras especificações. Os chips mais recentes da Apple têm o mesmo número de núcleos, mas têm um equilíbrio diferente de núcleos de desempenho e eficiência (6 núcleos cada, 8 P's e 4 E's) e suportam até 36GB de memória em vez de 32GB.
O chip M3 suporta até 128GB de memória unificada, dobrando a capacidade em comparação com seus antecessores, os chips M1 e M2. Essa capacidade de memória expandida é especialmente importante para cargas de trabalho de IA/ML que exigem recursos de memória significativos para treinar e executar grandes modelos de linguagem e algoritmos complexos.
Além de um mecanismo neural aprimorado e suporte de memória expandido, o chip M3 apresenta uma arquitetura de GPU redesenhada.
A arquitetura foi desenvolvida especificamente para oferecer desempenho e eficiência superiores, combinando cache dinâmico, sombreamento de malha e ray tracing. Esses avanços são projetados especificamente para acelerar cargas de trabalho de IA/ML e otimizar a eficiência geral da computação.
Ao contrário das GPUs tradicionais, o novo M3 possui uma GPU com "Cache Dinâmico" que usa memória local em tempo real, melhora a utilização da GPU e melhora drasticamente o desempenho de aplicativos e jogos profissionais exigentes. **
O poder da GPU será benéfico para desenvolvedores de jogos e usuários de aplicativos com uso intensivo de gráficos, como Photoshop ou ferramentas de IA relacionadas a fotos. A Apple afirma que é até 1 vez mais rápido do que os chips da série M2.5, tem sombreamento de grade acelerado por hardware e melhora o desempenho com menor consumo de energia.
A Apple e o Mundo
A Apple não está sozinha, com outras como AMD, Intel, Qualcomm e Nvidia investindo pesado no aprimoramento de recursos de borda que permitem aos usuários executar grandes cargas de trabalho de IA em laptops e PCs.
Por exemplo, a AMD revelou recentemente o AMD Ryzen AI, que inclui o primeiro mecanismo de IA integrado para laptops Windows x86 e o único mecanismo de IA integrado em sua classe.
A Intel, por outro lado, está depositando suas esperanças no Meteor Lake de 14ª geração. É o primeiro processador Intel a apresentar uma arquitetura tiled que pode misturar e combinar diferentes tipos de núcleos, como núcleos de alto desempenho e núcleos de baixo consumo, para alcançar o melhor equilíbrio entre desempenho e eficiência energética.
Recentemente, a Qualcomm também lançou o Snapdragon X Elite. O CEO da empresa, Cristiano Amon, afirma que ela supera o chip M2 Max da Apple, com desempenho máximo comparável e uma redução de 30% no consumo de energia. Ao mesmo tempo, a NVIDIA está investindo em casos de uso de borda e trabalhando silenciosamente no projeto de CPUs que são compatíveis com o sistema operacional Windows da Microsoft, usando a tecnologia Arm.
Os desenvolvedores de IA estão cada vez mais executando e experimentando modelos de linguagem localmente, e é realmente fascinante observar como esse campo se desenvolve. Dados os últimos avanços no campo, a Apple está lenta mas seguramente se tornando a escolha ideal para desenvolvedores de IA.