Apple недавно предоставила разработчикам искусственного интеллекта чип M3, и теперь они могут беспрепятственно работать с большими моделями с миллиардами параметров на своих MacBook. В своем блоге Apple заявила: «Поддержка до 128 ГБ оперативной памяти открывает рабочие процессы, которые ранее были недостижимы на ноутбуках». "
В настоящее время только 14-дюймовый MacBook Pro поддерживает чипы M3, M3 Pro и M3 Max, в то время как 16-дюймовый MacBook Pro поддерживает только конфигурации M3 Pro и M3 Max. Apple также утверждает, что ее улучшенная система Neural Engine помогает ускорить мощные модели машинного обучения (ML), защищая при этом конфиденциальность.
Теперь разработчики могут запускать самый большой LLM с открытым исходным кодом (Falcon со 180 миллиардами параметров) на 14-дюймовом ноутбуке с низкой потерей качества.
Тем не менее, запуск LLM с открытым исходным кодом на ноутбуке не является чем-то новым. Ранее люди с искусственным интеллектом также пробовали M1. Аншул Ханделвал, соучредитель и технический директор Invideo, экспериментировал с 65-миллиардным LLM с открытым исходным кодом на своем MacBook (на базе чипа M1). Он говорит, что сейчас все меняется примерно раз в неделю. «В будущем у каждого технического специалиста будет не так много возможностей для того, чтобы иметь местного магистра права», — добавляет он.
Аравинд Шринивас, соучредитель и генеральный директор Perplexity.ai, пошутил, что как только MacBook станут достаточно сильными с точки зрения FLOP на каждый чип M1, крупные организации, где все используют MacBook и высокоскоростные интранеты, нужно будет регулировать и сообщать об их присутствии правительству.
M3 для рабочих нагрузок ИИ
Apple утверждает, что чипы серии M3 в настоящее время на 15% быстрее, чем чипы серии M2 и на 60% быстрее, чем чипы серии M1. Очевидно, что между M2 и M3 есть только заметные различия с точки зрения производительности и других характеристик. Последние чипы Apple имеют такое же количество ядер, но имеют другой баланс производительности и эффективности ядер (по 6 ядер, 8 P и 4 E) и поддерживают до 36 ГБ памяти вместо 32 ГБ.
Чип M3 поддерживает до 128 ГБ объединенной памяти, что удваивает емкость по сравнению со своими предшественниками, чипами M1 и M2. Этот увеличенный объем памяти особенно важен для рабочих нагрузок ИИ и машинного обучения, которые требуют значительных ресурсов памяти для обучения и выполнения больших языковых моделей и сложных алгоритмов.
В дополнение к улучшенной системе Neural Engine и расширенной поддержке памяти, чип M3 отличается переработанной архитектурой графического процессора.
Архитектура специально разработана для обеспечения превосходной производительности и эффективности, сочетая в себе динамическое кэширование, сетчатое затенение и трассировку лучей. Эти усовершенствования специально разработаны для ускорения рабочих нагрузок ИИ и машинного обучения и оптимизации общей вычислительной эффективности.
В отличие от традиционных графических процессоров, новый M3 оснащен графическим процессором с динамическим кэшированием, который использует локальную память в режиме реального времени, улучшает использование графического процессора и значительно повышает производительность ресурсоемких профессиональных приложений и игр. **
Мощность графического процессора будет полезна разработчикам игр и пользователям приложений с интенсивным использованием графики, таких как Photoshop, или инструментов искусственного интеллекта, связанных с фотографиями. Apple утверждает, что он до 1 раза быстрее, чем чипы серии M2.5, имеет аппаратное ускорение затенения сетки и повышает производительность при более низком энергопотреблении.
Яблоко и весь мир
Apple не одинока: другие компании, такие как AMD, Intel, Qualcomm и Nvidia, вкладывают значительные средства в расширение периферийных возможностей, которые позволяют пользователям выполнять большие рабочие нагрузки ИИ на ноутбуках и ПК.
Например, AMD недавно представила AMD Ryzen AI, который включает в себя первый встроенный движок искусственного интеллекта для ноутбуков x86 с Windows и единственный интегрированный движок искусственного интеллекта в своем классе.
Intel, с другой стороны, возлагает свои надежды на Meteor Lake 14-го поколения. Это первый процессор Intel с плиточной архитектурой, которая может сочетать и сочетать различные типы ядер, такие как высокопроизводительные ядра и ядра с низким энергопотреблением, для достижения наилучшего баланса производительности и энергоэффективности.
Недавно Qualcomm также выпустила Snapdragon X Elite. Генеральный директор компании Кристиано Амон утверждает, что он превосходит чип Apple M2 Max с сопоставимой пиковой производительностью и снижением энергопотребления на 30%. В то же время NVIDIA инвестирует в периферийные сценарии использования и тихо работает над разработкой процессоров, совместимых с операционной системой Microsoft Windows, используя технологию Arm.
Разработчики ИИ все чаще запускают и экспериментируют с языковыми моделями локально, и очень интересно наблюдать, как развивается эта область. Учитывая последние достижения в этой области, Apple медленно, но верно становится лучшим выбором для разработчиков ИИ.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Apple стала новым фаворитом разработчиков ИИ для запуска крупнейшей LLM (большой языковой модели) с открытым исходным кодом.
Источник статьи: AI Ape
Apple недавно предоставила разработчикам искусственного интеллекта чип M3, и теперь они могут беспрепятственно работать с большими моделями с миллиардами параметров на своих MacBook. В своем блоге Apple заявила: «Поддержка до 128 ГБ оперативной памяти открывает рабочие процессы, которые ранее были недостижимы на ноутбуках». "
В настоящее время только 14-дюймовый MacBook Pro поддерживает чипы M3, M3 Pro и M3 Max, в то время как 16-дюймовый MacBook Pro поддерживает только конфигурации M3 Pro и M3 Max. Apple также утверждает, что ее улучшенная система Neural Engine помогает ускорить мощные модели машинного обучения (ML), защищая при этом конфиденциальность.
Теперь разработчики могут запускать самый большой LLM с открытым исходным кодом (Falcon со 180 миллиардами параметров) на 14-дюймовом ноутбуке с низкой потерей качества.
Тем не менее, запуск LLM с открытым исходным кодом на ноутбуке не является чем-то новым. Ранее люди с искусственным интеллектом также пробовали M1. Аншул Ханделвал, соучредитель и технический директор Invideo, экспериментировал с 65-миллиардным LLM с открытым исходным кодом на своем MacBook (на базе чипа M1). Он говорит, что сейчас все меняется примерно раз в неделю. «В будущем у каждого технического специалиста будет не так много возможностей для того, чтобы иметь местного магистра права», — добавляет он.
Аравинд Шринивас, соучредитель и генеральный директор Perplexity.ai, пошутил, что как только MacBook станут достаточно сильными с точки зрения FLOP на каждый чип M1, крупные организации, где все используют MacBook и высокоскоростные интранеты, нужно будет регулировать и сообщать об их присутствии правительству.
M3 для рабочих нагрузок ИИ
Apple утверждает, что чипы серии M3 в настоящее время на 15% быстрее, чем чипы серии M2 и на 60% быстрее, чем чипы серии M1. Очевидно, что между M2 и M3 есть только заметные различия с точки зрения производительности и других характеристик. Последние чипы Apple имеют такое же количество ядер, но имеют другой баланс производительности и эффективности ядер (по 6 ядер, 8 P и 4 E) и поддерживают до 36 ГБ памяти вместо 32 ГБ.
Чип M3 поддерживает до 128 ГБ объединенной памяти, что удваивает емкость по сравнению со своими предшественниками, чипами M1 и M2. Этот увеличенный объем памяти особенно важен для рабочих нагрузок ИИ и машинного обучения, которые требуют значительных ресурсов памяти для обучения и выполнения больших языковых моделей и сложных алгоритмов.
В дополнение к улучшенной системе Neural Engine и расширенной поддержке памяти, чип M3 отличается переработанной архитектурой графического процессора.
Архитектура специально разработана для обеспечения превосходной производительности и эффективности, сочетая в себе динамическое кэширование, сетчатое затенение и трассировку лучей. Эти усовершенствования специально разработаны для ускорения рабочих нагрузок ИИ и машинного обучения и оптимизации общей вычислительной эффективности.
В отличие от традиционных графических процессоров, новый M3 оснащен графическим процессором с динамическим кэшированием, который использует локальную память в режиме реального времени, улучшает использование графического процессора и значительно повышает производительность ресурсоемких профессиональных приложений и игр. **
Мощность графического процессора будет полезна разработчикам игр и пользователям приложений с интенсивным использованием графики, таких как Photoshop, или инструментов искусственного интеллекта, связанных с фотографиями. Apple утверждает, что он до 1 раза быстрее, чем чипы серии M2.5, имеет аппаратное ускорение затенения сетки и повышает производительность при более низком энергопотреблении.
Яблоко и весь мир
Apple не одинока: другие компании, такие как AMD, Intel, Qualcomm и Nvidia, вкладывают значительные средства в расширение периферийных возможностей, которые позволяют пользователям выполнять большие рабочие нагрузки ИИ на ноутбуках и ПК.
Например, AMD недавно представила AMD Ryzen AI, который включает в себя первый встроенный движок искусственного интеллекта для ноутбуков x86 с Windows и единственный интегрированный движок искусственного интеллекта в своем классе.
Intel, с другой стороны, возлагает свои надежды на Meteor Lake 14-го поколения. Это первый процессор Intel с плиточной архитектурой, которая может сочетать и сочетать различные типы ядер, такие как высокопроизводительные ядра и ядра с низким энергопотреблением, для достижения наилучшего баланса производительности и энергоэффективности.
Недавно Qualcomm также выпустила Snapdragon X Elite. Генеральный директор компании Кристиано Амон утверждает, что он превосходит чип Apple M2 Max с сопоставимой пиковой производительностью и снижением энергопотребления на 30%. В то же время NVIDIA инвестирует в периферийные сценарии использования и тихо работает над разработкой процессоров, совместимых с операционной системой Microsoft Windows, используя технологию Arm.
Разработчики ИИ все чаще запускают и экспериментируют с языковыми моделями локально, и очень интересно наблюдать, как развивается эта область. Учитывая последние достижения в этой области, Apple медленно, но верно становится лучшим выбором для разработчиков ИИ.