Руйнуючи «монополію» NVIDIA з диференціацією, d-Matrix знижує вартість обчислювальних потужностей ШІ в 30 разів

Першоджерело: Альфа-комуна

Джерело зображення: Створено Unbounded AI

За вибухом AIGC стоїть величезний попит на навчання ШІ та міркування щодо ШІ. Наразі NVIDIA є найбільшим постачальником обчислювальних потужностей штучного інтелекту, і її прибутковість у другому кварталі (зростання на 854% у річному обчисленні) надсилає сигнал про те, що попит галузі на обчислювальні потужності штучного інтелекту далекий від задоволення.

Монополія NVIDIA на обчислювальні потужності штучного інтелекту (частка ринку понад 80%) змусила хвилюватися багато компаній, які використовують обчислювальні потужності ШІ, Microsoft, Amazon і OpenAI активно створюють ядра, а OpenAI також мала скандали з придбанням зі стартапами чіпів штучного інтелекту, такими як Cerebras і Atomic Semi.

Вимоги до обчислювальної потужності обґрунтування штучного інтелекту для запуску додатків штучного інтелекту значно перевищать вимоги до обчислювальної потужності для навчання великих моделей у майбутньому, а вимоги до обчислювальної потужності міркувань не збігаються з навчанням, а існуючі графічні процесори для виведення не мають переваги у вартості, що вимагає власних чіпів логічного висновку ШІ.

Нещодавно d-Matrix, стартап, орієнтований на чипи штучного інтелекту, отримав $110 млн фінансування серії B на чолі з Temasek, включаючи інвесторів з попередніх раундів фінансування, таких як Playground Global, M12 (Microsoft Venture Capital Fund), Industry Ventures, Ericsson Ventures, Samsung Ventures, SK Hynix тощо, причому значна частина припадає на промислові інвестиції. Сід Шет, генеральний директор d-Matrix, сказав: «Це капітал, який знає, як побудувати напівпровідниковий бізнес, і може працювати з нами протягом тривалого часу. "

Нове фінансування від d-Matrix буде використано для створення Corsair, її цифрової обчислювальної карти для обчислень у пам'яті (DIMC). Кажуть, що ця карта в 9 разів швидша за графічний процесор NVIDIA H100, а у випадку з кластером обчислювальних карт вона в 20 разів енергоефективніша, у 20 разів менша затримка та до 30 разів дешевша, ніж аналогічні рішення NVIDIA.

Два ветерани чіпів націлені на обґрунтування потреб штучного інтелекту в обчислювальній потужності в епоху AIGC

Системи штучного інтелекту використовують різні типи обчислень під час навчання моделей штучного інтелекту порівняно з використанням їх для прогнозів і висновків. Висновок ШІ вимагає меншої обчислювальної потужності, але при запуску великого сервісу штучного інтелекту він вимагає більше обчислювальної потужності, ніж навчання в довгостроковій перспективі.

Важко розгорнути виділений центр обробки даних для висновків ШІ з низькими витратами, використовуючи існуюче апаратне забезпечення штучного інтелекту. Повідомляється, що сервіс Microsoft GitHub Copilot публікується в середньому $20 на користувача на місяць, а за словами Ділана Пателя, головного аналітика SemiAnalysis, щоденні інвестиційні витрати OpenAI на ChatGPT можуть досягати $700 000. Ці витрати є витратами на висновок ШІ, які не можуть бути зменшені під час запуску сервісів штучного інтелекту.

Індустрія штучного інтелекту повинна розвиватися більш здорово, з меншими витратами на висновки та нижчими витратами на енергоспоживання чіпів логічного висновку ШІ.

Два ветерани індустрії мікросхем, Сід Шет і Судіп Бходжа, заснували d-Matrix у 2019 році після спільної роботи в Marvell і Broadcom. У 2019 році модель штучного інтелекту архітектури Transformer тільки зароджувалася, і вони побачили великий потенціал і можливості цієї архітектури моделі та вирішили розробити своє апаратне забезпечення штучного інтелекту спеціально для цих великих мовних моделей.

Сід Шет, генеральний директор і співзасновник d-Matrix, сказав: «У 2019 році ми зробили ставку на платформу прискорення для моделей Transformer і зосередитися на висновках, і до кінця 2022 року, коли генеративний ШІ вибухнув, d-Matrix стала однією з небагатьох компаній, яка має платформу генеративних висновків ШІ. Ми виросли і скористалися цією можливістю протягом трьох років. Усе наше апаратне та програмне забезпечення створено для прискорення моделей трансформерів та генеративного штучного інтелекту. "

Далі Сід Шет описав унікальність ринкового позиціонування d-Matrix: «Генеративний штучний інтелект назавжди змінить парадигму того, як люди та компанії створюють, працюють та взаємодіють з технологіями.

Але поточна загальна вартість володіння (TCO) для запуску висновків ШІ швидко зростає, і команда d-Matrix змінює економіку витрат на розгортання висновків ШІ за допомогою спеціально розроблених обчислювальних рішень для великих мовних моделей, і цей раунд фінансування ще більше підтверджує нашу позицію в галузі. "

Майкл Стюарт, інвестор Microsoft M12, сказав: «Ми офіційно увійшли у виробництво, коли сукупна вартість володіння великими мовними моделями стає ключовим обмежуючим фактором для підприємств, щоб використовувати передовий штучний інтелект у своїх послугах і додатках. d-Matrix дотримується плану, який забезпечить найкращу в галузі сукупну вартість володіння для різноманітних потенційних сценаріїв обслуговування моделей, використовуючи гнучку, стійку архітектуру Chiplet, засновану на підході, орієнтованому на пам'ять. "

Зменшіть вартість висновків ШІ в 30 разів

Використання центральних і графічних процесорів для навчання та висновків ШІ не є найефективнішим способом. Для операцій логічного висновку ШІ рух даних є найбільшим вузьким місцем. Зокрема, передача даних туди-сюди в оперативну пам'ять спричиняє значну затримку, що, у свою чергу, призводить до більшого споживання енергії та витрат, а також уповільнює роботу всієї системи штучного інтелекту.

Вирішити цю проблему можна трьома способами.

Перший прискорює глибоке навчання, зменшуючи обсяг даних, що обробляються за допомогою вибірки та конвеєрів, але також обмежує точність і точність.

По-друге, встановити спеціальний процесор AI Engine поруч із традиційним процесором, Apple, NVIDIA, Intel і AMD використовують цей метод, але ці рішення все ще використовують традиційну архітектуру процесора фон Неймана, щоб інтегрувати SRAM і зовнішню пам'ять DRAM, їм усім потрібно переміщати дані в пам'ять і з пам'яті, що все одно призводить до високого енергоспоживання та низької ефективності.

По-третє, перемістити обчислення ближче до оперативної пам'яті (пам'яті), що є підходом d-Matrix. Ця архітектура движка, яка називається Digital In-Memory Computing (DIMC), зменшує затримку та споживання енергії. Він також добре підходить для висновків штучного інтелекту, оскільки висновування включає відносно статичний (але великий) зважений набір даних, до якого звертаються неодноразово, а DIMC усуває більшість витрат на передачу енергії та затримки переміщення даних.

d-Matrix використовує кілька чиплетів для створення більших, модульних і масштабованих інтегральних схем. Це дозволяє йому створювати масштабовані платформи для завдань логічного висновку ШІ корпоративного рівня, допомагаючи підприємствам зі штучним інтелектом підвищити продуктивність і ефективність.

Чиплет Jayhawk II

У 2021 році d-Matrix запустила чиплет Nighthawk, після чого вони запустили платформу Jayhawk Chiplet, першу в галузі платформу Bunch of Vores (BoW) з відкритою архітектурою для конкретного домену (ODSA), розроблену для забезпечення енергоефективного з'єднання мікросхеми на основі органічного субстрату.

Перші продукти, оснащені архітектурою DIMC від d-Matrix, будуть засновані на нещодавно анонсованому процесорі Jayhawk II, чиплеті, що містить приблизно 16,5 мільярдів транзисторів.

Кожен чиплет Jayhawk II містить ядро RISC-V для управління ним, 32 ядра Apollo (кожне з вісьмома блоками DIMC, що працюють паралельно) і 256 МБ оперативної пам'яті зі смугою пропускання 150 ТБ/с. Ядро підключається за допомогою спеціального мережевого чіпа зі смугою пропускання 84 ТБ/с.

Комп'ютерна карта Corsair

d-Matrix також представила обчислювальні карти Corsair, схожі на H100 від NVIDIA, кожна обчислювальна карта Corsair має 8 чиплетів Jayhawk II, кожна Jayhawk II забезпечує пропускну здатність 2 Тб/с (250 ГБ/с) від мікросхеми до чіпа, а одна обчислювальна карта Corsair має сукупну пропускну здатність 8 Тб/с (1 ТБ/с).

Архітектура та програмна масштабованість d-Matrix дозволяють об'єднувати інтегровану пам'ять SRAM в єдиний пул пам'яті, який забезпечує дуже високу пропускну здатність. Наприклад, сервер з 16 картами Corsair має 32 ГБ оперативної пам'яті та 2 ТБ LPDDR5, чого достатньо для запуску моделі Transformer з параметрами від 20 до 30 мільярдів.

d-Matrix стверджує, що сервери з обчислювальними картами Corsair знижують загальну вартість володіння генеративним висновком ШІ в 10-30 разів порівняно з рішеннями на основі GPU, але цей набір апаратного забезпечення не буде офіційно доступний до 2024 року.

Стек програмного забезпечення d-Matrix Aviator

Потужність NVIDIA в обчислювальній потужності штучного інтелекту полягає не тільки в графічному процесорі, але й у програмному стеку CUDA та численних бібліотеках, оптимізованих для конкретних робочих навантажень і сценаріїв використання, таким чином формуючи повну екосистему.

d-Matrix також надає клієнтам повний досвід роботи зі стеком програмного забезпечення Aviator поряд з апаратним забезпеченням, яке включає ряд програмного забезпечення для розгортання моделей у виробництві, наприклад, ланцюжки інструментів машинного навчання, системне програмне забезпечення для розподілу робочого навантаження, програмне забезпечення сервера висновків для розгортання виробництва тощо. І значна частина його програмного стеку використовує широко поширене програмне забезпечення з відкритим вихідним кодом.

Прагніть до відносно невеликої моделі

Сід Шет, генеральний директор d-Matrix, зазначив, що на додаток до позиціонування висновків ШІ, вони додатково зосереджені на багатомільярдних або десятках мільярдів малих і середніх моделей, а не на сотнях мільярдів великих моделей загального призначення.

Карл Фройнд, засновник і головний аналітик Cambrian AI, дослідницької фірми з напівпровідників і штучного інтелекту, погоджується з цим, кажучи: «Більшість компаній не розгортають моделі з сотнями мільярдів або трильйонів параметрів. Але вони використовуватимуть власні дані компанії для точного налаштування моделі, і модель, яку вони фактично розгорнуть, буде набагато меншою. Для моделі такого розміру NVIDIA H100 не обов'язково є найекономічнішим варіантом, коли справа доходить до висновків штучного інтелекту, і наразі H100 продається за ціною до 40 000 доларів. "

Він також зазначив, що d-Matrix стикається з вікном можливостей, і у нього є відносно порожній період часу, щоб показати свою цінність, перш ніж такі гіганти, як Nvidia, звернуться на цей ринок.

На даний момент d-Matrix очікує дохід не більше $10 млн цього року, в основному від клієнтів, які купують чіпи для оцінки. Засновник Шет сказав, що d-Matrix очікує річний дохід у розмірі від 70 до 75 мільйонів доларів протягом двох років і беззбитковість. Ринковий простір, з яким стикається d-Matrix, величезний, і Cambrian AI прогнозує, що до 2030 року коефіцієнт споживання обчислювальної потужності чіпів логічного висновку ШІ може досягти понад 1000 TOPS на ват.

Автономність та вартість – ґрунт для чіпів штучного інтелекту

З одного боку, ґрунт для виживання стартапів зі штучного інтелекту, таких як d-Matrix, походить від незалежних і контрольованих потреб виробників штучного інтелекту, будь то гіганти, такі як Microsoft, Meta, Amazon, суперєдинороги, такі як OpenAI, Anthropic, або провідні стартапи, такі як Cohere, вони не хочуть, щоб їхні обчислювальні потужності штучного інтелекту були пов'язані з однією компанією.

З іншого боку, операційні витрати на послуги ШІ, для великих модельних компаній, у довгостроковій перспективі, вартість обчислювальних потужностей для запуску сервісів ШІ буде вищою, ніж вартість обчислювальних потужностей для навчальних моделей, і на цьому етапі операційні витрати одного користувача підприємств ШІ є збитковим станом, а загальна вартість володіння (TCO) також висока. Для багатих на готівку гігантів ця втрата по кишені, а ось для стартапів це величезний тягар, що гальмує подальше розширення їхнього бізнесу.

Сторонні недорогі обчислювальні потужності на основі штучного інтелекту вкрай необхідні як гігантам, так і стартапам.

З якими ризиками стикаються стартапи у сфері ШІ-чіпів на даному етапі? Одна з них – це, звичайно, «монополія» гіганта NVIDIA, а також Microsoft, Meta, Google, OpenAI, найбільші ШІ-компанії, які самостійно розробляли чіпи, а потім і програмна екологічна проблема, що підтримує чіп.

І ці проблеми d-Matrix знаходиться в процесі вирішення. Вона націлена на ринок комерційних моделей штучного інтелекту малого та середнього розміру, а також співпрацює зі спільнотою з відкритим вихідним кодом для створення екосистеми програмного забезпечення, яка може дати їй диференційовану конкурентну перевагу в конкуренції гігантів.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Поділіться
Прокоментувати
0/400
Немає коментарів
  • Закріпити