- Тема
14k Популярність
157 Популярність
141 Популярність
39k Популярність
16k Популярність
62k Популярність
31k Популярність
3k Популярність
94k Популярність
27k Популярність
- Закріпити
14k Популярність
157 Популярність
141 Популярність
39k Популярність
16k Популярність
62k Популярність
31k Популярність
3k Популярність
94k Популярність
27k Популярність
Старий Хуанг перемагає! Замовлення Nvidia H100 розраховано на 24 роки, і Маск не може сидіти на місці
Перше джерело: Qubit
Найкращий графічний процесор для вдосконалення великих моделей NVIDIA H100, все розпродано!
Навіть якщо ви замовите його зараз, він не буде доступний до першого або навіть другого кварталу 2024 року.
Це останні новини, оприлюднені Wall Street Journal від CoreWeave, хмарного постачальника, тісно пов’язаного з Nvidia.
Раніше Маск також сказав у ток-шоу: GPU тепер отримати складніше, ніж продукти d.
Наприклад, ціна на Ebay зросла приблизно з 36 000 доларів США із заводу до 45 000 доларів США**, а пропозиція невелика.
З них тільки 1 мільярд доларів США можуть бути доставлені протягом цього року, а інші 80% повинні будуть почекати до 2024 року.
Отже, кому продаються існуючі високоякісні графічні процесори? Де застрягла ця хвиля виробничих потужностей?
Хто продає H100, Лао Хуанг має останнє слово
Після спалаху ChatGPT стали популярними Nvidia A100 і H100, які добре підходять для навчання великих моделей.
Навіть H100 вже можна використовувати як актив для компаній-початківців для пошуку інвестиційних коштів для отримання іпотечних кредитів.
Компанії штучного інтелекту, представлені OpenAI і Meta, компанії хмарних обчислень, представлені Amazon і Microsoft, приватні хмари Coreweave і Lambda, а також усі різноманітні технологічні компанії, які хочуть удосконалити власні великі моделі, попит величезний.
**Однак останнє слово щодо того, кому продавати, має генеральний директор Nvidia Хуан Реньсюнь. **
(Nvidia також інвестувала безпосередньо в CoreWeave.)
Зовнішній аналіз полягає в тому, що ці відомі компанії розробляють власні мікросхеми для прискорення штучного інтелекту, сподіваючись зменшити свою залежність від Nvidia, тож Лао Хуан допоможе їм.
Лао Хуан також контролює всі аспекти повсякденної діяльності компанії в Nvidia, навіть включаючи "перегляд того, що торгові представники скажуть невеликим потенційним клієнтам".
Близько 40 керівників компанії безпосередньо підпорядковуються Лао Хуанг**, що більше, ніж безпосередні підлеглі Meta Xiaozha та Microsoft Xiaona разом узяті.
Колишній менеджер Nvidia розповів: «У Nvidia Huang Renxun є фактично головним спеціалістом з продуктів кожного продукту».
Відповідно до зовнішнього аналізу, цей крок дозволить Nvidia краще зрозуміти потреби клієнтів у своїх продуктах, і це також викликало занепокоєння, що Nvidia може використовувати цю інформацію для отримання додаткових переваг.
Деякі люди також вважають, що ще однією причиною є те, що Лао Хуанг хоче знати, хто насправді використовує картку, а хто просто накопичує картку і не використовує її.
Основна причина полягає в тому, що попит і пропозиція висококласних графічних процесорів занадто незбалансовані.За підрахунками веб-сайту GPU Utils, розрив H100** досягає 430 000**.
Автор Клей Паскаль оцінив кількість H100, необхідних різним гравцям індустрії штучного інтелекту в найближчому майбутньому на основі різної відомої інформації та чуток.
Сторона компанії AI:
Компанія хмарних обчислень:
У сумі це 432 тис.
Це не рахуючи деяких фінансових компаній та інших учасників галузі, таких як JP Morgan Chase і Two Sigma, які також почали розгортати власні кластери обчислювальної потужності.
Отже, питання полягає в тому, чи не можемо ми виробляти більше, маючи такий великий дефіцит пропозиції?
Лао Хуан також думав про це, але виробничі потужності застрягли.
**Де застрягли виробничі потужності цього разу? **
Насправді TSMC вже скорегувала свій план виробництва для Nvidia.
Однак так і не вдалося заповнити таку величезну прогалину.
Чарлі Бойл, віце-президент і генеральний менеджер системи Nvidia DGX, сказав, що цього разу вона не застрягла в пластині, а що технологія упаковки CoWoS від TSMC зіткнулася з вузьким місцем у своїх виробничих потужностях.
Саме Apple конкурує з Nvidia за виробничі потужності TSMC, і вона отримає чіп A17 для iPhone наступного покоління до вересневої конференції.
TSMC нещодавно заявила, що очікується, що для того, щоб повернути процес упаковки до нормального стану, знадобиться 1,5 роки.
Технологія упаковки CoWoS є майстерністю TSMC, і причина, чому TSMC може перемогти Samsung, щоб стати ексклюзивним ливарником мікросхем Apple, залежить від цього.
Продукти, виготовлені за цією технологією, мають високу продуктивність і високу надійність, тому H100 може мати пропускну здатність 3 ТБ/с (або навіть вище).
Ця технологія дозволяє упаковувати кілька мікросхем на кремнієвий проміжний елемент товщиною лише 100 мкм**.
Згідно з повідомленнями, площа інтерпозера наступного покоління досягне 6-кратної площі візирної сітки, що становить близько 5000 мм².
Наразі, окрім TSMC, жоден виробник не має такого рівня пакувальних можливостей.
Не кажучи вже про те, що Лао Хуанг вже заявив, що «ми не розглядатимемо додавання другого ливарного цеху H100».
Насправді це може бути неможливим.
Nvidia раніше співпрацювала з Samsung, але остання ніколи не випускала продукти серії H100 для Nvidia або навіть інші 5-нм чіпи.
Виходячи з цього, деякі люди припускають, що технічний рівень Samsung може не задовольнити технологічні потреби Nvidia щодо передових графічних процесорів.
Що стосується Intel... їхні 5-нм продукти, здається, ще не виходять.
AMD，Так？
З точки зору лише продуктивності, AMD справді повільно наздоганяє.
Останній MI300X від AMD має 192 ГБ пам’яті HBM3, пропускну здатність 5,2 ТБ/с і може запускати 80 мільярдів моделей параметрів.
DGX GH200, щойно випущений Nvidia, має 141 ГБ пам’яті HBM3e і пропускну здатність 5 ТБ/с.
Але це не означає, що AMD може негайно заповнити вакансію карти N——
Справжній «рів» Nvidia лежить у платформі CUDA.
CUDA створила повну екосистему розробки, що означає, що якщо користувачі купують продукти AMD, налагодження займе більше часу.
Керівник приватної хмарної компанії сказав, що ніхто не ризикне витратити 300 мільйонів доларів на експериментальне розгортання 10 000 графічних процесорів AMD.
Керівництво вважає, що цикл розробки та налагодження може тривати щонайменше два місяці.
На тлі стрімкої заміни продукції штучного інтелекту двомісячний розрив може стати фатальним для будь-якого виробника.
Раніше ходили чутки про те, що Microsoft готується спільно з AMD розробити штучний інтелект під кодовою назвою «Athena».
Раніше, коли було випущено MI200, Microsoft першою оголосила про покупку та розгорнула її на своїй хмарній платформі Azure.
Наприклад, інфраструктура нової великої моделі MSRA RetNet була навчена на 512 AMD MI200 деякий час тому.
Однак за короткий проміжок часу Nvidia H100 і A100 все ще залишаються найбільш поширеним вибором.
І ще одна річ
Деякий час тому, коли Apple випустила новий чіп M2 Ultra, який підтримує до 192 ГБ пам’яті**, багато практиків із задоволенням використовували його для тонкого налаштування великих моделей.
Зрештою, пам’ять і відеопам’ять чіпів серії M від Apple уніфіковані: 192 ГБ пам’яті – це 192 ГБ відеопам’яті, що в 2,4 рази більше, ніж у 80 ГБ H100, або у 8 разів більше, ніж у 24 ГБ RTX4090.
Зрештою, обчислювальна потужність чіпів серії M не оптимізована спеціально для обчислень штучного інтелекту, а відеопам’ять Everbright марна.
Здається, що удосконалення великої моделі в основному залежить від H100, а H100 - це те, чого ви не можете попросити.
Зіткнувшись із цією ситуацією, в Інтернеті навіть циркулює чарівна «пісня GPU»**.
Дуже промиває мозок, входьте обережно.
, тривалість 04:10
Домашня пісня GPU
Посилання на посилання: [1] [2] [3] [4] [5] [6] [7] [8] [9]