Переосмислення повного місяця від Apple Vision Pro: XR, RNDR і майбутнє просторових обчислень

Автор: Скарлет Ву

У перші години WWDC (Всесвітньої конференції розробників Apple) 6 червня також був п’ятий день після того, як я дізнався, що страждаю на COVID-19. Знову відкласти?

Тому, коли Кук з’явився о другій годині ночі, він помахав «One More Thing», і ми з друзями разом підбадьорювали по цей бік екрану:

Macintosh представив персональні комп’ютери, iPhone представив портативні комп’ютери, а Apple Vision Pro збирається представити Spacial Computing

Комп’ютер Macintosh розпочав еру персональних комп’ютерів, iPhone розпочав еру мобільного Інтернету, а Apple Vision Pro розпочне еру просторових обчислень.

Як ентузіаст передових технологій я вболіваю за нові іграшки, які я зможу мати наступного року, але як інвестор Web 3, який зосереджується на іграх, метавсесвіті та штучному інтелекті, це ознака нової ери, яка змушує мене тремтіти.

Ви можете запитати: «Яке відношення оновлення апаратного забезпечення МР до Web 3?» Що ж, давайте почнемо з тези Mint Ventures про метавсесвіт.

Наш метавсесвіт, або теза світу Web 3

Премія активів у світі блокчейнів походить від:

1. Нижній рівень довірених транзакцій забезпечує зниження транзакційних витрат: підтвердження прав на активи та захист прав власності на фізичні товари базуються на обов’язковому підтвердженні прав агентством насильства державної машини, тоді як підтвердження прав на активи у віртуальному світі базується на «консенсусі даних «Довіра, яку не можна (чи не слід) змінювати», і визнанні самого активу після підтвердження права власності. Хоча ви можете клацнути правою кнопкою миші, щоб скопіювати та вставити, BAYC все ще має ціну будинку в містах 18-го рівня. Це не тому, що скопійовані та вставлені зображення дійсно відрізняються від зображень метаданих NFT, а з передумови, що на ринку існує консенсус щодо "некопіюваності" Існує можливість сек'юритизації.
2. Високий ступінь сек'юритизації активів приносить премію за ліквідність
3. Транзакція без дозволу, що відповідає механізму децентралізованого консенсусу, приносить «премію без дозволу»

Товари у віртуальному світі легше сек’юритизувати, ніж фізичні товари:

• З історії популяризації оплати цифровими активами можна побачити, що звичка людей платити за віртуальний контент не виникла миттєво, але беззаперечно, що оплата віртуальних активів проникла в життя людей. У квітні 2003 року поява iTunes Store змусила людей виявити, що окрім завантаження пісень на Walkman в Інтернеті, де піратство процвітає, існує також можливість придбати справжню цифрову музику для підтримки улюблених творців; у 2008 році Вийшов App Store, одноразова покупка. Він став популярним у всьому світі, а подальша функція покупки в додатку продовжувала сприяти прибутку Apple від цифрових активів.
• Існує також сіра лінія вужа, похована в змінах платіжної моделі ігрової індустрії. Оригінальною версією ігрової індустрії була Arcade Game. Модель оплати в епоху аркад була «оплата за досвід» (подібно до фільмів), а модель оплати в епоху консолей була «оплата за касети/диски» (подібно до фільмів і музичні альбоми).Почався продаж суто цифрових ігор.У той же час з’явився ринок цифрових ігор Steam і внутрішньоігрові покупки, які дозволили деяким іграм отримати дохід міфів. Історія оновлень моделі оплати ігор — це також історія зменшення витрат на розповсюдження, від аркадних автоматів до консолей, до платформ цифрового розповсюдження ігор, де кожен може увійти за допомогою персональних комп’ютерів і мобільних телефонів, і самої гри, в яку гравці вже занурені. Розмір ігрового корпусу Тенденція полягає в тому, що вартість технічного розповсюдження стає все нижчою і нижчою, а аудиторія все ширшою і ширшою; тоді як ігрові активи змінилися з «частини досвіду» на «купні товари». (Хоча незначна тенденція останнього десятиліття перетворилася на зростання вартості розповсюдження цифрових активів з року в рік, це головним чином пов’язано з низьким розвитком Інтернету, високою конкуренцією та монополією вхідного трафіку на увагу.)

Отже, що далі? Торгувані віртуальні світові активи будуть темою, щодо якої ми завжди оптимістичні.

З удосконаленням досвіду віртуального світу час занурення людей у віртуальний світ ставатиме все довшим і довшим, що призведе до зміни уваги. Зміщення уваги також призведе до зміни премії оцінки від сильної прив’язаності до організацій до віртуальних активів. Випуск Apple Vision Pro повністю змінить досвід взаємодії людей із віртуальним світом, що призведе до збільшення часу занурення у віртуальний світ і значного покращення досвіду занурення.

Джерело: @FEhrsam

*Примітка. Це наш варіант визначення стратегії ціноутворення. У стратегії преміум-ціноутворення бренд встановлює ціну в ціновому діапазоні, який набагато вищий за собівартість, і доповнює історію бренду та досвід різниці між ціною та вартістю . Крім того, ціноутворення за собівартістю, конкурентоспроможне ціноутворення, співвідношення попиту та пропозиції тощо також є факторами, які будуть враховуватися при ціноутворенні товарів, і тут буде розширено лише преміальне ціноутворення. *

Історія та сьогодення галузі MR

Дослідження XR (розширеної реальності, включаючи VR і AR) у сучасному суспільстві почалося більше десяти років тому:

• У 2010 році було створено Magic Leap. У 2015 році дивовижна реклама Magic Leap про кита, який стрибає на стадіоні, викликала сенсацію в усьому світі технологій, але коли продукт був офіційно запущений у 2018 році, його освистали через надзвичайно поганий досвід роботи з продуктом. У 2021 році компанія залучила 500 мільйонів доларів США за оцінкою в 2,5 мільярда доларів після отримання грошей, що робить її вартість на 30 відсотків меншою за суму її фінансування — 3,5 мільярда доларів. У січні 2022 року повідомлялося, що державний фонд добробуту Саудівської Аравії отримав мажоритарний контроль через угоду про акціонерний і борговий капітал на суму 450 мільйонів доларів, а фактична вартість компанії впала до менше 1 мільярда доларів.
• У 2010 році Microsoft почала розробку Hololens, випустила перший пристрій AR у 2016 році, а другий – у 2019 році. Ціна 3000 доларів, але фактичний досвід не дуже хороший.
• У 2011 році було випущено прототип Google Glass. Перший продукт було випущено в 2013 році. Колись він був шаленим хітом, і на нього покладалися великі очікування. Однак через проблеми з конфіденційністю камери та поганий досвід використання продукту він закінчився жахливо, і загальний обсяг продажів склав лише кілька мільйонів одиниць. Корпоративна версія була випущена в 2019 році, а нова бета-версія була випробувана в польових умовах у 2022 році, і відповідь була посередньою. У 2014 році вийшла платформа розробки Google Carboard VR і SDK. У 2016 році вийшла Daydream VR, яка наразі є найпоширенішою платформою VR для Android.
• У 2011 році Sony PlayStation почала розробляти свою платформу віртуальної реальності. У 2016 році відбувся дебют PSVR. Хоча через довіру до PlayStation користувачі купували з більшим ентузіазмом, коли вона була випущена вперше, але подальша реакція була неприємною.
• У 2012 році була заснована компанія Oculus, яка була придбана компанією Facebook у 2014 році. Oculus Rift був запущений у 2016 році, і загалом було випущено 4 моделі. Основний акцент на портативності та нижчій ціні. Це пристрій із відносно високою часткою ринку на ринку.
• У 2014 році Snap придбала Vergence Labs, компанію, засновану в 2011 році, щоб зосередитися на окулярах AR, які стали прототипом окулярів Snap Spectacles. Вперше він був випущений у 2016 році, і поспіль було випущено 3 оновлені пристрої. Як і більшість продуктів, згаданих вище, Snap Spectacles спочатку привернули багато уваги, люди вишикувалися в чергу перед магазином, але мало користувачів, тому Snap закрила підрозділ апаратного забезпечення компанії в 2022 році та переорієнтувалася на продукти на основі смартфонів. AR.
• Приблизно в 2017 році Amazon почав розробку окулярів AR на основі Alexa, перші Echo Frames були випущені в 2019 році, а друга версія була випущена в 2021 році.

Коли ми озирнемося на історію XR, то побачимо, що розширення та розвиток цієї галузі далеко перевершує очікування кожного на ринку, чи то технологічний гігант із великими грошима та багатьма вченими, чи розумна та спроможна нова компанія, яка залучила сотні мільйонів доларів і зосереджена на XR. З моменту випуску споживчого VR-продукту Oculus Rift у 2016 році всі бренди VR, такі як Gear від Samsung, Pico від Byte, Index від Valve, Playstation VR від Sony і Vive від HTC, поставили менше 45 мільйонів одиниць. Оскільки найпоширеніші VR-пристрої все ще залишаються іграми, AR-пристрої, якими люди охоче користуються час від часу, з’явилися не раніше випуску Vision Pro.Згідно з даними SteamVR, можна приблизно зробити висновок, що місячні активні користувачі VR-пристроїв може мати лише невеликі мільйони.

Чому пристрої XR не набирають популярності? Досвід невдач незліченних стартап-компаній і короткий огляд інвестиційних установ можуть дати деякі відповіді:

1. Обладнання не готове

Візуально VR-пристрої мають ширший кут огляду та ближче до очних яблук.Навіть із найсучаснішими пристроями пікселі на екрані все одно важко ігнорувати. Для повного занурення потрібне 4K для одного ока або 8K для обох очей. Крім того, частота оновлення також є ключовим елементом для підтримки візуального досвіду. На ринку зазвичай вважають, що для досягнення ефекту проти запаморочення пристроям XR потрібна частота 120 Гц або навіть 240 Гц на секунду, щоб підтримувати подібний досвід до реального світу. І частота оновлення за тієї самої обчислювальної потужності є елементом, який потрібно збалансувати з рівнем візуалізації: Fortnite підтримує роздільну здатність 4k із частотою оновлення 60 Гц, але підтримує лише роздільну здатність 1440p із частотою оновлення 120 Гц.

Тому що порівняно з візуальною інтуїцією слух здається марним за короткий час, і більшість пристроїв віртуальної реальності не наполегливо працювали над цією деталлю. Але уявіть, що в просторі, незалежно від того, чи знаходиться людина ліворуч чи праворуч, голос розмови передається з маківки рівномірно, що значно зменшить відчуття занурення. І коли цифровий Аватар у просторі AR закріплений у вітальні, коли гравець йде зі спальні у вітальню, гучність мови Аватара залишається однаковою, що дещо зменшує реалістичність простору.

Що стосується взаємодії, традиційні VR-пристрої оснащені ручками керування, і, наприклад, HTC Vive потребує встановлення камер вдома, щоб підтверджувати стан руху гравця. Незважаючи на те, що Quest Pro має функцію відстеження очей, вона має високу затримку та середню чутливість. Вона в основному використовується для покращення локального рендерингу, а фактична інтерактивна операція досі домінує ручками. У той же час Oculus також встановив 4-12 камер на гарнітурі, щоб підтвердити стан сцени користувача та досягти певного ступеня взаємодії жестів (наприклад, у світі віртуальної реальності використовуйте ліву руку, щоб взяти віртуальний телефон, а правий вказівний палець порожній. Натисніть OK, щоб почати гру).

З точки зору ваги, якість обладнання, яке забезпечує відчуття комфорту для людського тіла, має бути в межах 400-700 г (хоча порівняно зі звичайними окулярами вагою близько 20 г, це все ще величезний монстр). Але для того, щоб досягти вищезазначеної чіткості, частоти оновлення, рівня взаємодії, обчислювальної потужності (продуктивність чіпа, розміру та кількості), що відповідає його вимогам до рендерингу, а також базових вимог до тривалості роботи батареї, вага пристрою XR є важкою. процес компромісу.

Підводячи підсумок, якщо XR хоче стати мобільним телефоном наступного покоління і стати новим поколінням масового обладнання, потрібен пристрій з роздільною здатністю вище 8k і частотою оновлення понад 120 Гц, щоб уникнути запаморочення у користувачів. Цей пристрій має мати більше дюжини камер, час автономної роботи 4 години або більше (потрібно виймати лише під час обідньої/обідньої перерви), мало або зовсім не виробляти тепло, вагу менше 500 г і ціну від 500 до 1000 доларів США. Хоча поточна технічна потужність значно покращилася порівняно з останньою хвилею буму XR за 15-19 років, все ще важко відповідати вищевказаним стандартам.

Але попри це, якщо користувачі почнуть відчувати існуюче обладнання МР (VR + AR), вони побачать, що хоча поточний досвід не ідеальний, він також є захоплюючим досвідом, з яким 2D-екрани не можуть зрівнятися. Але в цьому досвіді ще є чимало можливостей для вдосконалення. Беручи Oculus Quest 2 як приклад, більшість відео VR, які можна дивитися, мають роздільну здатність 1440p, яка навіть не досягає межі роздільної здатності Quest 2 4K, а частота оновлення становить набагато менше ніж 90 п. Гц. Однак існуючі VR-ігри мають відносно погане моделювання, і не так багато варіантів, які можна спробувати.

Джерело: VRChat

2. Killer App все ще не з'являється

«Ще ні» Killer App має історичні причини потрапити в пастку апаратного забезпечення — навіть якщо Meta докладає всіх зусиль, щоб збільшити прибуток, MR-гарнітури вартістю кілька сотень доларів і відносно проста екологія багатші за існуючу екологію та база користувачів досягла великих масштабів Ігрова консоль все ще не приваблива. Кількість пристроїв для VR становить 25-30 мільйонів, порівняно з 350 мільйонами для ігор AAA (PS 5, Xbox, Switch, ПК). Тому більшість виробників відмовилися від підтримки віртуальної реальності, а кілька ігор, які підтримують пристрої віртуальної реальності, також «між іншим прокладають платформу віртуальної реальності», а не «підтримують лише пристрої віртуальної реальності». Крім того, через проблеми, згадані в першому пункті, такі як пікселі, запаморочення, низький час автономної роботи та велика вага, досвід використання пристроїв VR не кращий, ніж у традиційних ігрових терміналів 3A. Щодо переваги «занурення», яку намагаються підкреслити прихильники VR, через брак обладнання розробники, які «випадково розгортають обладнання VR», рідко проектують досвід і режими взаємодії спеціально для VR, що ускладнює досягнення ідеального досвіду.

Таким чином, поточна ситуація полягає в тому, що коли гравці обирають VR-ігри замість ігор, які не є VR, вони не лише «вибирають нову гру», але й «відмовляються від спілкування з більшістю своїх друзів», що часто буває Сексуальність і відчуття занурення набагато важливіші, ніж соціальність. Звичайно, ви можете згадати VR Chat, але якщо копнути глибше, ви побачите, що 90% користувачів не є користувачами VR, а гравцями, які хочуть поспілкуватися з новими друзями в різних аватарах перед звичайними екранами. Тож не дивно, що найпопулярнішими іграми у програмному забезпеченні VR є аудіоігри, такі як Rhythm Light.

Тому ми вважаємо, що для появи Killer App необхідні такі елементи:

• Великі покращення продуктивності обладнання та повної деталізації. Як зазначено в розділі «Апаратне забезпечення не готове», це не проста операція на зразок «покращення екрана, покращення мікросхеми, покращення динаміка...», а результат всебічної взаємодії мікросхеми, аксесуарів, дизайн взаємодії та операційна система – і саме в цьому Apple добре вміє: порівняно з iPod та iPhone більше десяти років тому, Apple завершила співпрацю операційних систем для кількох пристроїв із десятиліттями накопичення.
• Напередодні спалаху користувацького обладнання. Як і в наведеному вище аналізі ментальності розробників і користувачів, проблема «курка чи яйце» полягає в тому, що Killer App важко з’явитися, коли MAU пристроїв XR становить лише кілька мільйонів. На піку «Легенди про Зельду: Подих дикої природи» продажі ігрових картриджів у Сполучених Штатах були навіть вищими, ніж власники комутаторів — це «чудовий приклад того, як апаратне забезпечення, що тільки зароджується, стає масовим. Купуйте, щоб відчути XR Люди з пристрій поступово буде розчарований через обмежений вміст досвіду, розповідаючи про те, як їхній головний дисплей припав пилом; але більшість гравців, яких приваблює Zelda, досліджуватимуть інші ігри в екосистемі Switch.гра і залишаться.

Джерело: The Verge

• Уніфіковані робочі звички та відносно стабільна сумісність оновлень пристрою. Перше легко зрозуміти: з ручкою та без ручки, це надає користувачам два типи звичок і досвіду взаємодії з машиною, і це те, що відрізняє Apple Vision Pro від інших пристроїв VR на ринку. Останнє можна побачити в ітерації апаратного забезпечення Oculus - значне збільшення продуктивності обладнання в межах того самого покоління обмежить досвід користувача. Meta Quest Pro, який буде випущений у 2022 році, має суттєво покращену апаратну продуктивність порівняно з Oculus Quest 2 (він же Meta Quest 2), який буде випущений у 2020 році: роздільна здатність Quest Pro була збільшена порівняно з дисплеєм 4K Quest 2. до 5,25K, кольоровий Коефіцієнт контрастності збільшено на 75%, а частоту оновлення збільшено з початкових 90 Гц до 120 Гц. Додано 8 зовнішніх камер до 4 камер Quest 2 для розуміння зовнішнього середовища у VR, перетворення чорно-білих зображень навколишнього середовища на кольорові, значно покращене відстеження рук і додавання відстеження рис обличчя та очей. У той же час Quest Pro також використовує «foveated rendering», щоб зосередити обчислювальну потужність на місці, куди дивляться очні яблука, і послабити точність інших частин, тим самим заощаджуючи обчислювальну потужність і енергоспоживання. Як згадувалося вище, Quest Pro є набагато потужнішим, ніж Quest 2, але, ймовірно, менше 5% користувачів Quest Pro використовують Quest 2. Це означає, що розробники будуть розробляти ігри для обох пристроїв одночасно, що значно обмежить використання переваг Quest Pro і, у свою чергу, зменшить привабливість Quest Pro для користувачів. Історія Римується, та сама історія повторюється знову і знову в ігрових консолях. Ось чому виробники консолей оновлюють обладнання та програмне забезпечення кожні 6-8 років. Користувачі, які купили перше покоління Switch, не будуть турбуватися про наступні Switch OLED та інші Забезпечення несумісності нещодавно випущеного ігрового програмного забезпечення, але користувачі, які купують серію Wii, не можуть грати в ігри в екосистемі Switch. Для розробників програмного забезпечення, націлених на консольні ігри, ігри, які вони створюють, не призначені для мобільних телефонів, які мають величезну базу користувачів (350 мільйонів проти мільярдів) і залежність від користувачів (бездіяльність вдома проти 24/7) вимагає стабільної роботи апаратного забезпечення в межах кілька циклів розробки, щоб уникнути надмірного відволікання користувачів, або, як у поточних розробників програмного забезпечення VR, зворотна сумісність для забезпечення достатньої бази користувачів.

Отже, чи може Vision Pro вирішити зазначені вище проблеми? Як це змінить галузь?

Поворот із Vision Pro

На прес-конференції 7 червня було випущено Apple Vision Pro. Відповідно до проаналізованої нами вище структури «Проблеми МР, які зустрічаються в апаратному та програмному забезпеченні», можна провести наступну аналогію:

обладнання:

• Візуально Vision Pro використовує два екрани 4K із загальною роздільною здатністю близько 6K пікселів, що є другим найкращим збігом для сучасних МР-пристроїв. Частота оновлення може підтримувати до 96 Гц, підтримується відтворення HDR-відео.Як показує досвід технологічних блогерів, не тільки висока чіткість, але й запаморочення майже не відчувається.
• Що стосується слуху, Apple використовує просторове аудіо на Airpods з 2020 року, що дозволяє користувачам чути звуки з різних напрямків для досягнення стереоскопічного звуку. Але очікується, що Vision Pro зробить ще один крок далі, використовуючи «технологію аудіопроменів», повністю інтегруючи сканування LiDAR у пристрій, аналізуючи акустичні характеристики (фізичні матеріали тощо) у кімнаті, а потім створюючи «ефект просторового аудіо» що відповідає кімнаті, має напрямок і глибину.

• З точки зору взаємодії, жести та стеження за очима без будь-яких ручок роблять інтерактивний досвід надзвичайно гладким (згідно з фактичним досвідом вимірювання технологічних засобів масової інформації, затримку майже не відчути, що стосується не лише точності датчика та розрахунку, швидкість, а також введення упередженого погляду. Детальніше про це нижче.)
• Щодо терміну служби батареї, час автономної роботи Vision Pro становить 2 години, що в основному таке ж, як і у Meta Quest Pro (не дивно, і це також момент, за який Vision Pro наразі критикують. Але оскільки Vision Pro є зовнішнє джерело живлення, а в гарнітурі розміщена батарея на 5000 мА. Маленька батарея, можна здогадатися, що є місце для заміни реле живлення.
• З точки зору ваги, згідно з досвідом технологічних засобів масової інформації, це приблизно 1 фунт (454 г), що в основному таке ж, як Pico та Oculus Quest 2, і має бути легше, ніж Meta Quest Pro. Це хороший досвід в МР-обладнанні (хоча це не враховується вага блоку живлення, прикутого навколо талії). Але в порівнянні з чистими AR-окулярами (наприклад, Nreal, Rokid і т. д.) вагою близько 80 г вони все одно важкі і душні. Звичайно, більшість чистих окулярів AR потрібно підключати до інших пристроїв, і їх можна використовувати лише як розширений екран.Натомість МР із власним чіпом і реальним захоплюючим досвідом може бути зовсім іншим досвідом.
• Крім того, з точки зору апаратної продуктивності, Vision Pro не тільки оснащено чіпом серії M2 з найвищою продуктивністю для роботи системи та програм, але також додає чіп R, спеціально розроблений для екрану МРТ, моніторингу навколишнього середовища, очного яблука та жестів. моніторинг тощо. 1 чіп, який використовується для власного дисплея МР та інтерактивних функцій.

З точки зору програмного забезпечення, Apple може не лише завершити певний ступінь міграції за допомогою мільйонів екосистем розробників, але фактично вже має серію екологічних макетів із випуском AR Kit:

Ще в 2017 році Apple випустила AR Kit: набір фреймворків розробки віртуальної реальності, сумісних із пристроями iOS, які дозволяють розробникам створювати програми доповненої реальності та використовувати апаратні та програмні можливості пристроїв iOS. VR Kit дозволяє цифровим ресурсам взаємодіяти з реальним світом під камерою, використовуючи камеру на пристрої iOS для створення карти місцевості, використовуючи дані CoreMotion для виявлення таких речей, як стільниця, підлога та положення пристрою в фізичний простір — наприклад, ваш У Pokemon Go ви можете бачити покемонів, закопаних у землю та припаркованих на деревах, замість того, щоб відображатися на екрані та рухатися разом із камерою. Для цього користувачам не потрібно виконувати жодне калібрування – це бездоганний досвід AR.

• У 2017 році було випущено AR Kit, який може автоматично визначати розташування, топологію та вираз обличчя користувача для моделювання та захоплення виразу.
• У 2018 році було випущено AR Kit 2, який покращує досвід роботи з CoreMotion, дає змогу грати в багатокористувацькі AR-ігри, відстежувати 2D-зображення та виявляти відомі 3D-об’єкти, такі як скульптури, іграшки та меблі.
• У 2019 році було випущено AR Kit 3, додавши додаткові функції доповненої реальності, які можуть використовувати People Occlusion для відображення AR-контенту перед або позаду людей, і він може відстежувати до трьох облич. Спільні сеанси також можуть підтримуватися для нового спільного ігрового досвіду AR. Захоплення руху можна використовувати для розуміння положення тіла та його рухів, а також для відстеження суглобів і кісток, створюючи новий досвід доповненої реальності, який залучає людей, а не просто об’єкти.
• У 2020 році був випущений AR Kit 4, який може використовувати переваги вбудованого датчика LiDAR на iPhone та iPad 2020 року для покращення відстеження та виявлення об’єктів. ARKit 4 також додає Location Anchors, які використовують дані Apple Maps для розміщення досвіду доповненої реальності в певних географічних координатах.
• У 2021 році буде випущено AR Kit 5, який дозволить розробникам створювати власні шейдери, процедурну генерацію сітки, захоплення об’єктів і керування персонажами. Крім того, об’єкти можна знімати за допомогою вбудованих API, а також LiDAR і камер у пристроях iOS 15. Розробники можуть відсканувати об’єкт і миттєво перетворити його на файл USDZ, який можна імпортувати в Xcode і використовувати як 3D-модель у вашій сцені або програмі ARKit. Це значно підвищує ефективність виробництва 3D-моделей.
• У 2022 році буде випущено AR Kit 6. Нова версія ARKit включає функцію «MotionCapture», яка може відстежувати людей у кадрі відео та надавати розробникам «скелет» персонажа, який може передбачити положення голови людини та кінцівки, таким чином підтримуючи розвиток. Користувач може створити програму для накладання AR-контенту на персонажа або приховати його за персонажем, щоб його можна було більш реалістично інтегрувати зі сценою.

Озираючись на макет AR Kit, який розпочався сім років тому, можна побачити, що Apple накопичила технології AR не за одну ніч, а тонко інтегрувала досвід AR у пристрої, які були широко поширені.Коли було випущено Vision Pro, Apple Було завершено накопичення певної кількості вмісту та розробників. При цьому, завдяки сумісності розробки AR Kit, розроблені продукти орієнтовані не лише на користувачів Vision Pro, а й певною мірою адаптуються до користувачів iPhone та iPad. Розробникам, можливо, не потрібно буде обмежуватися максимальною кількістю активних користувачів у 3 мільйони щомісяця, щоб розробляти продукти, але потенційно тестувати та досвідчувати сотні мільйонів користувачів iPhone та iPad.

Крім того, захоплення 3D-відео Vision Pro також частково вирішує проблему обмеженого сучасного вмісту МР: створення контенту. Більшість існуючих VR-відео мають роздільну здатність 1440p, які, здається, мають погані пікселі на круглому екрані МР-дисплеїв, встановлених на голові.Однак зйомка Vision Pro має як просторове відео з високим пікселем, так і хороший просторовий звук, що може значно покращити досвід МР Досвід споживання вмісту.

Хоча наведена вище конфігурація досить шокуюча, уява Apple MR на цьому не закінчується: у день випуску Apple MR @sterlingcrispin, розробник, який стверджував, що брав участь у нейронауці Apple, сказав:

Загалом, багато роботи, яку я виконував, стосувалося виявлення психічного стану користувачів на основі даних їхнього тіла та мозку, коли вони перебували в умовах занурення.

Загалом, багато роботи, яку я роблю, пов’язано з виявленням психічного стану користувачів через їхні фізичні та мозкові дані під час ефекту занурення.

Отже, користувач перебуває в змішаній реальності або віртуальній реальності, і моделі AI намагаються передбачити, чи відчуваєте ви цікавість, блукання, страх, увагу, згадування минулого досвіду або якийсь інший когнітивний стан. І це можна зробити за допомогою таких вимірювань, як відстеження очей, електрична активність у мозку, серцеві скорочення та ритми, м’язова активність, щільність крові в мозку, артеріальний тиск, провідність шкіри тощо.

Користувач перебуває в умовах змішаної реальності або віртуальної реальності, і модель AI намагається передбачити, чи є він цікавим, розсіяним, наляканим, зосередженим, пам’ятає минулий досвід чи інші когнітивні стани. Ці стани можна виміряти за допомогою відстеження очей, електричної активності мозку, серцебиття та ритму, м’язової активності, щільності крові в мозку, кров’яного тиску, провідності шкіри тощо.

Було використано багато хитрощів, щоб зробити можливими конкретні прогнози, про які детально розповідається в кількох патентах, які я назвав. Один із найкрутіших результатів передбачав, що користувач збирається натиснути щось ще до того, як він це зробив. Це була маса роботи, і я пишаюся цим. Ваш учень реагує до того, як ви клацнете частково тому, що ви очікуєте, що щось станеться після клацання. Таким чином, ви можете створити біологічний зворотний зв’язок із мозком користувача, відстежуючи поведінку його очей і переробляючи інтерфейс користувача в режимі реального часу, щоб створити більше цієї очікуваної реакції зіниці. Це грубий мозковий комп’ютерний інтерфейс через очі, але дуже круто. І я будь-коли прийму це замість інвазивної операції на мозку.

Щоб досягти конкретного прогнозу, ми використовуємо низку прийомів, детально описаних у кількох патентах на моє ім’я. Одним із найкрутіших результатів є передбачення того, коли користувач клацне об’єкт ще до того, як він дійсно клацне. Це важка робота, і я пишаюся нею. Ваші учні відповідають до того, як ви клацнете, частково тому, що ви очікуєте, що щось станеться після клацання. Таким чином, відстежуючи поведінку рухів очей користувача та переробляючи інтерфейс користувача в режимі реального часу, біологічний зворотний зв’язок із мозком користувача може бути здійснений для створення більш випереджувальних реакцій зіниць. Це грубий інтерфейс мозок-комп’ютер очима, і це дуже круто. Я б віддав перевагу цьому інвазивній хірургії мозку.

Інші трюки, щоб визначити когнітивний стан, передбачали швидке показування користувачам візуальних або звукових зображень у спосіб, який вони можуть не сприймати, а потім вимірювання їх реакції на це.

Інші методи визначення когнітивного стану включають швидке блимання картини або звуку способами, які користувач може не помітити, і вимірювання їх реакції на це.

В іншому патенті докладно розповідається про використання машинного навчання та сигналів від тіла й мозку, щоб передбачити, наскільки ви зосереджені чи розслаблені чи наскільки добре ви навчаєтеся. А потім оновлення віртуальних середовищ для покращення цих станів. Отже, уявіть собі адаптивне середовище занурення, яке допоможе вам навчатися, працювати чи відпочивати, змінюючи те, що ви бачите та чуєте у фоновому режимі.

Інший патент детально описує використання машинного навчання та сигналів від тіла та мозку, щоб передбачити, наскільки ви зосереджені, розслаблені чи навчаєтесь, і оновлювати віртуальне середовище на основі цих станів. Тож уявіть собі адаптивне середовище занурення, яке допоможе вам навчатися, працювати чи відпочивати, змінюючи те, що ви бачите та чуєте у фоновому режимі.

Ці технології, які мають велике відношення до нейронауки, можуть стати новим способом синхронізації машин і людини.

Звичайно, Vision Pro не позбавлений недоліків.Наприклад, його захмарна ціна в $3499 більш ніж удвічі вища за Meta Quest Pro і більш ніж у сім разів дорожча за Oculus Quest 2. З цього приводу генеральний директор Runway Сікі Чен сказав:

було б корисно пам’ятати, що в доларах з поправкою на інфляцію apple vision pro коштує менше половини оригінального macintosh 1984 року на момент запуску (понад 7 тисяч доларів США в сьогоднішніх доларах)

Як ви пам’ятаєте, ціна Apple Vision Pro була менш ніж вдвічі меншою за ціну Macintosh, коли він був представлений у 1984 році (що еквівалентно понад 7000 доларів США сьогодні) у доларах США з урахуванням інфляції.

За такої аналогії ціна на Apple Vision Pro не виглядає надто захмарною... Проте обсяг продажів першого покоління Macintosh склав лише 372 тис. Важко уявити, що Apple, яка наполегливо працювала над MR, може прийняти подібну незручну ситуацію— —Реальність може не сильно змінитися за кілька років. AR не обов’язково потребує окулярів, і важко популяризувати Vision Pro за короткий період часу. Ймовірно, його використовуватимуть лише як інструмент для розробників, щоб випробувати та протестувати, інструмент для виробництва для творців і цифрових ентузіастів дорогих іграшок.

Джерело: Google Trend

Тим не менш, ми бачимо, що обладнання для МР від Apple почало розбурхувати ринок, переміщуючи привабливість звичайних користувачів до цифрових продуктів на МР, і змушуючи громадськість зрозуміти, що МР є більш зрілим і більше не є продуктом ppt/presentation Video. Нехай користувачі зрозуміють, що окрім планшетів, телевізорів і мобільних телефонів, є можливість носити занурювальні дисплеї; нехай розробники зрозуміють, що MR справді може стати новою тенденцією в апаратному забезпеченні наступного покоління; нехай венчурні капіталісти усвідомлять, що це може бути сферою інвестицій з дуже високою стелею.

Web 3 і пов'язана з ним екологія

1. Концепція 3D-рендерінгу + AI Ціль: RNDR

Вступ до RNDR

За останні шість місяців RNDR був мемом, що поєднує три концепції Metaverse, AI та MR, і багато разів лідирував на ринку.

Проект, що стоїть за RNDR, — Render Network, протокол для розподіленого рендерингу за допомогою децентралізованої мережі. OTOY.Inc, компанія, що стоїть за Render Network, була заснована в 2009 році, і її програмне забезпечення для візуалізації OctaneRender оптимізоване для рендерингу GPU. Для звичайних творців локальний рендеринг займає багато машин, що створює попит на хмарний рендеринг, але якщо ви орендуєте сервери від AWS, Azure та інших виробників для рендерингу, вартість також може бути вищою — так народилася мережа Render Network Візуалізація не обмежується апаратними умовами. Вона з’єднує творців і звичайних користувачів із неактивними графічним процесором, дозволяючи творцям рендерити дешево, швидко та ефективно, а користувачі вузлів можуть використовувати неактивні графічні процесори, щоб заробляти кишенькові гроші.

У Render Network учасники мають дві особи:

• Творець: опублікуйте завдання та використовуйте законну валюту для придбання кредиту або RNDR для оплати. (Octane X для завдань публікації доступний на Mac і iPad, 0,5-5% комісії покриває витрати на мережу.)
• Постачальник вузла (власник неактивного графічного процесора): власники неактивного графічного процесора можуть подати заявку, щоб стати постачальником вузла, і вирішити, чи отримувати відповідність пріоритетів на основі репутації раніше виконаних завдань. Після того, як вузол завершить візуалізацію, автор перегляне відрендерений файл і завантажить його. Після завантаження комісія, зафіксована в смарт-контракті, буде надіслана в гаманець постачальника вузла.

Токеноміку RNDR також було змінено в лютому цього року, що є однією з причин підвищення ціни (але поки не було опубліковано статтю, Render Network не застосувала нову токеноміку до мережі та ще не дала конкретного запуску час):

Раніше в мережі купівельна спроможність $RNDR була такою ж, як і у Credit, і 1 кредит = 1 євро. Коли ціна $RNDR становить менше 1 євро, економічно ефективніше купувати $RNDR, ніж купувати кредит за фіатну валюту, але коли ціна $RNDR підвищується до рівня понад 1 євро, тому що всі прагнуть купувати за фіатна валюта, $RNDR втратить свій варіант використання Умова. (Хоча дохід від угоди може бути використаний для викупу $RNDR, інші гравці на ринку не мають стимулу купувати $RNDR.)

Змінена економічна модель використовує модель «BME» (Burn-Mint-Emission) Helium. Коли творці купують послуги рендерингу, незалежно від того, використовують вони фіатну валюту чи $RNDR, вони знищують $RNDR, еквівалентну 95% вартості фіатної валюти, а решта 5% доходу надходить до Фонду для використання в якості двигуна. Коли вузол надає послуги, він більше не отримує напряму дохід творця від придбання послуг рендерингу, а отримує винагороди за нові токени.Основою для винагороди є не лише показники виконання завдань, але й інші комплексні фактори, такі як задоволеність клієнтів.

Варто зазначити, що в кожну нову епоху (конкретний період часу, конкретну тривалість не вказано) буде викарбувано новий $RNDR, і кількість викарбуваних грошей суворо обмежена, зменшуючись з часом, незалежно від кількості спалених токенів (подробиці Офіційний білий документ див. у документі про випуск). Таким чином, це призведе до змін у розподілі вигод для наступних зацікавлених сторін:

• Творець/користувач мережевої послуги: у кожній епосі частина RNDR, спожитої творцем, повертатиметься, і частка поступово зменшуватиметься з часом.
• Виконавці Node: Виконавці Node будуть винагороджені на основі таких факторів, як виконане робоче навантаження та онлайн-активність у реальному часі.
• Постачальники ліквідності: постачальники ліквідності Dex також отримають винагороду за забезпечення достатньої кількості $RNDR для спалювання.

Джерело:

У порівнянні з попередньою моделлю прибуткового (нерегулярного) викупу, згідно з новою моделлю, коли попит на завдання рендерингу є недостатнім, майнери можуть отримувати більший дохід, ніж раніше, а загальна ціна завдання, що відповідає попиту на завдання рендерингу, перевищує випущену $RNDR Коли загальна сума винагород буде збільшена, майнери отримають менше доходу, ніж оригінальна модель (спалені токени > щойно викарбувані токени), а токени $RNDR також перейдуть у стан дефляції.

Незважаючи на приємне зростання $RNDR за останні шість місяців, бізнес-ситуація Render Network не зросла суттєво, як ціна валюти: кількість вузлів не коливалася суттєво за останні два роки, а щомісячна сума $RNDR, призначена для кількість вузлів значно не зросла, але відтворення. Кількість завдань справді зросла — можна побачити, що завдання, призначені творцями для мережі, поступово перейшли від однієї великої кількості до кількох невеликих.

Хоча він не може встигати за п’ятикратним зростанням цін на валюту за рік, GMV Render Network справді започаткував відносно велике зростання. У 2022 році GMV (валова вартість товару, загальна вартість транзакції) зросте на 70% порівняно з минулим роком. Відповідно до загальної суми $RNDR, виділеної вузлам на Dune Kanban, GMV у першій половині 2023 року становить близько $1,19 млн, що практично не є збільшенням порівняно з тим самим періодом у 2022 році. Такого GMV явно недостатньо для $700 млн mCap.

Джерело: потенційний вплив запуску RNDR

Вплив Vision Pro на RNDR

У статті Medium, опублікованій 10 червня, Render Network стверджує, що можливості візуалізації Octane для M 1 і M 2 унікальні – оскільки Vision Pro також використовує чіп M 2, рендеринг у Vision Pro не буде таким же, як у Vision Pro. звичайний чіп M 2. Рендеринг робочого столу інший.

Але постає питання: навіщо публікувати завдання візуалізації на пристрої з 2-годинним часом автономної роботи, який в основному використовується для досвіду та ігор, а не для підвищення продуктивності? Якщо ціна на Vision Pro буде знижена, термін служби батареї значно покращений, вага зменшена, і буде справді реалізовано масове впровадження, можливо, настав час для Octane зіграти свою роль...

Можна підтвердити, що міграція цифрових активів із плоских пристроїв на МР-пристрої дійсно призведе до збільшення попиту на інфраструктуру. Оголошуючи про співпрацю з Apple, щоб вивчити, як створити ігровий движок Unity, який більше підходить для Vision Pro, ціна акцій виросла на 17% за день, що також свідчить про оптимістичні настрої ринку. Завдяки співпраці між Disney та Apple 3D-трансформація традиційного кіно- та телевізійного контенту може призвести до такого ж зростання попиту. Компанія Render Network, яка спеціалізується на рендерингу фільмів і телевізійних програм, у лютому цього року запустила NeRFs, технологію 3D-рендерінгу в поєднанні зі штучним інтелектом, використовуючи обчислення зі штучним інтелектом і 3D-рендерінг для створення захоплюючих 3D-ресурсів у реальному часі, які можна переглядати на пристроях МР – у Apple AR Kit За підтримки будь-хто може виконувати Photoscan на об’єктах із вищою конфігурацією iPhone для створення 3D-ресурсів, тоді як технологія NeRF використовує рендеринг із додаванням штучного інтелекту для візуалізації простого Photoscan 3D під різними кутами, які можуть заломлювати різне світло. Імерсивні 3D-ресурси – цей вид просторового рендерингу стане важливим інструментом для створення вмісту пристрою МР, забезпечуючи потенційний попит на Render Network.

Але чи задовольнить цю потребу RNDR? Дивлячись на його GMV у 2 мільйони доларів США у 2022 році, це крапля в море порівняно з вартістю кіно- та телеіндустрії. Підводячи підсумок, RNDR, звичайно, може продовжувати використовувати мем треку «metaverse, XR, AI», щоб створити ще одну блискучу ціну, коли трек стане гарячим, але все одно важко отримати дохід, який відповідає оцінці.

2. Метавсесвіт – Otherside, Sandbox, Decentraland, HighStreet тощо.

Хоча я вважаю, що значні фундаментальні зміни обмежені – теми, пов’язані з MR, здаються невіддільними від цих великих проектів метавсесвіту, Monkey’s Otherside, The Sandbox від Animoca, найстарішого блокчейну Metaverse Decentraland і Highstreet, який хоче бути Shopify у світі VR. ( Зверніться до розділу 4. Аналіз бізнесу – Аналіз галузі та потенціал для детального аналізу траси метавсесвіту)

Однак, як проаналізовано вище в розділі «Killer App ще не з’явився», більшість існуючих розробників, які підтримують VR, не «лише підтримують VR» (навіть якщо вони підтримують лише VR і є лідерами галузі, приблизно мільйон In сегмент ринку MAU, це не конкурентоспроможний рівень для досягнення найвищого рівня), а існуючі продукти не були ретельно адаптовані до звичок користувачів і операційної взаємодії MR. Проекти, які ще не були запущені, фактично стоять на стартовій лінії, неподалік від усіх інших великих виробників і компаній-початківців, які бачать потенціал Vision Pro: після кращої комбінації Unity та Vision Pro розробка екологічних ігор для МР. Очікується, що вартість навчання буде знижена, а досвід, накопичений на відносно вузькому ринку в минулому, важко повторно використати в продукті, який ось-ось стане масовим впровадженням.

Звичайно, якщо ми хочемо говорити про переваги першого кроку, проекти, які вже розгорнули VR, звичайно, можуть мати слабкі переваги в розвитку, технології та накопиченні талантів.

І ще одна річ

Якщо ви не дивилися це відео, то це буде ваше найбільш інтуїтивне відчуття світу МР: зручного та захоплюючого, але хаотичного та невпорядкованого. Віртуальне й реальне зливаються настільки плавно, що люди, зіпсовані віртуальною реальністю, бачать «втрату своєї ідентичності на пристрої» апокаліптикою. Деталі у відео все ще здаються нам трохи науково-фантастичними та незрозумілими, але, ймовірно, це майбутнє, яке ми чекаємо через кілька років.

Це нагадує мені інше відео. У 2011 році, тобто 12 років тому, Microsoft випустила Windows Phone 7 (як покоління Z, яке мало пам’ятає про ту епоху, важко подумати, що Microsoft також наполегливо працювала над мобільними телефонами), і зробив сатиричну рекламу про смартфони «Справді?»: люди в рекламі весь час міцно тримають телефони, їздять на велосипеді, дивлячись на телефон, приймають сонячні ванни на пляжі, дивлячись на телефон, приймають душ із На банкеті я впав зі сходів, тому що стежив за мобільним телефоном, і навіть упустив мобільний телефон у пісуар через відволікання... Початковий намір Microsoft полягав у тому, щоб показати користувачам, що «мобільний телефон, випущений Microsoft, врятує нас від залежності від мобільного телефону» – це, звичайно, була невдала спроба, і назву цієї реклами «Справді?» можна було навіть змінити на «Реальність». «Відчуття присутності» та інтуїтивно зрозумілий дизайн взаємодії смартфонів викликають більше звикання, ніж антилюдська «мобільна версія комп’ютера Windows», так само як реальність поєднання віртуального та реального викликає більше звикання, ніж чиста реальність.

Як осягнути таке майбутнє? У нас є кілька напрямків, які ми досліджуємо:

• Захоплюючий досвід і створення історій: По-перше, відеозйомка «з 3D-глибиною» ніколи не була такою легкою після випуску Vision Pro, який змінить те, як люди споживають цифровий вміст — від «оцінки на відстані» до «досвіду занурення». Окрім відеозйомки, ще одним треком, вартим уваги, може стати «3D-простір з досвідом контенту». Це не означає випадковим створенням тієї самої сцени з бібліотеки шаблонів або кількох, здавалося б, доступних для дослідження просторів, витягнутих із гри, а простору з «інтерактивним, нативним вмістом і більш дружнім до 3D». Таким місцем може бути гарний інструктор піаніно, який також сидить на лаві піаніно, підсвічує відповідні клавіші та м’яко підбадьорює вас, коли ви в депресії; це може бути ельф, який ховає клавішу гри на наступний рівень у кутку вашого кімната; Це також може бути чуйна віртуальна дівчина, яка гуляє з гравцями... Створена тут економіка творців може використовувати нижній рівень блокчейну для усунення довіри, автоматичного розрахунку, цифрового контенту на основі активів і транзакцій із низьким рівнем зношування. Творці можуть краще використовувати їх для взаємодії з шанувальниками без посередництва, без клопоту з реєстрацією компанії та налаштуванням Stripe для отримання платежів, а також без надання платформі частки 10% (Substack)-70% (Roblox) або навіть хвилювання про чи збанкрутує платформа і забере вашу важку роботу... Гаманець, платформа для створення вмісту та децентралізоване сховище можуть вирішити проблему. Подібні оновлення відбудуться в іграх та соціальних просторах, і можна навіть сказати, що межі між іграми, фільмами та соціальними просторами ставатимуть дедалі розмитішими: коли досвід більше не буде великим екраном, підвішеним на відстані кількох метрів, а поруч перед вами, з глибиною, аудіо взаємодією з дистанцією та відчуттям простору, гравець більше не «спостерігає» аудиторія, а персонаж, який бере участь у сцені, і навіть дія впливатиме на середовище віртуального світу (наприклад, якщо підняти руку в джунглях, метелики злетять на кінчик пальця).
• Infra та спільнота 3D-цифрових активів: функція 3D-зйомки Vision Pro значно зменшить складність створення 3D-відео, таким чином створивши новий ринок виробництва та споживання контенту. Відповідна інфраструктура вгору та вниз за течією, як-от торгівля матеріалами та редагування, може продовжувати домінувати існуючим гігантам, або вона може бути відкрита компаніями-початківцями, такими як AIGC.
• Оновлення апаратного та програмного забезпечення для покращення ефекту занурення: чи то «детальніше спостереження за людським тілом для створення адаптивного середовища», яке вивчає Apple, чи додавання тактильних, смакових та інших захоплюючих вражень, це трек зі значним потенціалом.

Звичайно, існує висока ймовірність того, що підприємці в цій галузі матимуть глибше розуміння, мислення та більш творчий пошук, ніж ми. Вітаємо DM @0 x scarlettw, щоб поспілкуватися та дослідити можливість ери просторових обчислень.

Подяки та література:

Дякуємо @fanyayun, партнеру Mint Ventures, і @xuxiaopengmint, дослідницькому партнеру, за їхні поради, рецензування та вичитку під час написання цієї статті. Структура аналізу XR походить із серії статей @ballmatthew, Apple WWDC і курсів розробників, а також досвіду автора з різними пристроями XR на ринку.

• fc 6336 b 5 a 0337 d 489 d 6 eaf 7 ae 486 e 621
• 0 x 30 bF 18409211 FB 048 b 8 Abf 44 c 27052 c 93 cF 329 F 2 /6xR2nFi- Q 5 WdXIDZpEga 4 xS 3 м 3 AZ 61 hXyu 6 dzIEBb_E