Джерело зображення: створено інструментом Unbounded AI
Команда, яка була створена лише протягом кількох тижнів, завершила фінансування в розмірі 105 мільйонів євро без продуктів, без користувачів і без досвіду роботи. Цей меморандум (записка) допоміг йому переконати Light Speed, колишнього генерального директора Google Еріка Шмідта та інших. Меморандум наголошує на європейському ринку, безпеці штучного інтелекту, дотриманні та інших аспектах.Містраль вважає, що використання ними маршруту з відкритим кодом, який повністю відрізняється від OpenAI, зрештою дозволить йому встановити переваги та досягти перевершення. Судячи з того, що я прочитав, цей меморандум написаний дуже майстерно, і він також містить деякі елементи блефу. Він добре використав поточний менталітет європейського суспільства FOMO на моделі великої мови, щоб завершити фінансування.
«Містраль» охоче позначає сухий і сильний північно-західний холодний вітер на півдні Франції, і це також назва десантного корабля французького виробництва. Це провідний у світі десантний корабель. Назва втілює французьку гордість. Усі шість членів команди засновників із Франції. Замість того, щоб розуміти це як велику європейську мовну модель, я думаю, що це більше схоже на велику французьку мовну модель компанії. Він розповідає гарну європейську історію, але вона буде не єдиною в Європі.
Я побачив Memo в групі обговорення. Після підтвердження того, що вміст Memo більше не потрібно тримати в таємниці, я використав ChatGPT, щоб перекласти його повний текст, а потім перевірив і переклав частину вмісту.
Стратегічна записка mistral.ai
Автор: mistral.ai
Переклад: ChatGPT, Ван Чао
Generate AI – це трансформаційна технологія
Минулого року ми спостерігали феноменальне прискорення генеративного ШІ (систем, здатних генерувати текст/зображення з тексту та зображень). Ці системи можуть допомогти людям:
● Створюйте чудовий та інноваційний вміст (текст, код, графіку)
● Читайте, обробляйте та підсумовуйте неструктуровані потоки вмісту в тисячі разів швидше, ніж люди
● Взаємодійте зі світом за допомогою природної мови або API, щоб виконувати робочі процеси швидше, ніж будь-коли.
Потужні можливості генеративного штучного інтелекту раптово були відкриті громадськості після випуску ChatGPT. Такі продукти виробляються лише кількома невеликими командами по всьому світу, і обмежена кількість дослідників у цих командах стала вузьким місцем, що перешкоджає створенню нової економіки в цій галузі.
Generative AI збирається підвищити продуктивність у всіх галузях і створити нову галузь шляхом плавного розширення машинних можливостей людського розуму (ринок у 10 мільярдів доларів у 2022 році, за прогнозами, досягне 110 мільярдів доларів до 2030 року, прогнозований річний темп зростання 35%). Це трансформаційна технологія для світової економіки, яка змінить характер праці та призведе до позитивних соціальних змін.
Створення олігополії
Методи генеративного штучного інтелекту ґрунтуються на багаторічних дослідженнях у промисловості та академічних колах. Розширивши навчання до даних Інтернет-масштабу та виправивши модель за допомогою відгуків людей, прориви, які зробили технологію доступною для мас, були досягнуті жменькою галузевих гравців, найбільший з яких (OpenAI), здається, має гегемоністичні наміри Ринок.
Ці кілька гравців тренують генеративні моделі та використовують їх як активи; вони обслуговують тисячі третіх сторін, які створюють продукти для підвищення продуктивності, а також широку громадськість за допомогою власних продуктів, таких як чат-боти. Велика кількість сторонніх стартапів все ще створюється для створення різноманітних сервісів на основі цих генеративних моделей.
**Ми вважаємо, що більша частина цінності на ринку генеративного штучного інтелекту, що розвивається, походить від технології, яку важко створити, самих генеративних моделей. **Ці моделі потрібно навчати на тисячах потужних машин, які обробляють трильйони даних із високоякісних джерел, що становить першу високу планку. Друга важлива перешкода — це складність створення досвідченої команди, і mistral.ai має хороші можливості для цього.
На даний момент (GLM) всі основні гравці знаходяться в США, в Європі ще немає серйозного конкурента. Враховуючи, наскільки потужною (і небезпечною) є ця нова технологія, це головне геополітичне питання. mistral.ai стане європейським лідером у галузі штучного інтелекту, який підвищує продуктивність і креативність і спрямовує майбутню нову промислову революцію.
Поточний генеративний ШІ не відповідає потребам ринку
OpenAI та його нинішні конкуренти обрали закритий технологічний шлях, що значно обмежить охоплення їх ринку. У такому підході модель залишається приватною та обслуговується лише через API перетворення тексту в текст. Це породжує такі важливі для бізнесу питання:
● Організації, які бажають використовувати генеративні методи штучного інтелекту, змушені надавати свої цінні бізнес-дані та конфіденційні дані користувача моделі чорного ящика, яка часто розгортається в загальнодоступній хмарі. Це створює проблему безпеки: модель, яка зберігається в секреті, не може бути перевірена, щоб переконатися, що її вихід є безпечним, і така модель не може бути розгорнута в критично важливому для безпеки додатку. Ця ситуація також викликає правові проблеми, особливо коли компанія передає персональні дані за межі своїх правових кордонів і може підпадати під дію екстериторіальних законів.
● Відкриття лише вихідних даних моделі, а не повної моделі, ускладнює взаємодію з іншими компонентами (база даних пошуку, структурований вхід, зображення та звуки). Наразі існують сотні продуктів, які створюють комплексні можливості (наприклад, пам’ять, зір тощо) шляхом взаємозв’язку виходів і входів моделей. Ці продукти працюватимуть краще та швидше, якщо модель можна надати як білу коробку (прозору модель) (наприклад, The Flamingo об’єднує візуальну та текстову моделі білої коробки в текстову+візуальну модель).
● Дані, які використовуються для навчання моделі, є конфіденційними, це означає, що ми покладаємося на системи невизначеного походження, які можуть давати неконтрольовані результати. Зусилля фільтрації для вирішення цієї проблеми дають лише слабкі та крихкі гарантії того, що модель не виводитиме конфіденційний вміст, якому її, можливо, навчили. Ця проблема призвела до заборони ChatGPT в Італії в квітні 2023 року.
Розірвати модель ринку з Європи
Заснувавши mistral.ai, ми плануємо зайняти абсолютно протилежну позицію в порівнянні з поточними закритими моделями для навчання просунутих моделей. **Наше бачення полягає в тому, щоб стати провідним гравцем у цій сфері, одночасно інтегруючи ці моделі в Європу та ширшу галузь для розвитку високоцінного бізнесу. **
**mistral.ai стане лідером досліджень у галузі генеративного штучного інтелекту та протягом чотирьох років провідним постачальником технологій штучного інтелекту на ринку. **Щоб досягти цієї мети, ми спершу зосередимося на кількох ключових відмінних характеристиках, а потім проведемо комплексні дослідження та розробки, щоб вибрати найефективніші стратегії переходу до штучного інтелекту, який має практичну цінність для людей.
Зосередження в першу чергу на європейському ринку дасть нам оборонну перевагу, а наша відкрита позиція на технологічному шляху ще більше підвищить нашу привабливість. Багато з найяскравіших умів у галузі Large Language Modeling (LLM) є європейцями; наш великий досвід показує, що багато з них хотіли б приєднатися до нашого проекту.
Протилежне технічне позиціонування
Нашими ранніми відмінностями, сліпими плямами в стратегіях наших конкурентів були такі:
● **Використовуйте більш відкритий підхід до розробки моделі. **Ми випустимо цю модель за дозвільною ліцензією на програмне забезпечення з відкритим вихідним кодом, яке суттєво перевершить конкурентів. Ми випустимо інструменти, щоб використовувати потужність цих моделей білого ящика та створити спільноту розробників навколо нашого бренду. Цей підхід ідеологічно дуже відрізняється від OpenAI, це краще залучить провідних дослідників і стане потужним прискоренням для розвитку проекту, оскільки він забезпечить багато розробників-ентузіастів, які відкривають двері. Це збільшить масштаби розвитку нашого бізнесу. Ми збалансуємо нашу стратегію відкритого коду з фінансовими інтересами, зберігаючи найпотужніші та професійні моделі для платних користувачів.
○ Ми виділимо 1% коштів некомерційним фондам, відповідальним за розвиток спільноти з відкритим кодом.
● Внутрішня частина (архітектура та налаштована вага) наших моделей завжди відкрита для наших клієнтів. **Це забезпечить більш тісну інтеграцію з робочими процесами клієнтів, їхній вміст можна вводити в різні частини глибокої моделі замість того, щоб усе серіалізувалося як вхідний текст, який подавався до API чорної скриньки. **
● **Підвищена увага до походження та контролю даних. **Наші моделі навчатимуться на високоякісному вмісті даних (окрім скопійованого вмісту), для якого ми домовимося про ліцензійну угоду. Це дозволить нам навчати кращих моделей, ніж доступні наразі моделі, такі як Llama. Використовуючи методи глибокого залучення (гібридні експерти та моделі, доповнені пошуком), ми надамо моделям необов’язковий доступ до джерела даних: для платних преміум-користувачів окремі моделі можуть бути присвячені фінансам/юридичним справам/тощо (це забезпечує значне підвищення продуктивності). Використовуючи подібні методи, наша модель зможе забезпечити миттєвий диференційований доступ до даних для співробітників з різними правами корпоративної інтелектуальної власності.
● **Забезпечує неперевершену безпеку та гарантію конфіденційності. **Нашу модель можна буде розгорнути у приватній хмарі та, за бажанням, безпосередньо на пристрої, що ефективно мінімізує проблеми конфіденційності шляхом усунення потенційно проблемних процесів. З цією метою ми спрямуємо наші науково-дослідні зусилля на навчання невеликих, але надефективних моделей, ефективно пропонуючи моделі з найвищим на ринку співвідношенням якості та вартості. Наша стратегія відкритого вихідного коду також забезпечить можливість перевірки наших моделей під час розгортання в ключових галузях, особливо в галузі охорони здоров’я.
Розвиток бізнесу
З точки зору бізнесу, ми надамо найцінніші технічні модулі для індустрії штучного інтелекту як послуг, що розвивається, і використаємо генеративний штучний інтелект, щоб повністю змінити робочий процес бізнесу. Ми створюватимемо інтегровані рішення спільно з європейськими інтеграторами та промисловими клієнтами та отримуватимемо надзвичайно цінні відгуки, щоб стати основним інструментом для всіх компаній, які прагнуть використовувати ШІ в Європі.
Інтеграція з вертикалями може мати різні ринкові форми, включаючи ліцензії на повний доступ до моделей (включаючи навчені ваги), спеціалізацію моделей на основі попиту, комерційні контракти з інтеграторами/консалтинговими фірмами для створення повністю інтегрованих рішень. Як зазначено в нашій дорожній карті, ми досліджуватимемо та визначимо найкращі підходи в міру розвитку технології.
Як стати лідером у сфері ШІ
Краща команда
Команда засновників складається з провідних дослідників у галузі, які працювали в DeepMind і Meta, а також досвідчених французьких серійних підприємців і впливових громадських лідерів.
● Артур Менш — генеральний директор — колишній головний науковий співробітник DeepMind, провідний автор кількох важливих внесків до LLM: Шиншила, Ретро, Фламінго
● Гійом Лампл — головний науковий співробітник — колишній старший науковий співробітник Meta. Керував проектом Llama, головним внеском Meta у сферу великих мовних моделей
● Тімоті Лакруа — технічний директор — колишній інженер-програміст у Meta, технічний керівник у Llama
● Жан-Чарльз Семюеліан, генеральний директор Алан
● Чарльз Горінтін, Алан технічний директор
● Седрік О, колишній державний секретар Франції з цифрових питань
Перші п’ять співробітників, які вже визначені, будуть досвідченими дослідниками з великих технологічних компаній. Їхній ентузіазм щодо Європи та концепції відкритого коду, а також безперервна організаційна реструктуризація деяких компаній через швидкий розвиток генеративного штучного інтелекту також є відповідним моментом для того, щоб вони залишили ці компанії.
Інфраструктура та джерела даних
Щоб навчити конкурентоспроможну модель, кластер екза-масштабу повинен використовуватися принаймні кілька місяців. Ми маємо намір орендувати такі обчислювальні ресурси на повний рік, розробляючи таким чином відкриті та комерційні моделі різної потужності.
Ми вже ведемо конкурентні переговори з провідними постачальниками хмарних послуг щодо оренди обчислювальних ресурсів (плануємо почати влітку і до вересня сформувати обчислювальний резерв 1536 H100). Оскільки mistral.ai має потужну європейську базу, ми також будемо співпрацювати з новими європейськими постачальниками хмарних послуг, які активно розширюють обчислювальні послуги глибокого навчання.
Раніше ми навчали великомасштабні моделі, що дало нам досвід навчання в 10-100 разів швидше, ніж загальнодоступні методи – наші засновники та перші співробітники чітко знали, як навчити найсильнішу модель із заданим обчислювальним бюджетом.
Наші перші інвестори також є постачальниками контенту в Європі, і вони відкриють нам усі необхідні двері для отримання високоякісних наборів даних, на яких ми зможемо навчатися та налаштовувати наші моделі.
Досліджуйте сценарії разом із ключовими клієнтами
Команда засновників вже організовує комерційні дослідження з великими французькими та європейськими комерційними установами. Невелика команда, орієнтована на продукт (6 осіб до кінця року), почне розвивати бізнес, а технічна команда навчатиме цінні технічні модулі.
Модельна команда залишатиметься на 100% зосередженою на розвитку технологій, щоб уникнути відволікань.
Розвиток бізнесу розпочнеться одночасно з розробкою сімейства моделей першого покоління, використовуючи такі стратегії:
● Цілеспрямоване вивчення потреб великих промислових гравців за сприяння сторонніх інтеграторів, яким буде надано повний доступ до наших найкращих моделей (не з відкритим кодом).
● Спільне проектування продуктів з деякими малими новими партнерами, зосередженими на генеративних продуктах ШІ.
Розробка моделі другого покоління буде використана для бізнес-досліджень.
карта маршруту
перший рік
Ми навчатимемо два покоління моделей, і розробка моделі та комерційна інтеграція будуть просуватися одночасно. Перше покоління буде частково відкритим кодом, спираючись на технологію, яку опанувала команда. Це підтвердить нашу здатність задовольняти потреби наших клієнтів, інвесторів та установ. Модель другого покоління усуне значні недоліки поточної моделі, дозволяючи безпечно та економічно використовувати її підприємствам.
Навчіть найкращу стандартну модель з відкритим кодом
До кінця 2023 року ми навчимо серію моделей генерації тексту, які можуть значно перевершити ChatGPT 3.5 і версію Bard від березня 2023 року, а також усі рішення з відкритим кодом.
Ця серія буде з відкритим кодом; ми будемо брати участь у спільноті, щоб розвивати її, роблячи її відкритим стандартом.
Ми надамо той самий інтерфейс обслуговування, що й наші конкуренти, і стягуватимемо плату за збір сторонніх даних про використання, а також ми створимо кілька безкоштовних програм для споживачів, щоб розширити вплив бренду та збирати дані першої сторони.
Індивідуальний та диференційований для потреб бізнесу
Протягом наступних шести місяців ці моделі будуть оснащені моделями семантичного вбудовування для пошуку вмісту та мультимодальними плагінами для обробки візуального введення. Будуть також підготовлені спеціальні моделі, перепідготовлені з використанням комерційно доступних високоякісних джерел даних.
Комерційна розробка розпочнеться одночасно з розробкою модельної серії першого покоління: ми маємо намір провести інтеграцію з підтвердженням концепції до кінця першого кварталу 2024 року.
Що стосується технологій, у першому та другому кварталах 2024 року ми зосередимося на двох основних сферах, недооцінених існуючими компаніями:
● Навчіть досить малу модель для роботи на ноутбуці ємністю 16 ГБ, слугуючи корисним помічником зі штучним інтелектом
● Навчайте моделі за допомогою додаткових контекстів із можливістю гарячої заміни**, дозволяючи до мільйонів додаткових контекстів, ефективно об’єднуючи мовні моделі та системи пошуку.
У той же час набори даних для навчання та точного налаштування будуть продовжувати збагачуватися завдяки партнерству та збору даних.
До кінця 2 кварталу 2024 року ми маємо намір:
● Розповсюдження найкращої генеративної моделі тексту з відкритим кодом із текстовим і візуальним виходом
● Має загальну та експертну модель з одним із найвищих співвідношень вартості/вартості
● Надайте можливості моделі для сторонніх інтеграторів за допомогою масштабованих і різноманітних доступних API
● Встановіть ліцензійні комерційні відносини з одним або двома великими гравцями галузі, які взяли на себе зобов’язання використовувати нашу технологію
Наступний етап
Щоб конкурувати з такими гравцями, як OpenAI, і перевершити їх, вимагатиме значних інвестицій на наступних етапах (GPT-4 коштував кілька сотень мільйонів доларів). Наша мета на перший рік — продемонструвати, що ми є однією з найсильніших команд у глобальному змаганні зі штучним інтелектом, яка здатна розробляти та запускати моделі, здатні конкурувати з найбільшими гравцями. Наш досвід як дослідників великомасштабної мовної моделі (LLM) дозволить нам бути більш ефективними на ранній стадії, ніж компаніям, які відкривають або переходять у цю сферу.
Однією з північних зірок mistral.ai буде безпека: ми випускатимемо моделі в чітко поставленій манері, переконавшись, що наші моделі використовуються лише для цілей, які відповідають нашим цінностям, і для цього ми надамо «червоній команді» бета-доступ до виявляти неадекватну поведінку та виправляти її.
Роблячи це, ми переконаємо ключові державні та приватні установи, що ми можемо розробити безпечні, керовані та ефективні технології, які дозволять людству отримати користь від цього наукового прориву. І це залучить установи та країни до участі в нашому фінансуванні Серії А. У серії A (3 квартал 2024 р.) ми очікуємо, що нам знадобиться залучити 200 мільйонів доларів для навчання моделей, які не підходять для GPT-4.
Потужна фінансова підтримка дозволить нам навчати моделі на набагато більшій інфраструктурі, зміцнюючи нашу позицію як лідера в дослідженнях ШІ та найкращого постачальника в європейському промисловому секторі.
(повний текст)
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Через чотири тижні після заснування він зібрав 105 мільйонів євро, і повний текст фінансового меморандуму європейської мовної моделі mistral.ai
Джерело: Empower Labs
Команда, яка була створена лише протягом кількох тижнів, завершила фінансування в розмірі 105 мільйонів євро без продуктів, без користувачів і без досвіду роботи. Цей меморандум (записка) допоміг йому переконати Light Speed, колишнього генерального директора Google Еріка Шмідта та інших. Меморандум наголошує на європейському ринку, безпеці штучного інтелекту, дотриманні та інших аспектах.Містраль вважає, що використання ними маршруту з відкритим кодом, який повністю відрізняється від OpenAI, зрештою дозволить йому встановити переваги та досягти перевершення. Судячи з того, що я прочитав, цей меморандум написаний дуже майстерно, і він також містить деякі елементи блефу. Він добре використав поточний менталітет європейського суспільства FOMO на моделі великої мови, щоб завершити фінансування.
«Містраль» охоче позначає сухий і сильний північно-західний холодний вітер на півдні Франції, і це також назва десантного корабля французького виробництва. Це провідний у світі десантний корабель. Назва втілює французьку гордість. Усі шість членів команди засновників із Франції. Замість того, щоб розуміти це як велику європейську мовну модель, я думаю, що це більше схоже на велику французьку мовну модель компанії. Він розповідає гарну європейську історію, але вона буде не єдиною в Європі.
Стратегічна записка mistral.ai
Автор: mistral.ai
Переклад: ChatGPT, Ван Чао
Generate AI – це трансформаційна технологія
Минулого року ми спостерігали феноменальне прискорення генеративного ШІ (систем, здатних генерувати текст/зображення з тексту та зображень). Ці системи можуть допомогти людям:
● Створюйте чудовий та інноваційний вміст (текст, код, графіку)
● Читайте, обробляйте та підсумовуйте неструктуровані потоки вмісту в тисячі разів швидше, ніж люди
● Взаємодійте зі світом за допомогою природної мови або API, щоб виконувати робочі процеси швидше, ніж будь-коли.
Потужні можливості генеративного штучного інтелекту раптово були відкриті громадськості після випуску ChatGPT. Такі продукти виробляються лише кількома невеликими командами по всьому світу, і обмежена кількість дослідників у цих командах стала вузьким місцем, що перешкоджає створенню нової економіки в цій галузі.
Generative AI збирається підвищити продуктивність у всіх галузях і створити нову галузь шляхом плавного розширення машинних можливостей людського розуму (ринок у 10 мільярдів доларів у 2022 році, за прогнозами, досягне 110 мільярдів доларів до 2030 року, прогнозований річний темп зростання 35%). Це трансформаційна технологія для світової економіки, яка змінить характер праці та призведе до позитивних соціальних змін.
Створення олігополії
Методи генеративного штучного інтелекту ґрунтуються на багаторічних дослідженнях у промисловості та академічних колах. Розширивши навчання до даних Інтернет-масштабу та виправивши модель за допомогою відгуків людей, прориви, які зробили технологію доступною для мас, були досягнуті жменькою галузевих гравців, найбільший з яких (OpenAI), здається, має гегемоністичні наміри Ринок.
Ці кілька гравців тренують генеративні моделі та використовують їх як активи; вони обслуговують тисячі третіх сторін, які створюють продукти для підвищення продуктивності, а також широку громадськість за допомогою власних продуктів, таких як чат-боти. Велика кількість сторонніх стартапів все ще створюється для створення різноманітних сервісів на основі цих генеративних моделей.
**Ми вважаємо, що більша частина цінності на ринку генеративного штучного інтелекту, що розвивається, походить від технології, яку важко створити, самих генеративних моделей. **Ці моделі потрібно навчати на тисячах потужних машин, які обробляють трильйони даних із високоякісних джерел, що становить першу високу планку. Друга важлива перешкода — це складність створення досвідченої команди, і mistral.ai має хороші можливості для цього.
На даний момент (GLM) всі основні гравці знаходяться в США, в Європі ще немає серйозного конкурента. Враховуючи, наскільки потужною (і небезпечною) є ця нова технологія, це головне геополітичне питання. mistral.ai стане європейським лідером у галузі штучного інтелекту, який підвищує продуктивність і креативність і спрямовує майбутню нову промислову революцію.
Поточний генеративний ШІ не відповідає потребам ринку
OpenAI та його нинішні конкуренти обрали закритий технологічний шлях, що значно обмежить охоплення їх ринку. У такому підході модель залишається приватною та обслуговується лише через API перетворення тексту в текст. Це породжує такі важливі для бізнесу питання:
● Організації, які бажають використовувати генеративні методи штучного інтелекту, змушені надавати свої цінні бізнес-дані та конфіденційні дані користувача моделі чорного ящика, яка часто розгортається в загальнодоступній хмарі. Це створює проблему безпеки: модель, яка зберігається в секреті, не може бути перевірена, щоб переконатися, що її вихід є безпечним, і така модель не може бути розгорнута в критично важливому для безпеки додатку. Ця ситуація також викликає правові проблеми, особливо коли компанія передає персональні дані за межі своїх правових кордонів і може підпадати під дію екстериторіальних законів.
● Відкриття лише вихідних даних моделі, а не повної моделі, ускладнює взаємодію з іншими компонентами (база даних пошуку, структурований вхід, зображення та звуки). Наразі існують сотні продуктів, які створюють комплексні можливості (наприклад, пам’ять, зір тощо) шляхом взаємозв’язку виходів і входів моделей. Ці продукти працюватимуть краще та швидше, якщо модель можна надати як білу коробку (прозору модель) (наприклад, The Flamingo об’єднує візуальну та текстову моделі білої коробки в текстову+візуальну модель).
● Дані, які використовуються для навчання моделі, є конфіденційними, це означає, що ми покладаємося на системи невизначеного походження, які можуть давати неконтрольовані результати. Зусилля фільтрації для вирішення цієї проблеми дають лише слабкі та крихкі гарантії того, що модель не виводитиме конфіденційний вміст, якому її, можливо, навчили. Ця проблема призвела до заборони ChatGPT в Італії в квітні 2023 року.
Розірвати модель ринку з Європи
Заснувавши mistral.ai, ми плануємо зайняти абсолютно протилежну позицію в порівнянні з поточними закритими моделями для навчання просунутих моделей. **Наше бачення полягає в тому, щоб стати провідним гравцем у цій сфері, одночасно інтегруючи ці моделі в Європу та ширшу галузь для розвитку високоцінного бізнесу. **
**mistral.ai стане лідером досліджень у галузі генеративного штучного інтелекту та протягом чотирьох років провідним постачальником технологій штучного інтелекту на ринку. **Щоб досягти цієї мети, ми спершу зосередимося на кількох ключових відмінних характеристиках, а потім проведемо комплексні дослідження та розробки, щоб вибрати найефективніші стратегії переходу до штучного інтелекту, який має практичну цінність для людей.
Зосередження в першу чергу на європейському ринку дасть нам оборонну перевагу, а наша відкрита позиція на технологічному шляху ще більше підвищить нашу привабливість. Багато з найяскравіших умів у галузі Large Language Modeling (LLM) є європейцями; наш великий досвід показує, що багато з них хотіли б приєднатися до нашого проекту.
Протилежне технічне позиціонування
Нашими ранніми відмінностями, сліпими плямами в стратегіях наших конкурентів були такі:
● **Використовуйте більш відкритий підхід до розробки моделі. **Ми випустимо цю модель за дозвільною ліцензією на програмне забезпечення з відкритим вихідним кодом, яке суттєво перевершить конкурентів. Ми випустимо інструменти, щоб використовувати потужність цих моделей білого ящика та створити спільноту розробників навколо нашого бренду. Цей підхід ідеологічно дуже відрізняється від OpenAI, це краще залучить провідних дослідників і стане потужним прискоренням для розвитку проекту, оскільки він забезпечить багато розробників-ентузіастів, які відкривають двері. Це збільшить масштаби розвитку нашого бізнесу. Ми збалансуємо нашу стратегію відкритого коду з фінансовими інтересами, зберігаючи найпотужніші та професійні моделі для платних користувачів.
○ Ми виділимо 1% коштів некомерційним фондам, відповідальним за розвиток спільноти з відкритим кодом.
● Внутрішня частина (архітектура та налаштована вага) наших моделей завжди відкрита для наших клієнтів. **Це забезпечить більш тісну інтеграцію з робочими процесами клієнтів, їхній вміст можна вводити в різні частини глибокої моделі замість того, щоб усе серіалізувалося як вхідний текст, який подавався до API чорної скриньки. **
● **Підвищена увага до походження та контролю даних. **Наші моделі навчатимуться на високоякісному вмісті даних (окрім скопійованого вмісту), для якого ми домовимося про ліцензійну угоду. Це дозволить нам навчати кращих моделей, ніж доступні наразі моделі, такі як Llama. Використовуючи методи глибокого залучення (гібридні експерти та моделі, доповнені пошуком), ми надамо моделям необов’язковий доступ до джерела даних: для платних преміум-користувачів окремі моделі можуть бути присвячені фінансам/юридичним справам/тощо (це забезпечує значне підвищення продуктивності). Використовуючи подібні методи, наша модель зможе забезпечити миттєвий диференційований доступ до даних для співробітників з різними правами корпоративної інтелектуальної власності.
● **Забезпечує неперевершену безпеку та гарантію конфіденційності. **Нашу модель можна буде розгорнути у приватній хмарі та, за бажанням, безпосередньо на пристрої, що ефективно мінімізує проблеми конфіденційності шляхом усунення потенційно проблемних процесів. З цією метою ми спрямуємо наші науково-дослідні зусилля на навчання невеликих, але надефективних моделей, ефективно пропонуючи моделі з найвищим на ринку співвідношенням якості та вартості. Наша стратегія відкритого вихідного коду також забезпечить можливість перевірки наших моделей під час розгортання в ключових галузях, особливо в галузі охорони здоров’я.
Розвиток бізнесу
З точки зору бізнесу, ми надамо найцінніші технічні модулі для індустрії штучного інтелекту як послуг, що розвивається, і використаємо генеративний штучний інтелект, щоб повністю змінити робочий процес бізнесу. Ми створюватимемо інтегровані рішення спільно з європейськими інтеграторами та промисловими клієнтами та отримуватимемо надзвичайно цінні відгуки, щоб стати основним інструментом для всіх компаній, які прагнуть використовувати ШІ в Європі.
Інтеграція з вертикалями може мати різні ринкові форми, включаючи ліцензії на повний доступ до моделей (включаючи навчені ваги), спеціалізацію моделей на основі попиту, комерційні контракти з інтеграторами/консалтинговими фірмами для створення повністю інтегрованих рішень. Як зазначено в нашій дорожній карті, ми досліджуватимемо та визначимо найкращі підходи в міру розвитку технології.
Як стати лідером у сфері ШІ
Краща команда
Команда засновників складається з провідних дослідників у галузі, які працювали в DeepMind і Meta, а також досвідчених французьких серійних підприємців і впливових громадських лідерів.
● Артур Менш — генеральний директор — колишній головний науковий співробітник DeepMind, провідний автор кількох важливих внесків до LLM: Шиншила, Ретро, Фламінго
● Гійом Лампл — головний науковий співробітник — колишній старший науковий співробітник Meta. Керував проектом Llama, головним внеском Meta у сферу великих мовних моделей
● Тімоті Лакруа — технічний директор — колишній інженер-програміст у Meta, технічний керівник у Llama
● Жан-Чарльз Семюеліан, генеральний директор Алан
● Чарльз Горінтін, Алан технічний директор
● Седрік О, колишній державний секретар Франції з цифрових питань
Перші п’ять співробітників, які вже визначені, будуть досвідченими дослідниками з великих технологічних компаній. Їхній ентузіазм щодо Європи та концепції відкритого коду, а також безперервна організаційна реструктуризація деяких компаній через швидкий розвиток генеративного штучного інтелекту також є відповідним моментом для того, щоб вони залишили ці компанії.
Інфраструктура та джерела даних
Щоб навчити конкурентоспроможну модель, кластер екза-масштабу повинен використовуватися принаймні кілька місяців. Ми маємо намір орендувати такі обчислювальні ресурси на повний рік, розробляючи таким чином відкриті та комерційні моделі різної потужності.
Ми вже ведемо конкурентні переговори з провідними постачальниками хмарних послуг щодо оренди обчислювальних ресурсів (плануємо почати влітку і до вересня сформувати обчислювальний резерв 1536 H100). Оскільки mistral.ai має потужну європейську базу, ми також будемо співпрацювати з новими європейськими постачальниками хмарних послуг, які активно розширюють обчислювальні послуги глибокого навчання.
Раніше ми навчали великомасштабні моделі, що дало нам досвід навчання в 10-100 разів швидше, ніж загальнодоступні методи – наші засновники та перші співробітники чітко знали, як навчити найсильнішу модель із заданим обчислювальним бюджетом.
Наші перші інвестори також є постачальниками контенту в Європі, і вони відкриють нам усі необхідні двері для отримання високоякісних наборів даних, на яких ми зможемо навчатися та налаштовувати наші моделі.
Досліджуйте сценарії разом із ключовими клієнтами
Команда засновників вже організовує комерційні дослідження з великими французькими та європейськими комерційними установами. Невелика команда, орієнтована на продукт (6 осіб до кінця року), почне розвивати бізнес, а технічна команда навчатиме цінні технічні модулі.
Модельна команда залишатиметься на 100% зосередженою на розвитку технологій, щоб уникнути відволікань.
Розвиток бізнесу розпочнеться одночасно з розробкою сімейства моделей першого покоління, використовуючи такі стратегії:
● Цілеспрямоване вивчення потреб великих промислових гравців за сприяння сторонніх інтеграторів, яким буде надано повний доступ до наших найкращих моделей (не з відкритим кодом).
● Спільне проектування продуктів з деякими малими новими партнерами, зосередженими на генеративних продуктах ШІ.
Розробка моделі другого покоління буде використана для бізнес-досліджень.
карта маршруту
перший рік
Ми навчатимемо два покоління моделей, і розробка моделі та комерційна інтеграція будуть просуватися одночасно. Перше покоління буде частково відкритим кодом, спираючись на технологію, яку опанувала команда. Це підтвердить нашу здатність задовольняти потреби наших клієнтів, інвесторів та установ. Модель другого покоління усуне значні недоліки поточної моделі, дозволяючи безпечно та економічно використовувати її підприємствам.
Навчіть найкращу стандартну модель з відкритим кодом
До кінця 2023 року ми навчимо серію моделей генерації тексту, які можуть значно перевершити ChatGPT 3.5 і версію Bard від березня 2023 року, а також усі рішення з відкритим кодом.
Ця серія буде з відкритим кодом; ми будемо брати участь у спільноті, щоб розвивати її, роблячи її відкритим стандартом.
Ми надамо той самий інтерфейс обслуговування, що й наші конкуренти, і стягуватимемо плату за збір сторонніх даних про використання, а також ми створимо кілька безкоштовних програм для споживачів, щоб розширити вплив бренду та збирати дані першої сторони.
Індивідуальний та диференційований для потреб бізнесу
Протягом наступних шести місяців ці моделі будуть оснащені моделями семантичного вбудовування для пошуку вмісту та мультимодальними плагінами для обробки візуального введення. Будуть також підготовлені спеціальні моделі, перепідготовлені з використанням комерційно доступних високоякісних джерел даних.
Комерційна розробка розпочнеться одночасно з розробкою модельної серії першого покоління: ми маємо намір провести інтеграцію з підтвердженням концепції до кінця першого кварталу 2024 року.
Що стосується технологій, у першому та другому кварталах 2024 року ми зосередимося на двох основних сферах, недооцінених існуючими компаніями:
● Навчіть досить малу модель для роботи на ноутбуці ємністю 16 ГБ, слугуючи корисним помічником зі штучним інтелектом
● Навчайте моделі за допомогою додаткових контекстів із можливістю гарячої заміни**, дозволяючи до мільйонів додаткових контекстів, ефективно об’єднуючи мовні моделі та системи пошуку.
У той же час набори даних для навчання та точного налаштування будуть продовжувати збагачуватися завдяки партнерству та збору даних.
До кінця 2 кварталу 2024 року ми маємо намір:
● Розповсюдження найкращої генеративної моделі тексту з відкритим кодом із текстовим і візуальним виходом
● Має загальну та експертну модель з одним із найвищих співвідношень вартості/вартості
● Надайте можливості моделі для сторонніх інтеграторів за допомогою масштабованих і різноманітних доступних API
● Встановіть ліцензійні комерційні відносини з одним або двома великими гравцями галузі, які взяли на себе зобов’язання використовувати нашу технологію
Наступний етап
Щоб конкурувати з такими гравцями, як OpenAI, і перевершити їх, вимагатиме значних інвестицій на наступних етапах (GPT-4 коштував кілька сотень мільйонів доларів). Наша мета на перший рік — продемонструвати, що ми є однією з найсильніших команд у глобальному змаганні зі штучним інтелектом, яка здатна розробляти та запускати моделі, здатні конкурувати з найбільшими гравцями. Наш досвід як дослідників великомасштабної мовної моделі (LLM) дозволить нам бути більш ефективними на ранній стадії, ніж компаніям, які відкривають або переходять у цю сферу.
Однією з північних зірок mistral.ai буде безпека: ми випускатимемо моделі в чітко поставленій манері, переконавшись, що наші моделі використовуються лише для цілей, які відповідають нашим цінностям, і для цього ми надамо «червоній команді» бета-доступ до виявляти неадекватну поведінку та виправляти її.
Роблячи це, ми переконаємо ключові державні та приватні установи, що ми можемо розробити безпечні, керовані та ефективні технології, які дозволять людству отримати користь від цього наукового прориву. І це залучить установи та країни до участі в нашому фінансуванні Серії А. У серії A (3 квартал 2024 р.) ми очікуємо, що нам знадобиться залучити 200 мільйонів доларів для навчання моделей, які не підходять для GPT-4.
Потужна фінансова підтримка дозволить нам навчати моделі на набагато більшій інфраструктурі, зміцнюючи нашу позицію як лідера в дослідженнях ШІ та найкращого постачальника в європейському промисловому секторі.
(повний текст)