Через четыре недели после своего создания он привлек 105 миллионов евро, а также полный текст меморандума о финансировании модели на европейском языке mistral.ai.
Источник изображения: сгенерировано инструментом Unbounded AI
Команда, созданная всего на несколько недель, завершила финансирование в размере 105 миллионов евро, не имея ни продуктов, ни пользователей, ни опыта работы. Эта записка (memo) помогла убедить в этом Light Speed, бывшего генерального директора Google Эрика Шмидта и других. В меморандуме подчеркивается европейский рынок, безопасность ИИ, соответствие требованиям и другие аспекты.Мистраль считает, что использование ими пути с открытым исходным кодом, который полностью отличается от OpenAI, в конечном итоге позволит ему установить преимущества и добиться превосходства. Из того, что я читал, видно, что эта записка написана очень искусно, а также содержит элементы блефа. Он хорошо использовал нынешний менталитет FOMO европейского общества в модели большого языка для завершения финансирования.
Мистраль — это название сухого и сильного северо-западного холодного ветра на юге Франции, а также название десантного корабля французского производства. Это ведущий в мире десантный корабль. Имя воплощает французскую гордость. Шесть членов команды основателей все из Франции, и вместо того, чтобы понимать это как большую европейскую языковую модель, я думаю, что это больше похоже на крупную французскую модельную компанию. Он рассказывает хорошую европейскую историю, но она не будет единственной в Европе.
Я увидел Memo в дискуссионной группе. Убедившись, что содержание Memo больше не нужно держать в секрете, я использовал ChatGPT, чтобы перевести его полный текст, а затем вычитал и повторно перевел часть содержимого.
mistral.ai Стратегический меморандум
Добавить Автора
Перевод: ChatGPT, Ван Чао
Генеративный ИИ — это революционная технология
В прошлом году мы наблюдали феноменальное ускорение генеративного ИИ (систем, способных генерировать текст/изображения из текста и изображений). Эти системы могут помочь людям:
● Создавайте отличный и инновационный контент (текст, код, графика)
● Читать, обрабатывать и обобщать неструктурированные потоки контента в тысячи раз быстрее, чем люди.
● Взаимодействуйте с миром с помощью естественного языка или API, чтобы выполнять рабочие процессы быстрее, чем когда-либо.
Мощные возможности генеративного ИИ внезапно открылись публике после выпуска ChatGPT. Такие продукты производятся всего несколькими небольшими группами по всему миру, и ограниченное количество исследователей в этих командах стало узким местом, мешающим созданию новой экономики в этой области.
Генеративный ИИ должен повысить производительность во всех отраслях и создать новую отрасль за счет плавного увеличения машинных возможностей человеческого разума (рынок объемом 10 миллиардов долларов в 2022 году, по прогнозам, к 2030 году он достигнет 110 миллиардов долларов, прогнозируемый годовой темп роста 35%). Это преобразующая технология для мировой экономики, которая изменит характер труда и приведет к позитивным социальным изменениям.
Олигополия в процессе становления
Методы генеративного ИИ основаны на многолетних исследованиях в промышленности и научных кругах. Путем масштабирования обучения до данных в масштабе Интернета и корректировки модели с учетом отзывов людей прорывы, которые сделали технологию доступной для масс, были достигнуты горсткой отраслевых игроков, крупнейший из которых (OpenAI), похоже, имеет гегемонистские намерения. магазин.
Эти несколько игроков обучают генеративные модели и используют их в качестве активов; они обслуживают тысячи третьих лиц, которые создают продукты для повышения производительности, а также широкую публику через свои собственные продукты, такие как чат-боты. Все еще создается большое количество сторонних стартапов для создания различных сервисов на основе этих генеративных моделей.
** Мы считаем, что большая часть ценности на развивающемся рынке генеративного ИИ исходит от сложной технологии, самих генеративных моделей. **Эти модели необходимо обучать на тысячах мощных машин, обрабатывающих триллионы данных из высококачественных источников, что составляет первую высокую планку. Вторым важным препятствием является сложность создания опытной команды, и у mistral.ai есть хорошие возможности для этого.
В настоящее время (GLM) все основные игроки находятся в США, серьезного конкурента в Европе пока нет. Учитывая, насколько мощной (и опасной) является эта новая технология, это важный геополитический вопрос. mistral.ai станет европейским лидером в области искусственного интеллекта, который повышает производительность и креативность и направляет грядущую новую промышленную революцию.
Существующий генеративный ИИ не соответствует потребностям рынка
OpenAI и его нынешние конкуренты выбрали закрытый технологический маршрут, что значительно ограничит их охват рынка. При таком подходе модель остается закрытой и обслуживается только через API преобразования текста в текст. Это поднимает следующие важные вопросы для бизнеса:
● Организации, желающие использовать методы генеративного искусственного интеллекта, вынуждены предоставлять свои ценные бизнес-данные и конфиденциальные пользовательские данные в модель черного ящика, часто развернутую в общедоступном облаке. Это создает проблему безопасности: модель, которая хранится в секрете, не может быть проверена, чтобы убедиться, что ее вывод безопасен, и такая модель не может быть развернута в приложении, критичном с точки зрения безопасности. Эта ситуация также вызывает юридические вопросы, особенно когда компания передает персональные данные за пределы своих правовых границ и может подпадать под действие экстерриториальных законов.
● Предоставление только выходных данных модели, а не всей модели, затрудняет взаимодействие с другими компонентами (поисковой базой данных, структурированным вводом, изображениями и звуками). В настоящее время существуют сотни продуктов, которые создают составные возможности (например, память, зрение и т. д.) путем соединения выходных и входных данных моделей. Эти продукты будут работать лучше и быстрее, если модель может быть предоставлена в виде белого ящика (прозрачная модель) (например, The Flamingo объединяет визуальную и текстовую модели белого ящика в текстово-визуальную модель).
● Данные, используемые для обучения модели, являются конфиденциальными, что означает, что мы полагаемся на системы неизвестного происхождения, которые могут привести к неконтролируемому результату. Усилия по фильтрации, направленные на решение этой проблемы, дают лишь слабые и ненадежные гарантии того, что модель не будет выводить конфиденциальный контент, для которого она, возможно, была обучена. Эта проблема привела к запрету ChatGPT в Италии в апреле 2023 года.
Сломайте модель рынка из Европы
Основывая mistral.ai, мы планируем занять позицию, полностью противоположную текущим закрытым моделям, для обучения продвинутых моделей. ** Наше видение состоит в том, чтобы стать ведущим игроком в этой области, интегрируя эти модели в Европе и в более широкой отрасли для развития бизнеса с высокой стоимостью. **
**mistral.ai станет лидером исследований в области генеративного ИИ и в течение четырех лет станет ведущим поставщиком технологий ИИ на рынке. **Для достижения этой цели мы сначала сосредоточимся на нескольких ключевых отличительных характеристиках, а затем проведем всесторонние исследования и разработки, чтобы выбрать наиболее эффективные стратегии перехода к искусственному интеллекту, который имеет практическую ценность для людей.
Сосредоточение внимания в первую очередь на европейском рынке даст нам оборонительное преимущество, а наша открытая позиция в отношении технологического маршрута еще больше повысит нашу привлекательность. Многие из самых ярких умов в области моделирования больших языков (LLM) — европейцы, и наш обширный опыт показывает, что многие из них хотели бы присоединиться к нашему проекту.
Противоположное техническое позиционирование
Нашими первыми отличительными чертами, слепыми пятнами в стратегиях наших конкурентов были следующие:
● **Используйте более открытый подход к разработке моделей. **Мы выпустим модель под разрешающей лицензией на программное обеспечение с открытым исходным кодом, которая значительно превзойдет конкурентов. Мы выпустим инструменты для использования возможностей этих моделей белого ящика и создадим сообщество разработчиков вокруг нашего бренда. Этот подход идеологически сильно отличается от OpenAI, это лучше привлечет ведущих исследователей, и это будет мощным ускорением для развития проекта, потому что это откроет двери многим нижестоящим энтузиастам-разработчикам. Это увеличит масштабы развития нашего бизнеса. Мы сбалансируем нашу стратегию с открытым исходным кодом с финансовыми интересами, оставив самые мощные и профессиональные модели для платных пользователей.
○ Мы направим 1% средств некоммерческим фондам, ответственным за развитие сообщества открытого исходного кода.
● Внутреннее устройство (архитектура и тренировочные веса) наших моделей, будь то с открытым исходным кодом или по лицензии, всегда открыто для наших клиентов. ** Это обеспечит более тесную интеграцию с рабочими процессами клиентов, их содержимое может быть передано в различные части глубокой модели, а не сериализовано как входной текст, переданный в API черного ящика. **
● **Больше внимания уделяется происхождению данных и контролю данных. **Наши модели будут обучены работе с высококачественным контентом (кроме извлеченного контента), для которого мы заключим лицензионное соглашение. Это позволит нам обучать модели лучше, чем доступные в настоящее время модели, такие как Llama. Используя методы глубокого взаимодействия (гибридные эксперты и модели с расширенным поиском), мы предоставим модели с дополнительным доступом к источнику данных: для платных премиум-пользователей конкретные модели могут быть посвящены финансам/юриспруденции/и т. д. (это обеспечивает значительный прирост производительности). Используя аналогичные методы, наша модель сможет обеспечить мгновенный дифференцированный доступ к данным для сотрудников с различными правами корпоративной интеллектуальной собственности.
● ** Обеспечивает непревзойденную гарантию безопасности и конфиденциальности. **Наша модель может быть развернута в частном облаке и, при желании, непосредственно на устройстве, эффективно сводя к минимуму проблемы с конфиденциальностью за счет исключения потенциально проблемных процессов. С этой целью мы направим наши усилия в области исследований и разработок на обучение небольших, но сверхэффективных моделей, эффективно предлагая модели с самым высоким соотношением качества и стоимости на рынке. Наша стратегия с открытым исходным кодом также обеспечит возможность аудита наших моделей при развертывании в ключевых отраслях (особенно в двойных отраслях и отраслях здравоохранения).
Развитие бизнеса
С точки зрения бизнеса, мы предоставим наиболее ценные технические модули для развивающейся индустрии ИИ как услуги и используем генеративный ИИ, чтобы полностью изменить бизнес-процесс. Мы будем совместно создавать интегрированные решения с европейскими интеграторами и промышленными заказчиками и получать чрезвычайно ценные отзывы, чтобы стать основным инструментом для всех компаний, стремящихся использовать ИИ в Европе.
Интеграция с вертикалями может принимать различные рыночные формы, включая лицензии на полный доступ к моделям (включая тренировочные веса), специализацию моделей в зависимости от спроса, коммерческие контракты с интеграторами/консалтинговыми фирмами для создания полностью интегрированных решений. Как указано в нашей дорожной карте, мы будем изучать и определять лучшие подходы по мере развития технологии.
Как стать лидером в области ИИ
Лучшая команда
Команда основателей состоит из ведущих исследователей в этой области, которые работали в DeepMind и Meta, а также из опытных французских серийных предпринимателей и влиятельных общественных деятелей.
● Артур Менш — генеральный директор — бывший главный научный сотрудник DeepMind, ведущий автор нескольких крупных вкладов в LLM: Chinchilla, Retro, Flamingo.
● Гийом Лампл — главный научный сотрудник — бывший старший научный сотрудник по мета-анализу. Руководил проектом Llama, основным вкладом Meta в область больших языковых моделей.
● Тимоти Лакруа — технический директор — бывший инженер-программист в Meta, технический руководитель в Llama.
● Жан-Шарль Самуэлян, Алан, генеральный директор
● Чарльз Горинтин, Алан, технический директор
● Седрик О, бывший государственный секретарь Франции по цифровым вопросам.
Первые пять уже определенных сотрудников будут опытными исследователями из крупных технологических компаний. Их энтузиазм в отношении Европы и концепции открытого исходного кода, а также постоянная организационная реструктуризация некоторых компаний из-за быстрого развития генеративного ИИ также представляют собой подходящее время для их ухода из этих компаний.
Инфраструктура и источники данных
Для обучения конкурентной модели необходимо использовать эксамасштабный кластер не менее нескольких месяцев. Мы намерены арендовать такие вычислительные ресурсы на целый год, тем самым разрабатывая открытые и коммерческие модели разных возможностей.
Мы уже ведем конкурентные переговоры с топовыми поставщиками облачных услуг по аренде вычислительных ресурсов (планируем начать летом и к сентябрю сформировать вычислительный резерв в размере 1536 H100). Поскольку у misral.ai есть сильная европейская база, мы также будем сотрудничать с новыми европейскими поставщиками облачных услуг, которые активно расширяют услуги вычислений для глубокого обучения.
Раньше мы обучали крупномасштабные модели, что дало нам возможность обучать в 10-100 раз быстрее, чем общедоступные методы — наши основатели и первые сотрудники явно знали, как обучить самую сильную модель с заданным вычислительным бюджетом.
Наши первые инвесторы также являются поставщиками контента в Европе и откроют для нас все необходимые двери для приобретения высококачественных наборов данных, на которых мы сможем обучать и настраивать наши модели.
Исследуйте сценарии вместе с ключевыми клиентами
Команда основателей уже организует коммерческие исследования с крупными французскими и европейскими коммерческими учреждениями. Небольшая команда, ориентированная на продукт (6 человек к концу года), начнет развивать бизнес, а техническая команда будет обучать ценные технические модули.
Команда моделирования будет по-прежнему полностью сосредоточена на разработке технологий, чтобы не отвлекаться.
Развитие бизнеса начнется одновременно с разработкой семейства моделей первого поколения с использованием следующих стратегий:
● Целенаправленное изучение потребностей крупных промышленных игроков при содействии сторонних интеграторов, которым будет предоставлен полный доступ к нашим лучшим моделям (не с открытым исходным кодом).
● Совместная разработка продуктов с некоторыми небольшими новыми партнерами, ориентированными на генеративные продукты ИИ.
Бизнес-исследования будут использоваться для разработки модели второго поколения.
Карта маршрута
первый год
Мы будем обучать два поколения моделей, и разработка моделей и коммерческая интеграция будут продвигаться одновременно. Первое поколение будет частично открытым исходным кодом, опираясь на технологию, которую освоила команда. Это подтвердит нашу способность удовлетворять потребности наших клиентов, инвесторов и учреждений. В модели второго поколения будут устранены существенные недостатки текущей модели, что позволит безопасно и экономично использовать ее в бизнесе.
Обучайте лучшую стандартную модель с открытым исходным кодом
К концу 2023 года мы обучим ряд моделей генерации текста, которые могут значительно превзойти ChatGPT 3.5 и версию Bard от марта 2023 года, а также все решения с открытым исходным кодом.
Эта серия будет с открытым исходным кодом; мы будем участвовать в сообществе, чтобы развивать его, делая его открытым стандартом.
Мы предоставим тот же сервисный интерфейс, что и наши конкуренты, и будем взимать плату за сбор сторонних данных об использовании, а также создадим несколько бесплатных потребительских приложений для расширения влияния бренда и сбора пользовательских данных из первых лиц.
Настроены и дифференцированы для нужд бизнеса
В течение следующих шести месяцев эти модели будут оснащены моделями семантического встраивания для поиска контента и мультимодальными плагинами для обработки визуального ввода. Также будут подготовлены специальные модели, переобученные с использованием коммерчески доступных высококачественных источников данных.
Коммерческая разработка начнется одновременно с разработкой модельного ряда первого поколения: к концу первого квартала 2024 года мы намерены провести проверку концепции.
С точки зрения технологий, в первом и втором кварталах 2024 года мы сосредоточимся на двух основных областях, недооцененных действующими компаниями:
● Обучите модель, достаточно маленькую, чтобы она работала на ноутбуке с 16 ГБ памяти, выполняя роль полезного помощника по искусственному интеллекту.
● Обучение моделей с возможностью горячей замены дополнительных контекстов**, что позволяет использовать до миллионов дополнительных контекстов, эффективно объединяя языковые модели и системы поиска.
В то же время наборы данных для обучения и точной настройки будут пополняться за счет партнерских отношений и сбора данных.
К концу второго квартала 2024 года мы намерены:
● Распространение лучшей модели генерации текста с открытым исходным кодом с текстовым и визуальным выводом.
● Имеет общую и экспертную модели с одним из самых высоких показателей соотношения цены и качества.
● Предоставление возможностей моделей сторонним интеграторам с помощью масштабируемых и разнообразных доступных API.
● Установите лицензированные коммерческие отношения с одним или двумя крупными игроками отрасли, которые взяли на себя обязательство использовать нашу технологию.
Следующий этап
Чтобы конкурировать с такими игроками, как OpenAI, и превосходить их, потребуются значительные инвестиции на более поздних этапах (GPT-4 стоит несколько сотен миллионов долларов). Наша цель на первый год — продемонстрировать, что мы — одна из сильнейших команд в глобальном соревновании по искусственному интеллекту, способная разрабатывать и запускать модели, способные конкурировать с крупнейшими игроками. Наш опыт в качестве исследователей крупномасштабных языковых моделей (LLM) позволит нам быть более эффективными с точки зрения капитала на ранней стадии, чем компании, которые открывают для себя эту область или продвигаются в ней.
Одной из северных звезд mistral.ai будет безопасность: мы будем выпускать модели поэтапно, следя за тем, чтобы наши модели использовались только в целях, соответствующих нашим ценностям, и для этого мы предоставим «красной команде» бета-доступ к выявлять неадекватное поведение и корректировать его.
При этом мы убедим ключевые государственные и частные учреждения в том, что мы можем создать безопасные, контролируемые и эффективные технологии, которые позволят человечеству извлечь выгоду из этого научного прорыва. И это привлечет учреждения и страны к участию в нашем финансировании Серии А. В серии A (3 квартал 2024 г.) мы ожидаем, что потребуется собрать 200 миллионов долларов для обучения моделей, выходящих за рамки возможностей GPT-4.
Сильная финансовая поддержка позволит нам обучать модели в гораздо более крупной инфраструктуре, укрепляя наши позиции в качестве лидера в исследованиях ИИ и предпочтительного поставщика в европейском промышленном секторе.
(полный текст)
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Через четыре недели после своего создания он привлек 105 миллионов евро, а также полный текст меморандума о финансировании модели на европейском языке mistral.ai.
Источник: Empower Labs
Команда, созданная всего на несколько недель, завершила финансирование в размере 105 миллионов евро, не имея ни продуктов, ни пользователей, ни опыта работы. Эта записка (memo) помогла убедить в этом Light Speed, бывшего генерального директора Google Эрика Шмидта и других. В меморандуме подчеркивается европейский рынок, безопасность ИИ, соответствие требованиям и другие аспекты.Мистраль считает, что использование ими пути с открытым исходным кодом, который полностью отличается от OpenAI, в конечном итоге позволит ему установить преимущества и добиться превосходства. Из того, что я читал, видно, что эта записка написана очень искусно, а также содержит элементы блефа. Он хорошо использовал нынешний менталитет FOMO европейского общества в модели большого языка для завершения финансирования.
Мистраль — это название сухого и сильного северо-западного холодного ветра на юге Франции, а также название десантного корабля французского производства. Это ведущий в мире десантный корабль. Имя воплощает французскую гордость. Шесть членов команды основателей все из Франции, и вместо того, чтобы понимать это как большую европейскую языковую модель, я думаю, что это больше похоже на крупную французскую модельную компанию. Он рассказывает хорошую европейскую историю, но она не будет единственной в Европе.
mistral.ai Стратегический меморандум
Добавить Автора
Перевод: ChatGPT, Ван Чао
Генеративный ИИ — это революционная технология
В прошлом году мы наблюдали феноменальное ускорение генеративного ИИ (систем, способных генерировать текст/изображения из текста и изображений). Эти системы могут помочь людям:
● Создавайте отличный и инновационный контент (текст, код, графика)
● Читать, обрабатывать и обобщать неструктурированные потоки контента в тысячи раз быстрее, чем люди.
● Взаимодействуйте с миром с помощью естественного языка или API, чтобы выполнять рабочие процессы быстрее, чем когда-либо.
Мощные возможности генеративного ИИ внезапно открылись публике после выпуска ChatGPT. Такие продукты производятся всего несколькими небольшими группами по всему миру, и ограниченное количество исследователей в этих командах стало узким местом, мешающим созданию новой экономики в этой области.
Генеративный ИИ должен повысить производительность во всех отраслях и создать новую отрасль за счет плавного увеличения машинных возможностей человеческого разума (рынок объемом 10 миллиардов долларов в 2022 году, по прогнозам, к 2030 году он достигнет 110 миллиардов долларов, прогнозируемый годовой темп роста 35%). Это преобразующая технология для мировой экономики, которая изменит характер труда и приведет к позитивным социальным изменениям.
Олигополия в процессе становления
Методы генеративного ИИ основаны на многолетних исследованиях в промышленности и научных кругах. Путем масштабирования обучения до данных в масштабе Интернета и корректировки модели с учетом отзывов людей прорывы, которые сделали технологию доступной для масс, были достигнуты горсткой отраслевых игроков, крупнейший из которых (OpenAI), похоже, имеет гегемонистские намерения. магазин.
Эти несколько игроков обучают генеративные модели и используют их в качестве активов; они обслуживают тысячи третьих лиц, которые создают продукты для повышения производительности, а также широкую публику через свои собственные продукты, такие как чат-боты. Все еще создается большое количество сторонних стартапов для создания различных сервисов на основе этих генеративных моделей.
** Мы считаем, что большая часть ценности на развивающемся рынке генеративного ИИ исходит от сложной технологии, самих генеративных моделей. **Эти модели необходимо обучать на тысячах мощных машин, обрабатывающих триллионы данных из высококачественных источников, что составляет первую высокую планку. Вторым важным препятствием является сложность создания опытной команды, и у mistral.ai есть хорошие возможности для этого.
В настоящее время (GLM) все основные игроки находятся в США, серьезного конкурента в Европе пока нет. Учитывая, насколько мощной (и опасной) является эта новая технология, это важный геополитический вопрос. mistral.ai станет европейским лидером в области искусственного интеллекта, который повышает производительность и креативность и направляет грядущую новую промышленную революцию.
Существующий генеративный ИИ не соответствует потребностям рынка
OpenAI и его нынешние конкуренты выбрали закрытый технологический маршрут, что значительно ограничит их охват рынка. При таком подходе модель остается закрытой и обслуживается только через API преобразования текста в текст. Это поднимает следующие важные вопросы для бизнеса:
● Организации, желающие использовать методы генеративного искусственного интеллекта, вынуждены предоставлять свои ценные бизнес-данные и конфиденциальные пользовательские данные в модель черного ящика, часто развернутую в общедоступном облаке. Это создает проблему безопасности: модель, которая хранится в секрете, не может быть проверена, чтобы убедиться, что ее вывод безопасен, и такая модель не может быть развернута в приложении, критичном с точки зрения безопасности. Эта ситуация также вызывает юридические вопросы, особенно когда компания передает персональные данные за пределы своих правовых границ и может подпадать под действие экстерриториальных законов.
● Предоставление только выходных данных модели, а не всей модели, затрудняет взаимодействие с другими компонентами (поисковой базой данных, структурированным вводом, изображениями и звуками). В настоящее время существуют сотни продуктов, которые создают составные возможности (например, память, зрение и т. д.) путем соединения выходных и входных данных моделей. Эти продукты будут работать лучше и быстрее, если модель может быть предоставлена в виде белого ящика (прозрачная модель) (например, The Flamingo объединяет визуальную и текстовую модели белого ящика в текстово-визуальную модель).
● Данные, используемые для обучения модели, являются конфиденциальными, что означает, что мы полагаемся на системы неизвестного происхождения, которые могут привести к неконтролируемому результату. Усилия по фильтрации, направленные на решение этой проблемы, дают лишь слабые и ненадежные гарантии того, что модель не будет выводить конфиденциальный контент, для которого она, возможно, была обучена. Эта проблема привела к запрету ChatGPT в Италии в апреле 2023 года.
Сломайте модель рынка из Европы
Основывая mistral.ai, мы планируем занять позицию, полностью противоположную текущим закрытым моделям, для обучения продвинутых моделей. ** Наше видение состоит в том, чтобы стать ведущим игроком в этой области, интегрируя эти модели в Европе и в более широкой отрасли для развития бизнеса с высокой стоимостью. **
**mistral.ai станет лидером исследований в области генеративного ИИ и в течение четырех лет станет ведущим поставщиком технологий ИИ на рынке. **Для достижения этой цели мы сначала сосредоточимся на нескольких ключевых отличительных характеристиках, а затем проведем всесторонние исследования и разработки, чтобы выбрать наиболее эффективные стратегии перехода к искусственному интеллекту, который имеет практическую ценность для людей.
Сосредоточение внимания в первую очередь на европейском рынке даст нам оборонительное преимущество, а наша открытая позиция в отношении технологического маршрута еще больше повысит нашу привлекательность. Многие из самых ярких умов в области моделирования больших языков (LLM) — европейцы, и наш обширный опыт показывает, что многие из них хотели бы присоединиться к нашему проекту.
Противоположное техническое позиционирование
Нашими первыми отличительными чертами, слепыми пятнами в стратегиях наших конкурентов были следующие:
● **Используйте более открытый подход к разработке моделей. **Мы выпустим модель под разрешающей лицензией на программное обеспечение с открытым исходным кодом, которая значительно превзойдет конкурентов. Мы выпустим инструменты для использования возможностей этих моделей белого ящика и создадим сообщество разработчиков вокруг нашего бренда. Этот подход идеологически сильно отличается от OpenAI, это лучше привлечет ведущих исследователей, и это будет мощным ускорением для развития проекта, потому что это откроет двери многим нижестоящим энтузиастам-разработчикам. Это увеличит масштабы развития нашего бизнеса. Мы сбалансируем нашу стратегию с открытым исходным кодом с финансовыми интересами, оставив самые мощные и профессиональные модели для платных пользователей.
○ Мы направим 1% средств некоммерческим фондам, ответственным за развитие сообщества открытого исходного кода.
● Внутреннее устройство (архитектура и тренировочные веса) наших моделей, будь то с открытым исходным кодом или по лицензии, всегда открыто для наших клиентов. ** Это обеспечит более тесную интеграцию с рабочими процессами клиентов, их содержимое может быть передано в различные части глубокой модели, а не сериализовано как входной текст, переданный в API черного ящика. **
● **Больше внимания уделяется происхождению данных и контролю данных. **Наши модели будут обучены работе с высококачественным контентом (кроме извлеченного контента), для которого мы заключим лицензионное соглашение. Это позволит нам обучать модели лучше, чем доступные в настоящее время модели, такие как Llama. Используя методы глубокого взаимодействия (гибридные эксперты и модели с расширенным поиском), мы предоставим модели с дополнительным доступом к источнику данных: для платных премиум-пользователей конкретные модели могут быть посвящены финансам/юриспруденции/и т. д. (это обеспечивает значительный прирост производительности). Используя аналогичные методы, наша модель сможет обеспечить мгновенный дифференцированный доступ к данным для сотрудников с различными правами корпоративной интеллектуальной собственности.
● ** Обеспечивает непревзойденную гарантию безопасности и конфиденциальности. **Наша модель может быть развернута в частном облаке и, при желании, непосредственно на устройстве, эффективно сводя к минимуму проблемы с конфиденциальностью за счет исключения потенциально проблемных процессов. С этой целью мы направим наши усилия в области исследований и разработок на обучение небольших, но сверхэффективных моделей, эффективно предлагая модели с самым высоким соотношением качества и стоимости на рынке. Наша стратегия с открытым исходным кодом также обеспечит возможность аудита наших моделей при развертывании в ключевых отраслях (особенно в двойных отраслях и отраслях здравоохранения).
Развитие бизнеса
С точки зрения бизнеса, мы предоставим наиболее ценные технические модули для развивающейся индустрии ИИ как услуги и используем генеративный ИИ, чтобы полностью изменить бизнес-процесс. Мы будем совместно создавать интегрированные решения с европейскими интеграторами и промышленными заказчиками и получать чрезвычайно ценные отзывы, чтобы стать основным инструментом для всех компаний, стремящихся использовать ИИ в Европе.
Интеграция с вертикалями может принимать различные рыночные формы, включая лицензии на полный доступ к моделям (включая тренировочные веса), специализацию моделей в зависимости от спроса, коммерческие контракты с интеграторами/консалтинговыми фирмами для создания полностью интегрированных решений. Как указано в нашей дорожной карте, мы будем изучать и определять лучшие подходы по мере развития технологии.
Как стать лидером в области ИИ
Лучшая команда
Команда основателей состоит из ведущих исследователей в этой области, которые работали в DeepMind и Meta, а также из опытных французских серийных предпринимателей и влиятельных общественных деятелей.
● Артур Менш — генеральный директор — бывший главный научный сотрудник DeepMind, ведущий автор нескольких крупных вкладов в LLM: Chinchilla, Retro, Flamingo.
● Гийом Лампл — главный научный сотрудник — бывший старший научный сотрудник по мета-анализу. Руководил проектом Llama, основным вкладом Meta в область больших языковых моделей.
● Тимоти Лакруа — технический директор — бывший инженер-программист в Meta, технический руководитель в Llama.
● Жан-Шарль Самуэлян, Алан, генеральный директор
● Чарльз Горинтин, Алан, технический директор
● Седрик О, бывший государственный секретарь Франции по цифровым вопросам.
Первые пять уже определенных сотрудников будут опытными исследователями из крупных технологических компаний. Их энтузиазм в отношении Европы и концепции открытого исходного кода, а также постоянная организационная реструктуризация некоторых компаний из-за быстрого развития генеративного ИИ также представляют собой подходящее время для их ухода из этих компаний.
Инфраструктура и источники данных
Для обучения конкурентной модели необходимо использовать эксамасштабный кластер не менее нескольких месяцев. Мы намерены арендовать такие вычислительные ресурсы на целый год, тем самым разрабатывая открытые и коммерческие модели разных возможностей.
Мы уже ведем конкурентные переговоры с топовыми поставщиками облачных услуг по аренде вычислительных ресурсов (планируем начать летом и к сентябрю сформировать вычислительный резерв в размере 1536 H100). Поскольку у misral.ai есть сильная европейская база, мы также будем сотрудничать с новыми европейскими поставщиками облачных услуг, которые активно расширяют услуги вычислений для глубокого обучения.
Раньше мы обучали крупномасштабные модели, что дало нам возможность обучать в 10-100 раз быстрее, чем общедоступные методы — наши основатели и первые сотрудники явно знали, как обучить самую сильную модель с заданным вычислительным бюджетом.
Наши первые инвесторы также являются поставщиками контента в Европе и откроют для нас все необходимые двери для приобретения высококачественных наборов данных, на которых мы сможем обучать и настраивать наши модели.
Исследуйте сценарии вместе с ключевыми клиентами
Команда основателей уже организует коммерческие исследования с крупными французскими и европейскими коммерческими учреждениями. Небольшая команда, ориентированная на продукт (6 человек к концу года), начнет развивать бизнес, а техническая команда будет обучать ценные технические модули.
Команда моделирования будет по-прежнему полностью сосредоточена на разработке технологий, чтобы не отвлекаться.
Развитие бизнеса начнется одновременно с разработкой семейства моделей первого поколения с использованием следующих стратегий:
● Целенаправленное изучение потребностей крупных промышленных игроков при содействии сторонних интеграторов, которым будет предоставлен полный доступ к нашим лучшим моделям (не с открытым исходным кодом).
● Совместная разработка продуктов с некоторыми небольшими новыми партнерами, ориентированными на генеративные продукты ИИ.
Бизнес-исследования будут использоваться для разработки модели второго поколения.
Карта маршрута
первый год
Мы будем обучать два поколения моделей, и разработка моделей и коммерческая интеграция будут продвигаться одновременно. Первое поколение будет частично открытым исходным кодом, опираясь на технологию, которую освоила команда. Это подтвердит нашу способность удовлетворять потребности наших клиентов, инвесторов и учреждений. В модели второго поколения будут устранены существенные недостатки текущей модели, что позволит безопасно и экономично использовать ее в бизнесе.
Обучайте лучшую стандартную модель с открытым исходным кодом
К концу 2023 года мы обучим ряд моделей генерации текста, которые могут значительно превзойти ChatGPT 3.5 и версию Bard от марта 2023 года, а также все решения с открытым исходным кодом.
Эта серия будет с открытым исходным кодом; мы будем участвовать в сообществе, чтобы развивать его, делая его открытым стандартом.
Мы предоставим тот же сервисный интерфейс, что и наши конкуренты, и будем взимать плату за сбор сторонних данных об использовании, а также создадим несколько бесплатных потребительских приложений для расширения влияния бренда и сбора пользовательских данных из первых лиц.
Настроены и дифференцированы для нужд бизнеса
В течение следующих шести месяцев эти модели будут оснащены моделями семантического встраивания для поиска контента и мультимодальными плагинами для обработки визуального ввода. Также будут подготовлены специальные модели, переобученные с использованием коммерчески доступных высококачественных источников данных.
Коммерческая разработка начнется одновременно с разработкой модельного ряда первого поколения: к концу первого квартала 2024 года мы намерены провести проверку концепции.
С точки зрения технологий, в первом и втором кварталах 2024 года мы сосредоточимся на двух основных областях, недооцененных действующими компаниями:
● Обучите модель, достаточно маленькую, чтобы она работала на ноутбуке с 16 ГБ памяти, выполняя роль полезного помощника по искусственному интеллекту.
● Обучение моделей с возможностью горячей замены дополнительных контекстов**, что позволяет использовать до миллионов дополнительных контекстов, эффективно объединяя языковые модели и системы поиска.
В то же время наборы данных для обучения и точной настройки будут пополняться за счет партнерских отношений и сбора данных.
К концу второго квартала 2024 года мы намерены:
● Распространение лучшей модели генерации текста с открытым исходным кодом с текстовым и визуальным выводом.
● Имеет общую и экспертную модели с одним из самых высоких показателей соотношения цены и качества.
● Предоставление возможностей моделей сторонним интеграторам с помощью масштабируемых и разнообразных доступных API.
● Установите лицензированные коммерческие отношения с одним или двумя крупными игроками отрасли, которые взяли на себя обязательство использовать нашу технологию.
Следующий этап
Чтобы конкурировать с такими игроками, как OpenAI, и превосходить их, потребуются значительные инвестиции на более поздних этапах (GPT-4 стоит несколько сотен миллионов долларов). Наша цель на первый год — продемонстрировать, что мы — одна из сильнейших команд в глобальном соревновании по искусственному интеллекту, способная разрабатывать и запускать модели, способные конкурировать с крупнейшими игроками. Наш опыт в качестве исследователей крупномасштабных языковых моделей (LLM) позволит нам быть более эффективными с точки зрения капитала на ранней стадии, чем компании, которые открывают для себя эту область или продвигаются в ней.
Одной из северных звезд mistral.ai будет безопасность: мы будем выпускать модели поэтапно, следя за тем, чтобы наши модели использовались только в целях, соответствующих нашим ценностям, и для этого мы предоставим «красной команде» бета-доступ к выявлять неадекватное поведение и корректировать его.
При этом мы убедим ключевые государственные и частные учреждения в том, что мы можем создать безопасные, контролируемые и эффективные технологии, которые позволят человечеству извлечь выгоду из этого научного прорыва. И это привлечет учреждения и страны к участию в нашем финансировании Серии А. В серии A (3 квартал 2024 г.) мы ожидаем, что потребуется собрать 200 миллионов долларов для обучения моделей, выходящих за рамки возможностей GPT-4.
Сильная финансовая поддержка позволит нам обучать модели в гораздо более крупной инфраструктуре, укрепляя наши позиции в качестве лидера в исследованиях ИИ и предпочтительного поставщика в европейском промышленном секторе.
(полный текст)