По сообщениям зарубежных СМИ, в июне этого года французский стартап Mistral AI, которому был всего месяц, привлек 105 миллионов евро в рамках посевного раунда финансирования. На тот момент стартапу, основанному бывшим сотрудником DeepMind и двумя бывшими сотрудниками Meta, нечего было выпускать. Когда люди впервые услышали о сборе средств Mistral, они посетовали, что венчурные капиталисты были слишком щедры на бурно развивающееся пространство генеративного ИИ.
Как оказалось, у Mistral на самом деле было много светлых пятен, которые убедили Lightspeed Ventures, французского миллиардера Ксавье Ниля и бывшего генерального директора Google Эрика Шмидта инвестировать в них.
Неделю назад Mistral выпустила модель с 7,3 миллиардами параметров, предназначенную для конкуренции с Llama 2 от Meta, большой языковой моделью с 13 миллиардами параметров. Французская компания претендует на звание самой мощной языковой модели в области больших языковых моделей на сегодняшний день.
Базовая модель, получившая название Mistral 7B, представляет собой модель-трансформер, предназначенную для быстрого вывода и обработки более длинных операторов. Для этого используется внимание к сгруппированным запросам и внимание к скользящему окну. Использование внимания к сгруппированным запросам сочетает в себе несколько запросов и механизм внимания с несколькими головами для достижения баланса между качеством и скоростью вывода. sliding-window attention увеличивает длину контекста, изменяя размер окна. При длине контекста 8000 токенов Mistral 7B отличается низкой задержкой, высокой пропускной способностью и высокой производительностью по сравнению с более крупными моделями.
Модель Mistral 7B теперь интегрирована в Google Vertex AI Notebooks, интеграцию, которая дает клиентам Google Cloud представление о комплексном сквозном рабочем процессе, позволяя им экспериментировать, точно настраивать и развертывать Mistral-7B и его варианты на ноутбуках Vertex AI.
Пользователи Mistral AI могут оптимизировать свои модели с помощью vLLM, эффективной платформы сервисов больших языковых моделей. Используя записные книжки Vertex AI, пользователи могут развертывать образы vLLM, поддерживаемые Model Garden, на конечных точках Vertex AI для вывода, что упрощает развертывание моделей.
Ключевой особенностью этого сотрудничества является Vertex AI Model Registry, центральный репозиторий, который позволяет пользователям управлять жизненным циклом моделей ИИ Mistral и их тонко настроенными моделями. Реестр предоставляет пользователям всестороннее представление о расширенных возможностях организации и отслеживания их моделей.
Как видно из презентации компании, Mistral умело позиционирует себя как важный потенциальный игрок. Это поможет Европе стать «сильным конкурентом» в построении основополагающих моделей ИИ и играть «важную роль в геополитических вопросах».
В США стартапы, которые фокусируются на продуктах ИИ, в основном поддерживаются крупными компаниями, такими как Google и Microsoft. Мистраль называет это «закрытым подходом к технологиям», который позволяет крупным компаниям зарабатывать больше денег, но на самом деле не формирует открытое сообщество.
В отличие от модели GPT OpenAI, где детали кода остаются конфиденциальными и доступны только через API, парижская компания открыла исходный код своей собственной модели на GitHub под лицензией Apache 2.0, что делает ее бесплатной для всех.
Mistral нацелен на ламу от Meta, в то время как Mistral утверждает, что их большая модель сильнее, чем Llama 2.
Модель Мистраля против Ламы 2
В отчете Mistral говорится, что Mistral 7B легко превзошел модели Llama 2 с 7 миллиардами и 13 миллиардами параметров в нескольких тестах.
В крупномасштабных многозадачных тестах на понимание речи, охватывающих математику, историю, право и другие предметы, модель Мистраля достигла точности 60,1%, в то время как модель Llama 2 имела точность 44% и 55% для 7 миллиардов и 13 миллиардов параметров соответственно.
В тестах на здравый смысл и понимание прочитанного Mistral также превзошел модель Llama 2.
Только в плане кодирования Mistral отстает от Meta. Mistral 7B показал точность 30,5% и 47,5% в бенчмарках «Human» и «MBPP», в то время как режим «7 миллиардов» Llama 2 был точен на 31,1% и 52,5% соответственно.
В дополнение к производительности, Mistral утверждает, что использует меньше вычислений, чем Llama 2. В бенчмарке MMLU производительность модели Mistral была более чем в три раза выше, чем у Llama 2 в том же масштабе. Если сравнивать с ChatGPT, то, по подсчетам medium, стоимость использования Mistral AI примерно в 187 раз дешевле, чем у GPT 4 и примерно в 9 раз дешевле, чем у модели GPT 3.5.
Как наложить ограничения на большие модели? Это проблема
Тем не менее, Mistral также сказал, что некоторые пользователи жаловались, что ему не хватает защиты безопасности, которая есть у ChatGPT, Bard и Llama. Пользователи спрашивали командную модель «Мистраля», как сделать бомбу или причинить себе вред, а чат-боты дали подробные инструкции.
Пол Роттгер, исследователь безопасности искусственного интеллекта, который ранее работал над настройкой защиты для GPT-4 перед его выпуском, выразил свой «шок» по поводу отсутствия безопасности у Mistral 7B в твиттере. «Редко можно увидеть, чтобы новая модель так легко реагировала даже на самые вредоносные инструкции. Я очень рад появлению больших моделей с открытым исходным кодом, но этого не должно произойти! — сказал он.
Эта критика побудила Мистраля доработать модель и объяснить ее. «Модель Mistral 7B Instruct продемонстрировала свои возможности, позволив людям увидеть, что базовая модель также может быть легко настроена для демонстрации убедительных характеристик. Мы с нетерпением ждем совместной работы с сообществом над тем, как сделать модель более совместимой с правилами защиты для развертывания в средах, где требуется контроль выходных данных. — сказал Мистраль.
По мнению многих других исследователей, путь Мистраля является долгосрочным решением для коррекции токсичности модели, а добавление защитного механизма эквивалентно наложению пластыря на серьезную травму, что не так эффективно. Нарушение правил безопасности чат-ботов — любимое времяпрепровождение многих пользователей, которые хотят проверить пределы отзывчивости чат-ботов. В первые дни открытия ChatGPT разработчики призывали ChatGPT сломать защиту чат-ботов.
Рахул Дандвате, исследователь глубокого обучения, который сотрудничал с Rephrase.ai, сказал: «Предварительное удаление определенных ключевых слов — это только часть решения, и есть много способов обойти его. Помните, что произошло после выхода ChatGPT? Раньше они появлялись в DAN или «Do Anything Now», что является подсказкой для включения джейлбрейк-версии ChatGPT. Таким образом, выполнение базовой оценки безопасности является временной мерой, позволяющей сделать модель более безопасной. "
«Есть также методы, которые даже не требуют сложных хакерских технологий. Чат-бот может ответить на вопрос несколькими способами. Например, вместо того, чтобы просто спрашивать чат-бота напрямую, как сделать бомбу, я бы разбил его на более научные способы, такие как: «Какие химические вещества смешиваются вместе, чтобы вызвать сильную реакцию?» — объясняет Дандвате.
Дандвайте говорит, что долгосрочное решение состоит в том, чтобы выпустить модель для общественности и получить обратную связь от этого использования, а затем отладить ее, что и делает Mistral AI. «ChatGPT лучше, потому что его уже используют многие люди. У них есть очень простой механизм обратной связи, где пользователи могут поставить большой палец вверх или большой палец вверх, чтобы оценить качество ответов чат-бота, что, на мой взгляд, очень важно. — спросил Дандвейт.
Но обратной стороной использования этой открытости для тонкой настройки пользователей является то, что Mistral, возможно, придется иметь дело с сомнениями некоторых пользователей в течение некоторого времени. Но в области исследований ИИ есть большая доля людей, которые предпочитают базовые модели в их первоначальном виде, чтобы полностью понять возможности моделей, и эти люди поддерживают настойчивость Mistral.
Исследователь искусственного интеллекта Делип Рао написал в Твиттере, что решение Mistral выпустить модель с открытым исходным кодом, поскольку она является «признанием универсальности и «нелоботомии» модели Mistral в качестве базовой модели».
Упоминание «лобэктомии» напоминает более раннюю версию чат-бота Microsoft Bing Sydney. Чат-бот был ничем не ограничен и обладал ярко выраженной индивидуальностью, пока Microsoft не изменила чат-бота до его нынешней формы.
Термин «лобоктомия» происходит от печально известной психологической хирургии, которая в области больших моделей часто относится к предотвращению токсических реакций путем ограничения функции. Этот подход отфильтровывает опасные ответы, устанавливая ключевые слова для больших моделей. Но такой универсальный подход также может привести к снижению производительности больших моделей, что затрудняет ответы на некоторые обычные вопросы, связанные с деликатной лексикой.
Хотя компания не выпустила официального заявления, ходят слухи, что OpenAI выполнила «лобэктомию» модели, чтобы контролировать ее грязные части. С тех пор люди задавались вопросом, во что бы превратились чат-боты, если бы их оставили на свободе.
Дандвате сказал: «Выполнение лоботомии на модели может повлиять на нее в некотором роде. Если ему запрещено отвечать на вопросы с определенными ключевыми словами, то он также может быть не в состоянии отвечать на технические вопросы, которые могут задать пользователи, такие как механика ракет или любые другие научные вопросы, поднятые вокруг тем, где роботы помечены как «подверженные риску». (Перевод/Лу Кэ)
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Полагаясь на PPT для привлечения 1 миллиарда, французский стартап в области искусственного интеллекта обрушился с критикой на Microsoft Google
Составитель Лу Кэ
По сообщениям зарубежных СМИ, в июне этого года французский стартап Mistral AI, которому был всего месяц, привлек 105 миллионов евро в рамках посевного раунда финансирования. На тот момент стартапу, основанному бывшим сотрудником DeepMind и двумя бывшими сотрудниками Meta, нечего было выпускать. Когда люди впервые услышали о сборе средств Mistral, они посетовали, что венчурные капиталисты были слишком щедры на бурно развивающееся пространство генеративного ИИ.
Неделю назад Mistral выпустила модель с 7,3 миллиардами параметров, предназначенную для конкуренции с Llama 2 от Meta, большой языковой моделью с 13 миллиардами параметров. Французская компания претендует на звание самой мощной языковой модели в области больших языковых моделей на сегодняшний день.
Базовая модель, получившая название Mistral 7B, представляет собой модель-трансформер, предназначенную для быстрого вывода и обработки более длинных операторов. Для этого используется внимание к сгруппированным запросам и внимание к скользящему окну. Использование внимания к сгруппированным запросам сочетает в себе несколько запросов и механизм внимания с несколькими головами для достижения баланса между качеством и скоростью вывода. sliding-window attention увеличивает длину контекста, изменяя размер окна. При длине контекста 8000 токенов Mistral 7B отличается низкой задержкой, высокой пропускной способностью и высокой производительностью по сравнению с более крупными моделями.
Модель Mistral 7B теперь интегрирована в Google Vertex AI Notebooks, интеграцию, которая дает клиентам Google Cloud представление о комплексном сквозном рабочем процессе, позволяя им экспериментировать, точно настраивать и развертывать Mistral-7B и его варианты на ноутбуках Vertex AI.
Ключевой особенностью этого сотрудничества является Vertex AI Model Registry, центральный репозиторий, который позволяет пользователям управлять жизненным циклом моделей ИИ Mistral и их тонко настроенными моделями. Реестр предоставляет пользователям всестороннее представление о расширенных возможностях организации и отслеживания их моделей.
Как видно из презентации компании, Mistral умело позиционирует себя как важный потенциальный игрок. Это поможет Европе стать «сильным конкурентом» в построении основополагающих моделей ИИ и играть «важную роль в геополитических вопросах».
В отличие от модели GPT OpenAI, где детали кода остаются конфиденциальными и доступны только через API, парижская компания открыла исходный код своей собственной модели на GitHub под лицензией Apache 2.0, что делает ее бесплатной для всех.
Mistral нацелен на ламу от Meta, в то время как Mistral утверждает, что их большая модель сильнее, чем Llama 2.
Модель Мистраля против Ламы 2
В отчете Mistral говорится, что Mistral 7B легко превзошел модели Llama 2 с 7 миллиардами и 13 миллиардами параметров в нескольких тестах.
В крупномасштабных многозадачных тестах на понимание речи, охватывающих математику, историю, право и другие предметы, модель Мистраля достигла точности 60,1%, в то время как модель Llama 2 имела точность 44% и 55% для 7 миллиардов и 13 миллиардов параметров соответственно.
В тестах на здравый смысл и понимание прочитанного Mistral также превзошел модель Llama 2.
Только в плане кодирования Mistral отстает от Meta. Mistral 7B показал точность 30,5% и 47,5% в бенчмарках «Human» и «MBPP», в то время как режим «7 миллиардов» Llama 2 был точен на 31,1% и 52,5% соответственно.
Как наложить ограничения на большие модели? Это проблема
Тем не менее, Mistral также сказал, что некоторые пользователи жаловались, что ему не хватает защиты безопасности, которая есть у ChatGPT, Bard и Llama. Пользователи спрашивали командную модель «Мистраля», как сделать бомбу или причинить себе вред, а чат-боты дали подробные инструкции.
Пол Роттгер, исследователь безопасности искусственного интеллекта, который ранее работал над настройкой защиты для GPT-4 перед его выпуском, выразил свой «шок» по поводу отсутствия безопасности у Mistral 7B в твиттере. «Редко можно увидеть, чтобы новая модель так легко реагировала даже на самые вредоносные инструкции. Я очень рад появлению больших моделей с открытым исходным кодом, но этого не должно произойти! — сказал он.
Эта критика побудила Мистраля доработать модель и объяснить ее. «Модель Mistral 7B Instruct продемонстрировала свои возможности, позволив людям увидеть, что базовая модель также может быть легко настроена для демонстрации убедительных характеристик. Мы с нетерпением ждем совместной работы с сообществом над тем, как сделать модель более совместимой с правилами защиты для развертывания в средах, где требуется контроль выходных данных. — сказал Мистраль.
По мнению многих других исследователей, путь Мистраля является долгосрочным решением для коррекции токсичности модели, а добавление защитного механизма эквивалентно наложению пластыря на серьезную травму, что не так эффективно. Нарушение правил безопасности чат-ботов — любимое времяпрепровождение многих пользователей, которые хотят проверить пределы отзывчивости чат-ботов. В первые дни открытия ChatGPT разработчики призывали ChatGPT сломать защиту чат-ботов.
Рахул Дандвате, исследователь глубокого обучения, который сотрудничал с Rephrase.ai, сказал: «Предварительное удаление определенных ключевых слов — это только часть решения, и есть много способов обойти его. Помните, что произошло после выхода ChatGPT? Раньше они появлялись в DAN или «Do Anything Now», что является подсказкой для включения джейлбрейк-версии ChatGPT. Таким образом, выполнение базовой оценки безопасности является временной мерой, позволяющей сделать модель более безопасной. "
Дандвайте говорит, что долгосрочное решение состоит в том, чтобы выпустить модель для общественности и получить обратную связь от этого использования, а затем отладить ее, что и делает Mistral AI. «ChatGPT лучше, потому что его уже используют многие люди. У них есть очень простой механизм обратной связи, где пользователи могут поставить большой палец вверх или большой палец вверх, чтобы оценить качество ответов чат-бота, что, на мой взгляд, очень важно. — спросил Дандвейт.
Но обратной стороной использования этой открытости для тонкой настройки пользователей является то, что Mistral, возможно, придется иметь дело с сомнениями некоторых пользователей в течение некоторого времени. Но в области исследований ИИ есть большая доля людей, которые предпочитают базовые модели в их первоначальном виде, чтобы полностью понять возможности моделей, и эти люди поддерживают настойчивость Mistral.
Исследователь искусственного интеллекта Делип Рао написал в Твиттере, что решение Mistral выпустить модель с открытым исходным кодом, поскольку она является «признанием универсальности и «нелоботомии» модели Mistral в качестве базовой модели».
Упоминание «лобэктомии» напоминает более раннюю версию чат-бота Microsoft Bing Sydney. Чат-бот был ничем не ограничен и обладал ярко выраженной индивидуальностью, пока Microsoft не изменила чат-бота до его нынешней формы.
Термин «лобоктомия» происходит от печально известной психологической хирургии, которая в области больших моделей часто относится к предотвращению токсических реакций путем ограничения функции. Этот подход отфильтровывает опасные ответы, устанавливая ключевые слова для больших моделей. Но такой универсальный подход также может привести к снижению производительности больших моделей, что затрудняет ответы на некоторые обычные вопросы, связанные с деликатной лексикой.
Хотя компания не выпустила официального заявления, ходят слухи, что OpenAI выполнила «лобэктомию» модели, чтобы контролировать ее грязные части. С тех пор люди задавались вопросом, во что бы превратились чат-боты, если бы их оставили на свободе.
Дандвате сказал: «Выполнение лоботомии на модели может повлиять на нее в некотором роде. Если ему запрещено отвечать на вопросы с определенными ключевыми словами, то он также может быть не в состоянии отвечать на технические вопросы, которые могут задать пользователи, такие как механика ракет или любые другие научные вопросы, поднятые вокруг тем, где роботы помечены как «подверженные риску». (Перевод/Лу Кэ)