Большая модель, открытый исходный код не может убить закрытый исходный код

Источник: Цереброполярное тело.

Источник изображения: сгенерировано Unbounded AI

Воздействие больших моделей с открытым исходным кодом на большие модели с закрытым исходным кодом стало очень сильным.

В марте этого года Meta выпустила Llama (альпака), которая быстро стала самой мощной большой моделью с открытым исходным кодом в сообществе ИИ и базовой моделью для многих моделей. Кое-кто шутил, что нынешний крупномасштабный модельный кластер — это просто сборище разноцветных «альпак».

А буквально несколько дней назад Meta выпустила бесплатную коммерческую версию «Альпаки 2» — Llama2, которая, как говорят, по производительности сравнима с GPT-3.5.

Это очень взрывоопасно во всем крупномасштабном модельном кругу.

Мы знаем, что различные интернет-компании и технологические компании соревнуются в обучении и запуске своих собственных крупномасштабных моделей, вкладывая много вычислительных ресурсов и затрат. Если их не удастся эффективно коммерциализировать, будет трудно возместить стоимость этих крупномасштабных моделей. Последующие итерации, обновления и апгрейды станут проблемами. Мало того, что научно-исследовательские компании потеряют деньги, но и пользователи, которые «тратят впустую все предыдущие усилия», вероятно, будут более огорчены.

Но теперь, когда есть бесплатные, открытые и мощные модели с открытым исходным кодом, кто готов давать деньги моделям с закрытым исходным кодом?

Есть действительно.

Открытый исходный код является общей тенденцией, но большая модель с закрытым исходным кодом по-прежнему имеет свое значение для существования и коммерческую ценность. Согласно текущему опыту в индустрии ИИ, чтобы эффективно использовать большие модели, вам все равно придется полагаться на закрытые источники.

Сегодня мы поговорим об этом вопросе Кому нужна большая модель с закрытым исходным кодом?

В промышленность, в промышленность

Конечной точкой коммерциализации больших моделей является промышленность, и это должен быть консенсус, не требующий слишком много объяснений.

Не так давно я участвовал во внутреннем совещании по местной крупномасштабной модели, и высокопоставленные руководители другой стороны четко заявили, что все они используют код с закрытым исходным кодом и настаивают на маршруте с закрытым исходным кодом, потому что они рассматривают возможность обучения крупномасштабных моделей и сотрудничество с отраслевыми партнерами, а многие частные данные неудобно открывать в открытом доступе.

Вы можете получить представление о полной картине, по крайней мере, в краткосрочной перспективе масштабные модели будут идти в промышленность, а реализация все еще зависит от закрытых источников.

** По моделям качество закрытых больших моделей выше. **

В качестве примера возьмем Llama 2, которая на данный момент является самой мощной.Meta сравнила результаты Llama 2 70B с моделью с закрытым исходным кодом.Результаты близки к GPT-3.5 на MMLU и GSM8K, но в тесте кодирования все еще есть значительный разрыв, и многим данным не хватает разнообразия и качества.

Конечно, скорость итерации оптимизации больших моделей с открытым исходным кодом очень высока. Но суть open source очень похожа на «половое размножение», то есть через массовое размножение и мутацию, так же, как и «кластер альпака» в начале, в условиях неопределенного будущего, с помощью эволюционного «выживания наиболее приспособленных» будет продолжать появляться потомство наилучшего качества. Поэтому существует множество веток открытого программного обеспечения.Для пользователей цена этого выбора очень высока.Помимо большого количества разработчиков проблемой является контроль версий.

**С точки зрения безопасности большие модели с закрытым исходным кодом более надежны. **

Большие модели с открытым исходным кодом должны соответствовать соглашению об открытом исходном коде, а коммерческое использование должно быть разрешено.Зарубежные большие модели с открытым исходным кодом также должны подпадать под территориальную юрисдикцию.GitHub однажды заблокировал учетные записи российских разработчиков. Использование зарубежных крупных моделей с открытым исходным кодом для разработки продуктов и рисков цепочки поставок объективно существует.

Итак, как насчет использования отечественных крупных моделей с открытым исходным кодом? Безопасность гарантирована, но с коммерческой точки зрения многие клиенты, такие как крупные государственные предприятия, также придают большое значение надежности крупных моделей в бизнесе и часто требуют одобрения бренда крупных компаний при покупке. С одной стороны, инвестиции в исследования и разработки выше, а сарафанное радио выше; с другой стороны, в случае, если большая модель создается неправильно, что приводит к коммерческим убыткам или проблемам с деловой репутацией, использование большой модели с закрытым исходным кодом может привлечь к ответственности поставщика услуг, а использование большой модели с открытым исходным кодом не может рассчитаться с глобальными разработчиками, верно?

Например, Huging Face, стартап-компания по созданию крупномасштабных моделей, предоставляет клиентам консультации по ИИ и является опорой сообщества открытого исходного кода.В нем говорится, что большое количество клиентов хотят использовать свои личные данные / профессиональные данные для обучения моделей и не хотят предоставлять эти данные OpenAl.

** С точки зрения индустриализации возможности долгосрочного обслуживания больших моделей с закрытым исходным кодом выше и более удобны в использовании. **

Посадка большой модели не заканчивается доступом к API, вставкой данных и настройкой параметров. Поскольку это новая технология, в интеграции больших моделей и бизнес-сценариев все еще существует много проблем. Например, большие модели нужно сжимать путем перегонки, чтобы уменьшить размер модели, прежде чем их можно будет развернуть на стороне устройства — во многих компаниях таких специалистов просто нет.

Другой пример: сочетание больших моделей и бизнеса требует участия нескольких ролей, таких как инженеры по продукту, эксплуатации и тестированию.Эти сервисные возможности трудно предоставить командам разработчиков ПО с открытым исходным кодом, состоящим в основном из программистов. Кроме того, долгосрочное применение больших моделей, вспомогательных средств, таких как вычислительная мощность, хранилище и сеть, должно идти в ногу. Сообщество открытого исходного кода не может помочь пользователям решить эти подробные проблемы «одним окном».

Есть также проблемы с конфиденциальностью данных.Большие модели не могут быть напрямую использованы в отрасли, но должны быть оптимизированы с помощью собственных данных сцены, а модели, обученные на этих данных, будут доступны и выпущены с открытым исходным кодом, что заставляет предприятия сильно беспокоиться.

Однажды мы брали интервью у умной группы медицинских исследований и разработок. Другая сторона сказала, что большой объем медицинских данных распространяется в крупных больницах и научно-исследовательских институтах, и это также связано с конфиденциальностью пациентов. У всех есть опасения по поводу использования данных для совместного обучения отраслевой модели. С одной стороны нельзя гарантировать безопасность, а с другой качество собственных данных высокое, но они не могут получить от них должной отдачи Как и другие организации с некачественными данными сложно координировать. При совместном построении больших моделей с открытым исходным кодом все еще существует много трудностей, связанных с получением данных, пониманием формулы и определением вклада всех сторон.

Большие модели с открытым исходным кодом должны уравновешивать конфликт между свободой технологических инноваций и преимуществами авторского права, в то время как большие модели с закрытым исходным кодом не имеют этой проблемы.Права владения и использования данных и моделей очень четкие, и они твердо находятся в руках самого предприятия.

Можно сказать, что текущая крупная модель с открытым исходным кодом не может удовлетворить фактические потребности бизнеса. Тем не менее, пользователи крупных моделей с открытым исходным кодом и независимые интеграторы должны получать коммерческую прибыль.Если крупная модель с открытым исходным кодом недоступна на коммерческой основе, эффект нехороший, и трудно заработать деньги, даже если она бесплатна, предприятие тщательно обдумает, стоит ли инвестировать в людей для ее разработки.

Поэтому в течение некоторого времени закрытый исходный код по-прежнему будет популярным выбором для индустрии крупномасштабных посадок моделей.

Иди в массы, иди в массы

Некоторые люди могут не понять, открытый исходный код бесплатен для коммерческого использования, и каждый может использовать большую модель по цене капусты.Это так удобно для разработчиков и корпоративных пользователей, почему вы до сих пор говорите, что закрытый исходный код лучше? Это платформа большой фабрики, ориентированной на зарабатывание денег?

Нет.

Любой, кто понимает открытый исходный код, поддержит открытый исходный код. Любой, кто поддерживает открытый исходный код, обратит внимание на коммерциализацию открытого исходного кода.

Академик Мей Хун из Китайской академии наук однажды сказал, что открытый исходный код проистекает из идеализма и энергично подпитывается коммерциализацией — это модель открытых инноваций. Без коммерциализации не может быть открытого исходного кода.

Поэтому, будь то открытый исходный код или закрытый исходный код, у того, кто раньше станет «коммерческим», будет лучшее будущее. В этом отношении крупномасштабные модели с закрытым исходным кодом могут иметь преимущество, ведь у производителей, уверенных в закрытии исходного кода, все еще есть две кисти и опыт исследований и разработок.

Итак, каковы преимущества больших моделей с открытым исходным кодом? Если крупномасштабная модель с закрытым исходным кодом идет в промышленность, то крупномасштабная модель с открытым исходным кодом должна идти в массы, ориентируясь на силу одного человека.

(ЛеКун считает, что Llama-v2 изменит рыночную структуру LLM)

Большая модель с открытым исходным кодом отличается от традиционного программного обеспечения с открытым исходным кодом, где исходный код помещается в него, а затем разработчики со всего мира вносят свой код, и все. Сотрудничество и совместное создание больших моделей больше отражается на процветании сообщества.Все работают вместе, чтобы оптимизировать модель, обогащать данные, улучшать инструменты и делать приложение комплексным...

В настоящее время модель с открытым исходным кодом может принести несколько преимуществ:

1. Технологические инновации. Сообщество с открытым исходным кодом может объединить большое количество технологических компаний, исследовательских институтов и разработчиков для оптимизации, улучшения и ускорения итераций модели, делая технологию модели и вспомогательные наборы данных, прикладные инструменты и т. д. богатыми и качественными, чтобы оставаться впереди.

2. Конкурс талантов. Как новая технология, большие модели испытывают нехватку талантов.Разрыв можно увеличить, привлекая выдающиеся таланты со всего мира для участия в сообществах с открытым исходным кодом и ускоряя обновление больших моделей. Когда есть конкуренция, бывает давление, поэтому после выхода LLama 2 вскоре стало известно, что OpenAI также начал рассматривать GPT-3.5 с открытым исходным кодом в течение полугода.Благословение разработчиков.

3. Экологическая закрытость. В настоящее время ИТ-решения и цифровая трансформация во всех сферах жизни используют большое количество технологий и приложений с открытым исходным кодом для создания крупномасштабной экосистемы с открытым исходным кодом, позволяющей ИТ-специалистам и предприятиям использовать связанные технологии, что очень полезно для последующей коммерциализации. Например, Microsoft, партнер/инвестор OpenAI, на этот раз также решила стать основным партнером Llama 2, помогая отдельным разработчикам, а также малым и средним компаниям вызывать Llama 2 с наименьшими затратами, что, несомненно, является большим преимуществом для Azure.

Не все большие модели с открытым исходным кодом могут быть успешными, и экология является ключевым рвом.

**Сэндвич-бисквит, ты куда? **

Так же, как iOS и Android, мобильная операционная система, конкуренция между открытым исходным кодом и закрытым исходным кодом не является битвой «не на жизнь, а на смерть» в определенной области, но каждая из них идет своим дифференцированным путем и открывает свой собственный мир. То же самое касается больших моделей.

Крупномасштабные модели с закрытым исходным кодом открыты для клиентов, крупномасштабные модели с открытым исходным кодом переживают бум, и у всех есть светлое будущее.

В таком случае, почему некоторые эксперты считают, что открытый исходный код Llama 2 — это огромный скачок для открытого исходного кода, но огромный удар по крупным компаниям, занимающимся разработкой моделей с закрытым исходным кодом?

Кто попал?

Ответ должен заключаться в том, что это базовый крупный производитель моделей, который не хочет быть только прикладным уровнем, но и не может сокрушить крупного производителя.

Исследователи Google однажды написали, что из-за сообщества открытого исходного кода у нас (Google и OpenAI) нет рва. Тем не менее, OpenAI также имеет большие модели с закрытым исходным кодом, такие как GPT-4, в качестве своей убийственной функции.Только когда он вынужден открывать исходный код, он рассматривает GPT-3.5 с открытым исходным кодом.В этом есть технический пробел. Тем более, что открытый исходный код GPT-3.5 раскрыл только из уст в уста, а конкретные успехи пока неизвестны.

Таким образом, такие ведущие производители технологий и облачные гиганты, как зарубежные Google, OpenAI и отечественные BATH, имеют преимущества в картах, деньгах, талантах, данных, осведомленности о рынке и клиентской базе.Выбор пути с закрытым исходным кодом для завершения коммерциализации и индустриализации крупных моделей имеет определенные преимущества и барьеры первопроходца.

Это проблема для тех производителей второго и третьего уровня, которые хотят обучить базовую универсальную большую модель.

Ранее большие и малые технологические компании и различные научно-исследовательские институты по всему миру стекались для обучения основных больших моделей, таких как некоторые единороги искусственного зрения машинного зрения, которые случайно стали «печеньем-бутербродом» между базовым слоем и прикладным слоем.

Он не может превзойти GPT с точки зрения прочности и не может превзойти Llama с точки зрения стоимости Базовая обученная большая модель общего назначения устарела еще до того, как была официально открыта для коммерческого использования, и ей суждено уйти в прошлое. Рынок не может конкурировать с гигантами, а степень открытости не так хороша, как у open source сообщества, окупить высокие затраты на разработку практически невозможно.

Возможно, будет мудрым решением отказаться от большой модели как можно скорее.

Например, масштабная модель отечественной ИИ-компании ранее была приватизирована по цене 300 000 юаней в год, а затем было объявлено, что она полностью открыта для академических исследований и разрешена для свободного коммерческого использования. Существует также возможность коммерциализации (например, Linux/Android/Red Hat) в сообществе крупномасштабных моделей с открытым исходным кодом, и в то же время можно избежать «лоб в лоб» с общей крупномасштабной моделью головы.

Для разработчиков прикладного уровня и интеграторов независимых поставщиков программного обеспечения эффективное использование крупных моделей с закрытым исходным кодом, получивших широкое признание в отрасли, может позволить клиентам быстрее принимать их, лучше подходить для бизнес-потребностей приватизированного индивидуального развертывания и быстрее завершать коммерческую посадку и рост доходов.

Для стартапов в области ИИ открытый исходный код можно использовать напрямую и избежать повторного создания колеса. Это может быть более идеальным и недорогим методом коммерциализации методом проб и ошибок. «Сообщение о группе для разогрева» способствует крупномасштабным проектам с открытым исходным кодом, способствует развитию крупных сообществ с открытым исходным кодом, а также будет получать отзывы сообщества и бизнес-обратная связь.

Развитие крупномасштабной модели Китая до высокого уровня требует не только лидирующей в мире крупномасштабной модели с закрытым исходным кодом, но и сообщества крупномасштабных моделей с открытым исходным кодом, имеющего мировое влияние.

Дорога затруднена и длинна, но путешествие приближается. Возможно, вы захотите использовать конструктивный подход, чтобы рассмотреть споры об открытом и закрытом исходном коде, придать некоторую уверенность отечественной крупной модели закрытого исходного кода, а также оказать некоторую поддержку и поддержку отечественному сообществу открытого исходного кода.