Modelo grande, código aberto não pode matar código fechado

Fonte: Corpo Cerebropolar See More

Fonte da imagem: Gerada por Unbounded AI

O impacto de grandes modelos de código aberto em grandes modelos de código fechado tornou-se muito violento.

Em março deste ano, a Meta lançou o Llama (alpaca), que rapidamente se tornou o modelo grande de código aberto mais poderoso da comunidade de IA e o modelo básico para muitos modelos. Algumas pessoas brincaram que o atual aglomerado de modelos em grande escala é apenas um monte de "alpacas" de várias cores.

E apenas alguns dias atrás, a Meta lançou uma versão comercial gratuita do "Alpaca 2" - Llama2, que é comparável em desempenho ao GPT-3.5.

Isso é muito explosivo em todo o círculo do modelo em grande escala.

Sabemos que várias empresas de Internet e tecnologia estão competindo para treinar e lançar seus próprios modelos de grande escala, investindo muitos recursos e custos de computação. Se eles não puderem ser comercializados de forma eficaz, será difícil recuperar o custo desses modelos de grande escala. Iterações, atualizações e upgrades subsequentes se tornarão problemas. Não apenas as empresas de P&D perderão dinheiro, mas os usuários que "desperdiçam todos os esforços anteriores" provavelmente ficarão mais angustiados.

Mas agora que existem modelos de código aberto gratuitos, abertos e poderosos, quem está disposto a dar dinheiro para modelos de código fechado?

Realmente existem.

O código aberto é a tendência geral, mas o grande modelo de código fechado ainda tem seu significado de existência e valor comercial. De acordo com a experiência atual na indústria de IA, para fazer bom uso de grandes modelos, você ainda precisa contar com fontes fechadas.

Hoje vamos falar sobre esse assunto: quem precisa de um modelo grande de código fechado?

Vá para a indústria, vá para a indústria

O ponto final da comercialização de grandes modelos é a indústria, e deve ser um consenso que não exija muitas explicações.

Não faz muito tempo, participei de uma reunião de comunicação interna de um modelo doméstico de grande escala, e os executivos de alto nível da outra parte afirmaram claramente que todos usam código de código fechado e insistem na rota de código fechado, porque consideram treinar modelos de grande escala e cooperar com parceiros da indústria, e muitos dos dados privados são inconvenientes para o código aberto.

Você pode ter uma visão geral, pelo menos no curto prazo, modelos em grande escala irão para a indústria e a implementação ainda depende de fontes fechadas.

** Em termos de modelos, a qualidade dos modelos grandes de código fechado é superior. **

Tome o Llama 2, que atualmente é o mais capaz, como exemplo. A Meta comparou os resultados do Llama 2 70B com o modelo de código fechado. Os resultados estão próximos de GPT-3.5 em MMLU e GSM8K, mas ainda há uma lacuna significativa no benchmark de codificação e muitos dados carecem de diversidade e qualidade.

Obviamente, a velocidade de iteração de otimização de modelos grandes de código aberto é muito rápida. Mas a essência do código aberto é muito semelhante à "reprodução sexual", ou seja, através da reprodução e mutação em massa, assim como o "aglomerado de alpacas" no início, diante de um futuro incerto, com a ajuda da "sobrevivência do mais apto" da evolução, a prole de melhor qualidade continuará a surgir. Portanto, existem muitos ramos de software de código aberto. Para os usuários, o custo dessa escolha é muito alto. Além do grande número de desenvolvedores, o controle de versão é um problema.

**Em termos de segurança, modelos grandes de código fechado são mais confiáveis. **

Grandes modelos de código aberto devem obedecer ao contrato de código aberto e o uso comercial precisa ser autorizado. Grandes modelos de código aberto no exterior também devem estar sujeitos à jurisdição territorial. GitHub uma vez baniu contas de desenvolvedores russos. O uso de grandes modelos de código aberto no exterior para desenvolver produtos e os riscos da cadeia de suprimentos existem objetivamente.

Então, que tal usar modelos grandes domésticos de código aberto? A segurança é garantida, mas do ponto de vista comercial, muitos clientes, como grandes empresas governamentais, também atribuem grande importância à confiabilidade de grandes modelos nos negócios e geralmente exigem o endosso da marca de grandes empresas no momento da compra. Por um lado, o investimento em P&D é maior e o boca a boca é maior; por outro lado, caso o modelo grande seja gerado de forma inadequada, resultando em perdas comerciais ou problemas de goodwill, o uso do modelo grande de código fechado pode responsabilizar o provedor de serviços e o uso do modelo grande de código aberto não pode acertar contas com desenvolvedores globais, certo?

Por exemplo, a Huging Face, uma empresa iniciante de modelo em grande escala, fornece consultoria de IA para clientes e é um pilar da comunidade de código aberto. Ela disse que um grande número de clientes deseja usar seus dados privados/profissionais para modelos de treinamento e não deseja fornecer esses dados ao OpenAl.

** Em termos de industrialização, a capacidade de serviço de longo prazo de grandes modelos de código fechado é mais forte e mais utilizável. **

A obtenção de um modelo grande não termina com o acesso a APIs, a inserção de dados e o ajuste de parâmetros. Por ser uma tecnologia emergente, ainda existem muitos desafios na integração de grandes modelos e cenários de negócios. Por exemplo, modelos grandes precisam ser compactados por destilação para reduzir o tamanho do modelo antes de serem implantados no lado do dispositivo.Muitas empresas simplesmente não possuem esses profissionais.

Para outro exemplo, a combinação de grandes modelos e negócios requer a participação de várias funções, como engenheiros de produto, operação e teste.Esses recursos de serviço são difíceis de fornecer para equipes de código aberto que são principalmente codificadores. Além disso, a aplicação a longo prazo de grandes modelos, recursos de suporte, como poder de computação, armazenamento e rede, deve continuar. A comunidade de código aberto não pode ajudar os usuários a resolver esses problemas detalhados de maneira "única".

Há também preocupações com a privacidade de dados. Modelos grandes não podem ser usados diretamente pela indústria, mas devem ser otimizados por meio de dados de cena proprietários, e os modelos treinados nesses dados serão de código aberto e lançados, o que preocupa muito as empresas.

Certa vez, entrevistamos uma equipe inteligente de pesquisa e desenvolvimento médico. A outra parte disse que uma grande quantidade de dados médicos é distribuída nos principais hospitais e instituições de pesquisa e também envolve a privacidade do paciente. Todos têm preocupações sobre o uso dos dados para treinar em conjunto um modelo da indústria. Por um lado, a segurança não pode ser garantida e, por outro lado, a qualidade de seus próprios dados é alta, mas eles não podem obter retornos adequados. Como outras organizações com dados de baixa qualidade, é difícil coordená-los. Na co-construção de grandes modelos de código aberto, ainda existem muitas dificuldades em como obter dados, entender a fórmula e determinar as contribuições de todas as partes.

Grandes modelos de código aberto precisam equilibrar o conflito entre liberdade de inovação tecnológica e benefícios de direitos autorais, enquanto grandes modelos de código fechado não têm esse problema. Os direitos de propriedade e uso de dados e modelos são muito claros e estão firmemente nas mãos da própria empresa.

Pode-se dizer que o atual modelo grande de código aberto não pode atender às necessidades reais de negócios. No entanto, usuários de grandes modelos de código aberto e integradores de ISV precisam obter retornos comerciais. Se o modelo grande de código aberto não estiver disponível comercialmente, o efeito não é bom e é difícil ganhar dinheiro, mesmo que seja gratuito, a empresa considerará cuidadosamente se deve investir em pessoas para desenvolvê-lo.

Portanto, por algum tempo, o código fechado ainda será uma escolha popular para a indústria de aterrissagem de modelos em grande escala.

Vá às missas, vá às missas

Algumas pessoas podem não entender, o código aberto é gratuito para uso comercial e todos podem usar um modelo grande pelo preço do repolho. É tão amigável para desenvolvedores e usuários corporativos, por que você ainda diz que o código fechado é melhor? É a plataforma de uma grande fábrica focada em ganhar dinheiro?

Não.

Qualquer pessoa que entenda de código aberto apoiará o código aberto. Qualquer pessoa que apoie o código aberto prestará atenção à comercialização do código aberto.

O acadêmico Mei Hong, da Academia Chinesa de Ciências, disse uma vez que o código aberto se origina do idealismo e é vigorosamente alimentado pela comercialização.É um modelo de inovação aberta. Sem comercialização, não pode haver código aberto.

Portanto, seja open source ou closed source, quem conseguir ser "comercial" mais cedo terá um futuro melhor. A esse respeito, modelos de grande escala de código fechado podem ter uma vantagem. Afinal, os fabricantes com confiança para fechar o código ainda têm dois pincéis e experiência em P&D.

Então, quais são as vantagens dos modelos grandes de código aberto? Se o modelo de grande escala de código fechado está indo para a indústria, o modelo de grande escala de código aberto deve ir para as massas, concentrando-se na força de uma pessoa.

(LeCun acredita que o Llama-v2 mudará a estrutura de mercado do LLM)

O grande modelo de código aberto é diferente do software de código aberto tradicional, onde o código-fonte é colocado nele e, em seguida, desenvolvedores de todo o mundo contribuem com o código e pronto. A colaboração e co-construção de grandes modelos é mais refletida na prosperidade da comunidade. Todos trabalham juntos para otimizar o modelo, enriquecer os dados, melhorar as ferramentas e tornar o aplicativo abrangente...

Neste momento, o modelo open source pode trazer vários benefícios:

1. Inovação tecnológica. A comunidade de código aberto pode reunir um grande número de empresas de tecnologia, instituições de pesquisa e desenvolvedores para otimizar, melhorar e acelerar as iterações do modelo, tornando a tecnologia do modelo e conjuntos de dados de suporte, ferramentas de aplicativos, etc. ricos e de alta qualidade, para ficar à frente.

2. Competição de talentos. Como uma tecnologia emergente, grandes modelos estão em falta de talentos. A lacuna pode ser ampliada atraindo talentos excepcionais de todo o mundo para contribuir por meio de comunidades de código aberto e acelerar a atualização de grandes modelos. Há pressão quando há competição, portanto, após o lançamento do LLama 2, logo foi relatado que a OpenAI também começou a considerar o código aberto GPT-3.5 dentro de meio ano.

3. Fechamento ecológico. Atualmente, as soluções de TI e a transformação digital em todas as esferas da vida usam um grande número de tecnologias e aplicativos de código aberto para construir um ecossistema de código aberto em grande escala, permitindo que talentos e empresas de TI usem tecnologias relacionadas, o que é muito útil para comercialização posterior. Por exemplo, a Microsoft, parceira/investidora da OpenAI, também optou por se tornar a principal parceira do Llama 2 desta vez, apoiando desenvolvedores individuais e pequenas e médias empresas a chamarem o Llama 2 ao menor custo, o que sem dúvida é um grande benefício para o azure.

Nem todos os grandes modelos de código aberto podem ter sucesso, e a ecologia é o fosso principal.

**Biscoito recheado, onde você vai? **

Assim como iOS e Android, o sistema operacional móvel, a competição entre código aberto e código fechado não é uma luta de "vida ou morte" em um determinado campo, mas cada um segue um caminho diferenciado e inaugura seu próprio mundo. O mesmo vale para modelos grandes.

Os modelos de grande escala de código fechado estão abertos para receber os clientes, os modelos de grande escala de código aberto estão crescendo e todos têm um futuro brilhante.

Sendo assim, por que alguns especialistas acreditam que o código aberto do Llama 2 é um grande salto para o código aberto, mas um grande golpe para as grandes empresas modelo de código fechado?

Quem atingiu?

A resposta deve ser que é um fabricante básico de modelos em larga escala que não está disposto a ser apenas uma camada de aplicação, mas também incapaz de sobrecarregar um grande fabricante.

Os pesquisadores do Google escreveram uma vez que, por causa da comunidade de código aberto, nós (Google e OpenAI) não temos fosso. No entanto, o OpenAI também tem modelos grandes de código fechado, como o GPT-4, como seu recurso matador. Somente quando é forçado a abrir o código, considera o GPT-3.5 de código aberto. Há uma lacuna técnica nele. Além disso, o código aberto do GPT-3.5 revelou apenas o boca a boca, e o progresso específico ainda é desconhecido.

Portanto, os principais fabricantes de tecnologia e gigantes da nuvem, como Google no exterior, OpenAI e BATH doméstico, têm vantagens em cartões, dinheiro, talentos, dados, conhecimento do mercado e base de clientes. Seguir a rota de código fechado para concluir a comercialização e a industrialização de modelos grandes tem certas vantagens e barreiras pioneiras.

Isso é um problema para os fabricantes de segundo e terceiro níveis que desejam treinar o modelo grande básico de uso geral.

Anteriormente, grandes e pequenas empresas de tecnologia e várias instituições de pesquisa científica em todo o mundo se reuniram para treinar grandes modelos básicos, como alguns unicórnios de IA de visão de máquina, que acidentalmente se tornaram "biscoitos sanduíche" entre a camada básica e a camada de aplicação.

Ele não pode vencer o GPT em termos de força e não pode vencer o Llama em termos de custo. O modelo grande básico de propósito geral treinado já está desatualizado antes de ser oficialmente aberto para uso comercial e está destinado a ser uma coisa do passado. O mercado não pode competir com gigantes, e o grau de abertura não é tão bom quanto o da comunidade open source, é quase impossível recuperar os altos custos de desenvolvimento.

Pode ser uma escolha sábia desistir do modelo grande o mais rápido possível.

Por exemplo, o modelo em grande escala de uma empresa doméstica de IA foi previamente privatizado a um preço de 300.000 yuans por ano e, em seguida, foi anunciado que estava totalmente aberto à pesquisa acadêmica e autorizado para uso comercial gratuito. Há também a possibilidade de comercialização (como Linux/Android/Red Hat) na comunidade de código aberto de modelo em grande escala e, ao mesmo tempo, pode evitar "cabeça a cabeça" com o modelo geral em grande escala da cabeça.

Para desenvolvedores de camadas de aplicativos e integradores ISV, fazer bom uso de grandes modelos de código fechado com alta aceitação do setor pode permitir que os clientes os aceitem mais rapidamente, sejam mais adequados para as necessidades de negócios de implantação personalizada privatizada e concluam o desembarque comercial e o crescimento da receita mais rapidamente.

Para start-ups de IA, o código aberto pode ser usado diretamente e evitar a criação repetida de rodas. Pode ser um método de comercialização de tentativa e erro mais ideal e de baixo custo. "Relatar o grupo para aquecer" contribui para projetos de código aberto em grande escala, promove o desenvolvimento de comunidades de código aberto em grande escala e também receberá comentários da comunidade e comentários de negócios.

O desenvolvimento do modelo de grande escala da China para um alto nível requer não apenas o modelo de grande escala de código fechado líder mundial para assumir a liderança, mas também uma comunidade de modelo de grande escala de código aberto com influência mundial.

A estrada é obstruída e longa, mas a jornada se aproxima. Pode querer usar uma atitude construtiva para olhar para as disputas de código aberto e código fechado, dar alguma confiança ao grande modelo doméstico de código fechado e também dar algum incentivo e apoio à comunidade doméstica de código aberto.