Entrevista丨Não acredite em grandes modelos, a inovação nesta fase ainda é "interativa"

Fonte da imagem: Gerada por Unbounded AI

**Fonte:**Análise de tecnologia de IA

Autor: Huang Nan; Editor: Chen Caixian

MOSS, que é considerado um "rebelde" em "The Wandering Earth", é uma vida digital feita sob medida para o Projeto Tinder. É muito inteligente e tem a capacidade de superar a moral humana, a filosofia, a ciência, a arte e outros conhecimentos. Pode encontrar a solução ideal e tomar a decisão "mais correta" no menor tempo. É uma inteligência perfeita.

Hoje em dia, o grande modelo é usado para a mudança tecnológica e fornece uma possibilidade quase absoluta para a implementação de "indústria" e "campo" dentro de um intervalo limitado. Na nova narrativa de comercialização de IA, as pessoas se juntam ativa ou passivamente ao frenesi de meio de competição de recursos.

É um luxo manter os seres humanos sãos para sempre. Assim como a civilização humana antes do MOSS, que experimentou uma história de destruição e renascimento, também precisamos urgentemente retornar à racionalidade técnica do carnaval de desembarque de modelos em grande escala.

Hua Xiansheng, CTO da Terminus, que está nesta corrida armamentista, também deu seu próprio pensamento calmo sobre o modelo grande e a resposta para quebrar a situação. A seguir está a transcrição da conversa entre Hua Xiansheng e AI Technology Review, que é extraído por AI Technology Review da seguinte forma:

1. Ponto de vista 1: Grandes modelos não são o fim do surgimento da inteligência

Apenas um ano após o "emergir inteligente" do grande modelo, o mundo físico e o método de produção de informação sofreram mudanças revolucionárias, que são mapeadas para um espaço urbano mais amplo e inevitavelmente trarão uma nova rodada de inovação. A esse respeito, Hua Xiansheng disse sem rodeios ao falar sobre análises de tecnologia de IA: "**Embora o modelo grande tenha realmente feito um grande progresso, não seja supersticioso em relação ao modelo grande, ele tem suas limitações."

De acordo com as lembranças de Hua Xiansheng, depois que o ChatGPT foi lançado no ano passado, ele prestou muita atenção a ele e o experimentou pela primeira vez. É inegável que é de fato um grande avanço. Por um lado, estou surpreso com a melhora substancial em sua capacidade, mas, francamente, também descobri que não é tão poderoso quanto imaginávamos, não é bom o suficiente.

"Quando o aprendizado profundo nasceu, todos pensavam que ele poderia resolver todos os problemas. Ele poderia usar um modelo suficientemente complexo e dados suficientes para construir modelos de vários problemas no mundo real. Mas no combate real, ele precisa ir fundo na indústria para realmente resolvê-lo. Problema. O grande modelo de hoje não mudou esta regra, ** ainda precisa se aprofundar no campo para entender o processo correspondente, dados, etc., a fim de resolver os problemas da indústria.**" Hua Xiansheng mencionado.

Hoje, no campus superinteligente de Terminus, os robôs macios tornaram-se existências semelhantes a MOSS na era dos modelos em grande escala. Ele se esconde nas telas grandes do parque e sabe tudo sobre o parque, você pode pedir direções, obter as informações necessárias e usá-lo para realizar operações. Por trás da coexistência de humanos e máquinas está o alinhamento semântico de grandes modelos e hardware IoT para alcançar um alto grau de inteligência entre humanos, dispositivos IoT e cidades.

Então, quando a AIoT encontrar o grande modelo, com que tipo de faíscas ela colidirá? Hua Xiansheng deu sua opinião: AI é a alma da AIoT, e IoT é sua percepção e controle, como suas "mãos e pés", e é claro que também inclui a base física de seu "corpo", ou seja, recursos de poder de computação .

O surgimento do LLM (Large Language Model) levou as capacidades de AI um passo mais perto de um objetivo mais geral: primeiro, Large language model pode ser usado diretamente como a interface interativa do sistema AIoT. Em segundo lugar, os dados AIoT são inerentemente multimodais. Espera-se que grandes modelos multimodais resolvam muitos problemas que precisam ser resolvidos através de "IA + regras" no passado.

Aos olhos de Hua Xiansheng, quando se trata de grandes modelos AIoT, existem duas rotas principais: a primeira é atualizar o que a IA fez no passado com um modelo grande e fazê-lo novamente, que é o que a maioria das pessoas faz; A primeira é um modelo AIoT de grande escala no verdadeiro sentido, onde os dados heterogêneos multimodais em AIoT são realmente usados** e colocados no modelo grande. “No entanto, esse tipo de modelo AIoT real pode aparecer em breve no futuro ou pode levar muito tempo”, disse Hua Xiansheng.

O grande modelo utilizado na indústria AIoT nesta fase ainda está na primeira rota técnica em sua opinião, ou seja, o modelo "pseudo" AIoT grande baseado em linguagem ou linguagem mais visão.

Antes do surgimento do grande modelo AIoT "pseudo", a conexão e a colaboração entre os dispositivos AIoT eram totalmente baseadas em regras predefinidas por especialistas humanos. Essas regras são fixas, incompletas e não evoluem automaticamente, e podem não ser compreendidas e seguidas diretamente por humanos.instrução. Mas com um modelo grande, podemos construir automaticamente e dinamicamente regras de conexão e coordenação entre objetos de acordo com contextos altamente diversos (qualquer estação, tempo, personagem, instrução, etc.), fornecendo uma experiência de cena inteligente, adaptável, diversificada e aprofundada integrada com instruções humanas.

Hua Xiansheng disse na entrevista: "Não importa qual rota, o modelo AIoT global mais típico ainda não apareceu.**"

2. Ponto de vista 2: Percepção estereoscópica, controle preciso, libera o poder pré-histórico dos grandes modelos AIoT

Quais recursos um modelo AIoT real deve ter? Hua Xiansheng acredita que existem duas grandes diferenças entre AIoT e outras indústrias. Em primeiro lugar, há muitos dados heterogêneos. Um grande número de sensores coleta vários dados, como clima, temperatura, umidade, eletricidade e precipitação, e as informações são mais ricas. Em segundo lugar, os dispositivos IoT não são apenas dispositivos de detecção, mas também controlar inversamente o ambiente. Dimensões de percepção mais ricas e poder de ação mais forte é o que o modelo AIoT deve ter.

Voltando à cena para capacitar o campo AIoT, é difícil alcançá-lo apenas contando com um modelo geral com muitas limitações. Portanto, o grande modelo AIoT deve atender a várias características:

Primeiro, ** profissionalismo **. Deve ser profissional e ser capaz de resolver problemas mais profissionais relacionados ao campo. Os modelos grandes de hoje parecem poderosos, mas não têm conhecimento de domínio suficiente para serem usados no parque.

Em segundo lugar, confiabilidade. O modelo precisa ter uma boa compreensão da cena com a qual se preocupa. Por um lado, ele precisa entender o suficiente introduzindo novos conhecimentos; em segundo lugar, também precisa de alguns métodos de restrição para tornar os resultados de saída altamente confiáveis, sem a "ilusão " de "absurdo sério".

Em terceiro lugar, o equilíbrio entre desempenho e custo. Do ponto de vista dos custos de treinamento, um modelo de uso geral particularmente grande não pode ser oferecido por uma empresa iniciante regular; em segundo lugar, durante a inferência, se o número de usuários ou visitas for muito grande, o serviço do modelo grande também falhará. Portanto, um modelo simplificado é uma boa escolha. Não precisamos que seja um sabe-tudo, desde que resolva minhas preocupações e tenha algum bom senso.

Em quarto lugar, o ** sistema passa **. Este grande modelo não só possui conhecimento, mas também precisa estar profundamente acoplado ao sistema do parque para obter informações em tempo real, podendo contra-controlar o parque em tempo real sob a premissa de autorização.

Ao se referir à tecnologia de inteligência incorporada que atraiu muita atenção recentemente, Hua Xiansheng mencionou na entrevista: O grande modelo AIoT que propusemos é a personificação da tecnologia de modelo grande existente. Os dispositivos AIoT são nossos olhos e ouvidos, bem como nossas mãos e pés. Atualmente, estamos nos concentrando mais na interação e ligação de cena e, posteriormente, substituiremos a percepção e o controle por modelos grandes. Em particular, nossos dispositivos e robôs super-IoT são eles próprios manifestações de inteligência incorporada, suportada por capacidades perfeitamente unidas do lado do servidor (IoT e maquetes) e capacidades do lado do robô (detecção, planejamento, atuação e interação), mas o robô de Terminus a inteligência incorporada é a inteligência incorporada da "colaboração máquina-ambiente", não apenas a habilidade direta do próprio robô.

3. Ponto de vista 3: A dificuldade de pouso, o desafio multimodal do grande modelo AIoT

Em relação às dificuldades na implementação do grande modelo AIoT, Hua Xiansheng acredita que as dificuldades incluem principalmente vários aspectos. Além de atender ao acima mencionado profissionalismo, confiabilidade, equilíbrio entre desempenho e custo e integração de sistemas, a implementação também requer real -desempenho de tempo. Será muito maior, porque é um sistema AIoT de trabalho real; além disso, sua evolução em recursos não é apenas a atualização do próprio modelo grande, mas também envolve acúmulo de dados, iteração de memória, etc. Em geral**, a maior dificuldade na implementação de grandes modelos AIoT está na multimodal**.

A longo prazo, é possível integrar os dados IoT no modelo AIoT de forma unificada, talvez centralizando em texto/imagens e alinhando outros dados IoT com o centro. Isso é o que é necessário. Mas devido à heterogeneidade e multimodalidade dos dados AIoT, a integração e utilização efetiva de diferentes tipos de dados precisam superar os desafios de representação e alinhamento de dados.

Em primeiro lugar, em termos de representação de dados, de que forma vários dados do sensor devem ser modelados, o texto de referência deve ser usado como entrada de sequência, a imagem de referência deve ser usada como entrada de matriz ou uma nova forma de modelagem? A esse respeito, tanto a academia quanto a indústria ainda são inconclusivas.

Além disso, em termos de alinhamento de dados, o modelo de linguagem aprende com a linguagem e gera linguagem, que é compreensível para os humanos. No entanto, no campo da AIoT, existem muitos dados sem rótulos e anotações de informações, e a maioria de seus contextos não não possui semântica explícita. , É impossível casar a semântica com os dados, o que torna os dados e informações gerados por ele incompreensíveis. Precisa ser reprocessado para estabelecer o alinhamento semântico entre os dados AIoT e a linguagem natural para dar significado para esses dados.

4. Ponto de vista 4: modelos grandes não são a única maneira de obter AGI, "modelo + sistema" é a solução correta

Diante das dificuldades enfrentadas pela IA em vários campos, como AIoT, como realizar a AGI no verdadeiro sentido? Hua Xiansheng acredita que atualmente existem três caminhos possíveis:

• O primeiro caminho é a evolução e o progresso contínuos do modelo grande, aumentando continuamente o tamanho do modelo, aumentando a quantidade de dados e a modalidade para gerar um modelo super grande para alcançar o AGI.
• O segundo caminho é subverter o conexionismo atual, estudar novas estruturas de modelo para aproximá-lo do modo de funcionamento do cérebro humano ou do coração humano e ter capacidades poderosas de análise, raciocínio, descoberta e inovação sob a premissa de baixo consumo de energia consumo .
• A terceira forma é o método de "modelo + sistema" proposto por nós; diferente da primeira forma com um sistema de modelo grande como núcleo, o sistema aqui mencionado é mais extenso, incluindo a fusão de grandes e pequenos modelos e evolução inclui a fusão de modelos e regras, a transformação mútua de regras e modelos e assim por diante. Através do método de fusão de sistemas e modelos, construiremos um corpo inteligente mais complexo que pode crescer continuamente.

Tomando o campo AIoT como exemplo, Hua Xiansheng disse que o próprio modelo de linguagem grande é uma extensão da AIoT e ** usa o modelo de linguagem grande como um "cérebro" com recursos de compreensão poderosos e, em seguida, conecta dispositivos AIoT através do sistema para combine-o com "olhos". , "nariz", "orelhas", "mãos" e "pés", para que tenha múltiplas capacidades de percepção, análise, tomada de decisão e controle, de modo a obter uma inteligência mais forte **. Quando "modelo + sistema" é usado cada vez mais e mais dados são acumulados, é possível realizar verdadeiramente o modelo AIoT de "grande unificação" de dados multimodais e heterogêneos.