O melhor tratamento para alucinações do país! Com 53 bilhões de parâmetros, a capacidade de raciocínio do Baichuan2 aumentou 100% e a API foi aberta para uso comercial pela primeira vez.
O grande modelo de Baichuan foi totalmente atualizado ontem!
Apenas em 25 de setembro, a Baichuan Intelligent lançou oficialmente um modelo grande de 53 bilhões de parâmetros recém-atualizado - Baichuan2-53B.
Endereço da experiência:
Desta vez, suas habilidades de raciocínio matemático e lógico foram significativamente melhoradas.
Mais importante ainda, através do sistema de dados de alta qualidade e do aprimoramento da pesquisa, a alucinação de Baichuan2-53B foi bastante reduzida, tornando-o o maior modelo doméstico com o menor problema de alucinação.
Além disso, como uma das primeiras grandes empresas modelo a passar no processo de registro, a Baichuan Intelligence também abriu a interface API Baichuan2-53B.
Isso significa que a Baichuan Intelligence entrou oficialmente no campo To B e iniciará o processo de comercialização a partir de agora.
Processamento de ilusão, muito à frente na China
O mais digno de nota é que o recém-atualizado Baichuan2-53B já está muito à frente na indústria nacional em termos de processamento de “ilusão”.
Simplificando, “ilusão” significa que o LLM muitas vezes fala sério e sem sentido, sem quaisquer fatos conhecidos que o apoiem.
Embora o GPT-4 tenha um bom desempenho em diversas tarefas, ele não pode escapar dessa maldição.
Então, por que modelos grandes têm “alucinações”?
Em abril, o cofundador e cientista pesquisador da OpenAI, John Schulman, falou sobre as dificuldades que são difíceis de superar com modelos grandes em um discurso na UC Berkeley.
Na opinião de Schulman, existe um “gráfico de conhecimento” escondido dentro da caixa preta do LLM. Se não houver conhecimento nesta arquitetura, e apenas ensinar o conhecimento do modelo grande (ou seja, clonagem comportamental) por meio de SFT é na verdade ensiná-lo a produzir ilusões.
Em resposta a este problema, como a Baichuan Intelligence alcança desempenho líder do setor no “processamento de ilusão” de grandes modelos?
Em termos de construção de dados de alta qualidade, Baichuan2-53B criou um sistema único de qualidade de dados.
Classifique os dados com base em padrões de baixa e alta qualidade para garantir que Baichuan2-53B sempre use dados de alta qualidade para pré-treinamento.
Além disso, em termos de aquisição de informações, o Baichuan2-53B atualizou vários módulos, incluindo componentes-chave, como compreensão da intenção do comando, pesquisa inteligente e aprimoramento de resultados.
Este sistema abrangente conduz com precisão a pesquisa de termos de consulta, compreendendo profundamente as instruções do usuário e, finalmente, combina tecnologia de modelo de linguagem grande para otimizar a confiabilidade da geração de resultados do modelo, obter resultados de resposta de modelo mais precisos e inteligentes e reduzir as ilusões do modelo.
Por exemplo, quando se trata de explicar o problema do “gancho de três fios, quatro fios e cinco”, o GPT-4 está obviamente falando bobagem.
Em contraste, Baichuan2-53B deu a resposta correta na primeira vez.
Para outro exemplo, a resposta de Baichuan2-53B à pergunta clássica “Zhou Shuren e Lu Xun são a mesma pessoa?” é abrangente e precisa.
Pode-se ver que através da construção de um sistema de dados de alta qualidade e da otimização da tecnologia de aprimoramento de pesquisa, Baichuan2-53B reduz efetivamente a ilusão do modelo.
Os resultados da avaliação do FacTool mostram que o Baichuan2-53B tem uma pontuação abrangente de 140,5, ficando atrás apenas do GPT-4 entre os grandes modelos básicos convencionais, e está no nível de liderança na China.
FacTool é uma estrutura geral proposta conjuntamente por acadêmicos da Universidade Jiao Tong de Xangai, Universidade Carnegie Mellon, Universidade da Cidade de Hong Kong, Meta e outras instituições. Ele pode verificar a precisão factual do conteúdo gerado por grandes modelos (também pode verificar a precisão factual de conteúdo geral).sexo).
endereço do projeto:
Atualização de habilidade, raciocínio 100% aumentado
Na verdade, o Baichuan2-53B já é o sexto grande modelo lançado pela Baichuan Intelligence.
Desde que a Baichuan Intelligence foi criada em 10 de abril, ela tem inovado a uma velocidade surpreendente. A velocidade de iteração atingiu uma média de lançamento de um grande modelo a cada 28 dias!
Já em 8 de agosto, quando o Baichuan2-53B foi lançado pela primeira vez, ele mostrou excelente conhecimento de perguntas e respostas e habilidades de criação literária.
Se você quiser perguntar quais são os indicadores importantes para avaliar se um grande modelo está liderando, acredito que “capacidades de raciocínio matemático e lógico” serão a resposta dada por muitas pessoas na indústria.
Desta vez, com base no Baichuan-53B, o Baichuan2-53B concentra-se no fortalecimento de suas capacidades de raciocínio matemático e lógico e também atualiza de forma abrangente suas capacidades gerais.
Especificamente, sua capacidade de raciocínio lógico aumentou em 100%, sua capacidade matemática aumentou em 31%, sua capacidade de compreensão de linguagem aumentou em 29%, sua capacidade de criação de texto aumentou em 18% e sua capacidade de perguntas e respostas de conhecimento foi aumentada. em 9%.
### Raciocínio Matemático
Baichuan2-53B, que atualizou bastante sua habilidade matemática, pode facilmente resolver problemas matemáticos de palavras.
Por exemplo, a soma de dois números é 572, e o dígito das unidades de uma das adendas é 0. Depois de remover o 0, é igual à segunda adenda. Então, quais são esses dois números?
Baichuan2-53B lista a equação, assumindo que uma adenda é 10A e a outra é B, e então com base nas condições conhecidas, a solução correta é obtida.
Para outro exemplo, na pergunta abaixo, Baichuan2-53B calculou primeiro a receita total de transporte e depois dividiu-a pela perda por caixa de vidro para obter o número de caixas de vidro danificadas.
Vejamos outra pergunta clássica: “Quantos quilômetros é a distância entre dois lugares?” Baichuan2-53B obteve a resposta correta por meio de cálculos passo a passo.
Em termos de raciocínio, comecemos com uma pergunta simples: a previsão do tempo dizia que choveria nesta quarta-feira, e choveu ontem. Que dia da semana é hoje?
Baichuan2-53B criou "quinta-feira" sem esforço!
A seguir, o raciocínio é um pouco mais difícil: suponha que haja um lago com água infinita.
São duas chaleiras vazias com capacidades de 5 litros e 6 litros respectivamente. Como posso tirar 3 litros de água do lago apenas com essas 2 chaleiras?
Baichuan2-53B começou a responder sem problemas e deu a resposta correta em 6 etapas.
Após muitas rodadas de testes, pode-se descobrir que as capacidades de raciocínio matemático e lógico do Baichuan2-53B atualizado são de fato diferentes daquelas do mesmo modelo. Melhorou muito em tópicos nos quais não era muito bom antes.
Problema de pontualidade
Em termos de pontualidade, o desempenho do Baichuan2-53B é excelente.
Os Jogos Asiáticos de Hangzhou acabaram de abrir e o jogador mais jovem tem apenas 9 anos. Baichuan2-53B também respondeu corretamente à última pergunta.
Baichuan2-53B explicou com precisão o princípio da rede neural por trás do Optimus, o robô humanóide recém-anunciado pela Tesla.
Para dar outro exemplo, no início de setembro deste ano, o 80º Festival de Cinema de Veneza foi concluído na Itália.
Há algum filme e ator chinês ganhando prêmios neste festival de cinema?
Baichuan2-53B respondeu imediatamente que "Love is a Gun" de Li Hongqi ganhou o melhor primeiro longa-metragem, e Tony Leung ganhou o Prêmio Leão de Ouro pelo conjunto de sua obra.
O contrato de Boss Mei com o Paris expira no final de junho deste ano, e ele ingressou oficialmente no Inter Miami em julho.
Baichuan2-53B também sabe disso muito bem.
Da mesma forma, também pode dizer com precisão que o Druida ganhou um total de 24 Grand Slams, incluindo este em 2023.
Abra a API e entre oficialmente em uso comercial
Além disso, desta vez o Baichuan2-53B também abriu oficialmente a interface API, permitindo que empresas e desenvolvedores integrem o modelo em seus próprios aplicativos e serviços.
Endereço da API:
Existe algum limite para este serviço?
Pode-se dizer que quase nenhum. A interface API do Baichuan2-53B é muito conveniente e fácil de usar, requer apenas configuração e integração simples para acessá-la.
Além disso, é altamente compatível com a interface OpenAI, o que permite aos clientes migrar rapidamente, reduzindo significativamente os custos de implantação do modelo e os custos de conversão.
Em suma, agora, quer se trate de atendimento inteligente ao cliente, escrita inteligente ou recomendação inteligente, tudo pode ser suportado pelas capacidades de modelos grandes.
O que mais preocupa os usuários corporativos são as questões de conformidade de segurança.
Não há necessidade de se preocupar com isso.
Como uma das primeiras empresas modelo de grande escala a aprovar as "Medidas Provisórias para Gerenciamento de Serviços de Inteligência Artificial Generativa", a Baichuan Intelligent criou melhorias de segurança para Baichuan2-53B que cobrem o ciclo completo de pré-treinamento de modelo em grande escala, multa- ajuste e inferência.Pode-se dizer que todo o processo está sob segurança.
Com os ricos e poderosos recursos do modelo Baichuan2-53B, os usuários corporativos podem não apenas atualizar os serviços existentes e reduzir custos, mas também explorar mais cenários de aplicativos.
Acredita-se que neste momento já existe uma grande onda de inovações impressionantes fermentando no solo.
Referências:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
O melhor tratamento para alucinações do país! Com 53 bilhões de parâmetros, a capacidade de raciocínio do Baichuan2 aumentou 100% e a API foi aberta para uso comercial pela primeira vez.
Fonte original: Xinzhiyuan
O grande modelo de Baichuan foi totalmente atualizado ontem!
Apenas em 25 de setembro, a Baichuan Intelligent lançou oficialmente um modelo grande de 53 bilhões de parâmetros recém-atualizado - Baichuan2-53B.
Desta vez, suas habilidades de raciocínio matemático e lógico foram significativamente melhoradas.
Mais importante ainda, através do sistema de dados de alta qualidade e do aprimoramento da pesquisa, a alucinação de Baichuan2-53B foi bastante reduzida, tornando-o o maior modelo doméstico com o menor problema de alucinação.
Além disso, como uma das primeiras grandes empresas modelo a passar no processo de registro, a Baichuan Intelligence também abriu a interface API Baichuan2-53B.
Isso significa que a Baichuan Intelligence entrou oficialmente no campo To B e iniciará o processo de comercialização a partir de agora.
Processamento de ilusão, muito à frente na China
O mais digno de nota é que o recém-atualizado Baichuan2-53B já está muito à frente na indústria nacional em termos de processamento de “ilusão”.
Simplificando, “ilusão” significa que o LLM muitas vezes fala sério e sem sentido, sem quaisquer fatos conhecidos que o apoiem.
Então, por que modelos grandes têm “alucinações”?
Em abril, o cofundador e cientista pesquisador da OpenAI, John Schulman, falou sobre as dificuldades que são difíceis de superar com modelos grandes em um discurso na UC Berkeley.
Na opinião de Schulman, existe um “gráfico de conhecimento” escondido dentro da caixa preta do LLM. Se não houver conhecimento nesta arquitetura, e apenas ensinar o conhecimento do modelo grande (ou seja, clonagem comportamental) por meio de SFT é na verdade ensiná-lo a produzir ilusões.
Em termos de construção de dados de alta qualidade, Baichuan2-53B criou um sistema único de qualidade de dados.
Classifique os dados com base em padrões de baixa e alta qualidade para garantir que Baichuan2-53B sempre use dados de alta qualidade para pré-treinamento.
Este sistema abrangente conduz com precisão a pesquisa de termos de consulta, compreendendo profundamente as instruções do usuário e, finalmente, combina tecnologia de modelo de linguagem grande para otimizar a confiabilidade da geração de resultados do modelo, obter resultados de resposta de modelo mais precisos e inteligentes e reduzir as ilusões do modelo.
Por exemplo, quando se trata de explicar o problema do “gancho de três fios, quatro fios e cinco”, o GPT-4 está obviamente falando bobagem.
Os resultados da avaliação do FacTool mostram que o Baichuan2-53B tem uma pontuação abrangente de 140,5, ficando atrás apenas do GPT-4 entre os grandes modelos básicos convencionais, e está no nível de liderança na China.
Atualização de habilidade, raciocínio 100% aumentado
Na verdade, o Baichuan2-53B já é o sexto grande modelo lançado pela Baichuan Intelligence.
Desde que a Baichuan Intelligence foi criada em 10 de abril, ela tem inovado a uma velocidade surpreendente. A velocidade de iteração atingiu uma média de lançamento de um grande modelo a cada 28 dias!
Já em 8 de agosto, quando o Baichuan2-53B foi lançado pela primeira vez, ele mostrou excelente conhecimento de perguntas e respostas e habilidades de criação literária.
Se você quiser perguntar quais são os indicadores importantes para avaliar se um grande modelo está liderando, acredito que “capacidades de raciocínio matemático e lógico” serão a resposta dada por muitas pessoas na indústria.
Desta vez, com base no Baichuan-53B, o Baichuan2-53B concentra-se no fortalecimento de suas capacidades de raciocínio matemático e lógico e também atualiza de forma abrangente suas capacidades gerais.
Especificamente, sua capacidade de raciocínio lógico aumentou em 100%, sua capacidade matemática aumentou em 31%, sua capacidade de compreensão de linguagem aumentou em 29%, sua capacidade de criação de texto aumentou em 18% e sua capacidade de perguntas e respostas de conhecimento foi aumentada. em 9%.
Baichuan2-53B, que atualizou bastante sua habilidade matemática, pode facilmente resolver problemas matemáticos de palavras.
Por exemplo, a soma de dois números é 572, e o dígito das unidades de uma das adendas é 0. Depois de remover o 0, é igual à segunda adenda. Então, quais são esses dois números?
Baichuan2-53B lista a equação, assumindo que uma adenda é 10A e a outra é B, e então com base nas condições conhecidas, a solução correta é obtida.
Baichuan2-53B criou "quinta-feira" sem esforço!
São duas chaleiras vazias com capacidades de 5 litros e 6 litros respectivamente. Como posso tirar 3 litros de água do lago apenas com essas 2 chaleiras?
Baichuan2-53B começou a responder sem problemas e deu a resposta correta em 6 etapas.
Problema de pontualidade
Em termos de pontualidade, o desempenho do Baichuan2-53B é excelente.
Os Jogos Asiáticos de Hangzhou acabaram de abrir e o jogador mais jovem tem apenas 9 anos. Baichuan2-53B também respondeu corretamente à última pergunta.
Há algum filme e ator chinês ganhando prêmios neste festival de cinema?
Baichuan2-53B respondeu imediatamente que "Love is a Gun" de Li Hongqi ganhou o melhor primeiro longa-metragem, e Tony Leung ganhou o Prêmio Leão de Ouro pelo conjunto de sua obra.
Baichuan2-53B também sabe disso muito bem.
Além disso, desta vez o Baichuan2-53B também abriu oficialmente a interface API, permitindo que empresas e desenvolvedores integrem o modelo em seus próprios aplicativos e serviços.
Endereço da API:
Existe algum limite para este serviço?
Pode-se dizer que quase nenhum. A interface API do Baichuan2-53B é muito conveniente e fácil de usar, requer apenas configuração e integração simples para acessá-la.
Além disso, é altamente compatível com a interface OpenAI, o que permite aos clientes migrar rapidamente, reduzindo significativamente os custos de implantação do modelo e os custos de conversão.
Em suma, agora, quer se trate de atendimento inteligente ao cliente, escrita inteligente ou recomendação inteligente, tudo pode ser suportado pelas capacidades de modelos grandes.
O que mais preocupa os usuários corporativos são as questões de conformidade de segurança.
Não há necessidade de se preocupar com isso.
Como uma das primeiras empresas modelo de grande escala a aprovar as "Medidas Provisórias para Gerenciamento de Serviços de Inteligência Artificial Generativa", a Baichuan Intelligent criou melhorias de segurança para Baichuan2-53B que cobrem o ciclo completo de pré-treinamento de modelo em grande escala, multa- ajuste e inferência.Pode-se dizer que todo o processo está sob segurança.
Com os ricos e poderosos recursos do modelo Baichuan2-53B, os usuários corporativos podem não apenas atualizar os serviços existentes e reduzir custos, mas também explorar mais cenários de aplicativos.
Acredita-se que neste momento já existe uma grande onda de inovações impressionantes fermentando no solo.
Referências: