Em 12 de outubro, a KLCII anunciou que a série de modelos de linguagem grande Aquila Aquila foi totalmente atualizada para Aquila2, e o parâmetro Aquila2-34B de 34 bilhões foi adicionado. É relatado que o novo modelo tem um bom desempenho em inferência e generalização, e alcançou uma série de conquistas em cenários como agentes, geração de código e recuperação de literatura.
Ao mesmo tempo, a KLCII também lançou um bucket de família de código aberto, incluindo a série de modelos Aquila2, uma nova versão do modelo vetorial semântico BGE, a estrutura de treinamento paralelo eficiente FlagScale e o subconjunto de cálculo de atenção de alto desempenho FlagAttention. Estes projetos de código aberto promoverão a inovação colaborativa na investigação de grandes modelos.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
KLCII: A família Aquila de modelos de linguagem grandes Aquila foi totalmente atualizada com a adição de 34 bilhões de parâmetros Aquila2-34B
Em 12 de outubro, a KLCII anunciou que a série de modelos de linguagem grande Aquila Aquila foi totalmente atualizada para Aquila2, e o parâmetro Aquila2-34B de 34 bilhões foi adicionado. É relatado que o novo modelo tem um bom desempenho em inferência e generalização, e alcançou uma série de conquistas em cenários como agentes, geração de código e recuperação de literatura.
Ao mesmo tempo, a KLCII também lançou um bucket de família de código aberto, incluindo a série de modelos Aquila2, uma nova versão do modelo vetorial semântico BGE, a estrutura de treinamento paralelo eficiente FlagScale e o subconjunto de cálculo de atenção de alto desempenho FlagAttention. Estes projetos de código aberto promoverão a inovação colaborativa na investigação de grandes modelos.