Em 12 de outubro, a KLCII anunciou que a série de modelos de linguagem grande Aquila Aquila foi totalmente atualizada para Aquila2, e o parâmetro Aquila2-34B de 34 bilhões foi adicionado. É relatado que o novo modelo tem um bom desempenho em inferência e generalização, e alcançou uma série de conquistas em cenários como agentes, geração de código e recuperação de literatura.
Ao mesmo tempo, a KLCII também lançou um bucket de família de código aberto, incluindo a série de modelos Aquila2, uma nova versão do modelo vetorial semântico BGE, a estrutura de treinamento paralelo eficiente FlagScale e o subconjunto de cálculo de atenção de alto desempenho FlagAttention. Estes projetos de código aberto promoverão a inovação colaborativa na investigação de grandes modelos.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
KLCII: A família Aquila de modelos de linguagem grandes Aquila foi totalmente atualizada com a adição de 34 bilhões de parâmetros Aquila2-34B
Em 12 de outubro, a KLCII anunciou que a série de modelos de linguagem grande Aquila Aquila foi totalmente atualizada para Aquila2, e o parâmetro Aquila2-34B de 34 bilhões foi adicionado. É relatado que o novo modelo tem um bom desempenho em inferência e generalização, e alcançou uma série de conquistas em cenários como agentes, geração de código e recuperação de literatura.
Ao mesmo tempo, a KLCII também lançou um bucket de família de código aberto, incluindo a série de modelos Aquila2, uma nova versão do modelo vetorial semântico BGE, a estrutura de treinamento paralelo eficiente FlagScale e o subconjunto de cálculo de atenção de alto desempenho FlagAttention. Estes projetos de código aberto promoverão a inovação colaborativa na investigação de grandes modelos.