Desde o segundo semestre deste ano, Kuaishou tem desenvolvido frequentemente grandes negócios de modelos.
GenAI New World aprendeu em primeira mão que o mais recente progresso de Kuaishou no campo de AIGC - o modelo gráfico Vincent "Kolors" desenvolvido por ele mesmo foi totalmente lançado dentro da empresa para testes internos.
Após o lançamento do grande modelo de linguagem "KwaiYii" no mês passado, Kuaishou lançou o grande modelo gráfico Wensheng "Kolors" em menos de um mês. "Depois, o território de" Vincent Pictures "foi adicionado.
GenAI New World aprendeu com os membros de pesquisa e desenvolvimento da equipe do projeto Ketu que o grande modelo "Ketu" Wenshengtu possui três recursos excelentes: compreensão poderosa de texto, caracterização rica em detalhes e transformação de estilo diversificado.
A partir do layout da página inicial da versão de teste da plataforma interna do modelo grande “Ketu”, podemos perceber que ela já possui um protótipo de produto maduro.
Página inicial beta da plataforma interna de modelo grande "Ketu"
Embora o modelo grande “Ketu” ainda não tenha iniciado os testes externos, ainda podemos ter uma ideia de seu desempenho específico na função “AI Game Review” lançada pelo Kuaishou App há dois dias.
"AI Game Review" foi lançado para testes internos no site principal de Kuaishou em 15 de setembro, com suporte técnico fornecido pelo modelo grande "Ketu" Wenshengtu.
Justamente quando pensamos que esta era outra ferramenta Wenshengtu puramente para criadores de vídeos curtos e apareceria no backend de edição de vídeo, Kuaishou surpreendentemente colocou a função "AI Play Review" na área de comentários.
Em outras palavras, quando você comentar um determinado vídeo curto no futuro, talvez não precise mais encontrar meticulosamente um pacote de imagem/emoticon adequado. Kuaishou pode gerar um diretamente para você.
No dia do lançamento do “AI Game Review”, os usuários qualificados para o teste já haviam começado a deixar mensagens de “desejo” na área de comentários oficial do Kuaishou.
GenAI New World também obteve a qualificação para testes internos pela primeira vez. Vamos dar uma olhada em nossa experiência em primeira mão.
Primeiro, abra a área de comentários de qualquer vídeo no aplicativo Kuaishou e encontre o botão "AI" no lado direito da caixa de entrada de comentários. Você pode entrar facilmente na interface funcional "AI Play Review".
O pré-requisito para gerar imagens é inserir um texto de pelo menos seis palavras. Após a inserção, o ícone AI à direita acenderá automaticamente, informando que você pode começar a gerar.
Primeiro tente algumas descrições mais convencionais para ver se ele entende, como “uma criança brincando em uma praia ensolarada”.
Após alguns segundos, um conjunto de imagens geradas por IA aparecerá abaixo, cada imagem é marcada com um estilo diferente, incluindo Makoto Shinkai, pixel art, animação realista, estilo chinês, cyberpunk, Pixar, etc. mais de uma dúzia de tipos. Se não estiver satisfeito com os conjuntos de imagens gerados, você também pode clicar em “Alterar” no canto superior direito para gerar um novo conjunto.
A julgar pelas imagens geradas, a compreensão é muito boa.
Digite mais alguns poemas chineses antigos e ele realmente os compreende:
A julgar pelos detalhes da imagem, seja a textura sutil das folhas e pétalas, ou os estames claramente definidos, é raro que sejam bem manuseados (as bordas mortas na periferia das folhas também são refletidas).
Diz-se que a equipe de pesquisa Kuaishou AI mudou a fórmula subjacente e a fórmula de adição de ruído do algoritmo de remoção de ruído e, ao mesmo tempo, selecionou um lote de dados de alta qualidade com detalhes elevados e estética elevada para conduzir um aprendizado focado nos estágios posteriores. de aprendizagem de modelo. Pode enriquecer os detalhes e a textura das imagens geradas, o que deve estar relacionado a isso.
Vamos inserir algumas frases com significados específicos no contexto chinês:
Nada mal, pelo menos a carne de porco desfiada com sabor de peixe não é retratada como um peixe e um pedaço de carne, e você pode sentir o cheiro picante do tofu mapo através da tela (é até guarnecido com cebola verde picada).
Pode até entender o que é uma pessoa Gan Fan (“Gan Fan” é originalmente um dialeto mandarim do sudoeste):
Pode-se dizer que a compreensão das expressões chinesas no grande modelo “Ketu” foi levada em consideração desde o início.
De acordo com o pessoal de P&D da Kuaishou, a Kuaishou AI possui bilhões de dados de treinamento de imagem e texto, que são sintetizados a partir da comunidade de código aberto e da tecnologia de IA autodesenvolvida, e cobrem 30 milhões de conceitos comuns de entidades chinesas. Com base neste treinamento e desenvolvimento, um poderoso Modelo CLIP chinês.
O LLM chinês autodesenvolvido combinado com os recursos gráficos e de texto do CLIP é usado como módulo de compreensão de texto do gráfico vicentino, permitindo que o grande modelo "grafável" compreenda melhor os conceitos característicos chineses e reduza problemas comuns no campo dos gráficos vicentinos como conceitos complexos e confusão de atributos.
No entanto, uma vez que a função "Análise do jogo AI" é colocada na área de comentários, também devemos dar uma olhada em seu desempenho no cenário de comentários.
Aproveitando um assunto quente, inseri a descrição do meu humor “Estou muito frustrado porque não consigo uma passagem de trem”. “AI Play Review” ainda gerou algumas imagens interessantes que podem refletir melhor essa emoção:
E quando digitei a expressão clássica “Não entendo, mas fiquei chocado”, descobri que o estilo de boneco palito gerado e o estilo de Makoto Shinkai eram os mais adequados (o estilo gerado mais popular programado?):
Após a experiência geral, a "Revisão do Jogo AI" ainda é notável.Claro, a premissa ainda é que a IA pode ser solicitada com descrições apropriadas e relativamente comuns. E se você levar em conta as características gerais dos internautas expressando livremente seus humores e coloquialismos ao comentar, essa função ainda pode ser muito explorada.
A partir da função “AI Game Review”, podemos realmente ver alguns dos pensamentos de Kuaishou sobre a aplicação de grandes modelos, ou seja, há uma forte ênfase no “pouso”.
Ao contrário de muitas empresas anteriores que estavam comprometidas com a construção de produtos de modelos grandes de uso geral, comunidades de conteúdo de vídeo curto como Kuaishou deveriam prestar mais atenção à integração com a comunidade no desenvolvimento de funções de produtos de modelos grandes e se preocupar se os usuários podem realmente usá-los .
Assim como a função “Diálogo AI” lançada em agosto com base no grande modelo “Ruyi”, parte dela é baseada em cenários de pesquisa, permitindo aos usuários encontrar conteúdo na plataforma de forma mais conveniente e precisa (as respostas também serão acompanhadas por relacionados vídeos, link da Enciclopédia), a ideia de servir aos usuários também se estende às “análises de jogos de IA”.
Quanto ao motivo pelo qual o modelo grande “Ketu” foi postado pela primeira vez na área de comentários do site Kuaishou, a resposta oficial de Kuaishou é,
"O número acumulado de pares de usuários mutuamente relacionados de aplicativos Kuaishou excede 31,1 bilhões, um aumento anual de quase 50%, e a interação diária média (incluindo curtidas, comentários e encaminhamentos, etc.) totaliza 8 bilhões de vezes . Vídeos curtos com forte adesão do usuário A área de comentários se tornou um dos melhores cenários de aplicação para recursos AIGC... (gastar tempo e energia para encontrar imagens correspondentes) inibiu enormemente a disposição dos usuários de postar comentários. A revisão de IA pode aumentar muito o número de usuários 'entusiasmo e entusiasmo por participar dos comentários. Satisfação.”
Claro, agora que o grande modelo “retratável” foi transformado em produto, Kuaishou pode ter ambições maiores por trás dele.
Durante a teleconferência de resultados do primeiro trimestre em maio deste ano, o CEO da Kuaishou, Cheng Yixiao, revelou ao mundo exterior pela primeira vez o progresso do grande negócio de modelos da Kuaishou: uma grande equipe de pesquisa e desenvolvimento de modelos foi estabelecida, contando com tecnologias anteriores em AIGC algoritmos e modelos de linguagem em grande escala.Acumular e promover o desenvolvimento e treinamento de grandes modelos conforme planejado.
Dois meses depois, Kuaishou anunciou em 8 de julho que iniciaria testes internos de seu “produto de pesquisa inteligente de perguntas e respostas”, dando início ao lançamento de aplicativos de modelos em grande escala.
O que se segue é um lançamento relativamente intensivo de produtos e funções: em 8 de agosto, Kuaishou iniciou os testes internos da função “AI Conversation”, em 21 de agosto, o grande modelo de linguagem “Ruyi” iniciou os testes internos, e em 15 de setembro, o principal site lançou testes internos da função “AI Game Review””, até hoje surgiu o grande modelo de “Ketu” Wenshengtu...
É importante notar que Kuaishou apresentou oficial e detalhadamente o progresso de seu grande negócio de modelos pela primeira vez na Photosynthetic Creator Conference realizada para criadores de plataformas em 10 de agosto deste ano.
Kuaishou anunciou nesta conferência uma série de desenvolvimentos para o seu negócio de modelos de grande porte, que até agora foram pouco divulgados ao mundo exterior. Isso inclui vários recursos para geração de texto, imagem, vídeo e até material 3D e áudio musical, cobrindo todos os aspectos de estimulação criativa, mineração e edição de material e produção de criação de vídeo. Ele também se concentra na cena de transmissão ao vivo para criar rapidamente a própria cena do usuário. A solução humana digital gêmea "Kuaishou Zhibo".
Mesmo a própria conferência anual, incluindo cartazes e participações especiais, raramente está repleta de elementos do AIGC.
Kuaishou, que optou por desenvolver seu próprio modelo grande a partir do zero, acumulou muito sem saber e construiu lentamente o que chama de "solução AIGC de modelo grande de modo completo".
Portanto, pode-se dizer que Kuaishou está bem preparado para lançar desta vez um modelo grande “tutuável”.
Embora as grandes empresas nacionais tenham começado a lançar seus próprios produtos de modelos grandes este ano, no que diz respeito às empresas de conteúdo, parece que não vimos um produto verdadeiramente impressionante. Como podemos treinar um modelo confiável? Com base em modelos grandes , serão exploradas mais novas formas de jogar para empresas de conteúdo, o que é bastante interessante de se pensar.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Em primeira mão | O grande modelo Wenshengtu “Ketu” desenvolvido pela Kuaishou está aqui e iniciou testes internos em um futuro próximo
Fonte original: GenAI Novo Mundo
Autor｜Li Hezi
Desde o segundo semestre deste ano, Kuaishou tem desenvolvido frequentemente grandes negócios de modelos.
GenAI New World aprendeu em primeira mão que o mais recente progresso de Kuaishou no campo de AIGC - o modelo gráfico Vincent "Kolors" desenvolvido por ele mesmo foi totalmente lançado dentro da empresa para testes internos.
Após o lançamento do grande modelo de linguagem "KwaiYii" no mês passado, Kuaishou lançou o grande modelo gráfico Wensheng "Kolors" em menos de um mês. "Depois, o território de" Vincent Pictures "foi adicionado.
GenAI New World aprendeu com os membros de pesquisa e desenvolvimento da equipe do projeto Ketu que o grande modelo "Ketu" Wenshengtu possui três recursos excelentes: compreensão poderosa de texto, caracterização rica em detalhes e transformação de estilo diversificado.
A partir do layout da página inicial da versão de teste da plataforma interna do modelo grande “Ketu”, podemos perceber que ela já possui um protótipo de produto maduro.
Embora o modelo grande “Ketu” ainda não tenha iniciado os testes externos, ainda podemos ter uma ideia de seu desempenho específico na função “AI Game Review” lançada pelo Kuaishou App há dois dias.
"AI Game Review" foi lançado para testes internos no site principal de Kuaishou em 15 de setembro, com suporte técnico fornecido pelo modelo grande "Ketu" Wenshengtu.
Justamente quando pensamos que esta era outra ferramenta Wenshengtu puramente para criadores de vídeos curtos e apareceria no backend de edição de vídeo, Kuaishou surpreendentemente colocou a função "AI Play Review" na área de comentários.
Em outras palavras, quando você comentar um determinado vídeo curto no futuro, talvez não precise mais encontrar meticulosamente um pacote de imagem/emoticon adequado. Kuaishou pode gerar um diretamente para você.
No dia do lançamento do “AI Game Review”, os usuários qualificados para o teste já haviam começado a deixar mensagens de “desejo” na área de comentários oficial do Kuaishou.
Primeiro, abra a área de comentários de qualquer vídeo no aplicativo Kuaishou e encontre o botão "AI" no lado direito da caixa de entrada de comentários. Você pode entrar facilmente na interface funcional "AI Play Review".
Primeiro tente algumas descrições mais convencionais para ver se ele entende, como “uma criança brincando em uma praia ensolarada”.
Após alguns segundos, um conjunto de imagens geradas por IA aparecerá abaixo, cada imagem é marcada com um estilo diferente, incluindo Makoto Shinkai, pixel art, animação realista, estilo chinês, cyberpunk, Pixar, etc. mais de uma dúzia de tipos. Se não estiver satisfeito com os conjuntos de imagens gerados, você também pode clicar em “Alterar” no canto superior direito para gerar um novo conjunto.
A julgar pelas imagens geradas, a compreensão é muito boa.
Vamos inserir algumas frases com significados específicos no contexto chinês:
Pode até entender o que é uma pessoa Gan Fan (“Gan Fan” é originalmente um dialeto mandarim do sudoeste):
De acordo com o pessoal de P&D da Kuaishou, a Kuaishou AI possui bilhões de dados de treinamento de imagem e texto, que são sintetizados a partir da comunidade de código aberto e da tecnologia de IA autodesenvolvida, e cobrem 30 milhões de conceitos comuns de entidades chinesas. Com base neste treinamento e desenvolvimento, um poderoso Modelo CLIP chinês.
O LLM chinês autodesenvolvido combinado com os recursos gráficos e de texto do CLIP é usado como módulo de compreensão de texto do gráfico vicentino, permitindo que o grande modelo "grafável" compreenda melhor os conceitos característicos chineses e reduza problemas comuns no campo dos gráficos vicentinos como conceitos complexos e confusão de atributos.
No entanto, uma vez que a função "Análise do jogo AI" é colocada na área de comentários, também devemos dar uma olhada em seu desempenho no cenário de comentários.
Aproveitando um assunto quente, inseri a descrição do meu humor “Estou muito frustrado porque não consigo uma passagem de trem”. “AI Play Review” ainda gerou algumas imagens interessantes que podem refletir melhor essa emoção:
A partir da função “AI Game Review”, podemos realmente ver alguns dos pensamentos de Kuaishou sobre a aplicação de grandes modelos, ou seja, há uma forte ênfase no “pouso”.
Ao contrário de muitas empresas anteriores que estavam comprometidas com a construção de produtos de modelos grandes de uso geral, comunidades de conteúdo de vídeo curto como Kuaishou deveriam prestar mais atenção à integração com a comunidade no desenvolvimento de funções de produtos de modelos grandes e se preocupar se os usuários podem realmente usá-los .
Assim como a função “Diálogo AI” lançada em agosto com base no grande modelo “Ruyi”, parte dela é baseada em cenários de pesquisa, permitindo aos usuários encontrar conteúdo na plataforma de forma mais conveniente e precisa (as respostas também serão acompanhadas por relacionados vídeos, link da Enciclopédia), a ideia de servir aos usuários também se estende às “análises de jogos de IA”.
Quanto ao motivo pelo qual o modelo grande “Ketu” foi postado pela primeira vez na área de comentários do site Kuaishou, a resposta oficial de Kuaishou é,
Claro, agora que o grande modelo “retratável” foi transformado em produto, Kuaishou pode ter ambições maiores por trás dele.
Durante a teleconferência de resultados do primeiro trimestre em maio deste ano, o CEO da Kuaishou, Cheng Yixiao, revelou ao mundo exterior pela primeira vez o progresso do grande negócio de modelos da Kuaishou: uma grande equipe de pesquisa e desenvolvimento de modelos foi estabelecida, contando com tecnologias anteriores em AIGC algoritmos e modelos de linguagem em grande escala.Acumular e promover o desenvolvimento e treinamento de grandes modelos conforme planejado.
Dois meses depois, Kuaishou anunciou em 8 de julho que iniciaria testes internos de seu “produto de pesquisa inteligente de perguntas e respostas”, dando início ao lançamento de aplicativos de modelos em grande escala.
O que se segue é um lançamento relativamente intensivo de produtos e funções: em 8 de agosto, Kuaishou iniciou os testes internos da função “AI Conversation”, em 21 de agosto, o grande modelo de linguagem “Ruyi” iniciou os testes internos, e em 15 de setembro, o principal site lançou testes internos da função “AI Game Review””, até hoje surgiu o grande modelo de “Ketu” Wenshengtu...
É importante notar que Kuaishou apresentou oficial e detalhadamente o progresso de seu grande negócio de modelos pela primeira vez na Photosynthetic Creator Conference realizada para criadores de plataformas em 10 de agosto deste ano.
Kuaishou anunciou nesta conferência uma série de desenvolvimentos para o seu negócio de modelos de grande porte, que até agora foram pouco divulgados ao mundo exterior. Isso inclui vários recursos para geração de texto, imagem, vídeo e até material 3D e áudio musical, cobrindo todos os aspectos de estimulação criativa, mineração e edição de material e produção de criação de vídeo. Ele também se concentra na cena de transmissão ao vivo para criar rapidamente a própria cena do usuário. A solução humana digital gêmea "Kuaishou Zhibo".
Mesmo a própria conferência anual, incluindo cartazes e participações especiais, raramente está repleta de elementos do AIGC.
Kuaishou, que optou por desenvolver seu próprio modelo grande a partir do zero, acumulou muito sem saber e construiu lentamente o que chama de "solução AIGC de modelo grande de modo completo".
Portanto, pode-se dizer que Kuaishou está bem preparado para lançar desta vez um modelo grande “tutuável”.
Embora as grandes empresas nacionais tenham começado a lançar seus próprios produtos de modelos grandes este ano, no que diz respeito às empresas de conteúdo, parece que não vimos um produto verdadeiramente impressionante. Como podemos treinar um modelo confiável? Com base em modelos grandes , serão exploradas mais novas formas de jogar para empresas de conteúdo, o que é bastante interessante de se pensar.