Numa altura em que a tecnologia de IA generativa lidera a inovação industrial, a animação é uma das primeiras indústrias a prestar atenção e a ser afetada.
A animação sempre foi uma indústria orientada para a tecnologia. O desenvolvimento da computação gráfica desencadeou enormes mudanças na forma e expressividade da própria animação, mercado e estrutura industrial; A capacidade de produção central atual e os problemas do modelo de negócios na indústria de animação ainda são limitados por forças técnicas.
A indústria de animação espera novas mudanças, que devem ser causadas pela tecnologia. Agora parece que esta tecnologia é IA.
A IA não é novidade para a animação, especialmente a animação tridimensional. Mas no ano passado, do ChatGPT, difusão estável ao Midjourney, subverteu a perceção tradicional de muitas pessoas sobre a IA.
Muitas empresas e plataformas de animação estão percebendo que a IA pode ser usada como uma ferramenta para uso comercial, para atender a requisitos mais individuais e para desenvolver recursos para sua própria orientação de conteúdo. Isso também faz com que empresas de animação com diferentes posicionamentos e modelos de negócios considerem mais o uso da IA.
o modelo de "emissão diária" que antes era inimaginável devido a restrições de capacidade; Ou, como parte da cadeia da indústria de PI, tomar a iniciativa de liderar o ritmo de desenvolvimento da PI com investimentos mais econômicos; Ou estabelecer um processo mais geral e recursos de biblioteca para abrir a produção da animação para os jogos... Tudo pode tornar-se uma realidade com a intervenção da IA.
Quando os animadores forem libertados do trabalho físico e de linha de montagem tedioso, a indústria será mais impulsionada por talentos criativos e explorará novos paradigmas artísticos.
Esta é uma grande oportunidade.
É claro que as oportunidades que temos pela frente correspondem aos desafios do presente. A mudança e a inovação são muitas vezes acompanhadas de compromissos e adaptação.
A indústria da animação quer aproveitar a oportunidade, mas o timing e a postura são todos problemas. Ainda não foi estabelecido um modelo razoável entre as capacidades da tecnologia de IA, a entrada e o retorno do custo da aplicação, e ainda existem muitas incertezas. No futuro, com o desenvolvimento da tecnologia, as empresas e plataformas de animação como partes de aplicação também terão tomada de decisão.
Mas, não importa o que aconteça, a direção geral está sempre abraçando a IA.
Racionalmente, nem toda iteração de tecnologia revolucionará uma indústria. Quando você ainda está no processo de mudança, se ela é realmente usada e até que ponto não é a coisa mais importante, é apenas para entender o ambiente e as tendências e fazer julgamentos corretos.
A IA traz oportunidades para as empresas de animação, e não aproveitá-las também pode se tornar uma crise. Afinal, a tecnologia está a avançar demasiado depressa. Se um dia a IA se tornar muito útil, ninguém quer ficar para trás nesse momento.
Redução de custos mais significativa e aumento de eficiência
Já em 2021, a OpenAI lançou DALL· E, baseado no token de texto para gerar uma "poltrona em forma de abacate" fora do círculo, fez muitos animadores prestarem atenção à IA. No entanto, devido a fatores como maturidade tecnológica, talentos correspondentes e escopo de aplicação pouco claro, ele permanece principalmente no uso da IA para fazer alguma exploração criativa.
No ano passado, a rápida iteração da difusão estável e Midjourney não só abriu a cognição da IA no C-end, mas também promoveu diretamente a aplicação em massa da IA em muitas indústrias, incluindo animação baseada na arquitetura de código aberto da primeira, o desenvolvimento de ferramentas plug-in adequadas para o seu próprio negócio; A capacidade de desenho deste último tem sido continuamente atualizada, especialmente no link de criatividade e planejamento front-end, o valor da aplicação quase ganhou o consenso da indústria.
Em agosto deste ano, a Tencent Video lançou um trailer de "Magic Game: Artificial Intelligence Assisted Chapter", afirmando ser "a primeira animação assistida por inteligência artificial na China". Já em torno do Festival da primavera em 2023, a Tencent Video deliberadamente tentou aplicar IA à produção de animação, e finalmente acertou com a Red Dragon Pictures.
Na verdade, a animação tornou-se uma faixa de comercialização relativamente estável para a Tencent Video. No caso de custos relativamente bloqueados em toda a indústria de animação, o núcleo dessa lógica de negócios é usar o conteúdo de animação para atrair novos usuários de forma estável, e quanto maior a popularidade da animação, maior a receita. A popularidade depende não só da qualidade do conteúdo, mas também da frequência das atualizações.
Como produtor, Ding Yu, fundador da Red Dragon Pictures, disse que, naquela época, ambas as partes acreditavam que havia valor em explorar o uso da IA para fazer animação, seja na perspetiva de reduzir custos e aumentar a eficiência ou encontrar novos estilos: "Depois de falar em março, a implementação começou em maio."
A redução de custos e a melhoria da eficiência são o principal ponto de partida para quase todas as empresas de animação aplicarem IA nesta fase.
Em comparação com a animação bidimensional, o processo criativo geral da animação tridimensional depende muito da plataforma digital, e a tecnologia de IA tem mais espaço para intervenção. Quer se trate de animação bidimensional ou tridimensional, os estágios iniciais do processo de produção de arte são semelhantes, incluindo o desenvolvimento de personagens e cenas, arte conceitual, arte original e assim por diante. Essas ligações são a parte mais profunda da aplicação de IA no momento, e a redução de custos e o aumento da eficiência são particularmente significativos.
Por exemplo, a criação de personagens, o fundador da animação ASK, que é principalmente animação bidimensional, disse que, no passado, a fase de escrita e desenho pode levar apenas algumas horas, mas antes levava meses para pensar, agora usando IA para ajudar a coordenar ideias, o tempo para encontrar inspiração pode ser muito reduzido.
O mesmo vale para a animação 3D. Zhang Xin, diretor técnico da Black Rock Network, revelou que o projeto de animação recém-lançado este ano adota mais processos AIGC, e a parte de arte inicial leva apenas 1/3 ou menos do tempo estimado do que o projeto "Yujia Lingyunzhi" desenvolvido no ano passado.
Animação 3D "Imperial Armor Lingyunzhi"
Isso ocorre porque o tempo para a equipe de diretores projetar um conceito é relativamente curto, mas se esses conceitos são apresentados à equipe de diretores com melhores efeitos visuais usando o processo de arte tradicional, leva um tempo relativamente longo. E diferentes projetos têm estilos diferentes e requisitos diferentes para níveis de habilidade pessoal, resultando em uma alta dependência de talentos artísticos.
Com a ajuda da IA, a criatividade pura e a arte do planejamento ainda são concluídas pelas pessoas, mas a maioria das tarefas detalhadas são entregues à IA, o que equivale a pessoas fazendo design preliminar, IA completando "trabalho manual", a demanda por mão de obra e tempo é muito reduzida, reduzindo muito o custo de tentativa e erro. Isso torna o trabalho que originalmente era uma equipe de menos de 20 pessoas que precisava ser concluído em um ciclo de 8-10 meses em menos de 10 pessoas e pode ser concluído em cerca de 3 meses.
"Também mudou os requisitos para a configuração da equipe e, no passado, era necessário ter algumas pessoas muito seniores para liderar uma equipe de arte de menos de 20 pessoas para concluir o trabalho, mas agora apenas dois artistas seniores, com um pequeno número de pessoal júnior e intermediário, podem atingir um nível que era difícil de alcançar antes", disse Zhang Xin.
Ding Yu também disse que, no passado, para fazer desenhos de configuração de personagens, você precisa encontrar referências e comunicação e discussão da equipe e, em seguida, arte para produzir um rascunho de linha, finalizar o rascunho de cor de acordo com o rascunho de linha, e passo a passo pode levar uma semana para produzir um personagem colorido completo. Depois de usar a IA, primeiro resuma as palavras-chave que todos pensam, e o treinador de IA desenhará uma imagem com base nas palavras-chave. Com o acúmulo de treinamento, a compreensão da IA das palavras-chave se torna cada vez mais precisa, e sua eficiência continua a melhorar.
Por exemplo, usando ferramentas de IA, 40 imagens podem ser produzidas em uma noite. Ajuste palavras-chave com base em 40 imagens, como detalhes mais específicos, como "camiseta amarela americana". Depois de obter 40 imagens, selecione as partes satisfatórias em cada imagem e, em seguida, refine e resuma as palavras-chave e, finalmente, gere uma nova imagem.
Por um lado, esta abordagem reduz o custo da comunicação, "encurtando todo o tempo em 1/2 ou mesmo 2/3"; Por outro lado, o uso do desenho de IA também dá ao design e desenvolvimento mais escolhas, selecionando a parte favorita de várias imagens geradas e redesenhando para melhorar o efeito final e, finalmente, alcançar um efeito inatingível em menos tempo.
Além da melhoria direta da capacidade de incubação e produção de ideias de animação, a IA também tem uma direção de aplicação mais clara no desenvolvimento de IP de animação.
Xu Bo, fundador da Molecular Interaction, que lançou animações como "Inumano" e "Youbeast Yan", disse que o core business e o posicionamento da empresa são diferentes, e o valor da IA também é diferente. "Estamos posicionados como uma empresa do tipo IP, e a animação é uma forma de conteúdo e um link em todo o IP, então não vamos apenas olhar para a IA da perspetiva da animação, mas também pensar sobre o valor da IA para quadrinhos e operações de IP."
Por exemplo, ao nível da animação, atualmente atribui importância à assistência da IA às principais pinturas e cenas originais, enquanto nos programadores derivados de IP, além da IA para ajudar a acompanhar o design de materiais, desenvolvimento derivado, etc., existem também cartazes gerados pela AIGC, coser de IA e outras direções, que podem desempenhar um bom papel no marketing.
IP "Desumano"
A verdadeira oportunidade de "ultrapassagem" é subverter todo o processo com IA
Em geral, os animadores geralmente veem a IA como uma nova oportunidade. Assim como quando Ding Yu e Tencent Video cooperaram, senti que isso poderia se tornar uma oportunidade para ultrapassar em uma curva. Como a IA atual não é usada apenas como uma ferramenta para auxiliar um determinado elo, o desenvolvimento de toda a indústria e todo o processo pode ser adaptado à IA como um todo. Vale a pena tentar esta possível perturbação.
Em outras palavras, as expectativas da indústria para a IA não param na intervenção da IA no pré-planejamento e em outros elos para ajudar a reduzir custos e aumentar a eficiência.
Mas expectativas mais elevadas não são fáceis de satisfazer. Mesmo que esteja "reduzindo custos e aumentando a eficiência", a indústria de animação geralmente sentiu um certo "gargalo" após o desenvolvimento de aplicativos deste ano.
Entre eles, o grau de desenvolvimento tecnológico é o fator central, e não são apenas questões técnicas.
Como uma plataforma que fornece ferramentas de pintura AIGC e serviços de criação de IA, a Unbounded AI tem cortado o campo ACGN. Na opinião de Zhao Jiecheng, chefe do Unbounded AI Content Center, a animação é a mais difícil de cortar.
Os quadrinhos têm menos requisitos técnicos, não há necessidade de modelar, fazer ações intermediárias, etc., criatividade assistida por IA, desenho de linhas, coloração, etc. quase concluíram a maior parte do trabalho, e manual mais investimento em storytelling, storyboarding, etc., "em março deste ano, só pode completar 30% a 50%, e agora pode ajudar 70% do trabalho". Para a plataforma de quadrinhos, isso equivale a resolver muitos problemas centrais e lutar diretamente por mais espaço para comercialização.
A linha de desenho original e a linha de produção de muitas empresas nacionais de jogos são geralmente separadas, o que é conveniente para a divisão de processos. Zhao Jiecheng disse que, a fim de reduzir o custo de estabelecimento do projeto, muitos jogos não investem mais muito custo e energia para fazer muita configuração no estágio inicial, e o surgimento da IA permitiu que as empresas de jogos reduzissem significativamente a terceirização da arte original, chegando a 70% a 90%. Como alguns jogos em si não apresentam diretamente a arte original, principalmente com base na modelagem de arte original, esses materiais de modelagem de referência são mais fáceis de serem substituídos por IA.
IA ilimitada gera imagens
Em contrapartida, as animações são mais exigentes. A animação precisa fazer uma imagem direta e coerente, e a IA tem problemas de coerência, processamento de luz, etc., portanto, do ponto de vista de todo o processo, o envolvimento da IA na animação, especialmente na animação tridimensional, não é profundo, a menos que o processo de produção de substituição geral, como substituí-la quadro a quadro por IA após filmagens reais.
"Mas agora não há empresas de animação na China que usem animação quadro a quadro para fazer animação, e geralmente têm seu próprio processo de produção fixo. Isso leva a que mais IA seja capaz de intervir em termos de pré-configuração, cenas, tarefas, coloração, etc.", disse Zhao.
Na verdade, diferentes empresas de animação na China, e até mesmo diferentes projetos da mesma empresa, podem ter processos de produção diferentes. Não só as empresas terceiras, como a Unbounded AI, são difíceis de fornecer soluções padronizadas correspondentes, mas as empresas de animação também enfrentarão dificuldades semelhantes em encontrar ferramentas de IA e conduzir pesquisa e desenvolvimento de tecnologia interna.
Incluindo a amplamente adotada difusão estável e Midjourney, várias ferramentas técnicas ainda não se desenvolveram na medida em que são personalizadas e desenvolvidas especificamente para a indústria de animação, resultando em empresas de animação basicamente apenas passivamente se adaptando ao desenvolvimento da tecnologia de IA.
Além disso, a maioria das pequenas empresas de animação não pode dar-se ao luxo de investir no desenvolvimento de plug-ins que lhes convêm. Para grandes empresas de animação e até plataformas, não é fácil investir em investigação e desenvolvimento nesta fase e mudar ainda mais todo o processo de produção de animação.
Em primeiro lugar, o custo e a direção da entrada de tecnologia não são suficientemente claros, há falta de talentos relevantes e não há um modelo de negócios maduro para recuperar os custos em um determinado momento; Em segundo lugar, ainda existem muitos processos que usam IA, que podem ser mais caros ou menos eficientes do que o trabalho manual.
O projeto de animação de IA da Tencent Video também passou por discussões acaloradas na fase inicial. "Como um layout voltado para o futuro, o projeto "Magic Game" realmente testa a determinação estratégica da plataforma."
"Capítulo Auxiliar de Inteligência Artificial do Guerreiro Mágico"
Para muitas empresas de animação, como a animação 2D, uma das questões de custo mais importantes é a fusão de quadros entre quadros, como passar de uma ação para outra.
Yu acredita que a animação bidimensional ainda é difícil de alcançar um estado de desartificialização e é limitada por custos duros. Embora tenha sido dada atenção inicial a tecnologias como o estilo de simulação de IA e o preenchimento de quadros intermediários, os resultados de pesquisa e desenvolvimento de ponta ainda são difíceis de aplicar à indústria, e o custo final pode ser muito maior do que a geração humana. "Isso cria um paradoxo."
O custo da animação 3D é manual. Puramente à mão, uma equipa de 200 pessoas pode ter de o fazer durante um ano inteiro. E "mão K" não é um trabalho de montagem puramente técnica, pode refletir o senso pessoal de arte, ritmo do animador, e algumas das ações e efeitos exagerados além da realidade da captura de movimento só podem ser completados pela mão K, que é mais comum na animação.
Yang Lei, vice-presidente da Ruosen Digital, disse que a série "Bad People" ainda não adotou IA, e estima-se que aplicações de IA de tal nível de qualidade de animação representem até 20%, e o resto ainda requer um grande número de equipes manuais.
Por um lado, atualmente, o teto da animação tridimensional em nível de filme está no hardware, tal como resolver é um elo muito demorado na produção de animação tridimensional, que deve ser realizada pelo poder de computação; Por outro lado, a animação exige demais para a integração artística, por exemplo, atualmente é difícil para a IA fazer um bom trabalho de storyboarding, e mesmo que a tecnologia seja alcançada, ela pode não ter bons efeitos artísticos. "O Metahuman do UE5 já tem um sistema de captura de superfície que pode substituir diretamente o modelo, mas ainda não atende aos requisitos de conteúdo de alta qualidade em nível de filme e ainda requer algum trabalho manual."
Animação 3D "Bad People Who Draw Rivers and Lakes"
Problema de IA, também problema "humano"
A IA ainda não foi capaz de substituir o trabalho humano em alguns links, mas causou muitas preocupações entre os animadores.
Muitos praticantes comuns, desde o final do ano passado preocupados se a IA substituirá sua própria ansiedade, evoluíram gradualmente para que tipo de capacidades são necessárias na era da IA. Como resultado, os padrões de preços da indústria de animação têm sido voláteis. Grandes empresas de animação integradas se beneficiam da IA, mas algumas pequenas equipes com categorias de habilidades únicas e modelos de negócios são vulneráveis ao impacto da IA na estrutura de pessoal e nas capacidades de serviço, e o risco é maior na direção e no ambiente atuais.
Yu acredita que as posições mais vulneráveis no momento são o elo do conceito, enquanto as empresas de planejamento e talentos criativos são relativamente estáveis. É claro que, a longo prazo, a IA acabará por trazer mudanças sistémicas que poderão eventualmente eliminar mais de um terço de todo o processo. Haverá menos empregos de assistente, e o núcleo estará concentrado em poucas mãos.
Trabalhos do Projeto de Animação ASK
Isso apresenta requisitos completamente diferentes para pontos de habilidade de talentos de animação - quando as pessoas são liberadas do trabalho na linha de montagem, talentos que sabem o que precisam e o que o mercado precisa são mais raros. Aos olhos de muitas empresas de animação, tais talentos têm criatividade real do que habilidades profissionais superficiais. A produtividade da animação mudará do talento executivo para o talento criativo.
Por exemplo, as excelentes habilidades artísticas originais e as relações de cores agora podem ser melhor substituídas pela IA; Originalmente desenhando um mapa de cena em 3 horas, pode levar apenas alguns minutos para a IA desenhar uma imagem. Mas isso exige que os profissionais tenham uma boa estética, organizem sua própria lógica e metodologia e sejam capazes de julgar que tipo de cena é bonita, mais de acordo com o estilo do projeto e mais avançada no ambiente predefinido original.
Sob esta tendência, Xu Bo acredita que novos segmentos de carreira surgirão no futuro, incluindo treinadores para pintura de IA. "Não há muitos talentos desse tipo no momento, e você precisa entender como fazer esse trabalho sem IA, ter uma base de arte e estética bastante boas e aprender a usar a IA de várias maneiras para treinamento e descrição." Esta será uma habilidade valiosa por algum tempo. "
Para as empresas de animação, naturalmente não é fácil encontrar o talento certo de IA nesta fase.
Zhang Xin disse que a Black Rock Network notou IA em 2021, e naquela época queria procurar computação gráfica ou confronto com talentos relacionados a redes geradoras, mas descobriu que havia uma lacuna básica na China, e ninguém foi encontrado no recrutamento por quase um ano, então teve que engavetar pesquisa e desenvolvimento nessa direção. Até o segundo semestre de 2022, a Stable Diffusion desencadeou uma tempestade, e ainda é difícil recrutar talentos relevantes. Se esta tecnologia pode ser realizada com sucesso como uma alternativa à localização não é otimista.
É difícil recrutar as pessoas certas, além da natureza pioneira desta direção técnica em si, do ponto de vista da indústria de animação, em primeiro lugar, os profissionais de animação são aceitação passiva da maior parte da tecnologia, e é difícil fazer mudanças revolucionárias por si mesmos; Em segundo lugar, em termos de formação de pessoal, muitos profissionais ainda são a mentalidade dos artistas, mas a coisa mais importante em produtos de animação comercial é o conteúdo e a eficiência, e no caso de não haver nenhum problema com a expressão do conteúdo, se a imagem é desenhada pelo artista um a um ou calculada pelo computador não é a coisa mais importante para o público.
"É um pouco cruel dizer, mas a mentalidade de muitas pessoas é difícil de mudar e elas são resistentes às novas tecnologias. Agora, as opiniões dos profissionais sobre IA são semelhantes às da nossa geração anterior de pintores da velha escola que olham para a pintura digital. Zhang Xin disse.
Se você não pode recrutar talentos prontos no mercado, você só pode cultivá-los a partir de equipes internas. As mudanças no negócio de treinamento de empresas de animação também refletem as mudanças na busca de habilidades de talentos de animação doméstica - de ensinar principalmente pintura digital tradicional nos primeiros dias, para adicionar gradualmente cursos de renderização em tempo real, e este ano uma seção de IA foi adicionada para orientar os alunos a usar IA para ajudar na criação.
Otimismo ou pessimismo, o futuro chegou
Diante desses problemas, as empresas de animação não pararam de prestar atenção à IA. O surto de IA no ano passado fez com que muitas pessoas acreditassem que o desenvolvimento não está muito longe, talvez "uma camada de papel de janela".
Ding Yu disse que, embora houvesse muita preparação com antecedência, foi realmente bastante inesperado que a decisão de usar IA para fazer animação pudesse passar, porque nos últimos dois anos, as principais plataformas geralmente tomaram a redução de custos e a melhoria da eficiência como a tônica, e a decisão de usar IA para fazer animação não é fácil. No entanto, a tecnologia e o processo de IA aplicáveis às empresas de animação locais só podem ser realizados na acumulação de um projeto após o outro, e uma vez que o treinamento de IA é interrompido, não haverá mais progresso.
O atual desenvolvimento da tecnologia está a trazer algumas novas possibilidades.
Yang Lei tem prestado atenção à ferramenta técnica do Wonder Studio, porque a direção do produto está relacionada ao processo direto e mudança de custo da animação - após a ação ao vivo, os ativos acabados podem ser substituídos diretamente, e uma série de trabalhos, como encadernação, pode ser concluída automaticamente. Embora ainda não inclua funções como a resolução de figurinos, os efeitos do programa têm a oportunidade de subverter o processo de produção de animação existente e realizar verdadeiras aplicações ao nível do filme.
À medida que as ferramentas nessa direção se tornam mais maduras, a relação mão-a-K pode cair para apenas 10%-20%. Efeitos que anteriormente exigiam animadores avançados podem exigir apenas iniciantes no futuro, e o número de pessoas será muito reduzido.
Além disso, no passado, a iluminação e outros efeitos precisavam ser renderizados, mas agora a iluminação em tempo real pode ser ajustada através de parâmetros, o que você vê é o que você obtém, e o filme é lançado diretamente, o que é muito rápido. "Talvez um dia no futuro possamos fazer animação diária", disse Yang.
Atualmente, gigantes da tecnologia como a NVIDIA estão explorando a direção de "o que você vê é o que você recebe", o que também pode levar a mudanças dramáticas nos processos e estruturas da indústria de animação.
Zhang Xin acredita que o processo industrial de animação tridimensional é através de mais de uma dúzia de processos, como modelos, animações, iluminação, efeitos especiais e síntese, e finalmente apresentado à tela. A forma final de IA deve ignorar todos os links intermediários, não precisa dos processos acima e economizar muitos custos.
"Agora, a IA ainda está ajudando os criadores a gerar imagens e ideias preliminares. Acredito que, no futuro, a IA não só ajudará a acelerar em um único processo, como modelagem e renderização, mas também destruirá diretamente o atual processo de produção de animação e dará o resultado final de renderização. Desde que o poder de computação seja suficiente, o que você vê é o que você obtém quando as ferramentas de IA o produzem, o que será uma mudança radical. "
Neste processo, as empresas de animação podem também acumular competitividade orientada para o futuro. Isso inclui treinar sua própria biblioteca de modelos com antecedência e estabelecer um processo que se adapte ao seu próprio estilo com base nas necessidades do diretor, ciclo do projeto, qualidade e custo.
A riqueza, o estilo de personalização e os direitos autorais do treinamento de modelos estão diretamente relacionados à biblioteca de materiais. Yu disse que o treinamento baseado em materiais estilizados dentro da empresa pode resolver o problema de direitos autorais; Ao mesmo tempo, pode não só continuar o estilo criativo da empresa, mas também pode produzir resultados que superam as expectativas, e recriar ao longo de novos resultados, e as ideias e direções se tornarão mais amplas.
Através de modelos de formação contínua que correspondam às necessidades das empresas com base nos seus próprios materiais, espera-se também que estes ativos se tornem a competitividade central das empresas de animação e expandam as fronteiras dos modelos de negócio das empresas de animação. Por exemplo, além do negócio de animação, a Black Rock Network também está desenvolvendo seus próprios jogos, e encurta o ciclo de lançamento inicial aplicando novos processos de IA e bibliotecas de modelos ao desenvolvimento de jogos, na esperança de perceber que a próxima animação e jogo serão lançados no mesmo nó.
Do ponto de vista de toda a indústria de animação, além das empresas de animação, os indivíduos também podem mudar - a tecnologia de IA torna a animação cada vez mais dependente de talento e estilo pessoal, várias ferramentas de IA aparecem, reduzem o limiar de produção de animação, animação UGC ou será mais normal, o que também pode trazer oportunidades para vídeos curtos animados.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Animação AI: "uma camada de papel de janela" ainda está perto de uma mudança radical
Fonte original: East-West Entertainment
Autor: Xia Qingyi
Numa altura em que a tecnologia de IA generativa lidera a inovação industrial, a animação é uma das primeiras indústrias a prestar atenção e a ser afetada.
A animação sempre foi uma indústria orientada para a tecnologia. O desenvolvimento da computação gráfica desencadeou enormes mudanças na forma e expressividade da própria animação, mercado e estrutura industrial; A capacidade de produção central atual e os problemas do modelo de negócios na indústria de animação ainda são limitados por forças técnicas.
A indústria de animação espera novas mudanças, que devem ser causadas pela tecnologia. Agora parece que esta tecnologia é IA.
A IA não é novidade para a animação, especialmente a animação tridimensional. Mas no ano passado, do ChatGPT, difusão estável ao Midjourney, subverteu a perceção tradicional de muitas pessoas sobre a IA.
Muitas empresas e plataformas de animação estão percebendo que a IA pode ser usada como uma ferramenta para uso comercial, para atender a requisitos mais individuais e para desenvolver recursos para sua própria orientação de conteúdo. Isso também faz com que empresas de animação com diferentes posicionamentos e modelos de negócios considerem mais o uso da IA.
o modelo de "emissão diária" que antes era inimaginável devido a restrições de capacidade; Ou, como parte da cadeia da indústria de PI, tomar a iniciativa de liderar o ritmo de desenvolvimento da PI com investimentos mais econômicos; Ou estabelecer um processo mais geral e recursos de biblioteca para abrir a produção da animação para os jogos... Tudo pode tornar-se uma realidade com a intervenção da IA.
Quando os animadores forem libertados do trabalho físico e de linha de montagem tedioso, a indústria será mais impulsionada por talentos criativos e explorará novos paradigmas artísticos.
Esta é uma grande oportunidade.
É claro que as oportunidades que temos pela frente correspondem aos desafios do presente. A mudança e a inovação são muitas vezes acompanhadas de compromissos e adaptação.
A indústria da animação quer aproveitar a oportunidade, mas o timing e a postura são todos problemas. Ainda não foi estabelecido um modelo razoável entre as capacidades da tecnologia de IA, a entrada e o retorno do custo da aplicação, e ainda existem muitas incertezas. No futuro, com o desenvolvimento da tecnologia, as empresas e plataformas de animação como partes de aplicação também terão tomada de decisão.
Mas, não importa o que aconteça, a direção geral está sempre abraçando a IA.
Racionalmente, nem toda iteração de tecnologia revolucionará uma indústria. Quando você ainda está no processo de mudança, se ela é realmente usada e até que ponto não é a coisa mais importante, é apenas para entender o ambiente e as tendências e fazer julgamentos corretos.
A IA traz oportunidades para as empresas de animação, e não aproveitá-las também pode se tornar uma crise. Afinal, a tecnologia está a avançar demasiado depressa. Se um dia a IA se tornar muito útil, ninguém quer ficar para trás nesse momento.
Redução de custos mais significativa e aumento de eficiência
Já em 2021, a OpenAI lançou DALL· E, baseado no token de texto para gerar uma "poltrona em forma de abacate" fora do círculo, fez muitos animadores prestarem atenção à IA. No entanto, devido a fatores como maturidade tecnológica, talentos correspondentes e escopo de aplicação pouco claro, ele permanece principalmente no uso da IA para fazer alguma exploração criativa.
Em agosto deste ano, a Tencent Video lançou um trailer de "Magic Game: Artificial Intelligence Assisted Chapter", afirmando ser "a primeira animação assistida por inteligência artificial na China". Já em torno do Festival da primavera em 2023, a Tencent Video deliberadamente tentou aplicar IA à produção de animação, e finalmente acertou com a Red Dragon Pictures.
Na verdade, a animação tornou-se uma faixa de comercialização relativamente estável para a Tencent Video. No caso de custos relativamente bloqueados em toda a indústria de animação, o núcleo dessa lógica de negócios é usar o conteúdo de animação para atrair novos usuários de forma estável, e quanto maior a popularidade da animação, maior a receita. A popularidade depende não só da qualidade do conteúdo, mas também da frequência das atualizações.
Como produtor, Ding Yu, fundador da Red Dragon Pictures, disse que, naquela época, ambas as partes acreditavam que havia valor em explorar o uso da IA para fazer animação, seja na perspetiva de reduzir custos e aumentar a eficiência ou encontrar novos estilos: "Depois de falar em março, a implementação começou em maio."
A redução de custos e a melhoria da eficiência são o principal ponto de partida para quase todas as empresas de animação aplicarem IA nesta fase.
Em comparação com a animação bidimensional, o processo criativo geral da animação tridimensional depende muito da plataforma digital, e a tecnologia de IA tem mais espaço para intervenção. Quer se trate de animação bidimensional ou tridimensional, os estágios iniciais do processo de produção de arte são semelhantes, incluindo o desenvolvimento de personagens e cenas, arte conceitual, arte original e assim por diante. Essas ligações são a parte mais profunda da aplicação de IA no momento, e a redução de custos e o aumento da eficiência são particularmente significativos.
Por exemplo, a criação de personagens, o fundador da animação ASK, que é principalmente animação bidimensional, disse que, no passado, a fase de escrita e desenho pode levar apenas algumas horas, mas antes levava meses para pensar, agora usando IA para ajudar a coordenar ideias, o tempo para encontrar inspiração pode ser muito reduzido.
O mesmo vale para a animação 3D. Zhang Xin, diretor técnico da Black Rock Network, revelou que o projeto de animação recém-lançado este ano adota mais processos AIGC, e a parte de arte inicial leva apenas 1/3 ou menos do tempo estimado do que o projeto "Yujia Lingyunzhi" desenvolvido no ano passado.
Isso ocorre porque o tempo para a equipe de diretores projetar um conceito é relativamente curto, mas se esses conceitos são apresentados à equipe de diretores com melhores efeitos visuais usando o processo de arte tradicional, leva um tempo relativamente longo. E diferentes projetos têm estilos diferentes e requisitos diferentes para níveis de habilidade pessoal, resultando em uma alta dependência de talentos artísticos.
Com a ajuda da IA, a criatividade pura e a arte do planejamento ainda são concluídas pelas pessoas, mas a maioria das tarefas detalhadas são entregues à IA, o que equivale a pessoas fazendo design preliminar, IA completando "trabalho manual", a demanda por mão de obra e tempo é muito reduzida, reduzindo muito o custo de tentativa e erro. Isso torna o trabalho que originalmente era uma equipe de menos de 20 pessoas que precisava ser concluído em um ciclo de 8-10 meses em menos de 10 pessoas e pode ser concluído em cerca de 3 meses.
"Também mudou os requisitos para a configuração da equipe e, no passado, era necessário ter algumas pessoas muito seniores para liderar uma equipe de arte de menos de 20 pessoas para concluir o trabalho, mas agora apenas dois artistas seniores, com um pequeno número de pessoal júnior e intermediário, podem atingir um nível que era difícil de alcançar antes", disse Zhang Xin.
Ding Yu também disse que, no passado, para fazer desenhos de configuração de personagens, você precisa encontrar referências e comunicação e discussão da equipe e, em seguida, arte para produzir um rascunho de linha, finalizar o rascunho de cor de acordo com o rascunho de linha, e passo a passo pode levar uma semana para produzir um personagem colorido completo. Depois de usar a IA, primeiro resuma as palavras-chave que todos pensam, e o treinador de IA desenhará uma imagem com base nas palavras-chave. Com o acúmulo de treinamento, a compreensão da IA das palavras-chave se torna cada vez mais precisa, e sua eficiência continua a melhorar.
Por exemplo, usando ferramentas de IA, 40 imagens podem ser produzidas em uma noite. Ajuste palavras-chave com base em 40 imagens, como detalhes mais específicos, como "camiseta amarela americana". Depois de obter 40 imagens, selecione as partes satisfatórias em cada imagem e, em seguida, refine e resuma as palavras-chave e, finalmente, gere uma nova imagem.
Por um lado, esta abordagem reduz o custo da comunicação, "encurtando todo o tempo em 1/2 ou mesmo 2/3"; Por outro lado, o uso do desenho de IA também dá ao design e desenvolvimento mais escolhas, selecionando a parte favorita de várias imagens geradas e redesenhando para melhorar o efeito final e, finalmente, alcançar um efeito inatingível em menos tempo.
Além da melhoria direta da capacidade de incubação e produção de ideias de animação, a IA também tem uma direção de aplicação mais clara no desenvolvimento de IP de animação.
Xu Bo, fundador da Molecular Interaction, que lançou animações como "Inumano" e "Youbeast Yan", disse que o core business e o posicionamento da empresa são diferentes, e o valor da IA também é diferente. "Estamos posicionados como uma empresa do tipo IP, e a animação é uma forma de conteúdo e um link em todo o IP, então não vamos apenas olhar para a IA da perspetiva da animação, mas também pensar sobre o valor da IA para quadrinhos e operações de IP."
Por exemplo, ao nível da animação, atualmente atribui importância à assistência da IA às principais pinturas e cenas originais, enquanto nos programadores derivados de IP, além da IA para ajudar a acompanhar o design de materiais, desenvolvimento derivado, etc., existem também cartazes gerados pela AIGC, coser de IA e outras direções, que podem desempenhar um bom papel no marketing.
A verdadeira oportunidade de "ultrapassagem" é subverter todo o processo com IA
Em geral, os animadores geralmente veem a IA como uma nova oportunidade. Assim como quando Ding Yu e Tencent Video cooperaram, senti que isso poderia se tornar uma oportunidade para ultrapassar em uma curva. Como a IA atual não é usada apenas como uma ferramenta para auxiliar um determinado elo, o desenvolvimento de toda a indústria e todo o processo pode ser adaptado à IA como um todo. Vale a pena tentar esta possível perturbação.
Em outras palavras, as expectativas da indústria para a IA não param na intervenção da IA no pré-planejamento e em outros elos para ajudar a reduzir custos e aumentar a eficiência.
Mas expectativas mais elevadas não são fáceis de satisfazer. Mesmo que esteja "reduzindo custos e aumentando a eficiência", a indústria de animação geralmente sentiu um certo "gargalo" após o desenvolvimento de aplicativos deste ano.
Entre eles, o grau de desenvolvimento tecnológico é o fator central, e não são apenas questões técnicas.
Como uma plataforma que fornece ferramentas de pintura AIGC e serviços de criação de IA, a Unbounded AI tem cortado o campo ACGN. Na opinião de Zhao Jiecheng, chefe do Unbounded AI Content Center, a animação é a mais difícil de cortar.
Os quadrinhos têm menos requisitos técnicos, não há necessidade de modelar, fazer ações intermediárias, etc., criatividade assistida por IA, desenho de linhas, coloração, etc. quase concluíram a maior parte do trabalho, e manual mais investimento em storytelling, storyboarding, etc., "em março deste ano, só pode completar 30% a 50%, e agora pode ajudar 70% do trabalho". Para a plataforma de quadrinhos, isso equivale a resolver muitos problemas centrais e lutar diretamente por mais espaço para comercialização.
A linha de desenho original e a linha de produção de muitas empresas nacionais de jogos são geralmente separadas, o que é conveniente para a divisão de processos. Zhao Jiecheng disse que, a fim de reduzir o custo de estabelecimento do projeto, muitos jogos não investem mais muito custo e energia para fazer muita configuração no estágio inicial, e o surgimento da IA permitiu que as empresas de jogos reduzissem significativamente a terceirização da arte original, chegando a 70% a 90%. Como alguns jogos em si não apresentam diretamente a arte original, principalmente com base na modelagem de arte original, esses materiais de modelagem de referência são mais fáceis de serem substituídos por IA.
Em contrapartida, as animações são mais exigentes. A animação precisa fazer uma imagem direta e coerente, e a IA tem problemas de coerência, processamento de luz, etc., portanto, do ponto de vista de todo o processo, o envolvimento da IA na animação, especialmente na animação tridimensional, não é profundo, a menos que o processo de produção de substituição geral, como substituí-la quadro a quadro por IA após filmagens reais.
"Mas agora não há empresas de animação na China que usem animação quadro a quadro para fazer animação, e geralmente têm seu próprio processo de produção fixo. Isso leva a que mais IA seja capaz de intervir em termos de pré-configuração, cenas, tarefas, coloração, etc.", disse Zhao.
Na verdade, diferentes empresas de animação na China, e até mesmo diferentes projetos da mesma empresa, podem ter processos de produção diferentes. Não só as empresas terceiras, como a Unbounded AI, são difíceis de fornecer soluções padronizadas correspondentes, mas as empresas de animação também enfrentarão dificuldades semelhantes em encontrar ferramentas de IA e conduzir pesquisa e desenvolvimento de tecnologia interna.
Incluindo a amplamente adotada difusão estável e Midjourney, várias ferramentas técnicas ainda não se desenvolveram na medida em que são personalizadas e desenvolvidas especificamente para a indústria de animação, resultando em empresas de animação basicamente apenas passivamente se adaptando ao desenvolvimento da tecnologia de IA.
Além disso, a maioria das pequenas empresas de animação não pode dar-se ao luxo de investir no desenvolvimento de plug-ins que lhes convêm. Para grandes empresas de animação e até plataformas, não é fácil investir em investigação e desenvolvimento nesta fase e mudar ainda mais todo o processo de produção de animação.
Em primeiro lugar, o custo e a direção da entrada de tecnologia não são suficientemente claros, há falta de talentos relevantes e não há um modelo de negócios maduro para recuperar os custos em um determinado momento; Em segundo lugar, ainda existem muitos processos que usam IA, que podem ser mais caros ou menos eficientes do que o trabalho manual.
O projeto de animação de IA da Tencent Video também passou por discussões acaloradas na fase inicial. "Como um layout voltado para o futuro, o projeto "Magic Game" realmente testa a determinação estratégica da plataforma."
Para muitas empresas de animação, como a animação 2D, uma das questões de custo mais importantes é a fusão de quadros entre quadros, como passar de uma ação para outra.
Yu acredita que a animação bidimensional ainda é difícil de alcançar um estado de desartificialização e é limitada por custos duros. Embora tenha sido dada atenção inicial a tecnologias como o estilo de simulação de IA e o preenchimento de quadros intermediários, os resultados de pesquisa e desenvolvimento de ponta ainda são difíceis de aplicar à indústria, e o custo final pode ser muito maior do que a geração humana. "Isso cria um paradoxo."
O custo da animação 3D é manual. Puramente à mão, uma equipa de 200 pessoas pode ter de o fazer durante um ano inteiro. E "mão K" não é um trabalho de montagem puramente técnica, pode refletir o senso pessoal de arte, ritmo do animador, e algumas das ações e efeitos exagerados além da realidade da captura de movimento só podem ser completados pela mão K, que é mais comum na animação.
Yang Lei, vice-presidente da Ruosen Digital, disse que a série "Bad People" ainda não adotou IA, e estima-se que aplicações de IA de tal nível de qualidade de animação representem até 20%, e o resto ainda requer um grande número de equipes manuais.
Por um lado, atualmente, o teto da animação tridimensional em nível de filme está no hardware, tal como resolver é um elo muito demorado na produção de animação tridimensional, que deve ser realizada pelo poder de computação; Por outro lado, a animação exige demais para a integração artística, por exemplo, atualmente é difícil para a IA fazer um bom trabalho de storyboarding, e mesmo que a tecnologia seja alcançada, ela pode não ter bons efeitos artísticos. "O Metahuman do UE5 já tem um sistema de captura de superfície que pode substituir diretamente o modelo, mas ainda não atende aos requisitos de conteúdo de alta qualidade em nível de filme e ainda requer algum trabalho manual."
Problema de IA, também problema "humano"
A IA ainda não foi capaz de substituir o trabalho humano em alguns links, mas causou muitas preocupações entre os animadores.
Muitos praticantes comuns, desde o final do ano passado preocupados se a IA substituirá sua própria ansiedade, evoluíram gradualmente para que tipo de capacidades são necessárias na era da IA. Como resultado, os padrões de preços da indústria de animação têm sido voláteis. Grandes empresas de animação integradas se beneficiam da IA, mas algumas pequenas equipes com categorias de habilidades únicas e modelos de negócios são vulneráveis ao impacto da IA na estrutura de pessoal e nas capacidades de serviço, e o risco é maior na direção e no ambiente atuais.
Yu acredita que as posições mais vulneráveis no momento são o elo do conceito, enquanto as empresas de planejamento e talentos criativos são relativamente estáveis. É claro que, a longo prazo, a IA acabará por trazer mudanças sistémicas que poderão eventualmente eliminar mais de um terço de todo o processo. Haverá menos empregos de assistente, e o núcleo estará concentrado em poucas mãos.
Isso apresenta requisitos completamente diferentes para pontos de habilidade de talentos de animação - quando as pessoas são liberadas do trabalho na linha de montagem, talentos que sabem o que precisam e o que o mercado precisa são mais raros. Aos olhos de muitas empresas de animação, tais talentos têm criatividade real do que habilidades profissionais superficiais. A produtividade da animação mudará do talento executivo para o talento criativo.
Por exemplo, as excelentes habilidades artísticas originais e as relações de cores agora podem ser melhor substituídas pela IA; Originalmente desenhando um mapa de cena em 3 horas, pode levar apenas alguns minutos para a IA desenhar uma imagem. Mas isso exige que os profissionais tenham uma boa estética, organizem sua própria lógica e metodologia e sejam capazes de julgar que tipo de cena é bonita, mais de acordo com o estilo do projeto e mais avançada no ambiente predefinido original.
Sob esta tendência, Xu Bo acredita que novos segmentos de carreira surgirão no futuro, incluindo treinadores para pintura de IA. "Não há muitos talentos desse tipo no momento, e você precisa entender como fazer esse trabalho sem IA, ter uma base de arte e estética bastante boas e aprender a usar a IA de várias maneiras para treinamento e descrição." Esta será uma habilidade valiosa por algum tempo. "
Para as empresas de animação, naturalmente não é fácil encontrar o talento certo de IA nesta fase.
Zhang Xin disse que a Black Rock Network notou IA em 2021, e naquela época queria procurar computação gráfica ou confronto com talentos relacionados a redes geradoras, mas descobriu que havia uma lacuna básica na China, e ninguém foi encontrado no recrutamento por quase um ano, então teve que engavetar pesquisa e desenvolvimento nessa direção. Até o segundo semestre de 2022, a Stable Diffusion desencadeou uma tempestade, e ainda é difícil recrutar talentos relevantes. Se esta tecnologia pode ser realizada com sucesso como uma alternativa à localização não é otimista.
É difícil recrutar as pessoas certas, além da natureza pioneira desta direção técnica em si, do ponto de vista da indústria de animação, em primeiro lugar, os profissionais de animação são aceitação passiva da maior parte da tecnologia, e é difícil fazer mudanças revolucionárias por si mesmos; Em segundo lugar, em termos de formação de pessoal, muitos profissionais ainda são a mentalidade dos artistas, mas a coisa mais importante em produtos de animação comercial é o conteúdo e a eficiência, e no caso de não haver nenhum problema com a expressão do conteúdo, se a imagem é desenhada pelo artista um a um ou calculada pelo computador não é a coisa mais importante para o público.
"É um pouco cruel dizer, mas a mentalidade de muitas pessoas é difícil de mudar e elas são resistentes às novas tecnologias. Agora, as opiniões dos profissionais sobre IA são semelhantes às da nossa geração anterior de pintores da velha escola que olham para a pintura digital. Zhang Xin disse.
Se você não pode recrutar talentos prontos no mercado, você só pode cultivá-los a partir de equipes internas. As mudanças no negócio de treinamento de empresas de animação também refletem as mudanças na busca de habilidades de talentos de animação doméstica - de ensinar principalmente pintura digital tradicional nos primeiros dias, para adicionar gradualmente cursos de renderização em tempo real, e este ano uma seção de IA foi adicionada para orientar os alunos a usar IA para ajudar na criação.
Otimismo ou pessimismo, o futuro chegou
Diante desses problemas, as empresas de animação não pararam de prestar atenção à IA. O surto de IA no ano passado fez com que muitas pessoas acreditassem que o desenvolvimento não está muito longe, talvez "uma camada de papel de janela".
Ding Yu disse que, embora houvesse muita preparação com antecedência, foi realmente bastante inesperado que a decisão de usar IA para fazer animação pudesse passar, porque nos últimos dois anos, as principais plataformas geralmente tomaram a redução de custos e a melhoria da eficiência como a tônica, e a decisão de usar IA para fazer animação não é fácil. No entanto, a tecnologia e o processo de IA aplicáveis às empresas de animação locais só podem ser realizados na acumulação de um projeto após o outro, e uma vez que o treinamento de IA é interrompido, não haverá mais progresso.
O atual desenvolvimento da tecnologia está a trazer algumas novas possibilidades.
Yang Lei tem prestado atenção à ferramenta técnica do Wonder Studio, porque a direção do produto está relacionada ao processo direto e mudança de custo da animação - após a ação ao vivo, os ativos acabados podem ser substituídos diretamente, e uma série de trabalhos, como encadernação, pode ser concluída automaticamente. Embora ainda não inclua funções como a resolução de figurinos, os efeitos do programa têm a oportunidade de subverter o processo de produção de animação existente e realizar verdadeiras aplicações ao nível do filme.
Além disso, no passado, a iluminação e outros efeitos precisavam ser renderizados, mas agora a iluminação em tempo real pode ser ajustada através de parâmetros, o que você vê é o que você obtém, e o filme é lançado diretamente, o que é muito rápido. "Talvez um dia no futuro possamos fazer animação diária", disse Yang.
Atualmente, gigantes da tecnologia como a NVIDIA estão explorando a direção de "o que você vê é o que você recebe", o que também pode levar a mudanças dramáticas nos processos e estruturas da indústria de animação.
Zhang Xin acredita que o processo industrial de animação tridimensional é através de mais de uma dúzia de processos, como modelos, animações, iluminação, efeitos especiais e síntese, e finalmente apresentado à tela. A forma final de IA deve ignorar todos os links intermediários, não precisa dos processos acima e economizar muitos custos.
"Agora, a IA ainda está ajudando os criadores a gerar imagens e ideias preliminares. Acredito que, no futuro, a IA não só ajudará a acelerar em um único processo, como modelagem e renderização, mas também destruirá diretamente o atual processo de produção de animação e dará o resultado final de renderização. Desde que o poder de computação seja suficiente, o que você vê é o que você obtém quando as ferramentas de IA o produzem, o que será uma mudança radical. "
Neste processo, as empresas de animação podem também acumular competitividade orientada para o futuro. Isso inclui treinar sua própria biblioteca de modelos com antecedência e estabelecer um processo que se adapte ao seu próprio estilo com base nas necessidades do diretor, ciclo do projeto, qualidade e custo.
A riqueza, o estilo de personalização e os direitos autorais do treinamento de modelos estão diretamente relacionados à biblioteca de materiais. Yu disse que o treinamento baseado em materiais estilizados dentro da empresa pode resolver o problema de direitos autorais; Ao mesmo tempo, pode não só continuar o estilo criativo da empresa, mas também pode produzir resultados que superam as expectativas, e recriar ao longo de novos resultados, e as ideias e direções se tornarão mais amplas.
Através de modelos de formação contínua que correspondam às necessidades das empresas com base nos seus próprios materiais, espera-se também que estes ativos se tornem a competitividade central das empresas de animação e expandam as fronteiras dos modelos de negócio das empresas de animação. Por exemplo, além do negócio de animação, a Black Rock Network também está desenvolvendo seus próprios jogos, e encurta o ciclo de lançamento inicial aplicando novos processos de IA e bibliotecas de modelos ao desenvolvimento de jogos, na esperança de perceber que a próxima animação e jogo serão lançados no mesmo nó.
Do ponto de vista de toda a indústria de animação, além das empresas de animação, os indivíduos também podem mudar - a tecnologia de IA torna a animação cada vez mais dependente de talento e estilo pessoal, várias ferramentas de IA aparecem, reduzem o limiar de produção de animação, animação UGC ou será mais normal, o que também pode trazer oportunidades para vídeos curtos animados.