O gerador de mapas do tolo explode o campo, e o stickman se torna Sherlock Holmes em segundos! O mais recente artefato de desenho da Stability AI torna o graffiti um sucesso de bilheteria em segundos

Fonte: Xinzhiyuan

Guia: você pode ser promovido a ilustrador com limite zero e obter um sucesso de bilheteria em nível de filme com um esboço simples. O novo artefato de desenho da Stability AI vai tirar o trabalho de pintores e designers!

Mata maluco, mata maluco, a ferramenta de pintura de IA que deixa pintores e designers desempregados no lugar, está nova de novo!

O novo Stable Doodle da Stability AI é quase uma dádiva de Deus!

Ele pode transformar seu grafite em uma obra-prima em um segundo, subvertendo completamente o método de texto simples no processo tradicional de pintura por IA.

Muitos de meus amigos estão "mortos na linguagem" e usar uma linguagem precisa para descrever a imagem que eles desejam é simplesmente fatal.

Agora, com alguns rabiscos, uma imagem torna-se instantaneamente uma imagem colorida, totalmente renderizada e de grande sucesso.

Contanto que você dê um esboço, a IA pode completar o resto dos detalhes para você!

Este meme não é mais um meme, pode se tornar realidade com Stable Doodle

Então, um novato em pintura pode se tornar um mestre da arte em segundos?

Alguns rascunhos se transformam em um blockbuster

A demonstração dada no site oficial é simplesmente legal.

Desenhe alguns edifícios aleatoriamente e desenhe um círculo no canto superior direito.

Entre em "Cityspace with full moon (street view under the full moon)" e, então, é o momento de testemunhar o milagre——

Escolha nenhum estilo (sem estilo), fotografia (fotográfica), filme analógico (filme analógico), arte de fantasia (arte de fantasia), estilo cômico (estilo mangá), origami (origami), pixel art (pixel art), neon punk (neon punk), isométrico (isométrico)

Desenhe um esboço de um robô, com dicas: "foto, renderização CG fotorrealista de uma cabeça de robô, predador, bokeh no centro da cidade à noite, iluminação dramática Efeito de luz dramático)", você obtém 3 lutadores de robôs na cena noturna da cidade.

Com apenas alguns golpes, você obtém o retrato de uma mulher mecânica cyberpunk. (: Retrato de mulher Mecha)

Basta desenhar o contorno de um castelo, adicionar "Castelo em uma colina, inverno, estilo 'Anime' (castelo em uma colina, inverno, estilo 'Anime')" e gerar imediatamente ilustrações que podem ser usadas em capas de livros.

Desenhe um gato vestindo roupas, é "Gato com uma jaqueta jeans, Estilo 'Arte Digital' (um gato vestindo uma jaqueta jeans, estilo de arte digital)", e você terá três Mr. Cats cheios de estilos artísticos.

Para amigos que são bons em pintura, pode ajudá-lo a gerar esboços mais detalhados. Por exemplo, dê a ele um "esboço de sala de estar", que é "sala de estar, estilo de história em quadrinhos (sala de estar, estilo de história em quadrinhos)", e ele desenhará automaticamente uma história em quadrinhos com composição e coloração perfeitas.

Trabalho Integral do Internauta

Escusado será dizer que os internautas já estão ansiosos para se fazer de loucos.

Um esboço simples de uma Medusa, Stable Doodle dá a você uma Rosa Rainha dos Espinhos metálica.

Desenhe o contorno de um corpo humano à vontade, sem desenhar características faciais, sem desenhar uma figura e sem entender a anatomia humana, com uma frase simples, você pode desenhar uma linda mulher segurando seus cabelos.

：foto, mulher bonita com as mãos nos cabelos

Quer uma linda mulher de biquíni com uma figura perfeita ao sol? Basta delinear grosseiramente o contorno, desde que esteja no lugar, o Stable Doodle com certeza irá surpreendê-lo.

：foto, mulher bonita, biquíni, de frente para a câmera, parada entre duas grandes janelas abertas, braços para cima, luz do sol

Para uma senhora chique com um chapéu branco e lábios vermelhos, deixe o Stable Doodle deixar sua imaginação correr solta.

：rosto bonito, moda, cores brancas, lábios vermelhos

Ao aprender bonecos palito na aula de arte do ensino fundamental, desenhar uma pequena casa é o mais básico. Com Stable Doodle, você pode avançar diretamente da versão do ensino fundamental para a versão mestre de pintura.

Este internauta tem habilidades de pintura à primeira vista e quer algumas versões musculosas do Pikachu.

Contanto que você faça uma amostra do Stable Doodle, todos os tipos de homens musculosos do Pikachu estão ao seu alcance.

Dê-lhe um esboço abstrato, desde que corresponda, pode lhe dar uma resposta satisfatória.

Desenhe um esboço à mão livre, diga a ele um "cavalheiro andando na rua na chuva", e ele preencherá automaticamente a cena de rua apropriada para você e, em um segundo, você viajará pelas ruas da Inglaterra com o Big Ben em o século 19.

Com apenas alguns esboços, Stable Doodle desenhou um templo misterioso na selva com uma lua cheia no céu e água corrente na frente da porta.

：templo secreto na selva, rio em frente ao templo, lua cheia no céu noturno

Então, se não houver grafite, qual será o efeito se você usá-lo diretamente?

Pode-se ver que, com a orientação de esboços de graffiti, a ferramenta de desenho AI obterá o significado que queremos com muita facilidade. Se você apenas inserir, pode ser necessário fazer muitos desvios e gerar muitas fotos, para que você possa apenas "acertar" o resultado desejado.

Além disso, também é muito conveniente usar no aplicativo móvel.

Você sabe, a versão atual é apenas a primeira versão! Em alguns meses, o Stable Doodle pode ser terrivelmente poderoso.

No entanto, Stable Doodle também herdou "perfeitamente" os vários problemas de Stable Diffusion na geração de personagens.

Por exemplo, use o grafite abaixo para corresponder a "homem em pé, mulher sentada em uma cadeira segurando um bebê", e as imagens geradas podem ser consideradas mais sans do que uma.

O tutorial passo a passo foi lançado

Com uma ferramenta tão poderosa, tudo bem não saber como usá-la.

Não, o Stable Doodle não sai há alguns dias e tem até tutoriais.

Depois de entrar no Stable Doodle, o usuário vê uma tela normal.

Em seguida, gere um gráfico em três etapas:

1. Selecione a caneta e use o mouse para desenhar um esboço simples. Apenas rabisque livremente, sem necessidade de enfatizar detalhes ou estética.

2. Digite a descrição do texto

3. Selecione um estilo de arte (claro, se você não precisa de um estilo, também pode escolher nenhum estilo) e clique em Gerar.

Por exemplo:

Olha, é o tipo de bonequinho para crianças do jardim de infância e não precisa de nenhuma habilidade artística e base.

Obviamente, o Stable Doodle fornecerá aos usuários 3 opções e você poderá escolher a que melhor atende às suas expectativas para salvar e usar.

Há um total de 14 estilos na parte inferior, cobrindo basicamente todos os estilos de arte convencionais.

São eles: estilo de fotografia, estilo de arte imaginativa, estilo origami, estilo isométrico, estilo digital, estilo cômico, estilo anime, estilo de filme, estilo de filme analógico, estilo neon punk, estilo pixel, estilo low poly, estilo modelo 3D, linhas Wind ( fotos da esquerda para a direita)

Dê uma olhada na diferença nas imagens geradas do navio acima em diferentes condições de estilo.

vento isométrico

Da esquerda para a direita: estilo neon punk, estilo pixel, estilo cômico

Além de gerar imagens amplamente, se você tiver necessidades especiais, o Stable Doodle também pode ajudá-lo a alcançá-las.

Por exemplo, gere um logotipo.

Sinto que, se usar qualquer uma dessas fotos, posso abrir um restaurante popular de ramen.

Além disso, até mesmo a decoração de interiores, Stable Doodle pode te ajudar. Você só precisa desenhar aproximadamente a estrutura de arranjo dos objetos na casa no esboço, e o Stable Doodle pode ajudá-lo com o resto.

O autor desenhou apenas um balcão de bar e algumas mesas no esboço, e o Stable Doodle criou um bar tranquilo e refrescante onde você pode relaxar todas as noites.

Você pode até personalizar ícones para empresas——

Os ícones gerados podem ser usados para branding, marketing, apresentações ou para criar ilustrações para interfaces de usuário.

O vento equidistante, isométrico, é selecionado aqui.

Gere uma cena de jogo estilo pixel——

Observe, não se esqueça de escolher pixel art para o estilo e não se esqueça de escrever claramente que esta é uma cena de jogo para o texto.

Você pode até escolher um estilo de quadrinhos para gerar uma variedade de quadrinhos.

O Homem-Aranha acima é um exemplo, também podemos gerar Thor-

(Olha o martelinho no esboço, não vi)

Finalmente, podemos também descrever algumas cenas em nossa fantasia——

É aqui que a Fantasy Art é útil!

Tecnologia por trás: Adaptador SDXL+T2I

De acordo com a introdução oficial, a habilidade mais forte do Stable Doodle é esboço para imagem e controle mais perfeito e preciso.

Ou seja, desde esboços até trabalhos primorosos em uma única etapa, e até mesmo gerar animações.

Atualmente, o Stable Doodle pode ser testado gratuitamente no Clipdrop e, claro, no mais recente SDXL0.9.

: Coruja fofa, estilo 'Origami' (coruja fofa, estilo origami)

Seja você um novato ou um líder do setor, não importa se você já usou o software de geração de imagem AI antes, contanto que gaste alguns minutos para começar com o Stable Doodle, qualquer pessoa pode gerar trabalhos de imagem de alta qualidade em segundos.

Seja projetando um logotipo para um cliente, fazendo materiais de exibição ou várias ilustrações, o Stable Doodle pode lidar com isso com um clique, maximizando a eficiência.

A razão pela qual é tão poderoso é porque usa a tecnologia de geração de imagem SDXL mais avançada da Stability AI e o T2I-Adapter.

Este último é uma solução de controle condicional desenvolvida pela Tencent ARC. Com ela, os usuários podem ter um controle mais preciso sobre os gráficos AI.

Durante o processo de geração, o T2I-Adapter fornecerá ao SDXL uma função de orientação auxiliar, para que o SDXL possa entender o esboço do esboço de entrada e gerar uma imagem com base nele.

endereço do projeto:

Especificamente, o T2I-Adapter é uma rede simples e pequena composta por cerca de 7,7 milhões de parâmetros, que pode fornecer orientação adicional para modelos de texto para imagem pré-treinados enquanto congela os modelos originais de texto para imagem em grande escala, e isso fornece maior controle sobre o processo de geração.

Entre eles, o T2I-Adapter alinha o conhecimento interno no modelo T2I com sinais de controle externos. Os usuários podem treinar vários adaptadores de acordo com diferentes condições e obter efeitos avançados de controle e edição.

A seguir estão algumas implementações do T2I-Adapter on Hugging Face.

O T2I-Adapter pode orientar os resultados da difusão estável. A figura abaixo mostra os principais resultados de postura previstos pelo MMPose.

Guiado por keypose, o adaptador T2I pode gerar animais com a mesma pose, como pandas e tigres.

O adaptador Sketch T2I pode ser plug and play, sem treinamento adicional, pode produzir qualquer resultado.

O mesmo é verdade para o Adaptador Keypose T2I.

Em suma, no Stable Doodle, o mesmo esboço pode gerar uma variedade de belas imagens em diferentes estilos.

Por que você não experimenta rapidamente?

Referências: