Desde la síntesis de video hasta la edición de la banda sonora, todo lo hace la IA: el tráiler de la primera película de ciencia ficción con IA, "Génesis", debutó sorprendentemente

Fuente: Corazón de la máquina

Autor: Du Wei, Zewen

En los últimos dos días, un avance de la película de ciencia ficción "Trailer: Genesis" ("Génesis"), que dura menos de un minuto, se ha vuelto popular en las redes sociales.

Saltar a ver‌

¿Es muy ciencia ficción? Lo que es más "ciencia ficción" es que desde la síntesis de imágenes y videos, la música hasta la edición, todo lo hace la IA.

El productor Nicolas Neubert enumera las herramientas de IA correspondientes, donde Midjourney procesa imágenes, Runway procesa videos, Pixabay procesa música y CapCut edita videos.

Midjourney es un artefacto de dibujo de IA familiar y se ha actualizado a la versión 5.2. Runway es una herramienta de producción de video basada en IA, y Gen-2 está actualmente disponible para una prueba gratuita. La herramienta de edición CapCut es gratuita para todos, pero también puede optar por editar en Adobe Premier o Final Cut Pro.

Twitter @iamneubert

Se entiende que Neubert pasó 7 horas, Midjourney generó 316 avisos, amplió 128 imágenes, Runway generó 310 videos y un video con texto. Se usaron un total de 44 videos en el tráiler.

Hoy, Neubert escribió un largo artículo que detalla el proceso de producción de "Génesis", incluido el proceso específico y cómo usar las herramientas de IA anteriores. Echemos un vistazo a ellos uno por uno.

Con respecto a la idea de la película, dijo que la idea de su tema distópico surgió de varias películas que había visto y escribió una historia basada en ellas.

El primer paso en la producción oficial es construir el mundo y la historia.

Para la trama de Génesis del tráiler, Neubert quería aumentar la tensión paso a paso. Por lo tanto, se definen las siguientes 3 fases:

1. Preparando la escena
2. Introducción de amenazas
3. Clímax en CTA

Específicamente, Neubert trabajó en el primer borrador de la copia del tráiler, que incluía "Share It All, Live the Consequences, and Call Humanity to Action".

Habiendo definido así el tono general, procedió a generar escenas en torno a estos temas. Neubert se desplazó a través de toneladas de clips humanos y de ciencia ficción sobre temas de entornos, tecnología militar y combate, y obtuvo una historia de todos ellos.

También para agregar algo de profundidad, agregó tomas de tres niños con amuletos brillantes, insinuando una historia más profunda.

El segundo paso es generar imágenes consecutivas en Midjourney.

Preste especial atención a la sugerencia () aquí. Neubert perfeccionó las señales de estabilización que había obtenido en publicaciones anteriores para crear una plantilla que pudiera reutilizar en cada toma del tráiler. La plantilla es la siguiente:

___________, Star Wars, diseñado como escenas detalladas de multitudes, naturalismo terrenal, verde azulado y amarillo, frostpunk, escenas interiores, cinestill 50d—ar 21 :9—estilo original

Para cada escena, completaba los espacios en blanco con la escena deseada, asegurándose de que las otras fichas mantuvieran la máxima continuidad de tema, color e iluminación.

Además, el uso de la función de cambios fuertes (Strong iations) facilita la creación de diferentes escenas al tiempo que conserva la paleta de colores anterior. Una escena de una guerrera se puede transformar en una escena de un ciudadano normal, un hacker cibernético o una pelea sin generar nuevas indicaciones.

El tercer paso es generar la imagen animada en Runway.

Neubert encontró que este paso era el más fácil. En la configuración, siempre intenta activar el modo mejorado. Sin embargo, este modo suele tener problemas con los rostros, por lo que para las tomas de retratos suele utilizar la calidad estándar.

Vale la pena señalar que en lugar de usar una combinación de indicaciones de texto e imágenes, arrastró y soltó una imagen y la regeneró hasta que obtuvo el resultado con el que estaba satisfecho.

El último paso es la posedición en CapCut.

Mientras Midjourney y Runway generan resultados, Neubert comienza colocando escenas clave que sabe que jugarán un papel importante. En cuanto al tráiler, cree que las tomas exteriores serán la apertura.

Luego comience a planificar el texto. Es posible que no haya clips en la línea de tiempo cuando el texto se coloca de acuerdo con la música. En menos de una hora, compiló el contenido de acuerdo con la línea de tiempo y fijó la ubicación. Esto es excelente para generar imágenes en las que necesita un punto fijo adicional para tener en cuenta qué escenas aún faltan.

Los pasos específicos se vuelven muy simples, genere clips → colóquelos en CapCut → colóquelos en la línea de tiempo y poco a poco reconstruya la historia. También hizo coincidir el color de 2 o 3 paquetes de edición para que se parecieran más a grandes escenarios de películas.

La única habilidad requerida para usar CapCut es sincronizar el tempo de los clips. Cuando aparece "BWAAA" en la música, siempre está tratando de conectar la acción dentro del clip o alinear los clips que siguen. Esto hace que toda la secuencia se sienta más inmersiva.

Además, Neubert consideró cómo incorporar mucho movimiento en el clip. Aquí usa dos trucos para agregar movimiento.

Primer truco: Runway toma una imagen y calcula qué partes deben animarse según el modelo. Hizo ingeniería inversa de esta idea, tratando de generar imágenes en Midjourney que sugirieran movimiento. Esto significa que se puede agregar desenfoque de movimiento al metraje o se pueden capturar imágenes fijas de cabezas o personas en movimiento.

Segundo consejo: cuando analice el video de Runway, encontrará que en el clip de 4 segundos, la escena a menudo cambia mucho. Entonces, en la escena del tráiler, solo usó el corte completo de 4 segundos dos veces. Todos los demás clips duran de 0,5 a 2 segundos y aceleran los clips en un factor de 1,5 a 3. La razón de esto es que, como espectador, solo ve un clip corto y, por lo tanto, percibe más movimiento en la escena, esencialmente avanza rápidamente esa parte.

Después de algunas operaciones, lo que finalmente presentamos a todos es el impactante tráiler de "Génesis" al principio. El tráiler también recibió críticas muy favorables, y algunos dijeron que era el mejor video de generación de pasarela que habían visto hasta ahora.

De hecho, después de que Runway Gen-2 estuvo disponible para la prueba gratuita, muchos internautas abrieron sus mentes y lo combinaron con Midjourney para crear audazmente.

Midjourney+Runway: una combinación mágica de herramientas de creación de IA

Aquí hay algunos casos de uso de otra generación para compartir con usted.

La comprensión de Runway de los detalles de los movimientos del personaje también es relativamente precisa. En el video del internauta Shencheng, se puede ver que los detalles de los ojos de los personajes hacen que el video dinámico sea más vívido, y también se puede decir que agrega un poco de "habilidades de actuación".

fuente:

Después de que la imagen se mueve, los movimientos del hombre y el caballo en la noche son muy naturales, y hay más espacio para la imaginación de los personajes e incluso para las acciones posteriores.

fuente:

La combinación de Midjourney y Runway parece invencible y puede representar un sentido adecuado de la historia en las acciones clave de los personajes.

Twitter: @ai_insight1

También hay algunas variaciones que son más ricas y creativas en la generación de resultados.

Twitter @kkuldar

Twitter: @Akashi30eth

Algunos internautas también utilizan una serie de herramientas de inteligencia artificial para generar videoclips, pero los resultados parecen ser insatisfactorios.

El usuario de Twitter @nickfloats usa ChatGPT para escribir guiones, Midjourney para generar imágenes, Runway para generar videos, Triniti para generar música, Eleven Labs AI para doblar, y los clips simplemente se unen sin otros ajustes.

Guión escrito por ChatGPT

Los internautas grabaron todo el proceso de su propia producción y querían ver cuánto tiempo llevaría usar la IA para hacer comerciales cortos.

Este internauta comentó los resultados de este cortometraje como "El anuncio apesta". En este anuncio, los movimientos de los personajes son rígidos, la relación lógica de la imagen no es fuerte y es difícil resaltar el tema a expresar como un todo. La cooperación de AI parece no tener sorpresas, pero sí más "sustos".

En comparación con "Génesis", este cortometraje comercial es la mitad de largo, pero lleva muy poco tiempo. Una de las mayores diferencias está en los detalles de la participación humana. Carece de temas cuidadosamente considerados, ajustes coherentes y atención al detalle.

Si solo se permite participar a la IA, o solo producir obras basadas en la generación de IA, obviamente no es posible producir resultados de alta calidad. Es su aplicación y ajuste por parte de los humanos lo que parece revelar el verdadero valor de estas herramientas.