Talleres IA VIDEO

Talleres de Inteligencia Artificial en educación

Intro

David Martínez Valeriano

Imagen

Audio

Texto

Edu IA

Vídeo

Vídeo

Inicio

INTELIGENCIA ARTIFICIAL, TALLER 1: INTRODUCCIÓN A LAS IA DE VÍDEO

Introducción

¿Cómo funciona?

Categorización

Entrenamiento

Relación Usuario - IA

Prompts / Parámetros

A vista de pájaro

Riesgos y peligros

¿Sabías que...?

Manos a la obra

10

Vídeo

Inicio

10

INTRODUCCIÓN

Seguimos explorando en este taller el mundo visual que nos puede "regalar" la IA. En esta ocasión es turno para las herramientas de IA para vídeo. Hemos trabajado con imágenes y aunque los vídeos son una consecución de fotogramas veremos que aunque tienen partes comunes hay grandes diferencias en cuanto al trabajo con las herramientas de IA. En el mundo de las herramientas de IA para vídeo veremos que tenemos menos margen de acción en cuanto al trabajo con herramientas freemium.

Vídeo

Inicio

10

¿CÓMO FUNCIONA?

Muy similares en cuanto a funcionamiento con las herramientas de IA para imágenes, estas herramientas además captan los movimientos y acciones de millones de fragmentos de vídeo. Estos fragmentos son cacheados y con ellos se crean patrones lógicos para que sepan crear reacciones naturales en los elementos que crea. Así que por un lado los elementos (personas, objetos, seres vivos,...) son creados conforme los crearía un modelo de imagen y luego se aplican técnicas para dotar a esos elementos de acciones y reacciones naturales a lo que el usuario ha solicitado en su prompt.

Vídeo

Inicio

10

CATEGORIZACIÓN

Animación automática

Creatividad y generación artística

Generación de vídeos

Subtítulos y transcripción

Edición vídeos automática

Análisis de contenido

Mejora de calidad

Detección vídeos IA

Voces y doblaje

Deepfakes y manipulación facial

Vídeo

Inicio

10

ENTRENAMIENTO

En el taller anterior vimos que las herramientas de IA centradas en imágenes tienen un proceso de entrenamiento continuo basado principalmente en la categorización de millones de imágenes, búsqueda de patrones e intercambio de datos en redes neuronales. En las que están centradas en vídeo se repite este proceso y se añaden millones de fragmentos y secuencias de vídeo. Se crean conexiones y patrones de movimientos lógicos y de secuenciación de imágenes. Como peculiaridad, en el entrenamiento de los modelos para vídeo se guardan también pares combinando texto y secuencias de vídeo. Los vídeos se fragmentan en fotogramas y estos se etiquetan en secuencias para crear correlaciones claras. Dependiendo del modelo y tras los análisis en redes neuronales profundas estos sistemas usan dos redes neuronales de forma simultánea, una para crear secuencias y fragmentos de vídeos y otra discriminadora para cotejar si los resultados son verosímiles. Por último el modelo coteja el vídeo definitivo generado con vídeos similares para ver si cumple todos los requisitos establecidos en el modelo.

Vídeo

Inicio

10

RELACIÓN USUARIO - IA

Generación simple

• Petición genérica inicial.
• Peticiones extendidas a cada nueva respuesta de la IA.

Reformulación del prompt

• Formulación incial del prompt.
• Adecuación del prompt dependiendo del resultado obtenido.

Repetición de prompt en diferentes herramientas de IA

• Formulación del mismo prompt en varias herramientas para elegir el mejor resultado.

Subida de imagen propia para crear vídeo por IA

• Utilización de imágenes subidas desde nuestro equipo para dirigir el resultado del vídeo

Edición multitarea de vídeo

• Diferentes usos para editar vídeos propios (mejora, resolución, estilos, ediciones, subtitulados,...)

Vídeo

Inicio

10

PROMPTS / PARÁMETROS

Idéntico al tratamiento de imágenes unicamente con cambios en la paremetrizción en cuanto a formato de salida y duración

CONTEXTUALIZAR LA ACCIÓN

PUNTO DE VISTA

ESPECÍFICOS Y DETALLISTAS

ESTILO

ADJETIVOS

CLARIDAD

PROMPT NEGATIVO

Vídeo

Inicio

10

A VISTA DE PÁJARO

Info de ChatGPT de uso de IA generativas de vídeo en los últimos 3 meses y convertida en una web para mostrar el resultado

Vídeo

Inicio

10

¿SABÍAS QUE...

...con aifaceswap.io podemos intercambiar caras en vídeos?

...igual que usábamos remove.bg para quitar el fondo de imágenes podemos usar Unscreen para quitarle el fondo a nuestros vídeos?

...tenemos aplicaciones como Bigvu para crear traducciones simultáneas en vídeos o incluso crear nuestro propio telepromter?

... que podemos crear pequeñas secuencias de vídeo generando efectos 3D sobre imágenes 2D con herramientas como Lumalabs?

... que con IAs como Rask podemos convertir vídeos propios a otros idiomas usando nuestra propia voz?

Vídeo

Inicio

10

RIESGOS Y PELIGROS

Enredo con copyrights

Fomentar el sensacionalismo

Deepfakes de imagen

Manipulación de pruebas visuales

Suplantación de identidad en RRSS

Desinformación visual

Creación de contenido sexual explícito no consentido

Contenidos ofensivos o de odio

Evasión de moderación de contenido

Ciberbullying

Vídeo

Inicio

10

MANOS A LA OBRA

1.- Imagine

8.- Corazón de invierno

2.- Canva

9.- 007

3.- Comparando

10.- Sherlock Holmes

4.- Fondos fuera

11.- Descubriendo América

5.- Sabio corte

12.- Museo Loco

6.- Enlazando vídeos

13.- Larga vida al rey

7.- Doblaje

Herramientas centradas en dos funcionalidades muy diferenciadas, tenemos las herramientas de análisis de vídeo, como Emotion Ai o Affectiva, centradas en detección de emociones y análisis facial que ayudan a entender mejor el contenido o a la persona que en él aparece y tenemos también herramientas como Vidooly o Veed Analytics que lo que analizan es la forma en la que los usuarios interactúan con los vídeos ofreciendo datos basados en atención, clics o tiempo de visualización.

Veed Analytics

Emotion AI

Vidooly

Affectiva

Cabe, con esta categoría de herramientas partir su función última en dos: Corte y montaje automático y reconocimiento de escenas y objetos. Corte y montaje automático: La IA se encarga de seleccionar las mejores partes de los vídeos y los edita, eliminando ruido, errores o pausas largas. Aquí tendríamos herramientas como Magisto, Adobe Premier Pro o Wisecut. Reconocimiento de escenas y objetos: Dedicadas a identificar objetos, personas, acciones o escenas en el vídeo. RunwayML o Descript serían unos buenos ejemplos en esta funcionalidad.

Descript

Magisto

Wisecut

Adobe Premier Pro

RunwayML

Vamos a trabajar con la funcionalidad de doblaje de D-iD Studio. Vamos a doblarnos a nosotros mismos. 1.-Nos hacemos un selfie, nos lo enviamos por email para descargarlo en el ordenador. 2.-Lo subimos a D-iD Video en su apartado "Create a Video" pinchando en "Create" y elegimos "Standard Avatar" 3.-Una vez subida pinchamos en script y añadimos el texto que queremos que diga la foto 4.-Generate video y esperamos a ver el resultado.

Dobla, redobla, desdobla

Vamos a usar Vyond para crear una presentación hecha por nosotros a mano pero con la ayuda de la IA de Vyond. En este ejemplo vamos a crear una presentación tipo "WhiteBoard" sobre un super agente secreto. 1.-Entramos en Vyond y elegimos "Create" y dentro del menú que se depliega elegimos "Text to vídeo" 2.-Metemos el prompt que queramos sobre la presentación y elegimos el tipo de plantilla Whiteboard 3.-Creamos nuestra videopresentación

Mi nombre es Vyond, James Vyond

Al igual que con las imágenes tenemos diferentes formas de detectar vídeos generados por IA. El sentido común sigue siendo nuestro poder más efectivo de cara a detectar vídeos falsos. La búsqueda de imperfecciones en los vídeos será un claro motivo para dudar de la procedencia del vídeo (transiciones borrosas, fallos en la iluminación o la textura de la piel, la sincronización labial,...) Además hay pequeñas iniciativas que tienen visos de llegar a establecer estándares a la hora de la creación de vídeos. Se está tratando la forma de certificar vídeos por Blockchain y hay una iniciativa (The Coalition for Content Provenance and Authenticiy - C2PA) que está desarrollando estándares abiertos para certificar la autencidad de los vídeos.

1.- Regla del "¿pero qué me estás contando?" Lo primero es que nuestro sentido común puede disparar alertas que debemos aprender a reconocer al ver una imagen digital

2.-Observación, errores en los difuminados, transiciones borrosas, incoherencias en los movimientos faciales, labiales y oculares,...

3.- Análisis forense de metadatos con herramientas como Amped Authenticate

4.- Herramientas específicas de grandes plataformas tecnológicas como Microsoft Video Authenticator o Deepfake Detection Challenge (DFDC) de Facebook

5.- Detección de IA con redes neuronales profundas como DeepFake o meter, FaceForensics++, XceptionNet o Hive Moderation

Amped Authenticate

Microsoft Video Authenticator

Deepfake Detection Challenge

DeepFake o meter

FaceForensics++

XceptionNet

Hive Moderation

Un problema frecuente al querer usar vídeos en nuestros contenidos es el fondo si lo que queremos es añadirlo sobre el contenido o incluso sobre otro vídeo. Existen numerosas herramientas de IA que hacen esto pero vamos a probar una dedicada sólo a esto y que nos permite trabajar sin registros y de manera muy rápida: Unscreen

Bórrame ese fondo

Herramientas dedicadas en exclusiva a dar más nitidez o resolución a vídeos e incluso a imágenes captadas por la webcam para videoconferencias, Google Meet por ejemplo ya ofrece una herramienta integrada en su plataforma para este fin. Como buenos ejemplos de herramientas que aumentan resolución de vídeo podríamos poner a Topaz Video Enhance AI, Filmora o HitPaw Video Enhancer. Tenemos también herramientas que se dedican a mejorar el color y a reducir el ruido en nuestros vídeos como DaVinci Resolve

Filmora

Topaz Video Enhance AI

DaVinci Resolve

HitPaw Video Enhancer

Unas herramientas que están siempre en el ojo del huracán son las dedicadas a la creación de Deepfakes o dedicadas a la manipulación facial y es que se han hecho (y se harán) miles de tropelías con ellas. Es cierto que estas herramientas tienen un lado oscuro (bueno, usuarios que las usan) pero también podemos llevar, por ejemplo, a la vida a personajes históricos para nuestras aulas. Buenos ejemplos de herramientas de creación de deepfakes serían: DeepFaceLab, Reface o Zao. En cuanto a herramientas que nos permiten ajustar expresiones faciales o sincronizar los movimientos de los labios con el audio (lip-sync) tendríamos Synthesia o Avatarify

DeepFaceLab

Zao

Reface

Synthesia

Avatarify

Pasamos ahora a comprobar cómo diferentes modelos de IA tratan una misma información proporcionada. Para ello crearemos un único prompt y lo utilizaremos en varias herramientas de IA diferentes. Propongo Pixverse, Pictory y Runway, pero podéis añadir las que queráis. Debemos ser conscientes que un mismo prompt, incluso en la misma herramienta, puesto dos veces nos tiene que dar resultados diferentes porque debe ser una creación nueva cada vez, si bien es cierto que la forma de crear la imagen y el estilo se respetará.

Compare y si encuentra algo mejor...¡cómprelo!

Vamos a trabajar con una funcionalidad muy concreta de Pictory, su "Visuals to video", esta función nos permitirá crear en segundos presentaciones a partir de vídeos o imágenes. 1.-Entramos en Pictory y elegimos "Visuals to video" de su menú 2.-Subimos por lo menos tres vídeos de los que hemos descargado de las actividades anteriores 3.-Añadimos texto, elementos,... tal y como lo haríamos en Canva. 4.-Añadimos transiciones y vemos que tenemos opción de narrar nosotros mismos o incluso permitirle a la IA que lo haga por nosotros

Video presentaciones para llevar

Estas herramientas permiten crear personajes animados y controlar sus movimientos a partir de texto normalmente aunque también hay las que utilizan datos externos capturados. Plotagon, Vyond o Adobe Character Animator entrarían en esta categoría. En la misma categoría nos encontramos con alguna herramienta como DeepMotion que permiten crear movimientos de personajes basados en datos de captura de movimientos de otros personajes o vídeos.

Plotagon

Adobe Character Animator

Vyond

DeepMotion

Estas herramientas van muy de la mano con las herramientas que veremos en el taller de audio, y es que el proceder principal con ellas es primero generar una voz como haremos en el próximo taller y luego hacer que esa voz creada genere un doblaje automático o que se ajuste con los labios de los personajes. Como veis también tiene una pequeña pincelada similar a las herramientas de la categoría anterior. Aquí contamos con herramientas como D-iD Studio, Dubverse o Flawless AI

Dubverse

Flawless Ai

D-iD Studio

Hemos visto que a la hora de detectar vídeos generados por IA lo primero que tenemos que hacer valer es nuestra lógica, luego la observación y si nos siguen quedando dudas ya podemos recurrir a diferentes herramientas de análisis de metadatos, búsqueda inversa y a herramientas forenses. En esta actividad nos vamos a centrar en estos tres últimos apartados. Para ello vamos a utilizar alguno de los vídeos que hemos creado en las actividades anteriores. 1.-Vamos a utilizar DeepFake O meter para analizar completamente nuestro vídeo. 2.-Podemos probar con un vídeo descargado de internet que sepamos que no es de IA para comprobar el funcionamiento de una forma más profunda.

Elemental, querido Watson

Hemos visto a lo largo de estos talleres que podemos transcribir vídeos, meter el texto en un asistente de IA para que nos los resuma, peeeero aún podemos hacer más. Imagina que queremos recibir la información importante de un vídeo largo en un tiempo mucho más reducido pero queremos seguir recibiéndolo con formato de vídeo.Es momento de usar Wisecut 1.-Busca en YouTube un vídeo de alguna conferencia, charla o explicación de algún procedimiento. 2.-Pega la URL en Wisecut y que haga su magia

Cambio y corto

En esta categoría las herramientas de IA se ocupan principalmente de dos funciones, transcribir vídeo a texto y generar automáticamente subtítulos, la segunda función depende directamente la primera, si utilizamos una IA para generación de subtítulos como Kapwing o Veed.io necesariamente ha tenido que intervenir primero la función de transcribir lo que se detecta en vídeo. Como herramientas de transcripción podríamos usar Transkiptor, Turboscribe o Otter.ai

Kapwing

Veed.io

Transkiptor

Otter.ai

Turboscribe

Estas herramientas generan fragmentos de vídeo a partir de descripciones escritas por el usuario. La IA interpreta el texto y crea las animaciones o escenas en base a ello. Tenemos una enormidad de herramientas que realizan esto, normalmente fragmentos de 5 ó 10 segundos de duración en sus versiones free. Aquí tendrían cabida herramientas como Pictory, Lumen5, Synthesia, Runway o Pixverse, aunque veremos que muchas de ellas saldrán en más categorías ya que ofrecen soluciones amplias en el campo de vídeo.

Synthesia

RunwayML

Pixverse

Pictory

Lumen5

Canva se ha convertido por méritos propios en una gran plataforma de creación de contenido. En esta actividad vamos a probar su generador propio de vídeo. No entraremos en tocar el resto de apps que también posee. 1.-Entramos en Canva, crearemos un nuevo documento y buscaremos dentro del apartado elementos "Generador de imágenes con IA", una vez abierto su menú elegimos la opción Vídeo, allí escribiremos nuestro prompt

CanvIA

Nos enfrentamos a la primera generación de vídeo de este taller. Para este primer acercamiento he elegido Pixverse por su rapidez, su facilidad de uso y su calidad. Una vez dentro tendréis que imaginar qué queréis que la IA cree para vosotros y escribirle el prompt. Tampoco tenemos porqué rebuscar mucho a la hora de crear el prompt, dentro de un par de actividades profundizaremos en el retoque del prompt creado. Anotad el prompt que hayáis usado para retocarlo en esa actividad posterior.

Fácil, ¿verdad?

Vamos a ver un recurso al que podemos sacar mucho partido en nuestras clases. La animación de personajes.

1.- Descarga esta imagen:

2.- La subimos al generador de vídeo de Pixverse.

3.- En el prompt le pedimos que haga que la persona de la imagen extienda el brazo y señale con su dedo índice (como si nos marcara la dirección de América).

¿Qué?¿impactante, verdad? Es como ver celebrar un gol a Cristiano Ronaldo espera, espera... ¿estáis pensando lo mismo que yo?¿se lo pedimos?

Siuuuuuuuu

En esta actividad vamos a jugar con cuadros famosos. 1.-Elegiréis la imagen de un cuadro desde Google, la descargaréis y la subiréis a Pixverse 2.-Deberéis indicar en el prompt una acción a la persona o personas que aparecen en el cuadro.

Que El Greco me perdone

Trabajamos en la mejora de los vídeos. Lamentablemente en esta actividad no vamos a poder probar todos a la vez porque nos dejan, en su versión libre hacer un máximo de tres mejoras por días desde la misma dirección IP pero nos reorganizamos para poder ver todos la actividad.

1.-Descargamos este vídeo:

2.-Entramos en HitPaw en su versión de trabajo online (tenéis abajo el enlace directo) 3.-Elegimos la opción de mejora de vídeo y subimos el vídeo descargado 4.-¡Larga vida al rey!

AI is leaving the building

Vamos a ver lo sencillo que sería integrarnos a nosotros mismos como parte del contenido audiovisual que generemos (pero ojo, también de un deepfake) y aprovecharemos la actividad para repasar los principios básicos de sentido común a la hora de detectar estas creaciones de la IA. 1.-Nos tomamos un selfie y nos lo enviamos al email para poder descargarlo en el ordenador 2.-Entramos en aiFaceSwap y nos registramos para poder acceder a la pestaña de vídeo 3.-Descargamos el siguiente vídeo 4.-Seleccionamos el vídeo y el selfie que nos tomamos. Ampliamos la duración del vídeo resultante al máximo y le damos a generar (tarda unos minutos) 5.-Analizamos el resultado

Hola, corazones

Un tipo de herramientas ampliamente usado por los usuarios usadas normalmente para aplicar filtros o efectos creativos a los vídeos. Aquí destacan herramientas como Runway, pero casi todas las herramientas de generación de vídeo tienen en mayor o menor medida esta funcionalidad.

RunwayML