Talleres IA IMAGEN

Talleres de Inteligencia Artificial en educación

Intro

David Martínez Valeriano

Imagen

Audio

Texto

Edu IA

Vídeo

Imagen

Inicio

INTELIGENCIA ARTIFICIAL, TALLER 3: INTRODUCCIÓN A LAS IA DE IMAGEN

Introducción

¿Cómo funciona?

Categorización

Entrenamiento

Relación Usuario - IA

Prompts / Parámetros

A vista de pájaro

Riesgos y peligros

¿Sabías que...?

Manos a la obra

10

Imagen

Inicio

10

INTRODUCCIÓN

Imaginación artificial al poder. En este taller vamos a centrarnos en el uso de herramientas para imagen. Si en el taller de texto hablábamos de "Tú preguntas, la IA responde", en este deberíamos hablar de "Tú sugieres, la IA imagina". En este taller vamos a centrarnos en conocer diferentes herramientas de IA para imágenes y dejaremos que sea la IA la que llene de formas y colores nuestros pensamientos. Vamos a trabajar tanto en la creación como en la supervisión, rectificado y discriminación de imágenes reales e imágenes generadas por IA.

Imagen

Inicio

10

¿CÓMO FUNCIONA?

Parece magia pero el funcionamiento de una IA que trabaja con imágenes es muy similar a una de textos. Es verdad que luego haremos distinciones según el tipo de IA pero básicamente el tratamiento de datos y el entrenamiento es casi idéntico a una herramienta de IA como por ejemplo ChatGPT. Como un comentario general, estas herramientas de IA lo que hacen es entrenarse captando millones de imágenes y reconociendo patrones de cada uno de los elementos de esas imágenes. Al generar una imagen en base a esos patrones las IA luego cotejan, dependiendo de las palabras que el usuario solicita, todas las claves de patrón que tiene adquiridas y discrimina los resultados por imágenes que cumplen e imágenes no convincentes. Si el resultado es no convincente regenera la imagen e introduce los cambios detectados en los patrones identificados. A la hora de generar imágenes lo que hace la IA es combinar todo lo que en el prompt se pide, identificando objetos, características y acciones solicitadas. Aquí es donde más fallos pueden producirse. Estos fallos deberán ser corregidos por el usuario rectificando una y otra vez el prompt tal y como aprendimos en el taller de IA para texto.

Imagen

Inicio

10

CATEGORIZACIÓN

De uso en redes neuronales, grandes empresas tecnológicas y rara vez por el usuario final

Detección de objetos

Segmentación de imágenes

Reconocimiento de imágenes

Clasificación de imágenes

Generación de imágenes

Retoque de imágenes

Detección de imágenes IA

Uso frecuente por el usuario final

Imagen

Inicio

10

ENTRENAMIENTO

De igual forma que las herramientas de IA para texto, estas herramientas, las centradas en imágenes, tienen un proceso de entrenamiento continuo basado principalmente en la categorización de millones de imágenes, búsqueda de patrones e intercambio de datos en redes neuronales. Las imágenes recopiladas son tratadas y fragmentadas para aprender lo máximo de cada elemento de la imágen original. Con todos estos datos se generan las imágenes y se aplican técnicas para optimizar los resultados. Los resultados son comparados con la información que ya conocen los modelos entrenados y se distinguen entre creaciones que sí corresponden a los patrones e imágenes que no lo hacen, volviendo a incoporar estos datos al modelo hasta construir una imagen que pase los filtros establecidos por el modelo. Nosotros no podemos interferir en este entrenamiento directamente pero sí lo hacemos de forma indirecta cuando subimos alguna foto nueva a internet o creamos alguna con alguna IA o incluso cuando seleccionamos las imágenes de un Captcha. Sí que existen modelos que se pueden parametrizar por parte del usuario final pero a esto no deberíamos llamarle entrenamiento aunque de alguna forma influya en él.

Imagen

Inicio

10

RELACIÓN USUARIO - IA

Generación simple

• Petición genérica inicial.
• Peticiones extendidas a cada nueva respuesta de la IA.

Reformulación del prompt

• Formulación incial del prompt.
• Adecuación del prompt dependiendo del resultado obtenido.

Repetición de prompt en diferentes herramientas de IA

• Formulación del mismo prompt en varias herramientas para elegir el mejor resultado.

Subida de imagen propia para retocar por IA

• Utilización de imágenes subidas desde nuestro equipo para recibir un tratamiento por IA o crear a partir de ella

Generación de personajes persistentes

• Uso de un personaje creado por IA en situaciones diferentes

Imagen

Inicio

10

PROMPTS / PARÁMETROS

CONTEXTUALIZAR LA ACCIÓN

PUNTO DE VISTA

ESPECÍFICOS Y DETALLISTAS

ESTILO

ADJETIVOS

CLARIDAD

PROMPT NEGATIVO

Imagen

Inicio

10

A VISTA DE PÁJARO

Info de ChatGPT de uso de IA generativas de imágenes en los últimos 3 meses y convertida en una web para mostrar el resultado

Imagen

Inicio

10

¿SABÍAS QUE...

...hay muchas herramientas de IA para imagen capaces de convertir doodles en imágenes reales?

...Canva, además de tener su propia herramienta text2image ha llegado a un acuerdo con multitud de desarrolladoras de IA para integrar sus servicios en su plataforma? (puedes encontrarlas dentro de Apps de Canva)?

...con la herramienta Monica puedes animar una imagen estática?

...con ArtGuru.ai podemos crear un avatar nuestro utilizando unas cuantas fotos en las que salgamos nosotros ?

Imagen

Inicio

10

RIESGOS Y PELIGROS

Enredo con copyrights

Erosión de la confianza pública

Deepfakes

Propaganda y difamación mediática

Creación de fake news

Fraude e ingeniería social

Sabotaje empresarial

Violación de la privacidad

Manipulación de imágenes en marketing

Contenido pornográfico

Imagen

Inicio

10

MANOS A LA OBRA

1.- Imagine

8.- Hazte un selfia

2.- Canva

9.- Combinados locos

3.- Comparando

10.- Sherlock Holmes

4.- Fondos fuera

11.- Échate a correr

5.- Dando vida

12.- Una de vaqueros

6.- Prompteando

13.- Imagina un taller de IA en el Centro de Profesores

7.- Doodleando

Aunque Monica.ai es un enorme editor IA dedicado a diferentes funciones, en esta actividad vamos a probar su "animador" de imágenes estáticas, faceta en la que destaca por encima de las otras funciones que posee. 1.-Elegiremos y descargaremos de Google una imagen. La subiremos a Monica y le pediremos que nos la anime (en el link de abajo tenéis el link directo a esta función de Monica)

Mueve las caderas siempre que tengas ocasión

Como en el tipo anterior, estas IA utilizan un algoritmo para dotar de potencialidad recursos concretos. En este caso lo que hace este algoritmo es etiquetar cada uno de los pixels de una imagen para estudiarlos después por separado. Está siendo usado en medicina para identificar anomalías en los tejidos, un buen ejemplo sería U-Net. Además también pueden servir para identificaciónn de escenas urbanas como DeepLab de Google o Mask R-CNN utilizada para aplicaciones de conducción autónoma

U-Net

Mask R-CNN

DeepLab

Nos enfrentamos a la primera generación de imagen de este taller. Para este primer acercamiento he elegido Firefly por su rapidez, su facilidad de uso y su calidad. Una vez dentro tendréis que imaginar qué queréis que la IA cree para vosotros y escribirle el prompt. Tampoco tenemos porqué rebuscar mucho a la hora de crear el prompt, dentro de un par de actividades profundizaremos en el retoque del prompt creado. Anotad el prompt que hayáis usado para retocarlo en esa actividad posterior.

Fácil, ¿verdad?

Identifican objetos, personas, características e incluso texto. Un buen ejemplo de este tipo de IA puede ser Google Vision AI que, por ejemplo, implementó esta tecnología en sus Google Glasses. Similares a Google VIsion tenemos Amazon Rekognition, Microsoft Azure Computer Vision, Clarifai, DeepAI Image Recognition API (este para integrar en webs de terceros) o Vize.ai que nos permite entrenar modelos de reconocimiento de imágenes específicos para empresas. Muchas de las aplicaciones de Realidad Aumentada están incorporando a sus productos este tipo de IA.

Google Cloud Vision AI

Microsoft Azure Computer Vision

Amazon Rekognition

Clarifai

Vize.ai

DeepAI Image Recognition API

Todo avance tecnológico tiene sus pros y sus contras, en este taller centrado en las herramientas IA para imágenes nos encontramos con un problema grave que puede llegar a ser muy grave según el uso que se hagan de ella. Hablamos de deepfakes. Para minimizar su impacto vamos a ver (y trabajaremos después) con diferentes métodos para detectar imágenes generadas por IA. Las Fuerzas y Cuerpos de Seguridad del Estado tienen sus propias herramientas forenses en colaboración con organismos como el Instituto Nacional de Ciberseguridad (INCIBE) y el Centro Criptológico Nacional (CCN-CERT). Además a nivel global se colabora con Interpol, Europol y empresas de ciberseguridad para la detección de deepfakes en proyectos como Sirius o iCOP y tecnologías de terceros como Sensity AI, Amber Authenticate o Truepic, peeeeeeero... ¿y el resto de las personas?¿cómo podemos distinguir una imagen generada por IA y que no nos la cuelen?

1.- Regla del "¿pero qué me estás contando?" Lo primero es que nuestro sentido común puede disparar alertas que debemos aprender a reconocer al ver una imagen digital

2.-Observación, errores en los difuminados, dedos o dientes anormales, errores en los contornos y aberraciones creativas

3.- Búsqueda inversa con aplicaciones como: Google Images, Bing, Tineye o Yandex

4.- Análisis de metados con herramientas como: Metadata2Go o Image Verification Assistant

5.- Análisis con herramientas forenses para IA como: HuggingFace Detector, Sensity, DeepFake o Meter, Detect Defender, Truepic, Hive Moderation o plugins de navegador como InVid, Hive AI Detector o Was It AI

Se están produciendo además avances en aplicaciones de identificación de imágenes generadas por IA desde la cámara del móvil. Google Lens y Rodea para buscar de Google que pronto tendremos disponible.

InVid

Was It AI

Google Images

Metadata2Go

Tineye

Yandex

Image Verification Assitant

Bing

HuggingFace Detector

Truepic

DeepFakeOmeter

Detect Defender

Hive Moderation

Sensity

Hive AI Detector

¿Tienes el móvil a mano? Sácalo y hazte un selfie. Después enviátelo a la cuenta de correo que estés usando en el taller. Vamos a trabajarlo con una herramienta de IA llamada Fotor.

1.- Subimos la foto a Fotor (si hubiera usado la palabra imagen no habrías terminado de leer la frase como si fueses Chiquito de la Calzada) 2.- Localizamos el apartado "Filtros de IA" en el menú izquierdo y probamos varios de ellos. Como veis hay un montón más de opciones, Fotor es un portal de IA muy completo.

Di patata

Retomamos el prompt que usamos en la primera actividad y volvemos a trabajar con Firefly, en esta ocasión redefiniendo el prompt teniendo en cuenta lo que hemos visto en el apartado de "Prompts/Parámetros":

• Siendo más específicos y detallistas, explicando en el prompt cómo queremos alguna cosa más concreta de la imagen.
• Añadiendo un estilo (por ejemplo: que parezca de los años 60 o que tenga un estilo futurista)
• Si en la imagen hay una acción expliquemos cómo queremos que se comporte el movimiento
• Probando diferentes puntos de vista (Plano frontal, vista aérea,...)
• Usemos adjetivos para cosas concretas que queramos de una determinada manera
• Tratemos de ser lo más claros posibles en la redacción de todo lo anterior (podemos incluso decirle a ChatGPT que con la información dada nos haga un buen prompt para generar una imagen.
• Si procede, digamos que no queremos que haya (prompt negativo)

Yo prompteo, tú prompteas

Hemos visto que a la hora de detectar imágenes generadas por IA lo primero que tenemos que hacer valer es nuestra lógica, luego la observación y si nos siguen quedando dudas ya podemos recurrir a diferentes herramientas de análisis de metadatos, búsqueda inversa y a herramientas forenses. En esta actividad nos vamos a centrar en estos tres últimos apartados. Para ello vamos a utilizar imágenes de las que hemos ido creando en las actividades anteriores y un par que descarguemos de internet de alguna noticia (que deberían no ser generadas por IA, claro)

1.- Búsqueda inversa en Google Images, subiremos alguna de las imágenes y comprobaremos las fuentes que nos ofrece Google

3.-Análisis forense. Nuestro primer análisis forense lo realizaremos con Was It AI. Un análisis rápido y con bastante índice de acierto

2.-Análisis forense profundo, incluyendo metadatos con la herramienta Image Verification Assistant

5.-DeepFake O meter. Completísima con muchos modelos diferentes para analizar pero muuuy lenta si queremos un análsis exhaustivo.

Elemental, querido Watson

Google Images

Was it AI

Image VA

DeepFake o Meter

Encargada de revisar todos los elementos de una imagen y encuadrar los objetos que ha sido capaz de reconocer. Es similar al primer tipo que hemos visto aunque está utilizada casi en exclusividad para potenciar las redes neuronales. El algoritmo que usa esta IA es conocido por YOLO (You Only Look Once: Mira sólo una vez o incluso "sólo se vive una vez") está usado en miles de soluciones de identificación en tiempo real (carreteras, reconocimiento facial, seguridad,...), a raíz de este algoritmo tenemos librerías de código abierto como Detectron2 que podemos usar en nuestras aplicaciones. Luego, volvemos a encontrarnos con Google Cloud Vision AI, Amazon Rekognition o Microsoft Azure Computer Vision que han añadido esta funcionalidad a su plataforma de tratamiento de imágenes.

YOLO

Detectron2

Google Cloud Vision AI

Microsoft Azure Computer Vision

Amazon Rekognition

¿Hasta qué punto sois capaces de recrear este momento exacto del taller a través de una herramienta generativa de imagen? Deberéis convertir en un prompt todo lo que tenéis a vuestro alrededor, buscar descripciones para esta sala, la distribuición de las mesas, pantallas, asistentes,... y con él generaremos un prompt y veremos qué creación de las resultantes de todos los participantes se aproxima más a la realidad. Podéis elegir la herramienta de IA que os apetezca de todas las que hemos visto.

Espejito, espejito, ¿cuál es la simulación más bella del reino?

La más extendida y de la que más uso hacemos de ella. Aquí tenemos millones de aplicaciones (y los millones que vendrán). La mayoría de plataformas de diseño están integrándola en sus productos, un buen ejemplo de ello es Canva. En este apartado vamos a destacar Firefly de Adobe, DALL-E y Stable Difussion aunque podríamos no terminar de proponer soluciones de creación de imágenes por IA. También tenemos soluciones a través de otras plataformas, en parte para hacerlo un poco más exclusivo y en parte para no saturar los servidores, aquí, sin duda, el rey es MidJourney que trabaja vía Discord y para el que hay que esperar un tiempo para poder crear un registro en la actualidad. MidJourney ha comenzado a servirse también de una conexión a través de Google para permitir crear imágenes a través de la web sin vernos obligados a recurrir a Discord pero de momento esto va por invitación (y hay muuuy pocas) DALL-E al ser una IA de OpenAI está ahora mismo ya integrada en ChatGPT

Canva

MidJourney

DALL-E

Stable Difussion

Firefly

Toca ahora una actividad de descubrimiento y experimentación dentro de una herramienta de IA que está convirtiéndose en un macrocentro de generación de contenido visual, Runway. Eso sí, en este taller nos vamos a centrar solamente en sus apartados de imagen.

1.- Primero vamos a probar su Text2Image que lo encontraréis en el menú izquierdo, cread un prompt sencillo sobre lo que queráis y se lo enviamos. 2.- Después volveremos al Dashboard y pincharemos esta vez en "All Tools", aquí se nos abrirá el mundo Runway, como veréis hay muchísimas opciones tanto de imagen, como de vídeo o audio, sólo experimentaremos con aquellas de imagen que nos llamen la atención.

Más herramientas que el Inspector Gadget

Aquí englobo varios tipos porque todos están centrado en la conversión, mejora y modificación de imágenes ya hechas. Tenemos IA para eliminar fondos como remove.bg, IA para superescalar imágenes como GigapixelAI o IA para darle un estilo diferente a las imágenes como OpenArt, DeepAI o DeepArt.IO (esta última está ahora mismo de cambio de servidores pero volverá a funcionar en breve). El mar de aplicaciones que tenemos en este, y en el siguiente apartado es inabordable, cada día se multiplican en número y en funcionalidades

Remove.bg

DeepAI

GigapixelAI

OpenArt

DeepArt.IO

Es una IA encargada de captar imágenes y categorizarlas siendo esta la principal fuente de los entrenamientos de todas las herramientas IA que trabajan con imágenes. La IA por excelencia en este apartado es ResNet, una potente red neuronal de imágenes a la que no tenemos acceso para interactuar con ella. Luego tenemos alguna solución IA de clasificación sobre las que sí podemos intervenir como usuarios como Google Cloud AutoML Vision, Amazon Rekognition Custom Labels o Microsoft Azure Custom Vision (como vemos muchas son extensiones del tipo anterior, incluso alguna herramienta de detección de las citadas anteriormente podrían llegar a clasificarse también como IA para categorizar porque son dos procesos que van casi de la mano.

ResNet

Amazon Rekognition Custom Labels

Google Cloud AutoML Vision

Microsoft Azure Custom Vision

Una función poco usada para la cantidad de posibilidades que tiene es la mezcla de imágenes. Podemos tematizar cualquier imagen o incluso crear mezclas de estilos o elementos de imágenes para que se combinen entre sí. Hay bastantes herramientas que hacen esto, nosotros vamos a probar Artbreeder, en concreto su funcionalidad "Composer"

1.- Buscamos y descargamos varias fotos desde Google que luego fusionaremos subiéndolas a Artbreeder. Conviene buscar una imagen base, que será sobre la que la IA trabaje, y por lo menos una imagen más para darle estilo. Podemos elegir también imágenes parecidas en cuanto a contexto a la imagen base pero totalmente diferentes en cuanto a composición para añadirla a la mezcla (Un buen ejemplo podría ser un retrato de un niño, el retrato del Joker de Batman y un fondo de arcoiris y nubes)

Ni Tom Cruise en Cocktail combinaba tan bien

Momento de creación. Vamos a intentar crear una imagen que pudiera ser parte de una peli o de una novela gráfica de vaqueros. 1.-Libertad total para contar lo que sucede en la escena, pero el prompt deberá estar muy bien pensado atendiendo a lo que hemos aprendido hasta el momento. 2.-Libertad total para elegir herramienta de IA con la que hacerla.

Zarzaparrilla y promptaco de mascar

Pasamos ahora a comprobar cómo diferentes modelos de IA tratan una misma información proporcionada. Para ello crearemos un único prompt y lo utilizaremos en varias herramientas de IA diferentes. Propongo Firefly, DALL-E, Runway y Dreamstudio, pero podéis añadir las que queráis. Debemos ser conscientes que un mismo prompt, incluso en la misma herramienta, puesto dos veces nos tiene que dar resultados diferentes porque debe ser una creación nueva cada vez, si bien es cierto que la forma de crear la imagen y el estilo se respetará.

Compare y si encuentra algo mejor...¡cómprelo!

Canva se ha convertido por méritos propios en una gran plataforma de creación de contenido. En esta actividad vamos a probar su generador propio de imágenes. No entraremos en tocar el resto de apps que también posee. 1.-Entramos en Canva, crearemos un nuevo documento y buscaremos dentro del apartado elementos "Generador de imágenes con IA" allí escribiremos nuestro prompt 2.-Por último probaremos el mismo prompt con diferentes estilos de los que nos propone Canva.

CanvIA

Vamos a convertir un doodle o sketch a una imagen real generada por IA. En esta ocasión vamos a trabajar con la funcionalidad Sketch to life de Canva. 1.-Hacemos nuestro dibujo en Canva dentro de la utilidad Sketch to life (lo tenéis en el link directo abajo) 2.-Añadimos lo que queramos de prompt para darle realidad a nuestro dibujo 3.-¡Voilá!

Garabateando

Un problema frecuente al querer usar imágenes en nuestros contenidos es el fondo de la imagen seleccionada. Existen numerosas herramientas de IA que hacen esto pero vamos a probar una dedicada sólo a esto y que nos permite trabajar sin registros y de manera muy rápida: Remove.bg

Bórrame ese fondo