Hay muchas formas de manipular fotos para que se vea mejor, eliminar los ojos rojos o destello de lente, etc. Pero hasta ahora, el parpadeo(pestañeos) ha demostrado ser un oponente tenaz a las buenas instantáneas. Eso puede cambiar con la investigación de Facebook que reemplaza los ojos cerrados con los abiertos de una manera notablemente convincente.
Está lejos del único ejemplo de «pintura» inteligente, como se llama a la técnica cuando un programa llena un espacio con lo que cree que pertenece allí. Adobe en particular ha hecho un buen uso de él con su «relleno sensible al contexto», lo que permite a los usuarios reemplazar funciones no deseadas, por ejemplo, una rama sobresaliente o una nube, con una buena idea de lo que estaría allí si no fuera así. .
Pero algunas características están más allá de la capacidad de las herramientas para reemplazar, una de las cuales son los ojos. Su naturaleza detallada y altamente variable hace que sea particularmente difícil para un sistema cambiar o crearlos de manera realista.
Facebook, que probablemente tiene más imágenes de gente parpadeando que cualquier otra entidad en la historia, decidió analizar este problema.
Lo hace con una Generative Adversarial Network, esencialmente un sistema de aprendizaje automático que intenta engañarse a sí mismo para pensar que sus creaciones son reales. En una GAN, una parte del sistema aprende a reconocer, por ejemplo, rostros, y otra parte del sistema crea repetidamente imágenes que, según los comentarios de la parte de reconocimiento, crecen gradualmente en realismo.
En este caso, la red está entrenada para reconocer y reproducir ojos abiertos y convincentes. Esto ya podría hacerse, pero como puede ver en los ejemplos a la derecha, los métodos existentes dejaron algo que desear. Parecen pegar a los ojos de las personas sin mucha consideración por la coherencia con el resto de la imagen.
Las máquinas son ingenuas de esa manera: no tienen una comprensión intuitiva de que abrir los ojos tampoco cambia el color de la piel que los rodea. (Para el caso, no tienen una comprensión intuitiva de los ojos, el color ni nada en absoluto).
Lo que hicieron los investigadores de Facebook fue incluir datos «ejemplares» que mostraran a la persona objetivo con los ojos abiertos, de lo cual el GAN aprende no solo qué ojos deben ver a la persona, sino cómo se forman, colorean y así sucesivamente. .
Los resultados son bastante realistas: no hay falta de coincidencia de color o costura obvia porque la parte de reconocimiento de la red sabe que esa no es la apariencia de la persona.
En las pruebas, la gente confundió las fotos falsas de ojos abiertos con las reales, o dijeron que no podían estar seguros de cuál era cuál, más de la mitad de las veces. Y a menos que supiera que definitivamente se manipuló una foto, probablemente no me percataría si pasara de una página a otra en mi suministro de noticias. Gandhi se ve un poco raro, sin embargo.
Todavía falla en algunas situaciones, creando artefactos extraños si el ojo de una persona está parcialmente cubierto por un mechón de cabello, o en ocasiones no recrea el color correctamente. Pero esos son problemas solucionables.
Puede imaginarse una utilidad automática de apertura de ojos en Facebook que verifica las otras fotos de una persona y las utiliza como referencia para reemplazar un parpadeo en la última. Sería un poco espeluznante, pero eso es bastante estándar para Facebook, y al menos podría salvar una foto grupal o dos.
Comentarios recientes