Google recupera tres pinturas perdidas de Klimt gracias a la Inteligencia Artificial

Google Arts & Culture recupera los colores de las ‘Pinturas de la Facultad’ de Klimt destruidas en la Segunda Guerra Mundial y de las que solo se conservan fotografías en blanco y negro

¿Pueden unas pinturas perdidas hace más de 75 años volver a la vida? ¿Es posible recrear, a partir de unas fotografías en blanco y negro, pinceladas, sombras y tonalidades exactas? La Inteligencia Artificial, que hace poco nos sorprendía completando la inacabada Décima Sinfonía de Beethoven, vuelve a sorprender, esta vez recuperando tres pinturas destruidas de Gustav Klimt.

‘Pinturas de las facultades’ coloreadas gracias a la Inteligencia Artificial. Imagen: Google Arts & Culture.

¿Pueden unas pinturas perdidas hace más de 75 años volver a la vida? ¿Es posible recrear, a partir de unas fotografías en blanco y negro, pinceladas, sombras y tonalidades exactas? La Inteligencia Artificial, que hace poco nos sorprendía completando la inacabada Décima Sinfonía de Beethoven, vuelve a sorprender, esta vez recuperando tres pinturas destruidas de Gustav Klimt.

En 1894, Klimt recibió el encargo de pintar, para el techo del aula magna de la Universidad de Viena, las representaciones alegóricas de Medicina, Jurisprudencia y Filosofía.

Coetáneas a algunas de sus obras más conocidas como El beso (1908) y Retrato de Adele Bloch-Bauer I (1907), las obras de gran tamaño, que muestran mujeres desnudas envueltas en serpientes, niños, esqueletos y todo tipo de seres espectrales, fueron tachadas de “pornografía” y “excesivamente pervertidas” hasta el punto de que la universidad las rechazó.

¿Pueden unas pinturas perdidas hace más de 75 años volver a la vida? ¿Es posible recrear, a partir de unas fotografías en blanco y negro, pinceladas, sombras y tonalidades exactas? La Inteligencia Artificial, que hace poco nos sorprendía completando la inacabada Décima Sinfonía de Beethoven, vuelve a sorprender, esta vez recuperando tres pinturas destruidas de Gustav Klimt.
‘Medicina’, Gustav Klimt. Austrian National Library | Google Arts & Culture.

Efectivamente, Klimt adoptó la forma clásica de la alegoría y su simbolismo pero la llevó a su terreno, el de un lenguaje plástico muy personal, abiertamente sexual y provocativo. Finalmente vendidas a una coleccionista privada, Serena Lederer, el artista no volvería a aceptar ningún otro encargo.

Respecto a las obras, fueron confiscadas por los nazis durante la Segunda Guerra Mundial y, se cree, destruidas durante un incendio provocado por los oficiales de las SS en el castillo de Immendorf para evitar que cayeran en manos de los soldados del Ejército Rojo, que avanzaban imparables.

Para sus ‘Pinturas de las facultades’ Klimt adoptó la forma clásica de las alegorías pero las llevó a su terreno, el de un personalísimo lenguaje plástico abiertamente sexual y provocativo

Solo sobrevivieron fotografías en blanco y negro, entre ellas las tomadas por Moritz Närh, un fotógrafo austriaco muy próximo, como el mismo Klimt, al movimiento de Secesión de Viena. De hecho, entre sus trabajos más conocidos se encuentran los retratos del propio Klimt, además de los de Gustav Mahler y Ludwig Wittgenstein.

Las pinturas perdidas que vuelven a la vida

Hasta ahora solo era posible conocer estas obras, denominadas ‘Pinturas de las facultades’ gracias a esas imágenes, además de a los diversos textos que las describen. Sin embargo, gracias a tecnología de vanguardia de aprendizaje automático, entrenada con un conjunto de datos de las pinturas de Klimt, Google Arts & Culture las ha restaurado para permitir verlas tal y como fueron creadas.

Para entrar al algoritmo se usaron 80 obras de Klimt así como un millón de imágenes del mundo real

Un equipo dirigido por Emil Wallner, especialista en Inteligencia Artificial del Google Arts & Culture y Franz Smola, comisario del Museo Belvedere en Viena, que alberga una de las colecciones artísticas de mayor valor del país, con las principales obras de Gustav Klimt, Egon Schiele y Oskar Kokoschka, se puso al frente de este proyecto.

Para ello se reunieron todo tipo de descripciones de las obras, tanto en noticias, catálogos de exposiciones e, incluso cartas. Entre ellas se leían comentarios como “Un infierno de lujo, donde los instrumentos de oro de tortura están incrustados con diamantes y los mártires sangran rubíes” del escritor y periodista Ludwig Hevesi, sobre la titulada Jurisprudencia.

¿Pueden unas pinturas perdidas hace más de 75 años volver a la vida? ¿Es posible recrear, a partir de unas fotografías en blanco y negro, pinceladas, sombras y tonalidades exactas? La Inteligencia Artificial, que hace poco nos sorprendía completando la inacabada Décima Sinfonía de Beethoven, vuelve a sorprender, esta vez recuperando tres pinturas destruidas de Gustav Klimt.
Franz Smola y Emil Wallner trabajando en el laboratorio deGoogle Arts Culture Lab en París

Un algoritmo para ‘colorear’ a Klimt

Después se buscaron las figuras y los motivos que aparecen en estas obras en otros cuadros de Klimt. Por ejemplo, las serpientes doradas que aparecen en Jurisprudencia también se encuentran en el Friso de Beethoven. Al datarse en el mismo periodo es probable que se usara también un matiz similar de oro.

Una vez reunida toda la información posible acerca del color en las piezas, se desarrolló un algoritmo que pudiera procesar esa información para restaurar las pinturas en la actualidad. Fueron necesarios 6 meses de trabajo.

De este modo, en lugar de colorear manualmente las pinturas, el algoritmo de Wallner hizo un análisis estadístico del conjunto de obras de Klimt y aprendió a imitar el estilo de color.

Por supuesto, hubo que ‘entrenar’ al algoritmo. El aprendizaje automático se considera un subcampo de la inteligencia artificial que, a partir de modelos estadísticos, realiza tareas específicas sin usar instrucciones explícitas, sino basándose en patrones que se crean mediante procesos de ensayo y error.

¿Pueden unas pinturas perdidas hace más de 75 años volver a la vida? ¿Es posible recrear, a partir de unas fotografías en blanco y negro, pinceladas, sombras y tonalidades exactas? La Inteligencia Artificial, que hace poco nos sorprendía completando la inacabada Décima Sinfonía de Beethoven, vuelve a sorprender, esta vez recuperando tres pinturas destruidas de Gustav Klimt.
‘El beso’,1908, Gustav Klimt, Museo Belvedere. Imagen: Google Arts Culture.

El aprendizaje automático es un subconjunto de la inteligencia artificial. Es un estudio científico de modelos estadísticos que realizan tareas específicas sin usar instrucciones explícitas. Se basan en patrones que se crean mediante un proceso de prueba y error.

En este caso se disponía de otras 80 pinturas del artista para que la máquina pudiese ‘aprender’. Como indicador, según Google se necesitan unas 5.000 imágenes para aprender un objeto, por lo que 80 no era un número suficiente.

En lugar de colorear manualmente las pinturas, el algoritmo hizo un análisis estadístico del conjunto de obras de Klimt y aprendió a imitar su estilo de color

Sin embargo, se aplicaron otros algoritmos complementarios, así como 1 millón de imágenes del mundo real, siempre guiados por la investigación de Smola (por ejemplo, para colorear directamente un objeto tal y como se había descrito originalmente).

¿Pueden unas pinturas perdidas hace más de 75 años volver a la vida? ¿Es posible recrear, a partir de unas fotografías en blanco y negro, pinceladas, sombras y tonalidades exactas? La Inteligencia Artificial, que hace poco nos sorprendía completando la inacabada Décima Sinfonía de Beethoven, vuelve a sorprender, esta vez recuperando tres pinturas destruidas de Gustav Klimt.
‘Medicina’, de Gustav Klimt, coloreado gracias a la Inteligencia Artificial. Imagen: Google Arts Culture.

Cómo aprendió la máquina a pintar como Klimt

Las pinturas de Klimt se representaron en números. A cada píxel de la obra se le asignan tres dígitos: un valor para rojo, otro para el verde y un tercero para el azul. Una combinación de estos tres números representa todos los colores que podemos ver.

Después, trabajando sobre las imágenes en blanco y negro, el algoritmo predijo el color de cada parte.

El viaje para desentrañar el enigma dejado por las ‘Pinturas de la facultad’, explican sus protagonistas, ha sido “emocionante”. Y si en 1905, cuando Klimt mostró las pinturas juntas por primera vez muchos visitantes se sorprendieron, no menos se sorprendió el equipo al avanzar hasta el resultado final que, si no concluyente, abre, al menos, “una nueva etapa para tres de las pinturas más controvertidas e importantes del mundo durante la Secesión de Viena”.

¿Pueden unas pinturas perdidas hace más de 75 años volver a la vida? ¿Es posible recrear, a partir de unas fotografías en blanco y negro, pinceladas, sombras y tonalidades exactas? La Inteligencia Artificial, que hace poco nos sorprendía completando la inacabada Décima Sinfonía de Beethoven, vuelve a sorprender, esta vez recuperando tres pinturas destruidas de Gustav Klimt.
‘Jurisprudencia’ en color. Imagen: Google Arts Culture.

Ahora, este trabajo centra un nuevo espacio dentro de la plataforma Google Arts & Culture centrado en el artista que incluye además la exposición virtual, Klimt vs. Klimt: El hombre de las contradicciones, que explora la vida y el legado del pintor y una galería con 60 de sus obras en realidad aumentada.

a.
Ahora en portada