Les peintures des Facultés, chefs-d’œuvre disparus de Gustav Klimt, restaurées grâce à l’intelligence artificielle

Dans le cadre de son département consacré à l’art, fondé sur la coopération avec les plus grands musées, la société américaine Google et le musée du Belvédère de Vienne, en Autriche, ont entrepris de restaurer numériquement trois peintures « maudites » de Gustav Klimt, les tableaux des Facultés. Probablement disparus en 1945, il n’en subsiste que quelques esquisses et surtout des photographies en noir et blanc ; cette restauration opérée par le biais de l’intelligence artificielle prend donc ici la forme d’une reconstitution des couleurs. Destinée à redonner vie à ces tableaux pour mieux en mesurer l’impact esthétique, elle éprouve également les capacités artistiques des algorithmes d’apprentissage.

Les peintures des Facultés, chefs-d’œuvre disparus de Gustav Klimt

En 1894, le ministère de l’Éducation autrichien commande à Gustav Klimt trois panneaux monumentaux destinés à décorer le plafond de la grande salle des fêtes de l’université de Vienne, qui devront représenter les allégories des facultés de médecine, de philosophie et de droit. Mais lorsqu’il livre ses tableaux, au tout début du 20e siècle, le peintre a évolué stylistiquement et définitivement rejeté tout académisme pour prendre la tête du mouvement d’avant-garde de la Sécession viennoise. Loin de glorifier la victoire des Lumières, de la science et de la sagesse sur les ténèbres de l’ignorance, les immenses panneaux, hauts de plus de 4 mètres sur 3 mètres de long, reproduisent une vision toute personnelle et tourmentée de ces facultés. La médecine y est associée à la souffrance et à la mort, la jurisprudence au châtiment et à la pénitence, la philosophie au seul pouvoir d’un sphinx « émergeant d’un brouillard cosmique« . C’est ainsi que le musée du Belvédère décrit ces tableaux dont il ne conserve aujourd’hui que les traces.

Elles feraient partie des dizaines d’œuvres d’art spoliées entreposées à partir de 1942 au château d’Immendorf, en Basse-Autriche, que des membres de la Schutzstaffel (SS) vont volontairement incendier le 8 mai 1945 peu avant l’arrivée de l’Armée rouge. Les tableaux des Facultés passent donc pour disparus, et il n’en subsiste aujourd’hui que des photographies en noir et blanc, des esquisses préparatoires et un projet de composition pour La Médecine.

Un jeu de piste qui repose sur des sources historiques

Ces sources primaires constituent le matériau de base qui va servir à reconstituer les éléments manquants des tableaux, leurs couleurs, dont on sait qu’elles ont joué un rôle particulier dans le rejet qui les a frappés. Outre les documents visuels, l’expert de Klimt, Franz Smola, conservateur au Belvédère, a également rassemblé toutes les évocations écrites (articles de presse, catalogues d’expositions, lettres, notes de l’artiste), qui puissent fournir des indices sur les couleurs et les ambiances des tableaux. Comme les recensions du critique d’art Ludwig Hevesi, qui soutenait la Sécession et a contribué à son succès, évoquant dans La Jurisprudence « trois déesses vengeresses d’une beauté terrifiante, avec des serpents d’or dans les cheveux« . Ou les journaux de l’époque, qui mentionnent la teinte verdâtre du panneau de La Philosophie. Autant de données à prendre en compte dans ce jeu de piste.

Dans un deuxième temps, le conservateur s’est employé à faire correspondre ces données avec des motifs similaires présents dans d’autres tableaux de Klimt. On retrouve par exemple les serpents d’or de La Jurisprudence dans la Frise Beethoven (1902), qui date de la même époque. Il est donc probable que le peintre ait utilisé une nuance similaire dans les deux œuvres.

Gustav Klimt, La Philosophie (1900), en noir et blanc et colorisée © Musée du Belvédère / Google Arts & Culture Lab

Plus de 90.000 images pour nourrir l’algorithme

L’intelligence artificielle intervient ensuite avec le concours d’Emil Wallner, résident du Google Arts & Culture Lab, qui durant six mois a mis au point un algorithme capable de coloriser les tableaux en partant des données fournies par les recherches de Franz Smola. Il s’agit d’un algorithme d’apprentissage (machine learning) procédant par essai et apprenant de ses erreurs (trial and errors), capable de générer des prédictions de couleurs.

Sachant qu’un algorithme a besoin de 5.000 images au moins pour modéliser un objet, pour l’entraîner, le codeur lui a fourni plus de 90.000 reproductions d’œuvres d’art afin de lui faire apprendre les limites des objets et les textures dans les peintures. En dernier lieu ne lui ont été présentés que des tableaux de Klimt afin de créer un biais de colorisation, en lui inculquant une sorte de préjugé qui l’oriente vers les ambiances, les couleurs et les motifs récurrents de ses peintures.

Si l’algorithme d’apprentissage est ainsi entraîné à effectuer une analyse statistique du style de coloration utilisé par Klimt, ce n’est en soi toujours pas suffisant. Grâce à une interface développée pour interagir avec lui, il a donc ensuite fallu le guider manuellement en lui indiquant comme couleurs de référence celles qui étaient mentionnées dans les documents pour un élément précis, puis en les appliquant directement à la photo noir et blanc. L’algorithme poursuit la colorisation en se chargeant de détecter les emplacements similaires où il peut ajouter la même couleur.

Coloriser une photo en noir et blanc

Concrètement, en quoi consiste la tâche de colorisation pour un algorithme ? Chacun des tableaux qui lui sont fournis représente un ensemble de données numériques, dont la plus petite unité est le pixel. La couleur de chaque pixel est le résultat de la combinaison de trois couleurs : rouge, vert et bleu, chacune recevant une valeur correspondant à son intensité. L’apprentissage de l’algorithme en matière de colorisation se fonde sur ces chiffres que sont les valeurs d’intensité de chaque couleur au sein d’un pixel.

Selon le principe du trial and errors, l’intelligence artificielle procède par essai et propose une version colorisée pour chaque peinture numérisée qu’elle aura reçue en noir et blanc. Elle compare ensuite elle-même cette version colorisée à la version en couleurs existante afin de corriger automatiquement ses erreurs.

Pour ce qui est des tableaux des Facultés, l’algorithme travaille sur des reproductions numériques de photographies analogiques en noir et blanc des panneaux disparus. Or une image numérique en noir et blanc contient déjà un tiers d’information sur la couleur, sous forme de niveaux de gris ; l’algorithme doit donc reconstituer les deux tiers manquants. À partir des indices de couleurs qui lui sont donnés manuellement, l’IA va finalement relier les motifs en niveaux de gris aux indices de couleurs.

Un exercice de probabilité

Opération réussie, se réjouit Emil Wallner, en constatant à la fin de l’article présentant son travail que l’algorithme qu’il a mis au point a « restauré la couleur probable des peintures originales« . Car il ne s’agit que d’un modèle statistique ; il ne peut reconstituer l’œuvre originale, mais seulement donner une idée des couleurs que Klimt a sans doute utilisées dans ses panneaux.

Ce travail ne représente en effet qu’une étape, confirme Franz Smola dans une vidéo : « grâce à l’apprentissage automatique, nous avons de bonnes hypothèses sur l’utilisation de certaines couleurs par Klimt. Nous sommes donc en bonne voie de trouver les couleurs exactes« . L’expert en conclut que l’entreprise a surtout permis de mettre en évidence la véritable valeur des panneaux : « Nous savions que ces œuvres étaient importantes, mais nous pouvons à présent réellement apprécier la qualité et l’importance des peintures des Facultés.« 

Wallner et Smola ont reconnu qu’ils avaient été surpris par les résultats finaux proposés par l’IA, mais suffit-il de revivre l’effet de saisissement que des peintures ont suscité par le passé pour restaurer leur aura ? Un exercice de probabilité peut-il vraiment remplacer la main du peintre, le grain de la toile, et l’émotion qui la transforme en œuvre d’art ?