Communication Dans Un Congrès Année : 2025

Clarity: a Deep Ensemble for Visual Counterfactual Explanations

Clarity: Explications contrefactuelles visuelles générées par un ensemble de modèles

Résumé

Counterfactual visual explanations are aimed at identifying changes in an image that will modify the prediction of a classifier. Unlike adversarial images, counterfactuals are required to be realistic. For this reason generative models such as variational autoencoders (VAE) have been used to restrain the search of counterfactuals on the data manifold. However such gradient-based approaches remain limited even when they deal with simple datasets such as MNIST. Conjecturing that these limitations result from a plateau effect which makes the gradient noisy and less informative, we improve the gradient estimation by training an ensemble of classifiers directly in the latent space of VAEs. Several experiments show that the resulting method called Clarity delivers counterfactual images of high-quality, competitive with the state-of-the-art.
Les explications contrefactuelles visuelles ont pour but d'identifier des changements dans l'image d'entrée qui modifient la prédiction du classifieur. Contrairement aux exemples adverses, les contrefactuels doivent être des images réalistes. Pour cette raison, les autoencodeurs variationnels (VAE) sont utilisés pour restreindre la recherche des contrefactuels à un sous espace des données. Cependant, ces approches basées sur une optimisation par gradient produisent des résultats de faible qualité même pour des jeux de données aussi simples que MNIST. Dans ce travail, nous faisons l'hypothèse que ce problème provient d'une estimation bruitée du gradient, et nous améliorons cette estimation en entrainant un ensemble de modèles directement dans l'espace latent d'un VAE. Plusieurs expériences montrent que cette approche, appelée Clarity, fournit des contrefactuels de très bonne qualité.
Fichier principal
Vignette du fichier
ESANN_2024-final.pdf (565.84 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04894691 , version 1 (17-01-2025)

Identifiants

  • HAL Id : hal-04894691 , version 1

Citer

Claire Theobald, Frédéric Pennerath, Brieuc Conan-Guez, Miguel Couceiro, Amedeo Napoli. Clarity: a Deep Ensemble for Visual Counterfactual Explanations. The 32th European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning., Oct 2024, Bruges (Belgium), Belgium. ⟨hal-04894691⟩
0 Consultations
0 Téléchargements

Partager

More