Transferable adversarial patches : a potential threat for real-world computer vision algorithms
Attaques par patch transférables : une menace potentielle pour les algorithmes de vision par ordinateur opérant dans le monde réel
Résumé
The use of Deep Neural Networks has revolutionized the field of computer vision, leading to significant performance improvement in tasks such as image classification, object detection, and semantic segmentation. Despite these breakthroughs, Deep Learning systems have exhibited vulnerabilities that malicious entities can exploit to induce harmful behavior in AI models. One of the threats is adversarial patch attacks, which are disruptive objects that often resemble stickers and are designed to deceive models when placed in a real-world scene. For example, a patch on a stop sign may sway the network to misclassify it as a speed limit sign. This type of attack raises significant safety issues for computer vision systems operating in the real world. In this thesis, we study if such a patch can disrupt a real-world system without prior knowledge concerning the targeted system.Even though numerous patch attacks have been proposed in the literature, no work in literature describes the prerequisites of a critical patch. One of our contributions is to propose a definition of what may be a critical adversarial patch. To be characterized as critical, adversarial patch attacks must meet two essential criteria. They must be robust to physical transformations summarized by the notion of patch physicality, and they must exhibit transferability among networks, meaning the patch can successfully fool networks without possessing any knowledge about the targeted system. Transferability is an essential prerequisite for a critical patch, as the targeted real-world system is usually protected and inaccessible from the outside. Although patch physicality has been developed and improved through multiple works, its transferability remains a challenge.To address the challenge of attack transferability among image classifiers, we introduce a new adversarial patch attack based on the Wasserstein distance, which computes the distance between two probability distributions. We exploit the Wasserstein distance to alter the feature distribution of a set of corrupted images to match another feature distribution from images of a target class. When placed in the scene, our patch causes various state-of-the-art networks to output the class chosen as the target distribution. We show that our patch is more transferable than previous patches and can be implemented in the real world to deceive real-world image classifiers.In addition to our work on classification networks, we conduct a study on patch transferability against object detectors, as these systems may be more often involved in real-world systems. We focus on invisible cloak patches, a particular type of patche that is designed to hide objects. Our findings reveal several significant flaws in the current evaluation protocol which is used to assess the effectiveness of these patches. To address these flaws, we introduce a surrogate problem that ensures that the produced patch is suppressing the object we want to attack. We show that state-of-the-art adversarial patch against object detectors fail to hide objects from being detected, limiting their criticality against real-world systems.
Les réseaux de neurones profonds offrent aujourd'hui des performances inégalées notamment pour les fonctions de vision par ordinateur comme par exemple la classification d'images, la détection d'objets et la segmentation sémantique. Malgré ces avancées, les modèles d'apprentissage profond présentent des vulnérabilités qui peuvent être exploitées par des agents malveillants pour induire des comportements dangereux de la part des modèles d'IA. Une des menaces, appelée attaque par patch, consiste à introduire dans la scène un objet texturé pour duper le modèle. Par exemple, un patch placé sur un panneau stop peut amener le réseau à le classer à tort comme étant un panneau de limitation de vitesse. Ce type d'attaque soulève d'importants problèmes de sécurité pour les systèmes de vision par ordinateur opérant dans le monde physique. Dans cette thèse, nous étudions si un tel patch peut perturber un système physique dans des conditions d'attaque réalistes, i.e., sans connaissance préalable sur le système ciblé.Bien que de nombreuses attaques par patch aient été proposées dans la littérature, il n'existe pas, à notre connaissance, de travail qui décrit les caractéristiques essentielles qualifiant une attaque par patch de critique. L'une de nos contributions est la définition de ce que serait une attaque par patch critique. Pour être qualifié de critique, une attaque par patch doit vérifier deux critères essentiels. Tout d'abord, le patch doit être robustes à des transformations physiques, ce qui est résumé par la notion de physicalité du patch. Ensuite, le patch doit être transférable, c'est-à-dire que le patch a la capacité de duper avec succès un réseau sans posséder aucune connaissance préalable sur celui-ci. La transférabilité de l'attaque est un facteur clé, car les systèmes physiques déployés par les entreprises sont souvent opaques ou inconnus. Bien que la physicalité des patchs ait été développée et améliorée par de nombreux travaux, leur transférabilité reste faible et peu de méthodes proposent de l'améliorer.Afin de créer une attaque par patch transférable pour une grande variété de classifieurs d'images, nous proposons une nouvelle méthode de conception des patchs. Cette méthode repose sur l'utilisation de la distance de Wasserstein, distance définie entre deux mesures de probabilité. Notre patch est appris en minimisant la distance de Wasserstein entre la distribution des caractéristiques des images corrompues et la distribution des caractéristiques d'images d'une classe cible préalablement choisie. Une fois appris et placé dans la scène, notre patch induit plusieurs réseaux à prédire la classe de la distribution ciblée. Nous montrons qu'un tel patch est transférable et peut être implémenté dans le monde physique afin de perturber des classifieurs d'images sans aucune connaissance sur ceux-ci.Afin de mieux caractériser la potentielle menace des attaques par patch, nous proposons d'étudier leur transférabilité quand ceux-ci sont développés pour duper des détecteurs d'objets. Les détecteurs d'objets sont des modèles plus complexes que les classifieurs d'image et sont souvent plus utilisés dans les systèmes opérant dans le monde physique. Nous étudions plus particulièrement les attaques par patch dites cape d'invisibilité, un type particulier de patch conçu pour inhiber la détection d'objets. Nos résultats révèlent que le protocole d'évaluation utilisé dans la littérature comporte plusieurs problèmes rendant l'évaluation de ces patchs incorrecte. Pour y remédier, nous introduisons un problème de substitution qui garantit que le patch produit supprime bien la bonne détection de l'objet que nous souhaitons attaquer. En utilisant ce nouveau processus d'évaluation, nous montrons que les attaques par patch de la littérature ne parviennent pas à inhiber la détection d'objets, limitant ainsi leur criticité.
Origine | Version validée par le jury (STAR) |
---|