Dans le monde de l’intelligence artificielle (IA) générative, les artistes sont confrontés à de nouveaux défis. Leur travail est souvent utilisé par des entreprises d’IA pour entraîner leurs modèles sans leur permission. Cependant, un nouvel outil révolutionnaire appelé Nightshade offre aux artistes la possibilité de lutter contre cette pratique. En perturbant les données d’entraînement, Nightshade peut causer des dommages considérables aux modèles d’IA générateurs d’images. Dans cet article, nous explorerons en détail comment Nightshade fonctionne et comment il peut aider les artistes à protéger leurs droits de propriété intellectuelle.
I. Comprendre Nightshade et son fonctionnement
Nightshade est un outil qui permet aux artistes d’apporter des modifications invisibles aux pixels de leurs œuvres avant de les publier en ligne. Lorsque ces œuvres sont ensuite utilisées pour entraîner des modèles d’IA, les modifications apportées par Nightshade rendent les résultats chaotiques et imprévisibles. Par exemple, un chien peut devenir un chat, une voiture peut devenir une vache, et ainsi de suite. Cette altération intentionnelle des données d’entraînement peut sérieusement affecter les performances des modèles d’IA, tels que DALL-E, Midjourney et Stable Diffusion.
L’espoir est que cet outil contribuera à rétablir l’équilibre des pouvoirs entre les entreprises d’IA et les artistes, en créant un puissant moyen de dissuasion contre le non-respect des droits d’auteur et de la propriété intellectuelle des artistes
Ben Zhao, professeur à l’université de Chicago
Nightshade exploite une vulnérabilité de sécurité dans les modèles d’IA générative, qui provient du fait qu’ils sont entraînés sur de vastes quantités de données, en l’occurrence des images collectées sur Internet.
II. Lutter contre l’utilisation non autorisée de l’œuvre des artistes
De nombreuses entreprises d’IA, telles que OpenAI, Meta, Google et Stability AI, ont été confrontées à des poursuites de la part d’artistes qui affirment que leur matériel protégé par le droit d’auteur et leurs informations personnelles ont été récupérés sans leur consentement ou sans compensation. Nightshade offre aux artistes une solution pour inverser cet équilibre de pouvoir. En altérant intentionnellement les données d’entraînement, les artistes peuvent dissuader les entreprises d’IA de violer leurs droits de propriété intellectuelle.
III. Glaze : une autre arme pour protéger les droits des artistes
L’équipe de Zhao a également développé Glaze, un outil qui permet aux artistes de « masquer » leur propre style personnel pour éviter qu’il ne soit collecté par les entreprises d’IA. Il fonctionne de la même manière que Nightshade : en modifiant les pixels des images de manière subtile, invisible à l’œil humain, mais qui manipule les modèles d’apprentissage automatique pour qu’ils interprètent l’image comme quelque chose de différent de ce qu’elle montre réellement.
L’équipe a l’intention d’intégrer Nightshade à Glaze, et les artistes pourront choisir d’utiliser ou non l’outil d’empoisonnement des données. L’équipe rend également Nightshade open source, ce qui permettrait à d’autres personnes de le modifier et de créer leurs propres versions. Plus les gens l’utilisent et créent leurs propres versions, plus l’outil devient puissant, explique Zhao. Les ensembles de données des grands modèles d’IA peuvent contenir des milliards d’images, de sorte que plus il y a d’images empoisonnées qui peuvent être introduites dans le modèle, plus la technique causera de dommages.
IV. Le pouvoir de la communauté artistique
Nightshade est un projet open source, ce qui signifie que tout le monde peut y contribuer et créer ses propres versions de l’outil. Plus il sera utilisé et amélioré par la communauté artistique, plus il deviendra puissant. Les ensembles de données des modèles d’IA peuvent compter des milliards d’images, et plus il y aura d’images contaminées, plus les dommages infligés aux modèles seront importants.
Les artistes qui souhaitent publier leur travail en ligne mais ne veulent pas que leurs images soient récupérées par des entreprises d’IA peuvent les télécharger sur Glaze et choisir de les masquer avec un style artistique différent du leur. Ils peuvent ensuite choisir d’utiliser Nightshade. Lorsque les développeurs d’IA collectent des données supplémentaires sur Internet pour ajuster un modèle d’IA existant ou en créer un nouveau, ces échantillons empoisonnés se retrouvent dans l’ensemble de données du modèle et provoquent des dysfonctionnements.
Les échantillons de données empoisonnés peuvent manipuler les modèles pour leur faire apprendre, par exemple, que les images de chapeaux sont des gâteaux, et que les images de sacs à main sont des grille-pains. Il est très difficile de supprimer les données empoisonnées, car cela nécessite aux entreprises technologiques de trouver et de supprimer méticuleusement chaque échantillon corrompu.
Les chercheurs ont testé cette attaque sur les modèles les plus récents de Stable Diffusion et sur un modèle d’IA qu’ils ont entraîné eux-mêmes. Lorsqu’ils ont introduit seulement 50 images empoisonnées de chiens dans Stable Diffusion, puis demandé au modèle de générer des images de chiens, les résultats ont commencé à paraître étranges, avec des créatures ayant trop de membres et des visages caricaturaux. Avec 300 échantillons empoisonnés, un attaquant peut manipuler Stable Diffusion pour générer des images de chiens qui ressemblent à des chats.
V. Les limites et les risques de l’outil
Bien que Nightshade offre aux artistes un moyen de se protéger contre l’utilisation non autorisée de leur travail, il y a également des risques potentiels. Certains pourraient utiliser l’outil de manière malveillante, ce qui pourrait causer des dommages importants aux modèles d’IA. Cependant, pour infliger de réels dégâts aux modèles les plus puissants, des milliers d’images contaminées seraient nécessaires, ce qui limite considérablement le risque potentiel.