En 1961, Hannah Arendt assiste au procès d’Adolf Eichmann, architecte logistique de la Shoah. Elle s’attend à rencontrer un monstre. Elle découvre un bureaucrate médiocre qui obéissait aux ordres.
C’est sa fameuse thèse de la « banalité du mal » : le mal absolu peut être perpétré par des gens ordinaires qui « ne font que suivre les procédures ».
Aujourd’hui, nous créons quelque chose de pire : le mal algorithmique. Des systèmes qui discriminent, qui nuisent, qui tuent, sans qu’aucun humain ne se sente responsable.
Amazon a dû abandonner une IA de recrutement qui éliminait systématiquement les femmes. Pourquoi ? Parce qu’elle avait « appris » sur des données historiques biaisées.
Des algorithmes de prédiction criminelle aux États-Unis condamnent deux fois plus les Noirs que les Blancs pour des crimes identiques.
Des IA médicales recommandent des traitements erronés, avec des conséquences fatales.
Qui est responsable ? Le data scientist qui a entraîné le modèle ? Le manager qui l’a déployé ? Le CEO qui voulait « automatiser pour réduire les coûts » ?
Réponse : tout le monde et personne. C’est le problème.
L’éthique véritable nécessite un sujet moral : un JE qui dit « j’ai choisi, j’assume, je réponds de mes actes ». L’algorithme n’a pas de JE. Il optimise une fonction. Point.
Comme l’écrit Kate Crawford dans « Atlas of AI » : derrière chaque « décision IA », il y a des choix humains : quelles données collecter, quel objectif optimiser, quels biais accepter.
Nous devons arrêter de nous cacher derrière l’algorithme.
Le code n’a pas d’éthique. Nous, si.
Ou du moins, nous le devrions.
Sources :
- Hannah Arendt – « Eichmann in Jerusalem: A Report on the Banality of Evil » (1963)
- Kate Crawford – « Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence » (2021)
Laisser un commentaire