Rekognition, la reconnaissance faciale d’Amazon, a identifié 28 membres du Congrès comme étant des criminels

C’est ce qu’on appelle un plantage dans les règles de l’art. Le logiciel de reconnaissance faciale d’Amazon s’est trompé en identifiant parmi une liste de criminels 28 membres du Congrès américain.

VOIR AUSSI : Manque d’eau, blessures : dans les entrepôts d’Amazon du Royaume-Uni, le Prime Day aurait suscité une vague de plaintes des employés

Aux États-Unis, le débat sur la généralisation des logiciels de reconnaissance faciale dure depuis de longs mois. En mai, une lettre de plusieurs ONG avaient été adressée à Jeff Bezos, patron d'Amazon, pour lui demander de cesser de vendre son logiciel Rekognition à des gouvernements. Ce logiciel, qui domine le marché américain de la reconnaissance faciale, est notamment utilisé par les forces de police de plusieurs États.

L’Union américaine pour les libertés civiles (ACLU), la principale association de défense des droits de l’Homme outre-Atlantique, a voulu aller plus loin en démontrant la faillibilité du logiciel Rekognition et ses biais, notamment raciaux.

Quand les membres du Congrès se transforment en criminels

L’ACLU a donc organisé un test. Après avoir élaboré une base de données de 25 000 images de personnes ayant été arrêtées, l’association a payé les 12,33 dollars nécessaires pour essayer le logiciel. Elle a demandé à Rekognition de vérifier si l’un des 533 membres du Congrès américain était présent dans cette liste de criminels.

Et là, surprise : 28 membres du Congrès ont été identifiés (à tort, évidemment). C’est même pire, puisque Rekognition semble avoir souffert de biais raciaux : 39 % des députés et sénateurs identifiés (soit 11 personnes) sont des personnes racisées, alors qu’ils ne représentent que 20 % de l’ensemble des membres du Congrès. Six membres du Caucus noir du Congrès – un groupement de députés américains – faisaient partie de cette liste. Ce même Caucus avait également écrit à Jeff Bezos, en mai dernier, pour exprimer son inquiétude à l’égard des biais raciaux de la reconnaissance faciale.

En utilisant le même logiciel que celui fourni par Amazon à la police, l’ACLU a voulu démontrer le manque de fiabilité de la reconnaissance faciale dans les affaires juridiques. Dans les résultats de leur étude publiée le jeudi 26 juillet, l'association demande au Congrès de repenser la législation vis-à-vis de cette technologie.

Amazon dénonce une utilisation impropre de son logiciel

L’entreprise de Jeff Bezos a rapidement répondu à la polémique. Dans un communiqué de presse, relayé par le New York Times, un porte-parole explique que l’ACLU n’a pas utilisé correctement Rekognition.

Dans les affaires ayant trait au respect des lois, Amazon recommande de pousser la précision, la "tolérance aux erreurs" de Rekognition, à 95 %. Or, l’ACLU n’avait paramétré le logiciel qu’à 80 % lors de son test. "Si 80 % de confiance est un seuil acceptable pour les photos de hot-dogs, chaises, animaux ou autres cas d'utilisation des médias sociaux, il ne serait pas approprié d'identifier les individus avec un niveau de certitude raisonnable", a déclaré sans broncher un porte-parole à The Verge.

Seulement, le problème reste entier. Aucune législation, aucune fonctionnalité interne à Rekognition n’oblige les forces de police à placer ce curseur à 95 % au lieu de 80 %. C’est simplement une recommandation d’Amazon.

Quelque chose à ajouter ? Dites-le en commentaire.