Frénésie sécuritaire : l’algorithme du rejet

Depuis plus de trente ans, l’Union européenne (UE) et ses États membres investissent dans la militarisation des frontières : murs de barbelés, radars, drones, caméras, etc., les systèmes de surveillance et de clôture du territoire ne cessent de s’étendre. Pour compléter cet arsenal, l’UE se tourne, depuis 2010, de plus en plus vers les technologies du big data (ou données massives) et de l’intelligence artificielle* (IA) [1], s’appuyant ainsi sur des solutions automatisées de sécurisation des frontières (prétendument « intelligentes »), pour détecter des individus « à risque », examiner des demandes de visa ou de naturalisation, attribuer un hébergement aux demandeurs d’asile, faciliter l’organisation des expulsions, ou encore prédire les flux migratoires… À toutes les étapes de leur parcours, les individus sont soumis – souvent à leur insu – à une panoplie de dispositifs numériques destinés à tracer et analyser leurs déplacements afin d’alimenter les orientations de la « gestion des flux migratoires ». L’automatisation du contrôle des frontières et des migrant·es est désormais une réalité matérielle et opérationnelle, partie intégrante des outils à la disposition des États pour contrôler les corps et les mobilités, en Europe comme à l’international.

Développées depuis les années 1950 par les services du renseignement militaire, les systèmes de l’IA (dont « les algorithmes sont le moteur et les données […] le carburant [2] ») se recyclent et s’étendent désormais à la sphère civile, des organismes d’aide sociale aux forces de l’ordre. Que les logiciels soient employés, testés, ou abandonnés faute de résultats probants, leurs promoteurs font valoir l’opportunité de tels « services » présentés comme impartiaux et fiables, en somme plus efficaces et moins coûteux que les agents chargés de l’application des politiques publiques... Mais c’est écarter un peu vite la question des biais* et défaillances de ces machines. C’est aussi accorder beaucoup de crédit à la prétendue neutralité de technologies façonnées pour détecter et évaluer d’éventuelles menaces. Lors de la mal nommée « crise migratoire » de 2015, la société IBM annonçait ainsi avoir créé un logiciel capable de distinguer, parmi les exilé·es, les réfugié·es des « terroristes [3] ».

En France, l’étude du développement des algorithmes et systèmes de l’IA dans l’administration des politiques migratoires est encore embryonnaire, tandis que cette thématique, à la croisée du droit des étrangers et des libertés fondamentales dans l’environnement numérique, s’est imposée comme un champ d’investigation et de mobilisation dans le monde anglo-saxon. De quoi parle-t-on lorsqu’on évoque l’automatisation du contrôle des frontières par le biais de ces outils ? Quelles transformations génère cet exercice du pouvoir, invisible et automatisé ? Et que prévoit le législateur pour garantir aux personnes étrangères qui y sont assujetties l’accès effectif à leurs droits ? Autant de questions auxquelles ce dossier tente d’apporter des éléments de réponse, pour contribuer à lutter contre l’opacité qui caractérise cette politique au nom de la préservation des intérêts commerciaux de l’industrie du contrôle migratoire [4] et de la sécurité nationale.

Une politique de tri prédictive

Des essaims de drones capables, nous dit-on, de détecter toute infraction commise aux frontières par des humains et d’évaluer le degré de dangerosité de ces derniers, des programmes d’extraction des données des téléphones mobiles des demandeurs d’asile pour vérifier la véracité de leurs dires, des logiciels espionnant les réseaux sociaux pour traquer les passeurs… À l’heure de la « réalité augmentée », l’UE investit massivement dans le développement des systèmes d’intelligence artificielle, c’est-à-dire de machines entraînées pour intervenir, de façon plus ou moins autonome, dans la surveillance des frontières et des populations. Les services publics se numérisent, les décisions administratives s’« algorithmisent », inscrivant le traitement des étrangers – et des pauvres – dans une logique de police prédictive. Cette nouvelle économie du contrôle des frontières repose sur la captation et l’exploitation exponentielle des traces numériques des personnes.

Les États membres de l’UE tablent ainsi sur une extension des catégories de personnes visées par la collecte de données – en particulier biométriques (images faciales, empreintes palmaires, ADN) en vue de l’intégration de logiciel de reconnaissance faciale* –, et d’autre part, sur l’interconnexion et l’interopérabilité des bases de données pour ériger un « mur virtuel » [5] et faciliter les renvois. Le « système intégré de gestion des frontières extérieures » de l’UE forme un assemblage hétéroclite de fichiers* numériques décentralisés et de bases de données à grande échelle, à l’exemple du système européen de comparaison des empreintes digitales des demandeurs d’asile (Eurodac) et du système d’information Schengen (SIS II). Un système d’entrée et de sortie (EES) devrait le compléter et permettre de collecter jusqu’à 400 millions de données sur les personnes non européennes franchissant les frontières de l’espace Schengen, pour contrôler en temps réel tout dépassement de durée légale de visa et le signaler aux polices européennes. Une surveillance de masse qui a de quoi faire pâlir d’envie Big Brother… Dans le sillage de cette mutation, on observe un « entrelacement des finalités attribuées au stockage et au traitement des données des migrants sous l’effet d’un prisme sécuritaire [6] ». Caricature du genre, le système d’information et d’autorisation concernant les voyages (Etias) déterminera, par le biais d’un profilage algorithmique, si la présence de tel étranger dans l’espace Schengen représente « un risque en matière de sécurité ou d’immigration illégale ou un risque épidémique élevé [7] ». Et comme l’a observé le Contrôleur européen de la protection des données (CEPD), ce sont les moyens techniques qui servent, dans bien des cas, à légitimer la finalité du traitement des données à caractère personnel, et non l’inverse.

Sans surprise, Frontex joue un rôle actif dans la numérisation du contrôle des frontières, et ses pratiques font entrevoir les dérives de la captation tous azimuts de données et de leur interprétation fallacieuse. Les audits du CEPD ont montré que les analyses de risque produites par l’agence sont fondées sur des informations peu fiables, obtenues lors d’entretiens menés sans le consentement des migrant·es ni protection de leur identité, en somme que la légalité même de ses fichiers était mise en cause [8]. Les refoulements illégaux de migrant·es en mer Égée sont étiquetés dans sa base de données Jora (pour Joint Operations Reporting Application) comme de simples opérations de « prévention de départs » menées dans les eaux turques [9]. Le Bureau européen d’appui en matière d’asile n’est pas en reste : durant trois ans, il a surveillé les réseaux sociaux pour y « détecter de nouveaux itinéraires migratoires et repérer des passeurs », et donc collecté et exploité des informations personnelles en dehors de tout cadre légal [10].

Les individus deviennent dès lors des « “sujets de données”, agglomérats de points de données sans subjectivité, ni contexte, ni droits clairement définis [11] ». Cette décontextualisation s’accompagne d’un processus d’étiquetage et de modélisation des données sur la base d’une conception binaire des genres, de catégorisations raciales essentialisées et d’évaluations discriminatoires. En effet, l’automatisation de certaines procédures visant à « aider » les administrations dans leur prise de décision, ou à « fluidifier » le passage des frontières, peut produire des discriminations : non seulement ces outils sont faillibles, à l’exemple de l’identification par reconnaissance faciale [12], mais ils sont aussi par nature biaisés, car ils assimilent et reproduisent les stéréotypes qui caractérisent les données utilisées pour les « entraîner ». Les algorithmes et les systèmes apprenants de l’IA sont conçus sur la base du calcul hypothétique d’une menace. Les logiciels sont programmés pour attribuer des « scores », autrement dit distinguer, parmi des formes prédéterminées de comportement social, ceux qui ne s’y conformeraient pas. Ces technologies fonctionnent comme des dispositifs automatisés de tri social et d’attribution différenciée des droits. Par ce biais s’exerce une forme de pouvoir, automatisé et invisibilisé, qui précarise davantage celles et ceux qui comptent déjà parmi les plus défavorisé·es.

Les avancées technologiques se généralisent aussi dans l’humanitaire, où elles ont pour objectif affiché de faciliter la protection et l’accompagnement des personnes exilées. Dans de nombreux camps à travers le monde, les personnes en quête de protection internationale reçoivent une aide financière mensuelle qui leur est versée sur une carte. Présentée par le Haut-Commissariat des Nations unies pour les réfugiés (HCR) et par les États comme un moyen de favoriser l’autonomie des personnes, cette carte permet aussi de les surveiller, en traçant leurs transactions, mais aussi de les contrôler, en limitant leurs achats à certains commerces agréés et aux produits considérés comme utiles par le HCR. Les données et les innovations numériques participent in fine au maintien de rapports inégalitaires entre les personnes exilées et les agences humanitaires, relevant d’un nouveau « techno-colonialisme [13] ». En Suisse, le logiciel GeoMatch de l’Immigration Policy Lab propose aux ONG et aux administrations une répartition algorithmique des réfugié·es en vue d’optimiser « les synergies entre les caractéristiques des réfugiés et les sites de réinstallation ». L’Allemagne a recours à un outil similaire qui répartit les individus, en fonction de critères, tels que l’employabilité… sans qu’à aucun moment les concernés n’aient voix au chapitre quant à la place qui leur est assignée.

Pendant ce temps, le législateur regarde ailleurs

Dans son livre blanc Intelligence artificielle : une approche européenne axée sur l’excellence et la confiance publié en février 2020, la Commission européenne observait que l’IA « peut être préjudiciable tant sur le plan matériel (en matière de sécurité et de santé des personnes : pertes humaines, dommages aux biens) qu’immatériel (atteinte à la vie privée, restrictions du droit à la liberté d’expression, dignité humaine, discrimination à l’embauche par exemple), et impliquer des risques de types très divers ». Elle ajoutait que « la collecte et l’utilisation des données biométriques à des fins d’identification à distance, par exemple par le déploiement de la reconnaissance faciale dans les lieux publics, comportent des risques spécifiques pour les droits fondamentaux [14] ». Un constat qui ne l’a pas empêchée de financer des projets recourant à la reconnaissance faciale et émotionnelle [15], malgré les controverses associées aux systèmes de reconnaissance des affects qui seraient au mieux incomplets, sinon trompeurs car érigés sur des postulats infondés.

Sans entrer dans un débat manichéen sur ces technologies, leur déploiement au service du contrôle des mobilités donne lieu à de multiples préoccupations éthiques, environnementales [16] et relatives au respect des droits humains. Comme l’observe la Rapporteure spéciale de l’ONU sur les formes contemporaines de racisme, de discrimination raciale, de xénophobie et de l’intolérance qui y est associée, « nombre d’entre elles sont des avatars de technologies déjà utilisées à l’époque coloniale pour une gestion racialisée de la population, notamment par les contrôles migratoires. Non seulement la technologie n’est pas neutre, mais elle est conçue et utilisée de telle façon qu’elle renforce généralement les tendances sociales, politiques et économiques dominantes [17] ».

L’ensemble complexe de données recueillies crée un système de surveillance de masse qui repose sur l’anticipation des mouvements et permet à la police des frontières de concentrer ses moyens d’intervention dans les zones indiquées, perpétuant ainsi une fuite en avant sécuritaire au péril des droits et de la vie des migrant·es contraint·es d’emprunter des routes plus dangereuses.

Mais c’est aussi le manque de transparence qui caractérise l’utilisation de ces technologies : il s’est, jusqu’à présent, avéré dans bien des cas difficile, sinon impossible, de demander des comptes tant aux sociétés qui créent ces applications qu’aux administrations qui les gèrent. On observe ainsi une dilution des responsabilités, tandis que le travail des algorithmes guide, voire se substitue à celui des administrations. Qu’en est-il du respect de la réglementation concernant les personnes étrangères ainsi fichées, piégées par leurs traces numériques et par l’arbitraire des décisions algorithmiques ? Et qu’en est-il aussi du droit à la protection de leurs données personnelles et de leur vie privée ?

Le déploiement des fichiers forme in fine un dispositif panoptique dont le fonctionnement opaque rend illusoire l’exercice des garanties théoriquement prévues par les textes au profit des personnes faisant l’objet d’un fichage. En effet, la collecte et l’usage des données personnelles s’effectuent souvent en l’absence de consentement des personnes concernées. On peut ainsi douter que les personnes inscrites au fichier Eurodac soient informées du fait que le logiciel de reconnaissance faciale, qui sera intégré à cette base de données, est actuellement entraîné à partir de leurs informations personnelles. En outre, les personnes exilées ne sont pas nécessairement informées du déploiement de ces dispositifs de surveillance, à l’exemple des demandeurs d’asile épiés quotidiennement par des caméras de vidéosurveillance algorithmique dans certains camps en Grèce. De plus en plus, le sort des personnes étrangères dépend du bon fonctionnement d’outils numériques. Lorsque ces applications sont défaillantes ou la connexion inexistante, le risque d’exclusion des exilé·es de l’accès aux droits, y compris à l’aide humanitaire, est d’autant plus fort.

L’expansion des outils de l’IA ouvre, de toute évidence, un nouveau front de luttes pour la défense des droits des personnes étrangères, cobayes du développement de ces nouvelles technologies qui à n’en pas douter vont progressivement s’étendre à l’ensemble du corps social… Détournées de leur usage sécuritaire, elles pourraient toutefois se révéler utiles [18] pour documenter ou établir des violations des droits fondamentaux. Si les traces numériques sont encore peu utilisées comme éléments de preuve dans le contentieux de l’asile, d’autres usages des technologies numériques ont montré leur potentiel, à l’exemple du logiciel créé par La Cimade pour démontrer les dérives de la dématérialisation des procédures de demande de titre de séjour, ou encore le travail réalisé par Forensic Oceanography dans l’affaire du Left-to-die Boat.

Une course à l’armement qui n’est pas près de s’arrêter

En mai 2020, le cabinet d’audit international Deloitte produisait, à la demande de la Commission européenne, une feuille de route pour « l’utilisation de l’intelligence artificielle dans le contrôle des frontières, la migration et la sécurité[[Deloitte, Opportunities and challenges for the use of artificial intelligence in border control, migration and security, mai 2020. ». S’il n’est pas acquis qu’elle sera suivie, l’intérêt des États membres pour ce marché florissant ne fait, semble-t-il, que commencer. De 2007 à 2020, l’UE a investi près de 3 milliards d’euros dans la recherche en matière de sécurité et, depuis lors, a annoncé vouloir y consacrer annuellement 1 milliard d’euros. Cette course à l’armement n’est pas près de s’arrêter puisque les pays investissent toujours davantage dans la sécurité des frontières automatisées en réponse aux conflits mondiaux. Selon un rapport de la société Imarc Groupe, le marché mondial de la sécurité des frontières représentait 46 milliards de dollars en 2023. L’emprise du complexe militaro-industriel dans la politique de contrôle des populations est promise à un bel avenir…

Un gouffre financier, une véritable gabegie au nom de la prétendue protection des territoires.

Que ces innovations technologiques fonctionnent correctement ou non, elles viennent nourrir le discours d’une « Europe forteresse » soi-disant infranchissable dont les conséquences sont, en pratique, mortifères, engendrant davantage de décès et disparitions. Pourtant, les autorités s’entêtent dans ce processus de déshumanisation.