Page controls
Page content
Monsieur Dubi Kanengisser
Conseiller principal, Analyse stratégique et gouvernance
Commission de services policiers de Toronto
40, rue College,
Toronto (Ontario) M5G 2J3
Objet : Consultation concernant la politique Use of Artificial Intelligence Technologies Policy (politique relative à l’utilisation des technologies d’intelligence artificielle) de la Commission de services policiers de Toronto
Monsieur,
La Commission ontarienne des droits de la personne (CODP) se réjouit de communiquer son mémoire concernant la politique Use of Artificial Intelligence Technologies Policy (politique relative à l’utilisation des technologies d’intelligence artificielle, ci-après, politique relative à l’IA) de la Commission de services policiers de Toronto (CSPT). La CODP considère que la transparence et la responsabilisation constituent des facteurs déterminants pour la réussite de la mise en œuvre de nouveaux dispositifs fondés sur l’intelligence artificielle (IA) et salue la volonté de la CSPT de mener des consultations publiques sur le sujet de la politique relative à l’IA. Par ailleurs, compte tenu de l’évolution importante et constante de cette technologie, la CODP invite la CSPT et le service de police de Toronto (SPT) à s’assurer qu’ils disposent des ressources nécessaires dans la mise en œuvre de la politique relative à l’IA.
La réglementation de l’IA est source de préoccupation dans le monde entier. Dans un rapport récent consacré à l’IA et aux droits de la personne, la Haute‑Commissaire des Nations Unies aux droits de l’homme a expressément « demandé l’instauration d’un moratoire sur la vente et l’utilisation des systèmes d’intelligence artificielle (IA) qui représentent un risque grave d’atteinte à la vie privée et à d’autres droits de l’homme, jusqu’à ce que des garanties adéquates soient mises en place[1] ». Aux États-Unis, l’État de Californie interdit le recours à la technologie de reconnaissance faciale dans les caméras d’intervention des agents de police depuis 2020 et pour une durée de trois ans[2]. Les villes d’Oakland[3], de San Francisco[4] et de Somerville[5] ont été plus ambitieuses et ont interdit l’utilisation de ces technologies par les municipalités. Plus récemment, en avril 2021, la Commission européenne a publié un projet établissant des règles harmonisées pour encadrer l’usage de l’IA dans l’Union européenne. Le projet « établit une méthode solide d’évaluation du risque permettant de recenser les systèmes d’IA “à haut risque” qui présentent des risques importants pour la santé, la sécurité ou les droits fondamentaux des personnes. Les systèmes d’IA en question devront satisfaire à un ensemble d’exigences obligatoires horizontales garantissant une IA digne de confiance et faire l’objet de procédures d’évaluation de la conformité avant de pouvoir être mis sur le marché de l’Union[6]. »
La CODP note avec inquiétude que l’utilisation de l’IA entraîne des répercussions non négligeables sur les droits de la personne en Ontario, notamment en ce qui concerne les communautés marginalisées et vulnérables. Le gouvernement fédéral a défini l’IA comme toute technologie capable d’exécuter des tâches pour lesquelles l’intelligence biologique est habituellement requise, comme comprendre le langage parlé, apprendre des comportements ou résoudre des problèmes[7]. Il a été démontré que les premiers outils d’IA utilisés par les services de police perpétuaient certains schémas historiques de discrimination en ce qu’ils introduisaient des préjugés dans le système ou s’appuyaient sur des données biaisées.
L’adoption par les services de police de systèmes d’IA défectueux dans leur développement pourrait aggraver les disparités existantes ou créer de nouvelles conditions propices à la discrimination. Ces conditions pourraient avoir un impact profond et durable sur les communautés marginalisées et vulnérables, et éroder la confiance du public dans la police. Alors que les services de police s’appuient de plus en plus sur les systèmes de prise de décisions automatisée et d’IA, il est essentiel que ces systèmes soient exempts de tout biais, et qu’ils ne créent ou ne perpétuent pas de discrimination systémique.
Les droits de la personne sont inscrits dans les conventions internationales et la législation canadienne sur les droits de la personne, notamment la Loi canadienne sur les droits de la personne, la Charte canadienne des droits et libertés et les codes provinciaux des droits de la personne, à l’exemple du Code des droits de la personne de l’Ontario. En outre, « l’importance de préserver les droits fondamentaux garantis par la Charte canadienne des droits et libertés et le Code des droits de la personne » est l’un des principes fondamentaux de la Loi sur les services policiers. La CSPT est tenue d’adopter une politique relative à l’IA qui soit conforme à ses obligations légales en matière de droits de la personne.
Quelques domaines de préoccupation spécifiques identifiés par la CODP
Dans sa Politique sur l’élimination du profilage racial en contexte de maintien de l’ordre, la CODP fait état de sérieuses préoccupations en matière de droits de la personne ayant trait aux conséquences discriminatoires que pourrait entraîner la collecte de données policières par le biais de la reconnaissance faciale et des algorithmes prédictifs. Ces conséquences pourraient toucher directement et de manière disproportionnée les groupes protégés par le Code.
Les organismes d’application de la loi recourent de plus en plus souvent à l’IA pour vérifier l’identité des personnes, pour recueillir et analyser des données et pour éclairer leurs décisions. Les outils et les approches élaborés visant à évaluer si une personne présente un risque pour autrui doivent s’appuyer sur des renseignements transparents, précis, valides et fiables. Les organismes qui utilisent l’IA sont responsables de tout effet préjudiciable aux termes du Code, et ce, même si l’outil, les données ou l’analyse sont conçus, hébergés ou réalisés par un tiers.
L’utilisation d’outils d’IA pourrait mener à l’adoption de méthodes approximatives, fondées sur des données véhiculant des biais sur la race ou comportant, sans que cela soit intentionnel, les préjugés des concepteurs. Dans le cas des personnes racisées ou autochtones, l’emploi de ces outils ou méthodes dans le cadre d’une évaluation du risque pourrait aboutir à un résultat erroné et accentuer les disparités existantes en matière de justice pénale. Par exemple, le fait de déterminer le niveau de risque présenté par une personne en fonction du nombre de fois où elle a été arrêtée par la police et, par conséquent, est « connue des services de police », peut avoir une incidence profonde et durable sur les groupes qui sont les plus susceptibles d’être arrêtés en raison d’un profilage racial.
Le profilage racial peut intervenir à tout moment au cours du processus de décision des autorités policières. Ainsi, il se peut que la personne responsable du profilage soit elle-même influencée par des biais explicites ou implicites fondés sur des stéréotypes conscients ou inconscients, par des préjugés personnels ou par une hostilité à l’égard des personnes autochtones ou racisées.
Une approche fondée sur les droits de la personne pour régir l’utilisation de l’IA par le service de police de Toronto
La CODP recommande à la CSPT de mener plusieurs actions dans le cadre de l’élaboration de sa politique relative à l’IA. Ces actions, qui relèvent d’une approche fondée sur les droits de la personne, visent à protéger les groupes vulnérables et marginalisés, qui sont susceptibles d’être touchés de manière disproportionnée par l’utilisation de l’IA par le SPT. Ces mesures ont pour objectif d’atténuer les effets pervers qui pourraient, d’une part, compromettre les gains en efficacité et en productivité attendus des services de police et, d’autre part, entamer la confiance du public envers les services de police.
La CODP a récemment présenté un mémoire sur le Cadre ontarien pour la fiabilité de l’IA et le ministère des Services gouvernementaux et des Services aux consommateurs a proposé un projet de réforme législative sur la vie privée et les technologies d’IA. De plus, la CODP collabore étroitement avec la Commission du droit de l’Ontario (CDO), qui joue un rôle majeur dans les questions relevant de l’IA et a publié plusieurs documents sur le sujet. Les mesures décrites ici sont le fruit de ce travail collectif et devraient être adoptées en tant que meilleures pratiques actuelles.
- S’engager expressément à procéder à des consultations significatives avec le public, avec des experts en droits de la personne, y compris la CODP, des experts en protection de la vie privée, en droit pénal, en science des données et en aide juridique, ainsi qu’avec des représentants de groupes protégés par le Code, avant et pendant l’élaboration, l’utilisation et l’application de la politique relative à l’IA.
- Inscrire dans la politique relative à l’IA une obligation de s’engager à procéder à des consultations significatives avec le public, avec des experts en droits de la personne, y compris la CODP, des experts en protection de la vie privée, en droit pénal, en science des données et en aide juridique, ainsi qu’avec des représentants des groupes protégés par le Code, lors de l’élaboration, de l’utilisation et de l’application de toute technologie d’IA susceptible d’entraîner un préjudice potentiel ou d’avoir des répercussions sur les droits d’une personne.
- Énoncer, dans la politique relative à l’IA, la reconnaissance des valeurs et principes des droits de la personne ainsi que l’engagement à remédier aux préjugés systémiques inhérents à l’IA qui ont des effets préjudiciables sur les groupes protégés par le Code ou qui négligent les besoins propres à ces groupes, notamment les populations vulnérables comme les personnes handicapées, les enfants et les personnes âgées, les Autochtones, les personnes noires et racisées, ainsi que les personnes à faible revenu et les communautés LGBTQ2+.
- Reconnaître dans la politique relative à l’IA que l’utilisation de l’intelligence artificielle est susceptible de favoriser la discrimination au niveau des institutions et des individus.
- Adopter dans la politique relative à l’IA des définitions claires et en langage simple de tous les termes techniques et systèmes, incluant sans s’y limiter, les termes « intelligence artificielle », « prise de décisions automatisée » et « données », en s’appuyant pour cela sur les normes du secteur, telles que dans la Directive sur la prise de décisions automatisée du gouvernement canadien.
- Il conviendrait également d’énoncer dans la politique relative à l’IA des définitions claires et en langage simple de l’usage contextuel de mots importants tels que « public », « décision » et « préjugé » ou « biais ».
- Adopter dans la politique relative à l’IA des définitions claires et en langage simple des termes Extreme Risk Technologies, High Risk Technologies, Moderate Risk Technologies et Low Risk Technologies (technologies à risque extrêmement élevé, technologies à risque élevé, technologies à risque modéré et technologies à risque faible). Les définitions devraient évoquer la portée, les limites des capacités de la technologie et l’éventail nécessaire des mesures d’atténuation liées à chaque niveau de risque.
- Si les définitions ne doivent se résumer à des listes, elles peuvent néanmoins inclure des exemples concrets.
- Reconnaître dans les définitions de la politique relative à l’IA qu’une « technologie à risque extrêmement élevé » correspond à tout système d’IA dont les biais avérés pourraient porter préjudice ou avoir une incidence sur les droits d’une personne, malgré le recours à des techniques d’atténuation, et ne devrait donc pas être employée.
- Reconnaître dans les définitions de la politique relative à l’IA que tout système d’IA dont le mécanisme ne peut être expliqué dans les moindres détails est considéré comme une « technologie à risque extrêmement élevé » et ne devrait donc pas être employé. L’évaluation de la technologie considérée comme « technologie à risque extrêmement élevé » dans la politique relative à l’IA devrait prendre en compte la capacité du système à porter préjudice à une personne ou à avoir une incidence sur ses droits.
- Reconnaître comme « technologie à risque élevé » dans les définitions de la politique relative à l’IA tout système d’IA qui pourrait induire des changements importants dans les activités ou l’allocation des ressources, ce qui porterait préjudice ou aurait une incidence sur les droits d’une personne.
- Exiger dans la politique relative à l’IA que l’autorisation de la CSPT soit sollicitée pour toute utilisation ou mise en place de technologies préexistantes qui n’ont pas reçu d’autorisation antérieure. Cette autorisation sera accordée conformément aux dispositions de la politique relative à l’IA telle qu’elle sera adoptée à l’issue du présent processus consultatif. La mise en place de la politique relative à l’IA sera rétroactive et le processus d’approbation sera assorti d’une évaluation obligatoire de la technologie d’IA existante et d’un suivi de son application.
- Exiger dans la politique relative à l’IA que tous les documents portant sur les technologies d’IA concernées par la politique relative à l’IA soient mis à la disposition du public dans un langage simple, dans la mesure du possible. Ces documents incluront également tous les documents pertinents consultés lors du processus d’évaluation des risques, ainsi que les rapports d’évaluation des risques.
- Intégrer dans la politique relative à l’IA une obligation de créer et de tenir à jour un catalogue public divulguant les systèmes d’IA utilisés selon les termes de la politique relative à l’IA et employés par le SPT, en y incorporant des explications sur chaque système, formulées en langage clair et simple au sujet de ses objectifs, de la manière dont il sera utilisé, des renseignements recueillis et des mesures prises pour minimiser ses effets et ses conséquences discriminatoires.
- Intégrer dans la politique relative à l’IA une obligation de collecte et de mise à disposition du public des données relatives aux droits de la personne, ainsi que toute autre donnée recommandée par les experts, sur l’utilisation par la SPT des systèmes d’IA et de la prise de décisions automatisée. Ces données devraient être désagrégées en fonction de variables sociodémographiques, y compris en fonction des groupes protégés par le Code.
- Exiger dans la politique relative à l’IA la création d’indicateurs de rendement clés (IRC) pour évaluer si les nouvelles technologies induisent ou perpétuent les biais dans les décisions policières et ont un effet discriminatoire. Les IRC devraient permettre de vérifier que les objectifs opérationnels du système d’IA sont remplis durant sa mise en œuvre et que celui-ci délivre les résultats attendus.
- Prévoir dans la politique relative à l’IA un mécanisme public, accessible et efficace, pour l’examen, l’arbitrage et le règlement des plaintes formulées par le public au sujet des répercussions de l’utilisation de l’IA. Le processus de traitement des plaintes du public doit, dans son fonctionnement, suivre les principes de respect du droit et de l’équité procédurale et intégrer un processus d’appel pour le traitement des plaintes.
- Établir dans la politique relative à l’IA un dispositif de surveillance par un organisme de contrôle indépendant, qui aura pour mandat de :
- Mener des évaluations du risque et des vérifications de tous les systèmes d’IA existants, y compris dans les applications dites à « risque faible », pour repérer les préjugés et les marques de discrimination, tous les 12 mois
- Faire rapport sur les problèmes systémiques et proposer des solutions à ces problèmes, et rendre le SPT comptable de son utilisation de l’IA
- Organiser tous les 12 mois des examens publics pour réviser la politique relative à l’IA et les indicateurs de rendement clés associés
- Promouvoir l’adoption de lois et de règlements provinciaux afin de régir la conception, l’utilisation, la mise en œuvre et le contrôle de l’IA dans les services de police. Toute nouvelle mesure ou décision concernant l’IA, en particulier dans les applications à « risque élevé » telles que la reconnaissance faciale ou le maintien de l’ordre prédictif, devrait être prise avec la plus grande précaution jusqu’à l’entrée en vigueur de ces lois et règlements.
Droits de la personne, données et intelligence artificielle
La CODP exhorte depuis plusieurs années les tenants du système de justice pénale à procéder à la collecte et à l’analyse de données afin de déterminer dans quelle mesure ceux-ci portent atteinte aux droits des groupes vulnérables auxquels le Code confère une protection. Dans le même esprit, la CODP accompagne la Direction générale de l’action contre le racisme dans la création de normes relatives aux données harmonisées visant expressément certains organismes du secteur public et fournit des orientations pratiques sur la collecte de données relatives aux droits de la personne. La CODP a notamment demandé à ce qu’on recueille des données de ce type afin de suivre l’évolution du profilage racial dans les services de police et d’analyser les disparités raciales et les disparités en matière de santé mentale liées aux placements en isolement dans les prisons provinciales. Des données permettent également d’évaluer la surreprésentation des enfants et des adolescents issus des peuples autochtones et des groupes racisés au sein des services de bien-être de l'enfance.
À chacun de ses appels à la collecte de données, la CODP a souligné l'importance des principes directeurs des droits de la personne que sont l’équité, la protection de la vie privée, la transparence et la responsabilisation. L’élaboration de la politique relative à l’IA est pour la Commission de services policiers de Toronto l’occasion de définir des principes qui régiront les dispositifs fondés sur l’IA. Ces principes permettront de faire respecter les droits de la personne et constitueront une garantie contre le maintien ou toute instauration de la discrimination systémique. La CODP est favorable à une analyse précise des axes de développement et des risques inhérents à l’adoption de l’IA, et serait heureuse d’apporter son concours à la Commission de services policiers de Toronto afin que celle-ci puisse ancrer pleinement ces principes fondamentaux dans son approche en matière des droits de la personne.
Veuillez agréer mes salutations distinguées,
Patricia DeGuire
Commissaire en chef
Commission ontarienne des droits de la personne