L'intelligence artificielle est de plus en plus utilisée pour optimiser les décisions dans des contextes critiques. Par exemple, un système autonome peut proposer le plan de distribution d'énergie le plus rentable tout en maintenant la stabilité de la tension.
Cependant, une solution « techniquement optimale » est-elle vraiment équitable ? Que se passe-t-il si une stratégie à bas coût rend les zones à faibles revenus plus vulnérables aux coupures de courant que les zones plus aisées ?
Pour aider les parties prenantes à détecter les risques éthiques en amont de la mise en œuvre, l'équipe de recherche du MIT a développé une méthode d'évaluation automatisée qui équilibre les indicateurs quantitatifs (tels que le coût et la fiabilité) avec des valeurs qualitatives (telles que l'équité).
Ce système sépare l’évaluation objective des valeurs humaines définies par l’utilisateur et utilise un modèle de langage étendu (LLM) comme « représentant » humain pour enregistrer et intégrer les priorités des parties prenantes.
Le cadre d'évaluation adaptatif sélectionnera les scénarios les plus pertinents pour une analyse approfondie, simplifiant ainsi un processus qui serait coûteux et fastidieux s'il était réalisé manuellement. Ces scénarios peuvent indiquer dans quels cas un système d'IA est conforme aux valeurs humaines, ainsi que dans quels cas il ne respecte pas les critères éthiques.
Selon Chuchu Fan (MIT), la simple mise en place de règles ou de « barrières de sécurité » pour l'IA est insuffisante, car celles-ci ne permettent de prévenir que les risques prévisibles par l'humain. Une approche systématique est donc nécessaire pour détecter les « risques inconnus » avant qu'ils n'aient des conséquences.
Évaluation éthique dans les systèmes complexes
Dans les grands systèmes comme les réseaux électriques, évaluer la pertinence éthique des propositions générées par l'IA est complexe, surtout lorsque plusieurs objectifs doivent être pris en compte simultanément.
Les méthodes actuelles s'appuient souvent sur des données facilement accessibles, mais les données étiquetées selon des critères éthiques sont rares. Parallèlement, les valeurs éthiques et les systèmes d'IA évoluent constamment, rendant rapidement obsolètes les méthodes d'évaluation statiques.
L'équipe de recherche a développé un cadre de conception expérimentale appelé SEED-SET, qui se compose de deux parties :
- Modèle objectif : évalue la performance sur la base d'indicateurs mesurables (tels que les coûts).
- Modèle subjectif : reflète le jugement humain (comme le sentiment d'équité)
Cette approche permet d'identifier des scénarios qui répondent à la fois à des critères techniques et à des valeurs humaines, ou inversement.
En particulier, SEED-SET ne nécessite pas de données d'évaluation préalables et peut s'adapter à un large éventail d'objectifs. Par exemple, dans un système électrique, différents groupes d'utilisateurs (tels que les communautés rurales et les centres de données) peuvent avoir des priorités éthiques différentes, même s'ils souhaitent tous une électricité abordable et stable.
Modélisation des facteurs subjectifs
Pour évaluer les facteurs subjectifs, le système utilise LLM comme représentant de l'évaluateur. Les préférences de chaque groupe sont encodées sous forme d'énoncés en langage naturel.
LLM comparera différents scénarios et sélectionnera l'option la plus appropriée en fonction de critères éthiques. Cette approche permet d'éviter la lassitude et les incohérences liées à l'évaluation de centaines, voire de milliers de scénarios.
SEED-SET utilise ensuite les scénarios sélectionnés pour simuler le système (par exemple, la stratégie de distribution d'énergie) et continue à rechercher de nouveaux scénarios avec une valeur d'évaluation plus élevée.
Le résultat final est un ensemble de scénarios typiques, permettant aux utilisateurs d'analyser les performances du système d'IA et d'ajuster leur stratégie en conséquence.
Par exemple, le système pourrait détecter les cas où la distribution d'électricité privilégie les zones à revenus élevés pendant les heures de pointe, rendant ainsi les zones défavorisées plus vulnérables aux pannes de courant.
Efficacité et développement futur
Testé sur des systèmes réels tels que les réseaux intelligents ou la gestion du trafic urbain, SEED-SET génère deux fois plus de scénarios optimaux que les méthodes traditionnelles, tout en détectant davantage de situations que d'autres méthodes ne repèrent pas.
Il est à noter que lorsque les préférences de l'utilisateur changent, les scénarios générés par le système changent également de manière significative, démontrant ainsi une grande capacité d'adaptation aux valeurs humaines.
À l'avenir, l'équipe de recherche prévoit de mener des études auprès d'utilisateurs réels afin d'évaluer l'utilité du système dans le processus décisionnel. Parallèlement, elle ambitionne d'étendre la méthodologie à des problèmes plus complexes, comme l'évaluation des décisions de modèles de langage plus vastes.
Ces travaux de recherche ont été partiellement financés par la Defense Advanced Research Projects Agency (DARPA) des États-Unis.
(Selon MIT News)
Source : https://vietnamnet.vn/danh-gia-dao-duc-cua-cac-he-thong-tu-hanh-2508477.html
Comment (0)