La inteligencia artificial se aplica cada vez más para optimizar las decisiones en contextos críticos. Por ejemplo, un sistema autónomo puede sugerir el plan de distribución de energía más rentable, manteniendo al mismo tiempo la estabilidad del voltaje.
Sin embargo, ¿es realmente justa una solución "técnicamente óptima"? ¿Qué sucede si una estrategia de bajo costo hace que las zonas de bajos ingresos sean más vulnerables a los cortes de energía que las zonas más ricas?
Para ayudar a las partes interesadas a detectar los riesgos éticos con antelación a la implementación, el equipo de investigación del MIT desarrolló un método de evaluación automatizado que equilibra los indicadores cuantitativos (como el coste y la fiabilidad) con valores cualitativos (como la equidad).
Este sistema separa la evaluación objetiva de los valores humanos definidos por el usuario y utiliza un modelo de lenguaje extenso (LLM, por sus siglas en inglés) como un "representante" humano para registrar e integrar las prioridades de las partes interesadas.
El marco de evaluación adaptativa seleccionará los escenarios más importantes para su posterior análisis, simplificando un proceso que, de realizarse manualmente, sería costoso y requeriría mucho tiempo. Estos escenarios pueden indicar cuándo un sistema de IA se alinea con los valores humanos, así como cuándo no cumple con los criterios éticos.
Según Chuchu Fan (MIT), simplemente establecer reglas o "barreras de seguridad" para la IA es insuficiente, ya que estas solo previenen riesgos que los humanos pueden prever. Por lo tanto, se necesita un enfoque sistemático para detectar "riesgos desconocidos" antes de que causen consecuencias.
Evaluación ética en sistemas complejos
En sistemas de gran envergadura, como las redes eléctricas, evaluar la idoneidad ética de las propuestas generadas por la IA resulta complejo, especialmente cuando deben considerarse múltiples objetivos simultáneamente.
Los métodos actuales suelen basarse en datos fácilmente disponibles, pero los datos etiquetados según criterios éticos son escasos. Al mismo tiempo, los valores éticos y los sistemas de IA cambian constantemente, lo que hace que los métodos de evaluación estáticos queden obsoletos rápidamente.
El equipo de investigación desarrolló un marco de diseño experimental llamado SEED-SET, que consta de dos partes:
- Modelo objetivo: evalúa el desempeño en función de indicadores medibles (como los costos).
- Modelo subjetivo: refleja el juicio humano (como los sentimientos de justicia).
Este enfoque permite identificar escenarios que cumplan tanto con los criterios técnicos como con los valores humanos, o viceversa.
En particular, SEED-SET no requiere datos de evaluación preexistentes y puede adaptarse a una amplia gama de objetivos. Por ejemplo, en un sistema eléctrico, diferentes grupos de usuarios (como comunidades rurales y centros de datos) pueden tener prioridades éticas distintas, a pesar de que ambos deseen un suministro eléctrico asequible y estable.
Modelado de factores subjetivos
Para evaluar los factores subjetivos, el sistema utiliza LLM como representante del evaluador. Las preferencias de cada grupo se codifican en enunciados en lenguaje natural.
LLM comparará escenarios y seleccionará la opción más apropiada según criterios éticos. Este enfoque ayuda a evitar la fatiga humana y la inconsistencia al evaluar cientos o miles de escenarios.
A continuación, SEED-SET utiliza los escenarios seleccionados para simular el sistema (por ejemplo, la estrategia de distribución de energía) y continúa buscando nuevos escenarios con un valor de evaluación más alto.
El resultado final es un conjunto de escenarios típicos que permiten a los usuarios analizar el rendimiento del sistema de IA y ajustar su estrategia según sea necesario.
Por ejemplo, el sistema podría detectar casos en los que la distribución de energía prioriza las zonas de altos ingresos durante las horas punta, lo que hace que las zonas desfavorecidas sean más vulnerables a los cortes de luz.
Eficacia y desarrollo futuro
Cuando se prueba en sistemas reales, como redes inteligentes o gestión del tráfico urbano, SEED-SET genera el doble de escenarios óptimos que los métodos tradicionales, al tiempo que detecta más situaciones que otros métodos pasan por alto.
Cabe destacar que, cuando cambian las preferencias del usuario, los escenarios generados por el sistema también cambian significativamente, lo que demuestra un alto grado de adaptabilidad a los valores humanos.
En el futuro, el equipo de investigación planea realizar estudios con usuarios reales para evaluar la utilidad del sistema en el proceso de toma de decisiones. Simultáneamente, pretenden ampliar la metodología a problemas más complejos, como la evaluación de las decisiones de modelos de lenguaje más grandes.
Esta investigación fue financiada parcialmente por la Agencia de Proyectos de Investigación Avanzada de Defensa de Estados Unidos (DARPA).
(Según MIT News)
Fuente: https://vietnamnet.vn/danh-gia-dao-duc-cua-cac-he-thong-tu-hanh-2508477.html
Kommentar (0)