A inteligência artificial está sendo cada vez mais aplicada para otimizar decisões em contextos críticos. Por exemplo, um sistema autônomo pode sugerir o plano de distribuição de energia mais econômico, mantendo a estabilidade da tensão.
No entanto, uma solução "tecnicamente ótima" é realmente justa? O que acontece se uma estratégia de baixo custo tornar as áreas de baixa renda mais vulneráveis a apagões do que as áreas mais ricas?
Para ajudar as partes interessadas a detectar riscos éticos precocemente, antes da implementação, a equipe de pesquisa do MIT desenvolveu um método de avaliação automatizado que equilibra indicadores quantitativos (como custo e confiabilidade) com valores qualitativos (como equidade).
Este sistema separa a avaliação objetiva dos valores humanos definidos pelo usuário e utiliza um modelo de linguagem abrangente (LLM, na sigla em inglês) como um "representante" humano para registrar e integrar as prioridades das partes interessadas.
A estrutura de avaliação adaptativa selecionará os cenários mais importantes para análise posterior, simplificando um processo que seria dispendioso e demorado se realizado manualmente. Esses cenários podem indicar quando um sistema de IA está alinhado com os valores humanos, bem como quando deixa de atender aos critérios éticos.
Segundo Chuchu Fan (MIT), simplesmente definir regras ou "barreiras de segurança" para a IA é insuficiente, pois estas apenas previnem riscos que os humanos conseguem prever. Portanto, é necessária uma abordagem sistemática para detectar "riscos desconhecidos" antes que causem consequências.
Avaliação ética em sistemas complexos
Em sistemas de grande porte, como redes elétricas, avaliar a adequação ética de propostas geradas por IA é um desafio, especialmente quando múltiplos objetivos precisam ser considerados simultaneamente.
Os métodos atuais geralmente dependem de dados facilmente disponíveis, mas dados rotulados de acordo com critérios éticos são raros. Ao mesmo tempo, os valores éticos e os sistemas de IA estão em constante mudança, tornando rapidamente obsoletos os métodos de avaliação estáticos.
A equipe de pesquisa desenvolveu uma estrutura de projeto experimental chamada SEED-SET, que consiste em duas partes:
- Modelo objetivo: avalia o desempenho com base em indicadores mensuráveis (como custos)
- Modelo subjetivo: reflete o julgamento humano (como sentimentos de justiça)
Essa abordagem permite identificar cenários que atendam tanto a critérios técnicos quanto a valores humanos, ou vice-versa.
Em particular, o SEED-SET não requer dados de avaliação preexistentes e pode se adaptar a uma ampla gama de objetivos. Por exemplo, em um sistema de eletricidade, diferentes grupos de usuários (como comunidades rurais e centros de dados) podem ter prioridades éticas diferentes, apesar de ambos desejarem eletricidade acessível e estável.
Modelagem de fatores subjetivos
Para avaliar fatores subjetivos, o sistema utiliza LLM como representante do avaliador. As preferências de cada grupo são codificadas em declarações em linguagem natural.
A LLM comparará cenários e selecionará a opção mais apropriada com base em critérios éticos. Essa abordagem ajuda a evitar o cansaço humano e a inconsistência ao avaliar centenas ou milhares de cenários.
O SEED-SET utiliza então os cenários selecionados para simular o sistema (por exemplo, estratégia de distribuição de energia) e continua a procurar novos cenários com maior valor de avaliação.
O resultado final é um conjunto de cenários típicos, permitindo aos usuários analisar o desempenho do sistema de IA e ajustar sua estratégia conforme necessário.
Por exemplo, o sistema poderia detectar casos em que a distribuição de energia prioriza áreas de alta renda durante os horários de pico, tornando as áreas desfavorecidas mais vulneráveis a cortes de energia.
Eficácia e desenvolvimento futuro
Quando testado em sistemas do mundo real, como redes inteligentes ou gestão de tráfego urbano, o SEED-SET gera o dobro de cenários ideais em comparação com os métodos tradicionais, além de detectar mais situações que outros métodos não identificam.
Notavelmente, quando as preferências do usuário mudam, os cenários gerados pelo sistema também mudam significativamente, demonstrando um alto grau de adaptabilidade aos valores humanos.
No futuro, a equipe de pesquisa planeja realizar estudos com usuários reais para avaliar a utilidade do sistema no processo de tomada de decisão. Simultaneamente, pretendem expandir a metodologia para problemas mais complexos, como a avaliação das decisões de modelos de linguagem maiores.
Esta pesquisa foi parcialmente financiada pela Agência de Projetos de Pesquisa Avançada de Defesa dos EUA (DARPA).
(De acordo com o MIT News)
Fonte: https://vietnamnet.vn/danh-gia-dao-duc-cua-cac-he-thong-tu-hanh-2508477.html
Comentário (0)