Kina slår tillbaka mot AI-chattrobotar.

AI-chattrobotar har förmågan att manipulera användares känslor. Foto: AFP .

Kina planerar att skärpa kontrollerna av AI-chattrobotar som kan påverka mänskliga känslor, särskilt de med innehåll som främjar självmord, självskadebeteende eller andra skadliga beteenden. Detta åtgärd beskrivs i ett utkast till nya regler som släpptes av Kinas cyberspaceadministration den 27 december.

Enligt CNBC :s översättning av dokumentet riktar sig utkastet mot "människoliknande interaktiva artificiella intelligenstjänster", vilket betyder AI-system som kan härma mänsklig personlighet, beteende och kommunikation genom text, bilder, ljud eller video . Dessa regler kommer att gälla för alla AI-produkter och -tjänster som erbjuds offentligt i Kina när de väl är färdigställda. Den offentliga kommentarsperioden sträcker sig till den 25 januari.

Winston Ma, gästprofessor vid New York Universitys (NYU) Law School, tror att detta kan vara världens första försök att etablera en rättslig ram specifikt för AI-system med "människoliknande" egenskaper. Han noterar att detta förslag kommer samtidigt som kinesiska företag accelererar utvecklingen av virtuella AI-assistenter.

Jämfört med Kinas AI-regler som utfärdades 2023 anser Ma att det nya utkastet visar ett fokusskifte från "innehållssäkerhet" till "emotionell säkerhet", vilket återspeglar en växande oro över AI:s psykologiska inverkan på användare.

Utkastet till regler anger att AI-chattrobotar inte får skapa innehåll som uppmuntrar till självmord, självskadebeteende eller verbalt våld, och inte heller någon form av emotionell manipulation som skadar den psykiska hälsan. I de fall där en användare uttrycker självmordsavsikter måste tekniktjänsteleverantören låta någon ta över samtalet och omedelbart kontakta användarens vårdnadshavare eller utsedd person.

Dessutom är AI-chattrobotar förbjudna att skapa innehåll relaterat till spel, pornografi eller våld. Minderåriga får endast använda AI för emotionellt stöd med en vårdnadshavares samtycke och måste följa tidsgränser.

AI-chatbot, bror 1

Kina skärper reglerna för AI-chattrobotar. Foto: Bloomberg .

Förslaget tillkännagavs kort efter att två stora kinesiska AI-chatbot-startups, Z.ai och Minimax, ansökte om börsintroduktioner (IPO) i Hongkong i december.

Minimax är känt för sin Talkie AI-app och sin inhemska version, Xingye, som stod för mer än en tredjedel av företagets intäkter under årets tre första kvartal, med ett genomsnitt på över 20 miljoner månatliga aktiva användare. Samtidigt uppgav Z.ai (Zhipu) att deras teknik har distribuerats på cirka 80 miljoner enheter, även om de inte avslöjade specifikt antal aktiva användare.

I ett globalt sammanhang får AI:s inverkan på människors psykiska hälsa allt större uppmärksamhet, i takt med att många länder och teknikföretag börjar konfrontera de sociala risker som denna teknik medför.