Så ska AI-systemen bli mindre enkelspåriga

Robert Östling och Murathan Kurfalı, forskare i datorlingvistik vid Stockholms respektive Uppsala universitet, står bakom projektet ”Motsägelseblindhet i stora språkmodeller: mekanismer och motmedel”.

De har nu beviljats drygt fyra miljoner av Vetenskapsrådet för att kunna fortsätta undersöka hur AI-systemen behandlar motstridig information – och i förlängningen utforska olika typer av metoder för att motverka systemens ”motsägelseblindhet”.

AI-systemen prioriterar information som upprepas

– Oroande nog har vi i tidigare publicerad forskning visat att AI-systemen ofta ignorerar en del av informationen, för att i stället framställa det som att det finns ett entydigt svar. Och vad värre är, det visar sig att sättet på vilket de väljer – eller väljer bort – information är snedvridet, säger Robert Östling och Murathan Kurfalı.

 Systemen premierar till exempel information som upprepas, och föredrar information på vissa språk framför motstridig information på andra språk.

Sättet på vilket systemen väljer – eller väljer bort – information är snedvridet

Moderna AI-system består av maskininlärningsalgoritmer som lärs upp automatisk genom att de visas stora mängder text. Resultaten blir imponerande, men nackdelen är att vi har svårt att förstå hur det egentligen fungerar.

– Genom att bättre förstå hur motsägelser hanteras eller inte, och hur information försvinner i systemen, kan vi skapa test för att se i vilken mån AI-modellerna beter sig så som vi vill.

Målet är system som bättre hanterar motsägelser

Den ökade förståelsen blir också till hjälp i det sista steget i projektet, som handlar om att skapa AI-system som på ett mer rättvisande och transparent sätt hanterar motsägelser.

– Detta är av yttersta vikt i ett samhälle där mer och mer information filtreras och sammanfattas av stora språkmodeller innan den når mänskliga ögon, säger Robert Östling och Murathan Kurfalı.