Hatescan - identifiering av toxiskt språk i kommunikation

Även om internet och digitala kommunikationsplattformar erbjuder fantastiska möjligheter för alla att kommunicera när som helst och var som helst så finns det också baksidor. Ett exempel är när samtalsklimatet blir infekterat av toxiskt språk. Begreppet toxiskt språk är kommunikation som förgiftar samtalsklimatet: allt från kommunikation som är förbjuden i lag (exempelvis hets mot folkgrupp och förtal) men också andra former av kränkningar som nedsättande tilltal, integritetskränkningar eller respektlöshet. Toxiskt språk är ett samhällsproblem och de individer som utsätts upplever ofta psykologiska konsekvenser och om individer utsätts upprepade gånger kan det likställas vid mobbning. Det kan leda till olika typer utsatthet och sårbarhet som sänker livskvaliteten och tär på det psykiska välbefinnandet.

Det finns idag en hel del tekniker och forskning som fokuserar på att identifiera toxiskt språk automatiskt. Detta är dock ett svårt problem: dels för att människors uppfattning om vad som är toxiskt skiljer sig åt och dels för att det finns oändligt många sätt att uttrycka sig. Det finns ett flertal olika tekniska lösningar för att identifiera toxiskt språk. De flesta av dessa försöker avgöra om en text är toxisk eller inte. I vissa fall försöker man också klassa texten i olika typer av toxiskt språk exempelvis utifrån om den ger uttryck för antisemitism, rasism, hot eller sexism.

Inom ramen för ett flertal forskningsprojekt har vi utvecklat Hatescan en maskininlärningsmodell som kan användas för att identifiera toxiskt språk på svenska och engelska. Användningsområdena för Hatescan är många, exempelvis kan Hatescan användas för modering av kommentarsfält men också användas för att uppmärksamma skribenter på att kommentarer kan uppfattas som toxiska. Idag används Hatescan i TalkSafe ett koncept som finns implementerat i appen Varannan vecka en co-parenting app för att underlätta samarbetet mellan separerade föräldrar med barn.

Vill du veta mer om Hatescan och hur du kan använda Hatescan för att identifiera toxisk språk i epost, chattar eller kommentarsfält? Kontakta Lisa Kaati