Nyt værktøj skal stoppe online-chikane af kvinder

”Tak for hele oplevelsen. Nogle gange er man ikke lavet til programmer som det her. Og det er Neva og jeg ikke. Jeg er på en måde også lidt lettet. For jeg kan ikke klare mere hate på nettet”.

Sådan lød afskedsreplikken fra Ida Jensen, den ene halvdel af duoen ’Ida og Neva’, da de forlod X-Factor-konkurrencen en fredag aften midt i marts i år. Beskeder som ”I burde skamme jer, så klamme I er”, ”I er så grimme, I kan ingenting” og ”Jeg hader jer fucking lebber” var i en lind strøm væltet ind over showets deltagere på de sociale medier.

”Nå ja, det er bare et talentshow, så hvad har det med mig at gøre?”, kan man måske tænke.

Men problemets omfang og ikke mindst alvor viste sig med al tydelighed et par dage senere, da landets statsminister i Folketingssalen direkte kommenterede på Ida Jensens ord: ”Det har taget overhånd. Det er kammet over den måde, vi diskuterer med hinanden på på sociale medier i Danmark. Det er taget til og har vokset gevaldigt frem i den seneste tid”, sagde Mette Frederiksen (S).

For det er ikke kun unge kvindelige sangere i et talentshow på TV2, der får nettets galde at føle.

Amnesty International offentliggjorde i 2017 en undersøgelse, der dokumenterede, at næsten hver femte danske kvinde havde været udsat for digital chikane og vold. En tredjedel af kvinderne oplyste i samme omgang, at de som følge af truslerne fik stress og oplevede panik­anfald, og at de frygtede for deres fysiske sikkerhed.

Men hvordan skal man tage livtag med den voldsomme digitale chikane?

Det har en gruppe forskere fra IT-Universitet (ITU) forsøgt at finde en løsning på. 

De har i løbet af 10 måneder indsamlet, klassificeret og kategoriseret 28.000 danske brugerindlæg fra Facebook, Twitter og Reddit i jagten på kvindehadsk indhold på de sociale medier.

Hver kommentar er blevet gransket og holdt op mod forskellige kategorier og grader af sexisme. Resultatet er, at 7.500 kommentarer blev vurderet som grove, og af dem er 2.000 vurderet som direkte kvindefjendske.
– Et af de store mål med projektet har været at opfange og måle graden af hadsk tale og sexisme på sociale medier. Vi ved, at den hårde tone på nettet betyder, at mange – hvis ikke flere og flere – afholder sig fra at blande sig i onlinediskussioner, og det er ødelæggende for vores demokrati, siger Leon Derczynski, der er lektor ved datalogi på ITU.

Der er ham, der sammen med forskningsassistent Philine Zeinert og Nanna Inie, såkaldt Villum Fellow, står bag projektet. Deres resultater er udgivet i den videnskabelige artikel 'Annotating Online Misogyny'.

De mange indlæg er blandt andet fundet via klassisk keyword-research. Nedsættende ord om kvinder som ’luder’ og ’kælling’ er blevet brugt som søgeord, men også neutrale ord som ’sex’ og ’kvinde’.  
– Vi gik dog videre end blot at benytte den klassiske keyword-metode. Vi brugte også ’topic matching’ og udvalgte meget nøje specifikke ’user groups’ for at eliminere de bias, der opstår, når man kun bruger søgeord til at indhente sine data, understreger Leon Derczynski.

Hæmmer demokratisk samtale

Leon Derczynski pointerer, at hadtale på eksempelvis Facebook faktisk kun udgør omkring 3 procent af alt indholdet.
– Men det er først og fremmest i forbindelse med de vigtige samfundsdebatter, at hadtalen gør sig gældende, og her fylder den utrolig meget, siger han.

Det blev blandt andet understreget, da Enhedslistens daværende politiske ordfører Johanne Schmidt-Nielsen i 2014 i et Facebook-opslag offentliggjorde en række beskeder, hun havde modtaget.

Blandt dem var kommentarer som ”Må du dø af brystkræft og fissekræft”, ”Bid i puden skat, jeg kommer tørt ind” og ”Hvad vil det koste at leje dig en weekend?”

Og da TV2 i kølvandet på Ida og Nevas exit fra X-Factor fik foretaget en Megafon-undersøgelse, viste den, at tonen er så hård på sociale medier, at hele 70 procent af danskerne undgår at deltage.

Skal man lykkes med at udvikle en duelig metode til at opfange og måle graden af hadsk tale og sexisme på tværs af sociale medier, er der ifølge Leon Derczynski tre forudsætninger.

Man skal for det første vide, hvad man leder efter, herefter skal man have valide eksempler på, hvad man leder efter, og til sidst skal man have en model, der er trænet ved hjælp af disse eksempler.
– Det første har vi opnået ved at skabe et nøjagtigt klassifikationssystem, der kategoriserer kvindehadsk sprog. Det andet præsenterer vi i form af et datasæt bestående af 2.000 nøje klassificerede eksempler ud af et samlet datasæt på 28.000. Det tredje – vores model – fungerer så effektivt, at den allerede automatisk opfanger 85 procent af ikke tidligere identificeret kvindehadsk indhold, siger han.

Særlig dansk hadtale

Da forskerne skulle i gang med at etablere et klassificeringssystem, fandt de en håndfuld engelsksprogede taksonomier, der kunne bruges som rettesnor for, hvordan de kunne klassificere materialet, samt et spansk og et italiensk.

Men forskerne fandt en del danske kommentarer, som de ikke kunne få til at passe med de eksisterende kategorier.

Derfor kom Leon Derczynski og kollegaerne frem til en overraskende konklusion. Der er simpelthen en særlig dansk måde at være kvindehader på.
– Da vi gennemgik de mange debattråde på de sociale medier, opdagede vi, at mange danskere insisterer på, at der hersker total ligestilling. Derfor forsøger de at ændre debatten om, at der ikke er ligestilling ved at kræve dokumentation for påstande, der er almindeligt accepteret som realiteter, forklarer han.

Den kategori blev navngivet neosexisme, der er et begreb lånt fra psykologien. I den kategori ryger kommentarer, hvor afsenderen angriber selve den præmis, at diskrimination på baggrund af køn er en erfaring, som en kvinde har gjort sig ude i virkeligheden, eller bruger et stråmandsargument for at styre uden om emnet.
– Det er første gang, at begrebet neo­sexisme bliver operationaliseret, og hvor vi med et computersystem forsøger at indfange det, siger Leon Derczynski.

De andre kategorier, som en given kvindehadsk kommentar kunne ryge i, var seksuel chikane, dominans, sexisme forklædt som komplimenter, stereotyp fremstilling af kvinder og miskreditering af kvinder.

Kontekst er afgørende

Et eksempel på neosexisme er at insistere på, at barsel ingen betydning har på kvinders karriere, og at man derfor kræver beviser for, at mødre rent faktisk går glip af forfremmelser.

Men når en kommentar skal kategoriseres som eksempelvis neosexisme, er konteksten helt afgørende. Det er jo ikke altid hadsk tale at bede om beviser for en påstand.
– Kontekst handler blandt andet om at finde ud af, hvor kommentaren kommer fra. Det er, når vi kategoriserer data, at vi – altså mennesker – træffer beslutningerne om, hvad der er neosexisme, og hvad der ikke er det. I tvivlsspørgsmål kom data ikke med i vores træningsmodel, understreger Leon Derczynski. 

Netop fordi kontekst er så afgørende, var det heller ikke kun de tre forskere, der afgjorde, om en kommentar var kvindehadsk, og i hvilken kategori den så hørte til.

Forskerne havde allieret sig med et panel, der bestod af personer på tværs af alder, køn, uddannelse, etnicitet og profession. De læste, vurderede og kategoriserede hver eneste kommentar. Øvelsen var at få så valide data som muligt og i videst omfang afbøde for bias.
– Vores mål er at adressere det kvindehad, der findes online. Skal man gøre det, er man nødt til at kunne måle det korrekt. Og det kan vores model, siger Leon Derczynski.

Han understreger derfor også, at det er metoden, der er det nye. Altså den omhyggeligt indsamlede data, hvor forskerne har gjort alt for at undgå forurening.
– Vores metode er dyr og omstændelig, men den er afgørende for at opnå korrekte og præcise data, som vores model kan trænes på, siger han.

Metoden betyder, at forskerholdet har udviklet en codebook, der fungerer som en nøgle til at forstå, hvordan chikane opererer sprogligt på nettet.   
– Vores værktøj er designet til at analysere og udpege sexistiske kommentarer henvendt til kvinder. Derudover kan vi også inddele de kvindefjendske kommentarer i underkategorier for at få et mere fintmasket indtryk af omfanget, siger Leon Derczynski.

Han mener, at der er brug for at udvikle digitale værktøjer, der kan hjælpe med at opfange den type indhold på nettet.
– Og vi har nu præsenteret en universel, teoretisk måde at gøre det på, siger han.

Brug for hjælp

Hver time bliver der ifølge tv2.dk fjernet 10.000 stykker indhold fra Facebook bare i kategorien hate speech. Men det er langt fra nok.

Det stod klart, da analysebureauet Analyse & Tal i maj offentliggjorde en digital superalgoritme, der med hidtil uset præcision kunne kortlægge hadefulde kommentarer på Facebook. Leon Derczynski var en del af projektets advisory committee.

Algoritmen fik navnet A&ttack-Ha&te og blev beskrevet som så intelligent, at den kan forstå semantik og hele tekster skrevet af mennesker.

Resultatet var, at selv efter Facebooks robotter og menneskelige moderatorer havde slettet særlig grove kommentarer, kunne 3,3 millioner af de 63 millioner kommentarer, som algoritmen havde tygget sig igennem, fortsat karakteriseres som et sprogligt angreb, der kunne anses som enten stigmatiserende, nedsættende, krænkende eller truende.

Det er heller ingen hemmelighed, at det er et overordentligt udsat job at holde orden på det sociale medie. Facebook indgik således sidste år et forlig på 52 millioner amerikanske dollar –  knap 360 millioner danske kroner –  med en række moderatorer, der havde til opgave at identificere og censurere chikane og stødende indhold på platformen. Den konstante eksponering af hadtale og det, der er værre, havde ifølge de ansatte medført både PTSD og depression.

Mennesket er bedst

Så der er helt uden tvivl brug for et værktøj, der kan hjælpe med at udpege hadsk tale på nettet.

For problemet er, at der er alt for meget data til, at mennesker alene kan løse opgaven. Sproget er levende, og der opstår hele tiden nye hadmønstre og koder, der udbredes med lynets hast.

Selvom forskerholdet forudser, at deres værktøj først og fremmest vil blive brugt til forskning og analyse, så har blandt andet Facebook allerede henvendt sig.

Men forskerne har understreget, at man ikke bare kan rulle deres værktøj ud over hele Facebook.

For i det ocean af grupper, der findes på Facebook, er der stor forskel på, hvilket sprog man vil tillade, alt efter om gruppen handler om at udveksle strikkeopskrifter eller er dedikeret til satanisme.   
– Hver enkelt gruppe på Facebook må finde ud af, hvilke kommentarer der er tilladt hos dem. Vores værktøj vil så kunne give moderatorer og community managere mulighed for at få indsigt i de udfordringer, de har i netop deres kommentarspor, siger Leon Derczynski.

For et AI-værktøj er ikke et vidundermiddel.
– Det digitale værktøj må aldrig stå alene. Det kan bruges til at udpege problematisk indhold, men i sidste ende skal det være et menneske, der skal beslutte om en kommentar er sexistisk eller grænseoverskridende, siger han og understreger:
– Det er en vanskelig disciplin at moderere en debat, og det ville være farligt, hvis det blev overladt til kunstig intelligens og maskinlæring.