Algoritmer skal være legitime

Hvis kunstig intelligens for alvor skal hjælpe mennesker med at træffe fornuftige beslutninger, nytter det ikke bare at have mængder af data og en håndfuld gode intentioner.

Det står lysende klart, efter et nyt studie har kigget nærmere på de stærkt omdiskuterede jobcenter-algoritmer, der i øjeblikket testes i en række kommuner.
– Bruger man kunstig intelligens i beskæftigelsesindsatsen, skal algoritmerne være et redskab, der skal tjene jobkonsulenterne, siger adjunkt på Datalogisk Institut på Københavns Universitet, Naja Holten ­Møller.

Hun står bag det nye studie sammen med sine kollegaer, professor Thomas Hildebrandt og professor Irina Shklovski.

Folketinget vedtog i 2019 en lov, der tillod at bruge kunstig intelligens til at udpege mulige langtidsledige. Ved at sammenholde data om blandt andet borgernes etnicitet, uddannelsesforløb, alder, beskæf­tig­elses-­hi­sto­rik og sundhed er en jobcenter-algoritme derfor designet til at kunne udregne sandsynligheden for, at en jobsøgende bliver langtidsledig.

Algoritmen skal altså være et redskab, så jobkonsulenter kan have ekstra fokus på de ledige borgere, som algoritmen vurderer, er i risikozonen.
– Hvis politikernes mål for en ledig primært er at komme hurtigt i job, er det jo besnærende at opfinde en algoritme, der fokuserer på det. Men problemet er, at man risikerer at stå med et værktøj, der forsimpler borgernes ofte komplekse problemstillinger, og som jobkonsulenterne i sidste ende vælger ikke at benytte, fordi andre forhold bør afklares først, siger Naja Holten Møller.

Hun og hendes kollegaer ønskede derfor at undersøge, hvordan man på en etisk og ansvarlig måde kan udvikle algoritmer, der giver mening for jobkonsulenterne og deres daglige arbejde.
– Det er helt afgørende at finde en balance, hvor den lediges situation både kan vurderes i nuet af jobkonsulenten, samtidig med at jobkonsulenten gennem algoritmen kan lære af andre lignende tidligere forløb, siger Naja Holten Møller.

Inddrag slutbrugeren

Derfor afholdt forskerne som en del af et stort forskningsprojekt kaldet ’EcoKnow’ gennem et år work­shops med jobkonsulenter på jobcentre i blandt andet Gladsaxe Kommune for at blive klogere på deres syn på brugen af kunstig intelligens til at få ledige i job.
– Vi åbnede simpelthen maskinrummet og lod det være op til jobkonsulenterne at bedømme, hvilke mål der fra et fagligt synspunkt burde styre designet af algoritmen. Der er ikke mange erfaringer med helt konkret at indgå i en meningsfuld dialog med jobkonsulenterne om, hvordan brug af kunstig intelligens kan være nyttigt for dem og deres arbejde, siger Naja Holten Møller.

Typisk involveres slutbrugeren i et designforløb for at tage stilling til, om et givent system er let at anvende.
– Den nye dimension er, at brugen af den kunstige intelligens også skal opfattes som legitim og etisk af dem, der skal bruge den. Og så bliver man nødt til at inddrage slutbrugerne meget tidligt i forløbet, siger hun.

Ude på jobcentrene stod det hurtigt klart for Naja Holten Møller, at jobcenter-algoritmen ikke sad lige i skabet.
– Lad mig bare sige, at jobkonsulenterne ikke er imponererede over profileringsværktøjet. Den individuelle profilering og det snævre fokus på så hurtigt som muligt at få en ledig i job viste sig ikke altid at være det rigtige mål. Dermed er en algoritme, der alene fokuserer på det, ikke et brugbart værktøj for dem, vi talte med. I deres optik er det utrolig vigtigt at kunne forstå den enkelte borger og dennes helt konkrete udfordringer, siger hun.

Naja Holten Møller peger på, at kunstig intelligens bygger på mange borgeres forløb og på den måde er modstykket til det faglige skøn.

Forudse risici i processer

Jobkonsulenternes erfaring er samtidig, at et ledighedsforløb kan gå frem og tilbage. Og for nogle borgere er et job ikke et mål i sig selv, men derimod en afklaring af, hvad der egentlig er bedst for ham eller hende.

– Livet består nogle gange af kriser – såsom dødsfald, skilsmisse og sygdom. Den slags kan naturligvis spille ind på mulighederne for at vende tilbage til arbejdsmarkedet. Samtidig må man forstå, at der er forskel på, hvordan mennesker tackler den udfordring, det er at stå uden job. Det vil en algoritme have meget svært ved at tage højde for, siger Naja Holten ­Møller.

Hun mener på baggrund af studiet, at man i stedet for at prøve at forudsige den enkeltes sandsynlighed for langtidsledighed bør bruge kunstig intelligens til at få tilrettelagt nogle bedre og mere gennemsigtige forløb.

For jobkonsulenterne afviste ikke brugen af kunstig intelligens. De fattede ifølge Naja Holten Møller faktisk hurtigt interesse for, hvad man ellers kunne bruge algoritmer til.
– De rejste simpelthen spørgsmålet om, hvorvidt kunstig intelligens i virkeligheden overhovedet skal bruges til individuel profilering. Så hvorfor ikke i stedet for lade kunstig intelligens komme med forudsigelser om, hvor i processen der kan opstå ventetid. Altså udvikle en algoritme med fokus på proces og organisation, siger hun.

Man har blandt andet på sundhedsområdet haft stor succes med at optimere processer.
– Der er ting, der kan få et forløb til at trække ud. Derfor ville det være brugbart, hvis kunstig intelligens kunne hjælpe med at kortlægge, hvor de mulige faldgruber er, og som vi ved fra tidligere studier opfattes som en udfordring af mange borgere. Det kan være at estimere, hvor lang tid man skal vente på en udtalelse fra en psykolog eller en udredning fra en arbejdsmedicinsk klinik, siger hun.

Kend konteksten

Forskerne peger i deres studie også på de helt åbenlyse etiske problemstillinger ved den måde, som de nuværende jobcenteralgoritmer er skruet sammen på.
– Er det overhovedet gangbart, at individuel profilering af ledige skal baseres på andre borgeres mønstre? Hvis svaret er ja, rejser det spørgsmålet om, hvilke data algoritmerne skal trænes på, og hvad grænserne er for deres brug? Ledige skal have mulighed for at udfordre brugen af kunstig intelligens. Og for at få svar på det spørgsmål, må vi udvikle metoder som den, vi viser i studiet her, siger Naja Holten Møller.

Derfor er forståelsen af den praksis, som algoritmen skal leve i, så afgørende.

Kender man den kontekst, algoritmen skal virke i, får man et pejlemærke om, hvilke data man skal benytte, og om man overhovedet har de data, det vil kræve for at designe den mest optimale algoritme. Ud over at være valide skal data skal også være egnet til det specifikke formål.
– En algoritme er kun så god, som de data, den bliver fodret med. Hvis data af forskellige årsager er skævvredet eller behæftet med fejl, kan du stå med konklusioner, der i bedste fald er ubrugelige og i værste fald skadelige, siger Naja Holten Møller.

Hun glæder sig over, at man generelt er begyndt at kigge mere kritisk på de data, der benyttes, når der udvikles algoritmer.
– Man taler heldigvis mere og mere om, at kunstig intelligens kræver de rette data. Nu handler det ikke længere om bare at få kradset alle de data, man kan, op under neglene helt uafhængigt af den bestemte praksis, som algoritmen skal understøtte, siger Naja Holten Møller.

Respekt for praksis

Konklusionen er derfor, at det er helt afgørende, at beslutningstagere og udviklere af kunstig intelligens forstår, at algoritmer skal designes i tæt samarbejde med de mennesker, der skal bruge algoritmen som hjælp i deres arbejdsliv.
– Man skal have stor respekt for den måde, data bliver til, og tingene foregår på ude i virkeligheden, og samtidig have øje for, at en praksis udvikler sig over tid. En algoritmes opgave er at understøtte den praksis, der er ude i virkeligheden – i vores konkrete tilfælde ude på jobcentrene, siger Naja Holten Møller.

Forskerne er nu i gang med at undersøge om de mål, som jobkonsulenterne har foreslået i studiet, kan bruges i udviklingen af en ny slags jobcenter-­algoritme.
– Vi er lige nu i EcoKnow-forskningsprojektet sammen med KMD ved at udvikle en prototype på en algoritmekomponent, der blandt andet skal vise, hvor ventetiden i et ledighedsforløb kan være, siger Naja Holten Møller.

Forskernes algoritme skal naturligvis testes med jobkonsulenter, før den eventuelt tages i brug.
– Det er menneskets begreber og krav, som algoritmerne skal testes op imod. Det er jobkonsulenterne, der gør beskæftigelsesindsatsen menneskelig, og deres indsigt skal gøre, at den kunstige intelligens styrker det menneskelige i den enkeltes ledighedsforløb. Det er forståelsen af praksis, der skal hjælpe os til at lave relevante systemer, siger hun og tilføjer:
– Vores forskning viser, at algoritmer skal udvikles og arbejde sammen med praksis for at været et meningsfuldt redskab.