Vil du bo i Gotham City?

Gotham. Sig navnet, og du befinder dig allerede halvvejs i en dystopisk fremtidsby med korrupt politi, fuldblodskriminelle, maskeklædte hævnere og – selvfølgelig – Batman.

Men Gotham er også navnet på en af de overvågningsteknologier, som den amerikanske virksomhed Palantir Technologies tilbyder sine kunder, der i høj grad består af politi og militær i en lang række lande.

Palantir udvikler med egne ord software, som gør køberne i stand til effektivt at integrere data, beslutninger og operationer. En af kunderne er dansk politi, som i 2016 hyrede Palantir til at bygge POL-INTEL.

Et værktøj, der i hvert fald på overfladen gør præcis det: Integrerer en række forskellige databaser og registre, så efterforskere ikke skal bruge tid på at tilgå dem enkeltvis, men kan klare det hele med én central søgning.

Men festen stopper ikke dér. Palantirs Gotham-løsning er skabt til at finde sammenhænge, personsammenfald, historiske hændelser, kriminalitetsmønstre og digitale spor, som giver efterforskerne mulige ledetråde i opklaringen af kriminalitet.

Da Rigspolitiet skrev under på Gotham-kontrakten til 160 millioner, blev det betegnet som et supervåben og et kvantespring ind i et moderne politi. Men spørgsmålet er, hvad det betyder for relationen mellem myndigheder og borgere – og om POL-INTEL reelt er endnu mere avanceret end det, som er offentligt kendt.

– Problemet med POL-INTEL er, at holdningen til, hvad systemet egentlig kan og er i stand til at gøre, varierer alt efter, hvem du spørger. Kritikere vil sige, at det er et profileringsværktøj, mens repræsentanter for politiet vil sige, at det er en simpel søgemaskine for politifolk, siger Vasilis Galis, der er lektor ved IT-­Universitetet.

Han er også leder af CUPP-projektet (Critical Understanding of Predictive Policing), som involverer forskere fra seks universiteter og forskningsinstitutioner i Danmark, Estland, Letland, Norge og Storbritannien. Ud fra hver deres nationale synsvinkel undersøger de politiets brug af teknologi til kriminalitetsbekæmpelse og betydningen for borgerne i demokratiske samfund.

Tillid er afgørende

I hjertet af CUPP står spørgsmål om overvågning, retssikkerhed og privatlivsbeskyttelse. Som bekendt producerer digitaliseringen og overvågningsteknologien stadig flere data om os alle, og det samme gør de digitale aftryk fra internettet, sociale medier og mobiltelefoner.

Samtidig er der mange eksempler på alvorlige svagheder og indbygget bias i den eksisterende teknologi til eksempelvis ansigtsgenkendelse.

Samlet set betyder det ifølge PROSA, at borgernes rettigheder er under angreb, når myndighederne og ordensmagten får adgang til så meget indsigt i vores daglige liv og færden.

– Politiets arbejde ændrer sig markant i takt med, at de får adgang til flere og flere digitale værktøjer. Men det åbner også for en række faldgruber. I et demokratisk samfund er tilliden til politiet afgørende, og derfor skal der være indsigt i politiets arbejdsmetoder og redskaber, siger Niels Bertelsen, der er formand for PROSA.

Smartere brug af data

PROSA indgår i det treårige CUPP-projekt som civilsamfundspartner og var også arrangør af et velbesøgt seminar på IT-Universitetet i december sidste år. Her mødtes alle forskerne med blandt andre Courtney Bowman, der er Global Director of Privacy & Civil Liberties Engineering i Palantir Technologies.

Og skal man tage Courtney Bowmans ord for gode varer, så gør Palantir reelt ikke andet end at stille en platform til rådighed, som faciliterer en smartere brug af de data, som politiet allerede har adgang til.

– Palantir er ikke involveret i overvågning, vi indsamler ikke data, og vi sælger ikke data videre til andre. Vi har bygget en platform til at håndtere data fra en række forskellige siloer til en fælles integreret løsning. Oven på den har vi lagt et avanceret og søgbart analyseværktøj, der skaber et grafisk overblik og visualiserer data. Man kan sige, at vores løsning oversætter alle de forskellige data til ting, som den almindelige efterforsker kan forstå og relatere til, siger Courtney Bowman, der har en baggrund som fysiker og filosof.

Han betegner Palantirs datamodel som et net, hvor små dele af informationer indsamles på tværs af databaser for at give et samlet billede af en konkret sag.

Systemet udsender også notifikationer, hvis der bliver lagt nye informationer ind i POL-INTEL fra andre efterforskninger, som kan være relevante for sagen.

– Men der er ikke en magisk knap, som afslører gerningsmanden, siger Courtney Bowman og uddyber:

– Tænk på det som et værktøj, der kan præsentere dataanalytikeren for nogle skjulte forbindelser eller spor i de integrerede datastrømme, og som i kombination med efterforskerens menneskelige intuition og erfaring kan være med til at fremme opklaringen af en kriminalsag.

POL-INTEL er også skabt til at udpege såkaldte hotspots, hvor der størst sandsynlighed for kriminel adfærd på bestemte tidspunkter af døgnet, og Courtney Bowman erkender, at netop den feature kan være problematisk og medføre stigmatisering af sårbare befolkningsgrupper.

– De underliggende data kan indeholde bias. Derfor er det afgørende, at de analytikere, der benytter systemet, forstår den risiko og agerer ud fra det. Dataminimering og proportionalitet skal vægtes højt, siger Courtney Bowman.

Koldt vand i blodet

Christian Wiese Svanberg, der er tidligere Data Protection Officer i Rigspolitiet under indførelsen af POL-INTEL i 2016, nedtoner også dommedagsprofetierne om, hvad POL-INTEL egentlig er i stand til.

Hans beskrivelse lægger sig tæt op ad Courtney Bowmans, og han ser udelukkende fordele i, at Palantir har løftet opgaven med at integrere en lang række it-systemer, registre og databaser, hvor af nogle går helt tilbage til 1970’erne.

– Det har ikke givet politiet adgang til nye data, men data bliver udstillet på en meget mere brugbar måde. Dermed får politiet bedre mulighed for at efterforske på antagelser, men der bliver ikke gjort forsøg på at forudsige kriminalitet. I hvert fald ikke på individniveau, siger Christian Wiese Svanberg.

For PROSA-formand Niels Bertelsen er det dog indlysende, at politiet med tiden vil få flere og flere nye data, og han advarer om, at det kan føre til øget kontrol med visse målgrupper, hvor uskyldige borgere også kommer i politiets søgelys.

– Når man samkører forskellige registre, konstruerer man jo nye data, og dermed risikerer man også en formålsforskydning. Det kan være problematisk. Og i de tilfælde, hvor man kommer til at opsamle oplysninger om uskyldige, er det afgørende, at de slettes med det samme, siger han.

Men Christian Wiese Svanberg understreger, at databeskyttelsen af personfølsomme oplysninger er mærkbart forbedret i POL-INTEL, og at man til hver en tid kan se, hvem der har søgt i data og til hvilket formål.

– Det betyder, at ansatte i politiet kan blive stillet til ansvar, hvis de misbruger systemet. De skal til hver en tid kunne godtgøre formålet med deres søgning i POL-INTEL, siger Christian Wiese Svanberg.

Courtney Bowman fra Palantir understreger også, at POL-INTEL har indbygget en række sikkerhedsværktøjer, der gør, at alle søgninger bliver logget, og at data kun bliver vist, hvis der er en begrundet anmodning fra medarbejdere, der er sikkerhedsgodkendte på forskellige niveauer.

– POL-INTEL har en robust godkendelsesprocedure, som sikrer, at alle brugere handler ansvarligt og inden for lovens rammer, siger Courtney Bowman.

Ikke desto mindre kom POL-INTEL i søgelyset, da 52 politiansatte i løbet af få dage i 2018 tilgik systemet og søgte på fodboldspilleren Nicklas Bendtner, som på det tidspunkt var involveret i voldssag mod en taxachauffør. 10 af dem havde absolut intet med sagen at gøre, og de overtrådte dermed politiets retningslinjer.

De har senere beklaget og erkendt, at de slog Nicklas Bendtners navn op i POL-INTEL, fordi de var nysgerrige. Fadæsen blev kun opdaget, fordi Rigspolitiet lavede en stikprøvekontrol.

Metadata giver indsigt

Christian Damsgaard, der er lektor på DTU og ekspert i Cyber Security og Distributed Systems, ser med stigende bekymring på politiets indsamling af persondata – specielt i lyset af de teknologier, der hastigt er på vej.

Han forklarer, at politiet allerede i dag har adgang til en lang række offentlige databaser lige fra økonomiske data, skatteoplysninger, kørselsdata og sundhedsdata til søgehistorik på nettet, lokationsdata og sociale medier.

– Der bliver indsamlet massevis af meget, meget præcis information om borgerne, som gør det muligt at lave social engineering, hvor man danner meget nøjagtige personprofiler, siger han.

Og personprofiler i kombination med logningsdata og teleoplysninger er langt fra betryggende for borgerne, selv om der kun er tale om metadata, forklarer Christian Damsgaard.

– Myndighederne prøver at berolige os med, at de hverken lytter til, hvad vi siger i telefonen, eller læser, hvad vi skriver i sms og mails. Men du kan lære næsten lige så meget fra metadata som fra ægte data. Og du slipper for at tygge dig igennem masser af ligegyldig og efterforskningsmæssigt ubrugelig kommunikation, siger han.

Men i takt med at der indsamles mere og mere data, som tilkobles machine learning og kunstig intelligens, bliver det afgørende at skabe gennemsigtighed i brugen af big data, mener Christian Damsgaard.

Han peger på, at der er en tendens til, at man ukritisk benytter alle de data, der eksisterer. Skræmmeeksemplet er Kina, der udnytter alle muligheder, når der udvikles ny overvågningsteknologi, som eksporteres til hele verden. Det gælder blandt andet teknologi til ansigtsgenkendelse, etnisk profilering og aflæsning af følelser og humør.

Og når først de teknologiske features er bygget ind i alting, så vil de også blive taget i anvendelse i Vesten på et tidspunkt, mener Christian Damsgaard.

– Det er kun et spørgsmål om tid, før vi står med en sag, hvor et barn er forsvundet, eller en ung kvinde bliver udsat for et groft overgreb, og hvor sagen kunne have været opklaret, hvis vi havde accepteret at anvende en specifik teknologi. Så vil der opstå et pres for at bruge den, siger Christian Damsgaard, der efter 20 år i branchen kalder sig selv professionelt paranoid:

– Problemet er, at man typisk ser alle fordelene ved en ny teknologi med det samme, men man opdager først farerne senere. Så man er nødt til at være varsom med de ting, man tager i brug.

Hot spots og feedback loops

Brugen af predictive policing er noget, der har optaget dansk politi i en del år. I 2018 fortalte vicepolitimester Ole Andersen fra Rigspolitiet, at dansk politi på sigt gerne vil bruge POL-INTEL endnu mere vidtrækkende end i dag.

Han henviser til, at politiet i Los Angeles bruger Palantirs Gotham-system til at udpege ”interessante personer”, som ikke er mistænkt for nogen forbrydelse, men som i kraft af deres historik eller bekendtskabskreds kan være potentielle lovovertrædere. Det sker på baggrund af blandt andet politirapporter, gadetjek og tidligere arrestationer.

– Predictive Policing kunne være interessant, men datagrundladet i dansk kriminalitet er simpelthen for småt til, at det giver mening, sagde Ole Andersen på en konference i 2018.

Også politikerne har i planen ”Et stærkt værn mod terror” fra 2016 talt om, at ”politiet med ny it-teknologi kan være med til at afsløre potentielle gerningsmænd”. Det skete samtidig med millionbevillingen til at indkøbe Gotham.

Herhjemme bruger politiet blandt andet POL-INTEL til at tegne kriminalitetsmønstre ved at kortlægge de steder i byen, hvor der er størst sandsynlighed for kriminalitet på bestemte tidspunkter af døgnet. Det giver politiet mulighed for såkaldt analytisk patruljering.

Men den fremgangsmåde giver ifølge PROSAs it-politiske rådgiver Ole Tange risiko for feedback loops. En betegnelse for, at jo mere man patruljerer i et bestemt område, jo mere kriminalitet vil politiet registrere dér, mens andre områder nedprioriteres. Dermed vil kriminalitetsstatistikken gradvist blive misfarvet, som det ifølge kritikere kendes fra Los Angeles.

– Der er helt klar en risiko for, at brugen af big data på den måde kan være med til at fordreje billedet af, at der er mere kriminalitet i bestemte områder og miljøer, og dermed kan beboere i de områder oftere komme i politiets søgelys, siger Ole Tange.

Ansigtsgenkendelse er på vej

Dansk politi figurerer også på en liste af internationale kunder, som ifølge Buzzfeed News har afprøvet en teknologi til ansigtsgenkendelse fra det kontroversielle amerikanske firma Clearview AI. Clearview AI fungerer ved, at du tager et foto af en person og uploader det i en app, hvorefter du får adgang til at se alle offentligt tilgængelige billeder af personen samt links til de sider, hvor billederne optræder.

Systemet er bygget på en database med flere end tre milliarder billeder, som Clearview AI har skrabet sammen fra Facebook, YouTube, betalingstjenesten Venmo og millioner af andre hjemmesider. I praksis kan du derfor i smug tage et billede af en person og ved hjælp af ansigtsgenkendelsesteknologi få oplyst navn og adresse på personen.

Værktøjet er solgt til hundredvis af politikredse i USA, og ifølge Buzzfeed News har dansk politi benyttet værktøjet et sted mellem 11 og 50 gange. Men det afviser justitsminister Nick Hækkerup (S) i et svar til Folketingets retsudvalg i oktober 2021 på baggrund af en redegørelse fra Rigspolitiet. ”Rigspolitiet har ikke modtaget varer og/eller tjenesteydelser fra Clearview AI og har ikke på noget tidspunkt været kunde hos virksomheden”, skriver han.

Rigspolitiet forklarer, der er tale om to medarbejdere i Rigspolitiets Nationale Cybercrime Center (NC3), som hver har udfyldt en webformular på Clearview AI’s hjemmeside med henblik på at orientere sig nærmere om produktet.

Rigspolitiet forklarer også, at de løbende holder sig orienteret om udviklingen af teknologi til ansigtsgenkendelse, og at Justitsministeriet vil blive inddraget forud for en eventuel ibrugtagen af teknologien. Men noget tyder på, at politiet bare skal ringe. I hvert fald sagde Nick Hækkerup i december under en folketingsdebat om muligheden for flere teknologiske redskaber og overvågningsudstyr til politiet:

– Er vi ved vejs ende? Ork nej! Vi skal have meget mere – meget mere – som giver politiet gode muligheder for at opklare forbrydelser.

I Tyskland har den nye regering bebudet et forbud mod teknologi til ansigtsgenkendelse og vil angiveligt også stoppe logning af teleoplysninger, hvis der ikke er et klart formål.

Ole Tange, der er it-politisk rådgiver i PROSA, håber, at CUPP-projektet vil sætte skub i en bredere offentlig debat om, hvilke digitale værktøjer vi som borgere vil tillade, at myndighederne tager i brug. Han slår også et slag for, at nye teknologier bygges på Privacy By Design.

– Hvis det er ordentligt lavet, kan det give adgang til alle de data, der er brug for, uden at man går på kompromis med privatlivsbeskyttelsen, siger Ole Tange.

Han frygter, at en fortsat udbygning af overvågningen i Danmark i sidste ende vil føre til en adfærdskontrol eller selvcensur, hvor borgernes demokratiske rettigheder gradvist vil blive trådt under fode.

– Nogle gange er der en korrelation, uden at der er en sammenhæng. Du kan komme i politiets søgelys, fordi data viser, at du har opholdt dig et bestemt sted på et bestemt tidspunkt. Vi skal være ualmindeligt varsomme med at tro, at vores demokrati er så robust, at det kan holde til hvad som helst, siger Ole Tange.

Kritikken kommer også fra den amerikanske borgerretsorganisation American Civil Liberties Union, der har kaldt Palantirs teknologi for et “et ægte totalitært mareridt, hvor man masseovervåger uskyldige amerikaneres aktiviteter”.

Men Courtney Bowman fra Palantir Technologies understreger, at Palantir ikke har noget ønske om at overskride grænsen for privatlivsbeskyttelse.

– Vi ønsker ikke en overvågningsstat. Derfor er der vigtigt, at der er en løbende debat i samfundet om, hvad man vil acceptere af kunstig intelligens og automatisering. I mine øjne er det en falsk profeti, når nogen mener, at teknologien er løsningen på alt. Vi skal bygge løsninger, der er nyttige – ikke undergravende, siger Courtney Bowman, der afviser, at POL-INTEL på nogen måde handler om at forudsige kriminalitet.

– Men enhver brug af historiske data giver jo i et vist omfang også mulighed for at se ind i fremtiden, siger han.