Billedtekst – Fuld åbenhed om nøjagtighed

Dreven salgssnak og magiske muligheder

Når Cambridge Analyticas CEO, Alexander Nix, på diverse konferencer med potentielle kunder som publikum fortæller om mulighederne med virksomhedens psykografi, agerer han som en dreven salgsmand og taler om teknologiens overordnede koncepter med nærmest magiske muligheder.

For at skille Cambridge Analytica ud fra andre analyseselskaber fremhæver han muligheden for at få indsigt i enkeltindividers psykologiske profil og adfærd. Han nævner ikke noget om nøjagtigheden i Cambridge Analyticas metode, og Cambridge Analytica vogter detaljerne om deres teknologi med nidkærhed.

Cambridge Analytica bygger dog på de principper, som pionererne inden for psykologisk profilering fra University of Cambridges Psykometriske Center har etableret, og i modsætning til Cambridge Analytica ønsker forskerne fra centeret ikke at skjule noget.

Ja, det er muligt at bestemme alder, køn, intelligens, seksuel orientering og personlighedstræk via data fra Facebook med større eller mindre usikkerhed afhængig af, hvilke data du har til rådighed, lyder det fra Dr. Michal Kosinski, som er adjunkt på Stanford Business School og tilknyttet Cambridge University-initiativet Apply Magic Sauce, som anvender Facebook-data til at profilere folk.

Hvor nøjagtig er modellen?

Nøjagtigheden af modellens forudsigelser angives med et decimaltal mellem 0 og 1, hvor 0 svarer til et tilfældigt gæt, mens 1 svarer til en korrekt forudsigelse. Alder har en nøjagtighed på 0,75, køn bestemmes med en nøjagtighed på 0,93 og politisk orientering med 0,79. Nøjagtigheden bestemmes ved at sammenligne forsøgspersoners faktiske karakteristika med modellens forudsigelser.

Eksempelvis har forskerne på Cambridge-universitetet testet nøjagtigheden af modellens psykologiske profilering ved at sammenholde 260.000 forsøgspersoners psykologiske profil bestemt ud fra et 100-punkts spørgeskema med modellens forudsigelser baseret på forsøgspersonernes page-likes på Facebook. Nøjagtigheden ligger på mellem 0,35 og 0,5 for bestemmelse af personlighedstræk baseret på OCEAN-modellen. Det svarer til samme nøjagtighed, som en psykologisk profilering baseret på et kort spørgeskema.

Forskerne bag Apply Magic Sauce oplyser desuden til Prosabladet, at nøjagtigheden kan komme op på 0,7 for senere udviklede modeller.

Forudsigelser og forskeruenighed

Det er dog ikke alle med berøring til emnet, der er enige med forskerne fra University of Cambridge.

Dr. Aleksandr Spectre indsamlede data for millioner af Facebook-brugere, da han var tilknyttet Cambridge-universitetets Psykologiske Institut. Ifølge en artikel i den britiske avis The Guardian fra 11. december 2015 videresolgte Dr. Aleksandr Spectre de indhøstede data til Cambridge Analyticas moderselskab, Strategic Communications Laboratories (SCL). Grundet en fortrolighedsaftale med SCL kan han ikke kommentere det samarbejde, men han har ikke meget tilovers for profileringsmetoden.

– Det er nonsens at lave forudsigelser om enkeltpersoner baseret på sociale medier, lyder den bastante udmelding, der dog blødes lidt op med en erkendelse af, at køn, etnicitet og seksuel orientering er nemt at forudsige ved hjælp af data fra sociale medier.

Men der hører enigheden op. Det er ren salgsgas at udlede personlighedstræk fra sociale medier, mener Aleksandr Spectre.

– De har gjort et godt salgsjob, men der er intet magisk ved det. Fra et statistisk perspektiv er det nærmest morsomt, men det er ikke sjovt, at folk rent faktisk tror på det og er bange, siger han.

Aleksandr Spectre nævner, at hvis nøjagtigheden i en forudsigelse af alder baseret på Facebook-page-likes er 0,75, så betyder det, at aldersforudsigelserne kan ramme op til 11-12 år forkert. Med en såkaldt Mean Average Error (MAE) på 11-12 år vil en faktisk alder på 40 år kunne blive forudsagt til at være 28-29 år eller 51-52 år.

Dårligt designet model

Dr. Michal Kosinski afviser dog Dr. Aleksandr Spectres påstand og henviser til, at MAE ikke er direkte relateret til nøjagtigheds-koefficienten, men er afhængig af designet af den underliggende model. Det betyder, at en dårlig modellering kan give høje MAE-værdier. Han uddyber på baggrund af erfaringerne fra Apply Magic Sauce.

– En korrelation på 0,75 giver en MAE på 6-7 år og ikke 11-12 år, siger han.

Michal Kosinski anbefaler at anvende andre former for sociale mediedata, hvis man ønsker at indsnævre usikkerhedsintervallet.

– Likes er ikke den bedste måde at forudsige alder på, da den ændrer sig, mens likes hober sig op på en Facebook-profil. Alder bør måles ved hjælp af et mere tidsorienteret signal, eksempelvis statusopdateringer eller tweets. De vil give en MAE på omkring 3 år, siger han.

Der er tydeligvis professionel uenighed mellem forskerne fra Cambridge -universitetets Psykometriske Center og Dr. Aleksandr Spectre. En uenighed som nærmer sig det personlige.

– Det er ironisk, at en udtalelse som ”det er nonsens at lave forudsigelser baseret på Page-likes” kommer fra en, som forsøgte at kopiere præcis den metode for egen vindings skyld. Metoden er virkelig. Det er muligt. Den er peer-reviewed, og den kan få reel indflydelse på vores samfund, siger Vesselin Popov, Business Development Director for Apply Magic Sauce.

Dr. Aleksandr Spectre holder dog fast ved, at der er for megen støj i data fra sociale medier.

– Du kan ikke bruge det til at forudsige noget om en enkeltperson. Der er dog en use case. Hvis du har et par millioner mennesker fra Californien, og du forudsiger deres gennemsnitlige personlighedstræk, så har du et godt estimat for Californien, siger han.

Aleksandr Spectre arbejder på et endnu ikke offentliggjort forskningsnotat, som skal vise, at metoder som Apply Magic Sauce ikke virker. Det ryster ikke Vesselin Popov.

– De data, som Apply Magic Sauce er baseret på, er blevet brugt og eftervist i over 40 videnskabelige  peer-reviewed-artikler i de seneste fem år af forskere verden over. Jeg ser frem til et forskningsnotat, der tilbageviser den store mængde akademiske forskning, siger han.


Læs også...

Microsoft starte en atomreaktor op igen for at give grøn strøm til deres datacentre, specielt dem med AI. Hvis det reelt går igennem og de får startet…

En ny feature i et af Googles AI-værktøjer gør det muligt at lave en podcast på få minutter. Featuren er så nem at bruge, at den egentlig ikke behøver…

Millioner af udviklere verden over bruger hver dag JavaScript – men hvorfor er programmeringssproget blevet så populært? PROSAbladet har talt med…

Et nyt projekt indsamler danske stemmer for at sikre, at AI-løsninger fremover også kan tale med dialekter. Du kan også donere din stemme, skriver DR.…

I dag lever Andreas Green Rasmussen af at finde dygtige iværksættere, han kan investere i. Men han har også selv flere startups på CV'et – og han ved,…

Ugly Duckling Ventures er en dansk venturefond, der håber at finde de startups, som bliver store milliardforretninger. Men hvad er en venturefond…

Der findes et hav af muligheder, når du som iværksætter skal finde finansiering til din startup. PROSAbladet guider dig til otte steder, hvor du kan…

Tech-giganterne er stadig i front, når it-studerende skal rangere populære arbejdspladser. Til gengæld har de store konsulenthuse taget et stort dyk…

Nye løsninger, en fælles dataplatform og et digitalt innovationscenter. Det er tre af hovedpunkterne i regeringens nye udspil, der skal sætte skub…

I den lille, amerikanske by Granbury i Texas summer en bitcoin-mine så meget, at borgerne i byen bliver syge.