Lasse F. Wolff Anthony og Benjamin Kanding. Foto: Privat
De fleste af os er i nærkontakt med deep learning i det daglige, uden at vi måske ved det. Når vi for eksempel bruger Siri og Alexa, eller når Netflix foreslår film og serier til os baseret på vores historik, eller når vi skriver med en kundeservice-chatbot på en hjemmeside, så er deep learning-algoritmer i spil.
Bagsiden ved deep learning, som ellers forventes at blive et effektivt våben i kampen mod klimaforandringer, er det store energiforbrug. Hvis tendensen i industrien fortsætter, kan kunstig intelligens og især deep learning blive en af de helt store klimasyndere. Fra 2012 til 2018 er behovet for regnekraft i deep learning vokset med 300.000 procent. Lige nu er der tale om en eksponentiel vækst.
Selve træningen, hvor den matematiske model lærer at genkende mønstre i store mængder data, er en energitung proces, fordi den foregår i specialiseret, strømkrævende hardware, der kører i døgndrift. Samtidig bliver datasættene hele tiden større, og problemerne, som algoritmerne skal løse, mere og mere komplekse. En af de største deep learning-modeller er den avancerede sprogmodel GPT-3. På bare en enkelt træningssession estimeres den til at bruge, hvad der svarer til et års energiforbrug i 126 danske hjem, og udlede samme mængde CO2 som godt 700.000 kilometers bilkørsel.
Vi har opfundet softwareprogrammet Carbontracker, som kan beregne, hvor meget energi og CO2-udledning der går på at træne en deep learning model. Programmet indhenter periodevis information om, hvor meget CO2 der bliver brugt ved at producere energi i den region, som træningen foregår i, for så at kunne omregne energiforbruget til CO2-udledning. Det er vigtigt, at man i branchen kigger på, hvor og hvornår på dagen man træner sin model, da strømmen ikke er lige grøn i løbet af et døgn. Det er ikke ligegyldigt, om man træner sin model i Estland eller i Sverige, hvor CO2-aftrykket kan være over 60 gange mindre, fordi energiforsyningen er langt grønnere. Der er også stor forskel på, hvor energieffektive algoritmer er. Nogle kræver mindre regnekraft og dermed mindre energi for at opnå det samme.
