Energiforbrug og regnekraft er blandt de største udfordringer inden for udviklingen af it. Specielt den regnekraft som skal til køre de nye store AI-modeller.
De kan køre over nettet, men hvordan får vi dem nogensinde ned i en almindelig mobil, så den selv kan køre dem med de relativt begrænsede muskler - som betalbar pris, batteri og størrelse giver mulighed for?
Måske har Microsoft svaret.
Det mener Ole Tange, tech-nørd og it-politisk rådgiver i PROSA.
For nogle uger siden læste han en videnskabelig artikel, The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits, hvor Microsoft introducerer ideen om at træne LLM-modeller med kun 1,58 bit præcision. 1,58 bits svarer til en beregning med tre værdier: -1, 0 og +1.
Det vil sige i stedet for de typisk 16 eller 32 bit beregninger, som i dag regner med 5 eller 9 decimalers nøjagtighed.
”Microsofts artikel indikerer, hvis vi i stedet kun bruger tre tal (nemlig -1, 0 og 1), kan vi så få samme præcision i svarene, vi skal blot have 10-20 procent større træningssæt. Altså lidt større træningssæt”, fortæller Ole Tange.
Han fastslår, at det dermed godt blive en gamechanger.
Årsagen til at det i den grad kan blive en gamechanger er strømforbrug.
For AI er glubsk og æder mere strøm, end en mobil kan levere, når vi kører den som i dag.
Men kan man gøre det med kun 1,58 bit så begynder strømforbruget at falde så drastisk, at det kan være realistisk at køre AI-modeller på mobiltelefoner, uden at prisen bliver lander over almindelige forbrugeres rækkevidde.
”Motoren i moderne AI er matricemultiplikation, det betyder masser af gange-operationer. Vi taler uden at overdrive trillioner af operationer i sekundet. Intuitivt tror jeg, de fleste kan forstå, at det er nemmere at lave operationer med -1, 0 og 1 end med tal med fem decimaler. Det er en kæmpe besparelse,” siger Ole Tange.
”Men det bliver vildere. Hvis man laver matricemultiplikation kun på tallene -1 0 +1, så kan man lave det om til addition i stedet for at gange. Altså Ikke nok med, at vi kan bruge væsentligt mindre plads, vi kan også lave nemmere operationer, der i sig selv gør det hurtigere og mere pladsbesparende. Så samme præcision, mindre plads, mindre strøm og hurtigere”, forklarer han.
Og fortsætter:
”Men det bliver bedre endnu. Moderne AI kører ikke på CPU’er, men kører i stedet på beregningschips, altså specielle beregningskort, som svarer lidt til grafikkort, og som er gode til decimaloperationer. Hvis det Microsoft siger passer, så kan man kan lave beregningskort ,som er bygget til kun at regne på 0, 1, -1. De vil være endnu mere effektive. I stedet for, som det er nu, kan vi altså specialbygge kort og dermed få en endnu hurtigere og endnu mere strømbesparende”, spår den it-politiske rådgiver.
Og det er her gamechangeren kommer ind i billedet.
”Hvis du kan lave matriceoperationer med det her, og vores sprogmodeller køre på langt mindre hardware, så vil det blive inden for det muliges rækkevidde, at vi kan køre sprogmodeller på en mobiltelefon, og ikke som i dag, hvor det kører via nettet. Hvis vi kan køre ting lokalt, så åbner det helt nye muligheder, specielt hvis vi kan lave det billigt. Hvis vi kan lave standardchip, så er ikke langt fra at have smartdevices som kan køre AI-modeller selv”, siger Ole Tange.
Der skal altså ikke længere nødvendigvis være en server som mellemmand, men i stedet en helt lokal model tilpasset den enkelte bruger og device. Alt sammen meget mere effektivt pr. kilowatt time.
Det fører Ole Tange videre til spørgsmålet om, hvordan den AI-chip kan se ud.
”Til at starte med vil det være en specialdesignet computerchip – ligesom vores beregningskort er i dag. Men i fremtiden kunne være en optisk chip. Der er forsøg i gang med at lave optiske chips. Det er helt klart et stykke ude i fremtiden, men intet tyder på, at det ikke kan lade sig gøre”, siger han.
En optisk chip er en chip der fungerer ved lys i stedet for strøm og halvledere. Beregninger sker bl.a. ved interferens.
”Teorien siger, at det er muligt. Det er bare ikke produktionsmodent. Men heller Ikke science fiction. Derfor har jeg lidt på fornemmelsen, at det kan rykke ved udviklingen og blive en gamechanger. Der er potentiale, og jeg tør godt tro på det i et 10 års perspektiv. Og optiske chips interessante fordi de er hurtigere og bruger mindre strøm”, forklarer Ole Tange.
Det kommer dog til at ændre måden vi laver og tænker computere på.
”Men det er løsbart, som de fleste nye udfordringer”, fastslår han.