Strømforbruget for AI er gigantisk, men måske kan en beregningsprocesser sænke det nok til, at det kan bruges i smartdevices

Udvikling

1,58 bit er måske svaret på at få AI i din mobil

Måske har Microsoft knækket koden til, at vi kan få AI lokalt i smartdevices. I dag er strømforbruget alt, alt for massivt. Tilsæt optiske chips, og så kan alt måske lade sig gøre om bare ti år, gætter PROSAs tech-nørd og it-politiske rådgiver Ole Tange.


Energiforbrug og regnekraft er blandt de største udfordringer inden for udviklingen af it. Specielt den regnekraft som skal til køre de nye store AI-modeller.
De kan køre over nettet, men hvordan får vi dem nogensinde ned i en almindelig mobil, så den selv kan køre dem med de relativt begrænsede muskler - som betalbar pris, batteri og størrelse giver mulighed for?

Måske har Microsoft svaret.

Det mener Ole Tange, tech-nørd og it-politisk rådgiver i PROSA.

For nogle uger siden læste han en videnskabelig artikel, The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits, hvor Microsoft introducerer ideen om at træne LLM-modeller med kun 1,58 bit præcision. 1,58 bits svarer til en beregning med tre værdier:  -1, 0 og +1.

Det vil sige i stedet for de typisk 16 eller 32 bit beregninger, som i dag regner med 5 eller 9 decimalers nøjagtighed.

”Microsofts artikel indikerer, hvis vi i stedet kun bruger tre tal (nemlig -1, 0 og 1), kan vi så få samme præcision i svarene, vi skal blot have 10-20 procent større træningssæt. Altså lidt større træningssæt”, fortæller Ole Tange.

Han fastslår, at det dermed godt blive en gamechanger.

Årsagen til at det i den grad kan blive en gamechanger er strømforbrug.

For AI er glubsk og æder mere strøm, end en mobil kan levere, når vi kører den som i dag.

Men kan man gøre det med kun 1,58 bit så begynder strømforbruget at falde så drastisk, at det kan være realistisk at køre AI-modeller på mobiltelefoner, uden at prisen bliver lander over almindelige forbrugeres rækkevidde.


”Motoren i moderne AI er matricemultiplikation, det betyder masser af gange-operationer.  Vi taler uden at overdrive trillioner af operationer i sekundet. Intuitivt tror jeg, de fleste kan forstå, at det er nemmere at lave operationer med -1, 0 og 1 end med tal med fem decimaler. Det er en kæmpe besparelse,” siger Ole Tange.

”Men det bliver vildere. Hvis man laver matricemultiplikation kun på tallene -1 0 +1, så kan man lave det om til addition i stedet for at gange. Altså Ikke nok med, at vi kan bruge væsentligt mindre plads, vi kan også lave nemmere operationer, der i sig selv gør det hurtigere og mere pladsbesparende. Så samme præcision, mindre plads, mindre strøm og hurtigere”, forklarer han.

Og fortsætter:

”Men det bliver bedre endnu. Moderne AI kører ikke på CPU’er, men kører i stedet på beregningschips, altså specielle beregningskort, som svarer lidt til grafikkort, og som er gode til decimaloperationer. Hvis det Microsoft siger passer, så kan man kan lave beregningskort ,som er bygget til kun at regne på 0, 1, -1. De vil være endnu mere effektive. I stedet for, som det er nu, kan vi altså specialbygge kort og dermed få en endnu hurtigere og endnu mere strømbesparende”, spår den it-politiske rådgiver.

Og det er her gamechangeren kommer ind i billedet.

”Hvis du kan lave matriceoperationer med det her, og vores sprogmodeller køre på langt mindre hardware, så vil det blive inden for det muliges rækkevidde, at vi kan køre sprogmodeller på en mobiltelefon, og ikke som i dag, hvor det kører via nettet. Hvis vi kan køre ting lokalt, så åbner det helt nye muligheder, specielt hvis vi kan lave det billigt. Hvis vi kan lave standardchip, så er ikke langt fra at have smartdevices som kan køre AI-modeller selv”, siger Ole Tange.

Der skal altså ikke længere nødvendigvis være en server som mellemmand, men i stedet en helt lokal model tilpasset den enkelte bruger og device. Alt sammen meget mere effektivt pr. kilowatt time.

Det fører Ole Tange videre til spørgsmålet om, hvordan den AI-chip kan se ud.

”Til at starte med vil det være en specialdesignet computerchip – ligesom vores beregningskort er i dag. Men i fremtiden kunne være en optisk chip. Der er forsøg i gang med at lave optiske chips. Det er helt klart et stykke ude i fremtiden, men intet tyder på, at det ikke kan lade sig gøre”, siger han.

En optisk chip er en chip der fungerer ved lys i stedet for strøm og halvledere. Beregninger sker bl.a. ved interferens.

”Teorien siger, at det er muligt. Det er bare ikke produktionsmodent. Men heller Ikke science fiction. Derfor har jeg lidt på fornemmelsen, at det kan rykke ved udviklingen og blive en gamechanger. Der er potentiale, og jeg tør godt tro på det i et 10 års perspektiv. Og optiske chips interessante fordi de er hurtigere og bruger mindre strøm”, forklarer Ole Tange.

Det kommer dog til at ændre måden vi laver og tænker computere på.

”Men det er løsbart, som de fleste nye udfordringer”, fastslår han.
 


Læs også...

Det var en helt ny fornemmelse, da Søren tidligere på året blev ramt af stress, for han havde aldrig oplevet stresssymptomer før. Søren har arbejdet i…

I 1999 havnede Berit Søgaard mere eller mindre tilfældigt i IT-branchen, og hun har arbejdet her lige siden. I dag er hun compliancedirektør i Visma,…

Nettet er proppet til randen med websider, som kan hjælpe dig med det ene eller andet eller har så nørdet viden, at de med fordel kan besøges.

Unge tech-folk fortæller om deres håb og drømme for fremtiden. Danske virksomheder kigger mod et tysk eksporteventyr. Forfatter sætter spot på Kina og…

26-årige Francesca Tremulo rejste til Danmark fra Italien for tre år siden for at realisere drømmen om en fremtid i spilbranchen. Hun er uddannet…

Kinas tech fungerer og er udviklet i benhård konkurrence til at være bedst og billigst. Talentmassen er enorm, og der er prestige og attraktive…

Alberte Viendahl er 25 år og har læst multimediedesign på KEA. Hun er blevet vild med at kode og nørde, og nu vil hun gerne tage en top up-uddannelse…

Benjamin Elias Harris er 27 år, og han har gået på datamatikerlinjen på KEA. Han startede egentlig med at læse engelsk på Københavns Universitet, men…

28-årige Yousra Diab arbejdede i flere år som socialrådgiver, inden hun tog springet og startede på datamatikeruddannelsen. Det har været svært at…

26-årige Sophie Ankjær Andersen har læst multimediedesign på KEA. Hun drømmer om, at hun i fremtiden skal tage sit arbejde med til Bali og arbejde…