Google trapper opp satsingen på egenutviklede AI-brikker og skiller nå tydeligere mellom to av de mest krevende oppgavene i moderne kunstig intelligens: trening av modeller og såkalt inferens, altså når modellen brukes til å svare på forespørsler i praksis.
Selskapet opplyser at endringen kommer med åttende generasjon av Tensor Processing Unit, forkortet TPU. De nye prosessorene skal etter planen bli tilgjengelige senere i år.
– Med fremveksten av AI-agenter mente vi at miljøet vil ha nytte av brikker som hver for seg er spesialisert for behovene til trening og drift, sier Amin Vahdat, senior visepresident og sjefteknolog for AI og infrastruktur i Google, i et blogginnlegg.
Ny runde i kampen om AI-maskinvaren
Lanseringen er Googles siste trekk for å tilby et alternativ til Nvidia i markedet for AI-maskinvare. Samtidig er Google selv en stor kunde av Nvidia, men tilbyr TPU-er til selskaper som bruker Google Cloud og ønsker andre løsninger enn de mest utbredte GPU-ene.
I mars løftet Nvidia frem kommende maskinvare som skal gjøre det mulig for modeller å svare raskere på brukerspørsmål. Dette ble blant annet knyttet til teknologi som kom inn gjennom oppkjøpet av brikkeselskapet Groq.
Flere teknologigiganter bygger egne brikker
Googles strategi passer inn i en bredere trend der de største teknologiselskapene utvikler egne halvledere for kunstig intelligens. Målet er høyere effektivitet og mer målrettede brikker for spesifikke bruksområder.
Apple har i flere år inkludert komponenter for AI i egne iPhone-brikker. Microsoft presenterte tidligere i år en andregenerasjons AI-brikke. Meta har på sin side sagt at de samarbeider med Broadcom om å utvikle flere varianter av AI-prosessorer.
Google var tidlig ute
Google startet allerede i 2015 å bruke prosessorer de selv hadde designet for å kjøre AI-modeller, og fra 2018 begynte de å leie ut kapasitet til skylkunder. På samme tid har Amazon Web Services bygget opp sin portefølje med Inferentia for AI-forespørsler og Trainium for trening av modeller.
Analytikere i DA Davidson anslo i fjor at TPU-virksomheten, sammen med AI-gruppen Google DeepMind, kunne være verdt rundt 900 milliarder dollar.
Lovet ytelsesløft, men uten direkte Nvidia-sammenligning
Ingen av teknologigigantene har så langt fortrengt Nvidia, og Google oppgir heller ikke direkte sammenligninger mot brikkene fra markedslederen. Selskapet sier likevel at den nye treningsbrikken skal levere 2,8 ganger ytelsen til sjuende generasjon Ironwood TPU til samme pris, mens inferensprosessoren skal ha 80 prosent bedre ytelse.
Den nye inferensbrikken, kalt TPU 8i, baserer seg på statisk RAM, SRAM, på samme måte som flere andre satsinger i bransjen. Hver brikke skal ha 384 megabyte SRAM, som er tre ganger så mye som i Ironwood.
Alphabet-sjef Sundar Pichai beskriver arkitekturen som utviklet for å levere høy gjennomstrømming og lav forsinkelse, slik at millioner av agenter kan kjøres parallelt på en kostnadseffektiv måte.
Bruken av TPU-er øker
Google sier at etterspørselen etter selskapets AI-brikker er på vei opp. Citadel Securities har bygget programvare for kvantitativ forskning som bruker Googles TPU-er, og alle de 17 nasjonale laboratoriene i det amerikanske energidepartementet skal benytte AI-basert programvare som kjører på brikkene.
Selskapet opplyser også at Anthropic har forpliktet seg til å bruke flere gigawatt med TPU-kapasitet.
