Umělá inteligence hltá elektřinu jako těžba kryptoměn
Kdo si někdy vyzkoušel generování obrázků nebo chatboty, vidí pouze přívětivé rozhraní. V pozadí ovšem běží obrovské serverové farmy plné procesorů a grafických čipů. Tyto stroje spotřebovávají enormní množství energie, především při trénování složitých modelů včetně velkých jazykových systémů.
Čím komplexnější neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesory probíhá. Právě tyto operace způsobují masivní energetické ztráty. Stále častěji zaznívají hlasy, že rozvoj AI se může stát jedním z největších konzumentů elektřiny na světě, srovnatelným s celými průmyslovými odvětvími.
Řešení problému energetické náročnosti AI už nespočívá pouze v optimalizaci kódu. Nezbytná je změna přístupu k samotnému hardwaru i způsobu trénování modelů.
Memristory: paměť, která počítá přímo na místě
Jedním ze směrů výzkumu ekologičtější umělé inteligence jsou takzvané výpočty v paměti. Namísto neustálého přesouvání dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli zde hrají memristory.
Memristor představuje speciální elektronický prvek fungující jako rezistor s pamětí. Jeho odpor závisí na historii procházejícího proudu a dokáže reprezentovat váhy v neuronové síti. Díky tomu jediná struktura plní současně funkci paměti i výpočetní jednotky.
- uchovává informace (váhy neuronové sítě)
- umožňuje lokální výpočty bez odesílání dat do procesoru
- může výrazně omezit přenos dat, a tím i spotřebu energie
Zní to ideálně, jenže skutečné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky náročná a zkracuje jejich životnost. Proto prosté přenesení klasických metod trénování sítí na takový hardware nefunguje uspokojivě.
Nový přístup: méně oprav, větší tolerance chyb
Tým z laboratoře v čínském Zhejiangu navrhl odlišnou filozofii trénování AI na memristorech. Místo snahy eliminovat veškeré nedokonalosti vědci vytvořili metodu, která je vědomě zohledňuje. Pojmenovali ji error-aware probabilistic update, tedy pravděpodobnostní aktualizace s uvědoměním chyb, zkráceně EaPU.
Jádrem přístupu je jednoduchá myšlenka: síť se nepokouší korigovat každou minimální změnu váhy. Pokud se chyba vejde do tolerančních mezí hardwaru, parametr zůstává nedotčený. Teprve větší odchylky spouštějí proces aktualizace.
Namísto opravování téměř všech vah v každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně energie a delší životnost hardwaru.
Tento přístup přináší několik důsledků:
- dramaticky klesá počet zápisových operací v memristorech
- snižuje se vliv šumu, protože algoritmus „nehoní" každou náhodnou fluktuaci
- proces trénování se stává stabilnějším navzdory nedokonalému hardwaru
Kolik energie se podařilo ušetřit?
Podle publikovaných výsledků samotné trénování neuronových sítí v architektuře založené na memristorech s využitím EaPU vyžaduje až 50krát méně energie ve srovnání s předchozími metodami určenými pro takové obvody.
To ale není vše. Při porovnání tohoto schématu s klasickým trénováním sítí na grafických kartách se rozdíl stává přímo extrémním. Vědci odhadují, že celkovou spotřebu energie lze snížit až o šest řádů – tedy přibližně milionkrát.
Klasické GPU: spotřeba energie 100 %, vysoká přesnost modelů, standardní životnost hardwaru.
Memristory bez EaPU: nižší spotřeba než GPU, ale stále vysoká, výrazně horší přesnost, omezená životnost kvůli častým zápisům.
Memristory s EaPU: přibližně milionkrát nižší spotřeba než GPU, přesnost srovnatelná s klasickými superpočítači, až tisíckrát delší životnost.
Metoda rovněž zvyšuje přesnost fungování sítě až o 60 % oproti předchozím řešením s memristory. Prakticky to vyrovnává výsledky dosahované na tradičních superpočítačích, tedy bez kvalitativního kompromisu.
Testy: od šumu v obrazech po vyostřování detailů
Aby ověřili, že nejde pouze o teorii, tým sestrojil skutečnou matici memristorů o velikosti 180 nanometrů. Na takovém hardwaru trénovali sítě zodpovědné za dva náročné úkoly související s obrazem:
- odstraňování šumu z fotografií
- zvyšování rozlišení, tedy takzvanou super-rezoluci
V testech dosáhli výsledků srovnatelných s tradičními metodami využívajícími procesory a grafické karty. Rozdíl spočíval v naprosto odlišném profilu spotřeby energie – hardware na memristorech s EaPU potřeboval rozhodně méně elektřiny.
Je to šance na ekologičtější velké jazykové modely?
Největší pozornost dnes přitahují velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování pohlcuje obrovské množství energie a vyžaduje stovky, někdy tisíce grafických karet pracujících paralelně. Není divu, že vědci zvažují, zda lze EaPU přenést právě na tuto kategorii modelů.
Autoři práce přiznávají, že je zatím limituje dostupný hardware. Matice 180 nm představuje pouze malý zlomek toho, co by bylo potřeba k trénování plnohodnotného velkého jazykového modelu. Současně se domnívají, že samotný koncept algoritmu a správy chyb není specifický pro jeden typ úlohy.
Vědci předpokládají, že stejný přístup lze aplikovat na velké jazykové modely, pokud vzniknou dostatečně rozsáhlé hardwarové obvody založené na memristorech nebo příbuzných technologiích.
Zajímavé je, že EaPU není striktně vázána pouze na memristory. Tým naznačuje, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních energeticky nezávislé paměti, jako jsou feroelektrické tranzistory či magnetorezistivní paměti.
Nová generace hardwaru pro AI
Pokud takové techniky opustí laboratoře, může to vynutit vznik zcela nové kategorie AI akcelerátorů. Místo dalších generací klasických GPU by část úloh převzaly specializované obvody pro výpočty v paměti. Takový hardware by mohl zamířit nejen do datových center, ale i do okrajových zařízení – od inteligentních kamer po zdravotnické přístroje.
Představte si monitorovací systém, který přímo na místě zpracovává obraz, rozpoznává události a potřebuje zlomek energie dnešních řešení. Nebo smartphone spouštějící lokální jazykový model bez dramatického vybíjení baterie. Právě takové scénáře mají šanci stát se realitou, pokud spotřeba energie klesne o řády.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší náklady na služby a menší zátěž životního prostředí. Méně elektřiny v datových centrech znamená nižší účty provozovatelů, a tedy větší šanci, že pokročilé AI funkce nebudou vyžadovat drahá předplatná.
Pro firmy zavádějící AI takový skok efektivity představuje zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stovky či tisíce krát, vlastní řešení si mohou dovolit menší subjekty včetně firem z oborů jako medicína, průmysl nebo logistika.
Je ovšem třeba pamatovat na jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. Je to dlouhý proces vyžadující investice a čas, podobně jako kdysi přechod od klasických procesorů k specializovaným GPU pro grafiku a AI.
Téma energetické efektivity AI se stává stále důležitějším při plánování nových datových center a výzkumných projektů. Univerzity a firmy, které se již dnes začnou zajímat o výpočty v paměti a techniky tolerující chyby, získají náskok, až taková řešení vstoupí do hlavního proudu.
