AI požírá elektřinu jako kryptoměnový důl
Rostoucí hlad umělé inteligence po elektrické energii se stává problémem jak pro peněženky, tak pro klima. Nová čínská technika by však mohla tento trend obrátit vzhůru nohama.
Vědci prokázali, že neuronové sítě lze trénovat s radikálně nižší spotřebou energie – pokud se zkombinuje netradiční hardware s chytrým algoritmem, který místo boje s chybami se naučí s nimi žít.
Každý, kdo si hrál s generováním obrázků nebo využívá chatboty, vidí jen přívětivé rozhraní. Za kulisami ale pracují obrovské serverové farmy plné procesorů a grafických karet. Tyto stroje spotřebovávají gigantická množství energie, především při trénování složitých modelů, jako jsou velké jazykové modely.
Čím rozsáhlejší neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesory. Právě tyto operace způsobují obrovské energetické ztráty. Stále častěji se hovoří o tom, že rozvoj AI se může stát jedním z největších spotřebitelů elektřiny na světě, srovnatelným s celými průmyslovými odvětvími.
Řešení problému spotřeby energie u AI nespočívá jen v optimalizaci kódu. Je zapotřebí změnit přístup k samotnému hardwaru i způsobu trénování modelů.
Memristory – paměť, která přemýšlí na místě
Jedním ze směrů výzkumu ekologičtější umělé inteligence jsou tzv. výpočty v paměti. Namísto neustálého přesouvání dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli zde hrají memristory.
Memristor je speciální elektronická součástka fungující jako rezistor s pamětí. Jeho odpor závisí na historii protékajícího proudu a může reprezentovat váhy v neuronové síti. Díky tomu jedna struktura plní zároveň funkci paměti i výpočetní jednotky.
- uchovává informace (váhy neuronové sítě),
- umožňuje lokální výpočty bez odesílání dat do procesoru,
- může výrazně omezit přenos dat, a tím i spotřebu energie.
Zní to ideálně, ale skutečné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky nákladná a zkracuje jejich životnost. Proto prostý přenos klasických metod trénování sítí na takový hardware nefunguje uspokojivě.
Nový přístup: méně oprav, větší tolerance chyb
Tým z laboratoře v čínském Zhejiangu navrhl odlišnou filozofii trénování AI na memristorech. Místo snahy o eliminaci veškerých nedokonalostí vědci navrhli metodu, která s nimi záměrně počítá. Nazývají ji error-aware probabilistic update, tedy pravděpodobnostní aktualizace zohledňující chyby – zkráceně EaPU.
Jádrem přístupu je jednoduchá myšlenka: síť se nesnaží opravovat každou minimální změnu váhy. Pokud chyba nepřekračuje hranice tolerance hardwaru, parametr zůstává nedotčen. Teprve větší odchylky spustí proces aktualizace.
Místo opravování téměř všech vah při každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně energie a delší životnost hardwaru.
Takový přístup má několik důsledků:
- drasticky klesá počet operací zápisu v memristorech,
- snižuje se vliv šumu, protože algoritmus „nežene" každou náhodnou fluktuaci,
- proces trénování se stává stabilnějším i přes nedokonalý hardware.
Kolik energie se podařilo ušetřit?
Podle zveřejněných výsledků vyžaduje samotné trénování neuronových sítí v architektuře založené na memristorech s využitím EaPU až 50krát méně energie ve srovnání s dřívějšími metodami určenými pro tyto obvody.
A to není vše. Při porovnání s klasickým trénováním sítí na grafických kartách se rozdíl stává doslova extrémním. Vědci odhadují, že celkovou spotřebu energie lze snížit až o šest řádů velikosti – tedy přibližně milionkrát.
| Řešení | Spotřeba energie (trénování) | Přesnost modelů | Životnost hardwaru |
|---|---|---|---|
| Klasické GPU | 100 % | Vysoká | Standardní |
| Memristory bez EaPU | Nižší než GPU, ale stále vysoká | Výrazně horší | Omezená častými zápisy |
| Memristory s EaPU | Přibližně milionkrát méně než GPU | Srovnatelná s klasickými superpočítači | Až tisíckrát delší životnost |
Metoda také zvyšuje přesnost fungování sítě až o 60 % oproti dřívějším řešením s memristory. To prakticky vyrovnává výsledky s těmi dosaženými na tradičních superpočítačích – tedy bez jakéhokoli kompromisu v kvalitě.
Testy: od šumu v obrazech po zostření detailů
Aby tým ověřil, zda jde skutečně o víc než teorii, sestavil reálnou matrici memristorů o velikosti 180 nanometrů. Na takovém hardwaru byly trénovány sítě pro dva náročné úkoly spojené s obrazem:
- odstraňování šumu z fotografií,
- zvyšování rozlišení, tzv. super-rozlišení.
Při testech byly dosaženy výsledky srovnatelné s tradičními metodami využívajícími procesory a grafické karty. Rozdíl spočíval v naprosto odlišném profilu spotřeby energie – hardware na memristorech s EaPU potřeboval výrazně méně elektřiny.
Je to šance na „zelenější" velké jazykové modely?
Nejvíce se dnes mluví o velkých jazykových modelech, které stojí za chatboty a generátory textu. Jejich trénování pohltí obrovská množství energie a vyžaduje stovky, někdy tisíce GPU pracujících paralelně. Není divu, že vědci zvažují, zda lze EaPU přenést právě na tuto třídu modelů.
Autoři práce přiznávají, že je zatím omezuje dostupný hardware. Matrice 180 nm je jen nepatrným zlomkem toho, co by bylo zapotřebí pro trénování plnohodnotného velkého jazykového modelu. Zároveň jsou přesvědčeni, že samotný koncept algoritmu a správy chyb není specifický pro jeden typ úkolu.
Vědci předpokládají, že stejný přístup lze uplatnit i u velkých jazykových modelů, pokud vzniknou dostatečně rozsáhlé hardwarové obvody založené na memristorech nebo příbuzných technologiích.
Zajímavé je, že EaPU není striktně vázána pouze na memristory. Tým poukazuje na to, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat také v jiných řešeních nevolatilní paměti, jako jsou feroelektrické tranzistory nebo magnetorezistivní paměti.
Nová generace hardwaru pro AI
Pokud takovéto techniky opustí laboratoře, může to vynutit vznik zcela nové třídy AI akcelerátorů. Místo dalších generací klasických GPU převezmou část úkolů specializované obvody pro výpočty v paměti. Takový hardware může zamířit nejen do datových center, ale také do hraničních zařízení – od chytrých kamer po lékařské přístroje.
Představte si monitorovací systém, který na místě zpracovává obraz, rozpoznává události a spotřebuje jen zlomek energie dnešních řešení. Nebo chytrý telefon, který spouští lokální jazykový model bez dramatického vybíjení baterie. Právě takovéto scénáře mají šanci stát se realitou, pokud spotřeba energie klesne o řády velikosti.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší náklady na služby a menší zátěž pro životní prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší šanci, že pokročilé funkce AI nebudou vyžadovat drahá předplatná.
Pro firmy zavádějící AI znamená takový skok efektivity zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stokrát nebo tisíckrát, mohou si vlastní řešení dovolit i menší subjekty – včetně firem z oblasti medicíny, průmyslu nebo logistiky.
Je však třeba mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. Jde o zdlouhavý proces vyžadující investice a čas – podobně jako přechod od klasických procesorů k specializovaným GPU pro grafiku a AI.
Téma energetické efektivity AI se stává stále důležitějším při plánování nových datových center a výzkumných projektů. Univerzity a firmy, které se začnou zajímat o výpočty v paměti a techniky tolerující chyby již dnes, získají náskok, až taková řešení vstoupí do hlavního proudu.
