Rostoucí hlad umělé inteligence na elektřinu je problém – ale čínská technika ho možná obrátí naruby
Neuronové sítě lze trénovat s radikálně nižší spotřebou energie, pokud se kombinuje netradiční hardware s chytrým algoritmem, který se místo boje s chybami naučí s nimi žít. Vědci to právě dokázali v praxi.
AI požírá elektřinu jako kryptoměnový důl
Každý, kdo si pohrává s generováním obrázků nebo chatboty, vidí jen přívětivé rozhraní. Za ním ale pracují obří serverové farmy plné procesorů a grafických karet. Tyto stroje spotřebovávají ohromná množství energie – především při trénování složitých modelů, jako jsou velké jazykové modely.
Čím rozvinutější neuronová síť, tím více výpočtů a přesunů dat mezi pamětí a procesory. Právě tyto operace způsobují masivní energetické ztráty. Stále hlasitěji se mluví o tom, že rozvoj AI se může zařadit mezi největší spotřebitele elektřiny na světě – na úrovni celých průmyslových odvětví.
Řešení problému spotřeby energie u AI už nespočívá jen v optimalizaci kódu. Je potřeba změnit samotný přístup k hardwaru i ke způsobu trénování modelů.
Memristory – paměť, která myslí přímo na místě
Jedním ze slibných směrů vývoje ekologičtější umělé inteligence jsou takzvaná výpočty v paměti. Namísto neustálého přesunu dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli zde hrají memristory.
Memristor je speciální elektronická součástka fungující jako rezistor s pamětí. Jeho odpor závisí na historii protékajícího proudu a může reprezentovat váhy v neuronové síti. Díky tomu jedna struktura plní zároveň funkci paměti i výpočetní jednotky.
- uchovává informace (váhy neuronové sítě),
- umožňuje lokální výpočty bez odesílání dat do procesoru,
- může výrazně omezit přenos dat, a tedy i spotřebu energie.
Zní to ideálně – jenže reálné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky nákladná a zkracuje jejich životnost. Prosté přenesení klasických metod trénování sítí na takový hardware prostě nefunguje uspokojivě.
Nový přístup: méně oprav, více tolerance k chybám
Tým z laboratoře v čínském Zhejiangu navrhl odlišnou filozofii trénování AI na memristorech. Místo snahy o eliminaci všech nedokonalostí vědci navrhli metodu, která s nimi záměrně počítá. Říkají jí error-aware probabilistic update, tedy pravděpodobnostní aktualizace zohledňující chyby – zkráceně EaPU.
Jádrem přístupu je jednoduchý nápad: síť se nesnaží korigovat každou minimální změnu váhy. Pokud chyba nepřekročí hranici tolerance hardwaru, parametr zůstane nedotčen. Teprve větší odchylky spustí proces aktualizace.
Místo opravování téměř všech vah při každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně energie a delší životnost hardwaru.
Tento přístup přináší několik zásadních důsledků:
- dramaticky klesá počet zápisových operací v memristorech,
- snižuje se vliv šumu, protože algoritmus „nežene" každou náhodnou fluktuaci,
- proces trénování se stává stabilnějším i přes nedokonalý hardware.
Kolik energie se podařilo ušetřit?
Podle zveřejněných výsledků vyžaduje trénování neuronových sítí v architektuře založené na memristorech s využitím EaPU až 50krát méně energie ve srovnání s dřívějšími metodami určenými pro tyto obvody.
A to ještě není vše. Při porovnání s klasickým trénováním sítí na grafických kartách je rozdíl přímo extrémní. Vědci odhadují, že celkovou spotřebu energie lze snížit až o šest řádů velikosti – tedy přibližně milionkrát.
| Řešení | Spotřeba energie (trénování) | Přesnost modelů | Životnost hardwaru |
|---|---|---|---|
| Klasické GPU | 100 % | Vysoká | Standardní |
| Memristory bez EaPU | Nižší než GPU, ale stále vysoká | Výrazně horší | Omezená častými zápisy |
| Memristory s EaPU | Přibližně milionkrát méně než GPU | Srovnatelná s klasickými superpočítači | Až tisíckrát delší životnost |
Metoda navíc zvyšuje přesnost sítě až o 60 % oproti dřívějším řešením s memristory. Výsledky se tak prakticky vyrovnávají těm dosaženým na tradičních superpočítačích – tedy bez jakéhokoliv kvalitativního kompromisu.
Testy: od šumu v obrazech po zostřování detailů
Aby vědci ověřili, že nejde jen o teorii, sestavili skutečnou matici memristorů s rozměrem 180 nanometrů. Na tomto hardwaru trénovali sítě určené pro dvě náročné úlohy zpracování obrazu:
- odstraňování šumu z fotografií,
- zvyšování rozlišení, takzvaná super-rozlišení.
Testy přinesly výsledky srovnatelné s tradičními metodami využívajícími procesory a grafické karty. Zásadní rozdíl spočíval v profilu spotřeby energie – hardware s memristory a EaPU potřeboval výrazně méně elektřiny.
Je to šance na ekologičtější velké jazykové modely?
Největší pozornost dnes přitahují velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování pohlcuje obrovské množství energie a vyžaduje stovky, někdy tisíce grafických karet pracujících paralelně. Není divu, že vědci přemýšlejí, zda lze EaPU přenést právě do této třídy modelů.
Autoři studie přiznávají, že je prozatím omezuje dostupný hardware. Matice 180 nm je jen zlomkem toho, co by bylo potřeba pro trénování plnohodnotného velkého jazykového modelu. Zároveň jsou přesvědčeni, že samotná koncepce algoritmu a správy chyb není vázána na jeden konkrétní typ úlohy.
Vědci předpokládají, že stejný přístup lze uplatnit u velkých jazykových modelů – pokud vzniknou dostatečně rozvinuté hardwarové systémy založené na memristorech nebo příbuzných technologiích.
Zajímavé je také to, že EaPU není výhradně vázána na memristory. Tým poukazuje na to, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních neprchavé paměti – například v feroelektrických tranzistorech nebo magnetorezistivních pamětech.
Nová generace hardwaru pro AI
Pokud takovéto techniky vyjdou z laboratoří do praxe, může to vyvolat vznik zcela nové třídy AI akcelerátorů. Namísto dalších generací klasických GPU by část úloh převzaly specializované obvody pro výpočty v paměti. Takový hardware by mohl zamířit nejen do datových center, ale i do hraničních zařízení – od chytrých kamer po zdravotnické přístroje.
Představte si monitorovací systém, který zpracovává obraz přímo na místě, rozpoznává události a přitom spotřebuje zlomek energie dnešních řešení. Nebo chytrý telefon spouštějící lokální jazykový model bez drastického vybíjení baterie. Právě takové scénáře mají šanci stát se reálnými, pokud spotřeba energie klesne o několik řádů velikosti.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší náklady na služby a menší zátěž pro životní prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší šanci, že pokročilé funkce AI nevyžadují drahé předplatné.
Pro firmy nasazující AI představuje takový skok efektivity zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stokrát nebo tisíckrát, mohou si vlastní řešení dovolit i menší subjekty – třeba z oblasti medicíny, průmyslu nebo logistiky.
Je však třeba mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. Jde o zdlouhavý proces vyžadující investice a čas – podobně jako kdysi přechod od klasických procesorů na specializované GPU pro grafiku a AI.
Téma energetické efektivity AI je stále důležitější při plánování nových datových center i výzkumných projektů. Instituce a firmy, které se začnou zajímat o výpočty v paměti a techniky tolerující chyby už dnes, získají náskok ve chvíli, kdy taková řešení vstoupí do hlavního proudu.
