AI požírá energii jako kryptoměnový důl
Rostoucí energetický hlad umělé inteligence se stává problémem jak pro peněženky, tak pro klima. Nová čínská technika by ale mohla celý tento trend obrátit naruby.
Vědci prokázali, že neuronové sítě lze trénovat s radikálně nižší spotřebou energie — stačí zkombinovat netradiční hardware s chytrým algoritmem, který místo boje s chybami se učí s nimi žít.
Každý, kdo si někdy hrál s generováním obrázků nebo používal chatboty, vidí jen přívětivé rozhraní. Za ním ale pracují obrovské serverové farmy plné procesorů a grafických karet. Tyto stroje spotřebovávají gigantická množství elektřiny — především při trénování složitých modelů, jako jsou velké jazykové modely.
Čím rozsáhlejší neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesory. Právě tyto operace způsobují obrovské energetické ztráty. Stále častěji se hovoří o tom, že rozvoj AI by se mohl stát jedním z největších konzumentů elektřiny na světě — srovnatelným s celými průmyslovými odvětvími.
Řešení problému spotřeby energie u AI už nespočívá jen v optimalizaci kódu. Je zapotřebí změnit celý přístup k hardwaru i ke způsobu trénování modelů.
Memristory: paměť, která myslí přímo na místě
Jedním ze směrů výzkumu ekologičtější umělé inteligence jsou tzv. výpočty v paměti. Místo neustálého přehazování dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli přitom hrají memristory.
Memristor je speciální elektronická součástka fungující jako rezistor s pamětí. Jeho odpor závisí na historii protékajícího proudu a může reprezentovat váhy v neuronové síti. Díky tomu jediná struktura plní zároveň funkci paměti i výpočetní jednotky.
- uchovává informace (váhy neuronové sítě),
- umožňuje lokální výpočty bez odesílání dat do procesoru,
- dokáže výrazně snížit přenos dat, a tím i spotřebu energie.
Zní to ideálně — jenže skutečné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky nákladná a zkracuje jejich životnost. Proto prostý přenos klasických metod trénování sítí na takový hardware nefunguje uspokojivě.
Nový přístup: méně oprav, větší tolerance k chybám
Tým z laboratoře v čínském Zhejiangu navrhl zcela odlišnou filozofii trénování AI na memristorech. Místo snahy o eliminaci veškerých nedokonalostí vědci navrhli metodu, která s nimi vědomě počítá. Říkají jí error-aware probabilistic update — zkráceně EaPU, tedy náhodná aktualizace zohledňující chyby.
Jádrem tohoto přístupu je jednoduchá myšlenka: síť se nesnaží opravit každou minimální změnu váhy. Pokud chyba spadá do mezí tolerance hardwaru, parametr zůstane nedotčen. Teprve větší odchylky spustí proces aktualizace.
Místo opravování téměř všech vah při každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně energie a delší životnost hardwaru.
Tento přístup má několik zásadních důsledků:
- dramaticky klesá počet zápisových operací v memristorech,
- snižuje se vliv šumu, protože algoritmus „nepronásleduje" každou náhodnou fluktuaci,
- proces trénování se stává stabilnějším i přes nedokonalý hardware.
Kolik energie se podařilo ušetřit?
Podle zveřejněných výsledků vyžaduje samotné trénování neuronových sítí v architektuře založené na memristorech s použitím EaPU až 50krát méně energie ve srovnání s dřívějšími metodami určenými pro tyto obvody.
A to není vše. Při porovnání s klasickým trénováním na grafických kartách se rozdíl stává doslova extrémním. Vědci odhadují, že celkovou spotřebu energie lze snížit až o šest řádů velikosti — tedy přibližně milionkrát.
| Řešení | Spotřeba energie (trénování) | Přesnost modelů | Životnost hardwaru |
|---|---|---|---|
| Klasické GPU | 100 % | Vysoká | Standardní |
| Memristory bez EaPU | Nižší než GPU, ale stále vysoká | Výrazně horší | Omezená častými zápisy |
| Memristory s EaPU | Přibližně milionkrát méně než GPU | Srovnatelná s klasickými superpočítači | Až tisíckrát delší životnost |
Metoda také zvyšuje přesnost sítě o až 60 % oproti dřívějším řešením s memristory. To prakticky vyrovnává výsledky s těmi dosaženými na tradičních superpočítačích — bez jakéhokoliv kvalitativního kompromisu.
Testy: od šumu ve fotografiích po zostření detailů
Aby tým ověřil, že nejde jen o teorii, sestavil skutečnou matrici memristorů o velikosti 180 nanometrů. Na tomto hardwaru byly trénovány sítě zodpovědné za dva náročné obrazové úkoly:
- odstraňování šumu z fotografií,
- zvyšování rozlišení, tzv. super-rozlišení.
Výsledky testů byly srovnatelné s tradičními metodami využívajícími procesory a grafické karty. Zásadní rozdíl spočíval v profilu spotřeby energie — hardware s memristory a EaPU potřeboval výrazně méně elektřiny.
Je to šance na ekologičtější velké jazykové modely?
Největší pozornost dnes přitahují velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování pohltí obrovské množství energie a vyžaduje stovky, někdy tisíce paralelně pracujících GPU. Není proto divu, že vědci uvažují, zda by EaPU šlo přenést právě na tuto třídu modelů.
Autoři práce přiznávají, že je prozatím omezuje dostupný hardware. Matrice 180 nm je jen nepatrným zlomkem toho, co by bylo potřeba k trénování plnohodnotného velkého jazykového modelu. Zároveň jsou přesvědčeni, že samotný koncept algoritmu a správy chyb není svázán s jediným typem úlohy.
Vědci předpokládají, že stejný přístup lze uplatnit i u velkých jazykových modelů — za předpokladu, že vzniknou dostatečně rozsáhlé hardwarové systémy postavené na memristorech nebo příbuzných technologiích.
Zajímavé přitom je, že EaPU není pevně vázána jen na memristory. Tým poukazuje na to, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních nevolatilní paměti — například ve feroelektrických tranzistorech či magnetorezistivních pamětech.
Nová generace hardwaru pro AI
Pokud tyto techniky opustí laboratoře, může to vyvolat vznik zcela nové třídy AI akcelerátorů. Místo dalších generací klasických GPU by část úloh převzaly specializované obvody pro výpočty v paměti. Takový hardware by mohl zamířit nejen do datových center, ale i do hraničních zařízení — od chytrých kamer až po zdravotnické přístroje.
Představte si monitorovací systém, který přímo na místě zpracovává obraz, rozpoznává události a přitom spotřebovává zlomek energie dnešních řešení. Nebo chytrý telefon, který spouští lokální jazykový model bez drastického vybíjení baterie. Právě takové scénáře mají šanci stát se realitou, pokud spotřeba energie klesne o několik řádů velikosti.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší ceny služeb a menší zátěž pro životní prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší šanci, že pokročilé funkce AI nebudou vyžadovat drahá předplatná.
Pro firmy zavádějící AI představuje takový skok efektivity zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stokrát nebo tisíckrát, mohou si vlastní řešení dovolit i menší subjekty — včetně firem z oblasti medicíny, průmyslu nebo logistiky.
Je ale třeba mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. To je zdlouhavý proces vyžadující investice a čas — podobně jako kdysi přechod od klasických procesorů k specializovaným GPU pro grafiku a AI.
Pro ty, kdo sledují rozvoj technologií, nabývá téma energetické efektivity AI stále většího významu při plánování nových datových center a výzkumných projektů. Univerzity a firmy, které se začnou zajímat o výpočty v paměti a techniky tolerující chyby už dnes, získají náskok ve chvíli, kdy tato řešení proniknou do hlavního proudu.
