Rostoucí hlad umělé inteligence po elektřině se stává problémem
Rostoucí spotřeba energie ze strany umělé inteligence začíná zatěžovat jak peněženky, tak klima. Nová čínská technika by ale mohla tento trend obrátit naruby. Vědci prokázali, že neuronové sítě lze trénovat s radikálně nižší spotřebou energie – stačí propojit netradiční hardware s chytrým algoritmem, který se místo boje s chybami naučí s nimi žít.
AI hltá elektřinu jako kryptoměnový provoz
Kdokoli si hraje s generováním obrázků nebo chatboty, vidí jen přívětivé rozhraní. Za ním ale pracují obrovské serverové farmy plné procesorů a grafických čipů. Tyto stroje spotřebovávají gigantická množství energie – zejména při trénování složitých modelů, jako jsou velké jazykové modely.
Čím rozsáhlejší neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesory. Právě tyto operace způsobují obrovské energetické ztráty. Stále častěji se hovoří o tom, že rozvoj AI se může stát jedním z největších spotřebitelů elektřiny na světě – srovnatelným s celými průmyslovými odvětvími.
Řešení problému energetické náročnosti AI už nespočívá jen v optimalizaci kódu. Potřeba je zásadní změna přístupu k samotnému hardwaru a způsobu trénování modelů.
Memristory – paměť, která počítá přímo na místě
Jedním ze směrů výzkumu „zelenější" umělé inteligence je tzv. výpočet v paměti. Místo neustálého přesouvání dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli zde hrají memristory.
Memristor je speciální elektronická součástka fungující jako rezistor s pamětí. Jeho odpor závisí na historii protékajícího proudu a dokáže reprezentovat váhy v neuronové síti. Díky tomu jedna struktura zároveň plní roli paměti i výpočetní jednotky.
- uchovává informace (váhy neuronové sítě),
- umožňuje lokální výpočty bez odesílání dat do procesoru,
- může výrazně omezit přenos dat, a tedy i spotřebu energie.
Zní to ideálně – jenže skutečné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky nákladná a zkracuje jejich životnost. Prostý přenos klasických metod trénování sítí na takový hardware proto nefunguje uspokojivě.
Nový přístup: méně oprav, větší tolerance chyb
Tým z laboratoře v čínském Zhejiangu navrhl zcela odlišnou filozofii trénování AI na memristorech. Namísto snahy o eliminaci veškerých nedokonalostí vědci navrhli metodu, která s nimi vědomě počítá. Říkají jí error-aware probabilistic update, zkráceně EaPU – tedy pravděpodobnostní aktualizace zohledňující chyby.
Jádrem přístupu je jednoduchý nápad: síť se nesnaží opravovat každou minimální změnu váhy. Pokud chyba spadá do mezí tolerance hardwaru, parametr zůstane beze změny. Teprve větší odchylky spustí proces aktualizace.
Namísto aktualizace téměř všech vah při každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně energie a delší životnost hardwaru.
Tento přístup má několik konkrétních důsledků:
- dramaticky klesá počet zápisových operací v memristorech,
- snižuje se vliv šumu, protože algoritmus „nepronásleduje" každou náhodnou fluktuaci,
- proces trénování se stává stabilnějším i přes nedokonalý hardware.
Kolik energie se podařilo ušetřit?
Podle zveřejněných výsledků vyžaduje samotné trénování neuronových sítí v architektuře založené na memristorech s využitím EaPU až 50krát méně energie ve srovnání s dřívějšími metodami určenými pro tyto obvody.
A to ještě není vše. Při porovnání s klasickým trénováním sítí na grafických procesorech se rozdíl stává doslova extrémním. Vědci odhadují, že celkovou spotřebu energie lze snížit až o šest řádů velikosti – tedy přibližně milionkrát.
| Řešení | Spotřeba energie (trénování) | Přesnost modelů | Životnost hardwaru |
|---|---|---|---|
| Klasické GPU | 100 % | Vysoká | Standardní |
| Memristory bez EaPU | Nižší než GPU, ale stále vysoká | Výrazně horší | Omezená častými zápisy |
| Memristory s EaPU | Přibližně milionkrát méně než GPU | Srovnatelná s klasickými superpočítači | Až tisíckrát delší životnost |
Metoda zároveň zvyšuje přesnost sítě až o 60 % oproti dřívějším řešením s memristory. To prakticky vyrovnává výsledky s těmi dosaženými na tradičních superpočítačích – bez jakéhokoli kompromisu v kvalitě.
Testy: od šumu ve fotografiích po zostření detailů
Aby tým ověřil, že jde o víc než teorii, sestavil skutečnou memristorovou matrici o velikosti 180 nanometrů. Na tomto hardwaru byly trénovány sítě určené pro dva náročné úkoly zpracování obrazu:
- odstraňování šumu z fotografií,
- zvyšování rozlišení, tzv. super-rozlišení.
Výsledky testů byly srovnatelné s tradičními metodami využívajícími procesory a grafické čipy. Zásadní rozdíl spočíval v energetickém profilu – hardware s memristory a EaPU potřeboval výrazně méně elektřiny.
Je to šance na „zelenější" velké jazykové modely?
Největší pozornost dnes přitahují velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování pohltí obrovské množství energie a vyžaduje stovky, někdy tisíce paralelně pracujících GPU. Není divu, že vědci zvažují, zda lze EaPU přenést právě na tuto třídu modelů.
Autoři studie přiznávají, že je prozatím omezuje dostupný hardware. Matrice 180 nm je jen malým zlomkem toho, co by bylo potřeba pro trénování plnohodnotného velkého jazykového modelu. Zároveň se však domnívají, že samotná koncepce algoritmu a správy chyb není specifická pro jediný typ úlohy.
Vědci předpokládají, že stejný přístup lze uplatnit i u velkých jazykových modelů – za předpokladu, že vzniknou dostatečně rozsáhlé hardwarové obvody založené na memristorech nebo příbuzných technologiích.
Zajímavé je také to, že EaPU není pevně svázána výhradně s memristory. Tým poukazuje na to, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních nevolatilní paměti – například ve feroelektrických tranzistorech nebo magnetorezistivních pamětech.
Nová generace hardwaru pro AI
Pokud tyto techniky opustí laboratoře, může to vynutit vznik zcela nové třídy AI akcelerátorů. Namísto dalších generací klasických GPU by část úloh převzaly specializované obvody pro výpočet v paměti. Takový hardware by mohl zamířit nejen do datových center, ale také do hraničních zařízení – od chytrých kamer až po zdravotnické přístroje.
Představte si bezpečnostní systém, který zpracovává obraz přímo na místě, rozpoznává události a přitom spotřebovává zlomek energie dnešních řešení. Nebo chytrý telefon spouštějící lokální jazykový model bez dramatického vybíjení baterie. Právě takové scénáře se mohou stát reálnými, pokud spotřeba energie klesne o několik řádů velikosti.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší náklady na služby a menší zátěž pro životní prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší šanci, že pokročilé funkce AI nebudou vyžadovat drahá předplatná.
Pro firmy zavádějící AI znamená takový skok efektivity zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stokrát či tisíckrát, mohou si vlastní řešení dovolit menší subjekty – včetně firem z oblasti medicíny, průmyslu nebo logistiky.
Je ale třeba mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. Jde o zdlouhavý proces vyžadující investice i čas – podobně jako kdysi přechod od klasických procesorů k specializovaným GPU pro grafiku a AI.
Téma energetické efektivity AI se stává stále důležitějším při plánování nových datových center a výzkumných projektů. Firmy a instituce, které se začnou zajímat o výpočty v paměti a techniky tolerující chyby již dnes, získají výhodu ve chvíli, kdy taková řešení vstoupí do hlavního proudu.
