Rostoucí hlad umělé inteligence po elektřině se stává problémem jak pro peněženky, tak pro klima – jenže nová čínská technika by mohla celý tento trend obrátit naruby.
Vědci prokázali, že neuronové sítě lze trénovat s radikálně nižší spotřebou energie, pokud se spojí netradiční hardware s chytrým algoritmem, který místo boje s chybami se je naučí přijímat.
AI požírá elektřinu jako kryptoměnový důl
Každý, kdo si hrál s generováním obrázků nebo chatboty, vidí jen přívětivé rozhraní. Za ním se ale skrývají obrovské serverové farmy plné procesorů a grafických karet. Tyto stroje spotřebovávají gigantická množství energie – především při trénování složitých modelů, jako jsou velké jazykové modely.
Čím rozsáhlejší neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesory. Právě tyto operace způsobují enormní energetické ztráty. Stále častěji se hovoří o tom, že rozvoj AI by se mohl stát jedním z největších spotřebitelů elektřiny na světě, srovnatelným s velkými průmyslovými odvětvími.
Řešení problému spotřeby energie umělou inteligencí už nespočívá jen v optimalizaci kódu. Je potřeba změnit přístup k samotnému hardwaru i ke způsobu trénování modelů.
Memristory – paměť, která myslí na místě
Jedním ze směrů výzkumu zelenější umělé inteligence jsou tzv. výpočty v paměti. Místo neustálého přesouvání dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli zde hrají memristory.
Memristor je speciální elektronická součástka fungující jako rezistor s pamětí. Jeho odpor závisí na historii protékajícího proudu a může reprezentovat váhy v neuronové síti. Díky tomu jedna struktura plní zároveň funkci paměti i výpočetní jednotky.
- uchovává informace (váhy neuronové sítě),
- umožňuje lokální výpočty bez odesílání dat do procesoru,
- může výrazně snížit přenos dat, a tedy i spotřebu energie.
Zní to skvěle, ale skutečné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky nákladná a zkracuje jejich životnost. Prosté přenesení klasických metod trénování sítí na takový hardware proto nefunguje uspokojivě.
Nový přístup: méně oprav, více tolerance k chybám
Tým z laboratoře v čínském Zhejiangu navrhl odlišnou filozofii trénování AI na memristorech. Místo snahy eliminovat veškeré nedokonalosti badatelé navrhli metodu, která s nimi vědomě počítá. Označují ji jako error-aware probabilistic update – tedy pravděpodobnostní aktualizaci zohledňující chyby, zkráceně EaPU.
Jádrem tohoto přístupu je jednoduchá myšlenka: síť se nesnaží opravovat každou minimální změnu váhy. Pokud chyba spadá do mezí tolerance hardwaru, parametr zůstane nedotčen. Teprve větší odchylky spustí proces aktualizace.
Místo opravování téměř všech vah při každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně energie a delší životnost hardwaru.
Tento přístup má několik důsledků:
- dramaticky klesá počet zápisových operací v memristorech,
- snižuje se vliv šumu, protože algoritmus „nežene" každou náhodnou fluktuaci,
- proces trénování se stává stabilnějším i přes nedokonalý hardware.
Kolik energie se podařilo ušetřit?
Podle zveřejněných výsledků vyžaduje samotné trénování neuronových sítí v architektuře založené na memristorech s využitím EaPU až 50krát méně energie ve srovnání s dřívějšími metodami určenými pro tyto obvody.
A to ještě není vše. Při srovnání s klasickým trénováním sítí na grafických kartách se rozdíl stává doslova extrémním. Badatelé odhadují, že celkovou spotřebu energie lze snížit až o šest řádů velikosti – tedy přibližně milionkrát.
| Řešení | Spotřeba energie (trénování) | Přesnost modelů | Životnost hardwaru |
|---|---|---|---|
| Klasické GPU | 100 % | Vysoká | Standardní |
| Memristory bez EaPU | Nižší než GPU, stále ale vysoká | Výrazně horší | Omezená častými zápisy |
| Memristory s EaPU | Přibližně milionkrát méně než GPU | Srovnatelná s klasickými superpočítači | Až tisíckrát delší životnost |
Metoda také zvyšuje přesnost sítě až o 60 % oproti dřívějším řešením s memristory. To v praxi znamená výsledky srovnatelné s těmi na tradičních superpočítačích – tedy bez jakéhokoli kompromisu v kvalitě.
Testy: od šumu v obrazech po zostření detailů
Aby tým ověřil, že nejde jen o teorii, sestavil skutečnou matici memristorů o velikosti 180 nanometrů. Na tomto hardwaru trénoval sítě zodpovědné za dvě náročné obrazové úlohy:
- odstraňování šumu z fotografií,
- zvyšování rozlišení, tzv. super-rozlišení.
Výsledky testů byly srovnatelné s tradičními metodami využívajícími procesory a grafické karty. Zásadní rozdíl spočíval v úplně jiném energetickém profilu – hardware s memristory a EaPU potřeboval výrazně méně elektrické energie.
Je to šance na zelenější velké jazykové modely?
Největší pozornost dnes přitahují velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování pohlcuje obrovská množství energie a vyžaduje stovky, někdy tisíce grafických karet pracujících paralelně. Není tedy divu, že badatelé zvažují, zda lze EaPU přenést právě na tuto třídu modelů.
Autoři studie přiznávají, že je zatím omezuje dostupný hardware. Matice 180 nm je pouhým zlomkem toho, co by bylo potřeba pro trénování plnohodnotného velkého jazykového modelu. Zároveň se domnívají, že samotný koncept algoritmu a správy chyb není specifický pro jediný typ úlohy.
Badatelé předpokládají, že stejný přístup lze uplatnit i u velkých jazykových modelů, pokud vzniknou dostatečně rozsáhlé hardwarové systémy založené na memristorech nebo příbuzných technologiích.
Zajímavé je, že EaPU není striktně vázána pouze na memristory. Tým poukazuje na to, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních nevolatilní paměti, jako jsou feroelektrické tranzistory nebo magnetorezistivní paměti.
Nová generace hardwaru pro AI
Pokud takovéto techniky opustí laboratoře, může to vyvolat vznik zcela nové třídy AI akcelerátorů. Místo dalších generací klasických GPU převezmou část úloh specializované obvody výpočtů v paměti. Takový hardware by mohl zamířit nejen do datových center, ale i do hraničních zařízení – od chytrých kamer po zdravotnické přístroje.
Představte si monitorovací systém, který na místě zpracovává obraz, rozpoznává události a přitom potřebuje zlomek energie dnešních řešení. Nebo chytrý telefon, který spouští lokální jazykový model bez dramatického vybíjení baterie. Přesně takové scénáře mají šanci stát se realitou, pokud spotřeba energie klesne o řády velikosti.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší náklady na služby a menší zátěž pro životní prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší šanci, že pokročilé funkce AI nebudou vyžadovat drahá předplatná.
Pro firmy zavádějící AI představuje takový skok v efektivitě zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stokrát či tisíckrát, mohou si vlastní řešení dovolit i menší subjekty – včetně firem z medicíny, průmyslu nebo logistiky.
Je však třeba mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. To je zdlouhavý proces vyžadující investice a čas – podobně jako kdysi přechod od klasických procesorů na specializovaná GPU pro grafiku a AI.
Pro ty, kdo sledují rozvoj technologií v Česku, může být zajímavá ještě jedna perspektiva. Téma energetické účinnosti AI se stává stále důležitějším při plánování nových datových center a výzkumných projektů. Univerzity a firmy, které se o výpočty v paměti a techniky tolerující chyby začnou zajímat už dnes, získají náskok, až taková řešení vstoupí do hlavního proudu.
