Rostoucí hlad umělé inteligence po elektřině začíná být skutečným problémem
Rostoucí spotřeba energie ze strany umělé inteligence začíná zatěžovat jak peněženky, tak i klima. Nová čínská technika by ale mohla tento trend zcela obrátit. Vědci prokázali, že neuronové sítě lze trénovat s radikálně nižší energetickou náročností – stačí spojit neobvyklý hardware s chytrým algoritmem, který se místo boje s chybami naučí s nimi žít.
AI požírá elektřinu jako kryptoměnový důl
Každý, kdo si někdy pohrál s generováním obrázků nebo chatboty, vidí jen přívětivé rozhraní. Za ním se ale skrývají obrovské serverové farmy nabité procesory a grafickými kartami. Tyto stroje spotřebovávají gigantická množství energie – především při trénování složitých modelů, jako jsou velké jazykové modely.
Čím komplexnější neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesory. Právě tyto operace způsobují enormní energetické ztráty. Stále častěji se hovoří o tom, že rozvoj AI se může zařadit mezi největší spotřebitele elektřiny na světě, srovnatelné s celými průmyslovými odvětvími.
Řešení problému energetické náročnosti AI již nespočívá jen v optimalizaci kódu. Je nutná změna přístupu k samotnému hardwaru i způsobu trénování modelů.
Memristory – paměť, která myslí na místě
Jedním ze směrů výzkumu zelenější umělé inteligence je takzvané výpočetní zpracování přímo v paměti. Namísto neustálého přesouvání dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli zde hrají memristory.
Memristor je speciální elektronická součástka fungující jako rezistor s pamětí. Jeho odpor závisí na historii procházejícího proudu a dokáže reprezentovat váhy v neuronové síti. Jedna struktura tak zároveň plní funkci paměti i výpočetní jednotky.
- uchovává informace (váhy neuronové sítě),
- umožňuje lokální výpočty bez odesílání dat do procesoru,
- může výrazně omezit přenos dat, a tím i spotřebu energie.
Zní to ideálně, jenže reálné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky nákladná a zkracuje jejich životnost. Prosté přenesení klasických metod trénování sítí na takový hardware proto nefunguje uspokojivě.
Nový přístup: méně oprav, větší tolerance chyb
Tým z laboratoře v čínském Zhejianu navrhl odlišnou filozofii trénování AI na memristorech. Místo snahy o eliminaci veškerých nedokonalostí výzkumníci navrhli metodu, která s nimi záměrně počítá. Nazvali ji error-aware probabilistic update, zkráceně EaPU – tedy pravděpodobnostní aktualizace zohledňující chyby.
Jádrem přístupu je jednoduchá myšlenka: síť se nesnaží opravovat každou minimální změnu váhy. Pokud chyba zůstává v mezích tolerance hardwaru, parametr zůstane nedotčen. Teprve větší odchylky spustí proces aktualizace.
Namísto opravování téměř všech vah při každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně energie a delší životnost hardwaru.
Tento přístup přináší několik zásadních důsledků:
- dramaticky klesá počet zápisových operací v memristorech,
- snižuje se vliv šumu, protože algoritmus „nežene" každou náhodnou fluktuaci,
- proces trénování se stává stabilnějším i přes nedokonalý hardware.
Kolik energie se podařilo ušetřit?
Podle zveřejněných výsledků vyžaduje samotné trénování neuronových sítí v architektuře založené na memristorech s využitím EaPU až 50krát méně energie ve srovnání s dřívějšími metodami určenými pro tyto obvody.
A to není vše. Při srovnání s klasickým trénováním sítí na grafických kartách se rozdíl stává doslova extrémním. Vědci odhadují, že celkovou spotřebu energie lze snížit až o šest řádů velikosti – tedy přibližně milionkrát.
| Řešení | Spotřeba energie (trénování) | Přesnost modelů | Životnost hardwaru |
|---|---|---|---|
| Klasické GPU | 100 % | Vysoká | Standardní |
| Memristory bez EaPU | Nižší než GPU, ale stále vysoká | Výrazně horší | Omezená častými zápisy |
| Memristory s EaPU | Přibližně milionkrát méně než GPU | Srovnatelná s klasickými superpočítači | Až tisíckrát delší životnost |
Metoda také zvyšuje přesnost fungování sítě až o 60 % oproti dřívějším řešením s memristory. To prakticky vyrovnává výsledky s těmi, jichž se dosahuje na tradičních superpočítačích – bez jakéhokoli kvalitativního kompromisu.
Testy: od šumu v obrazech po zostření detailů
Aby výzkumníci ověřili, že nejde jen o teorii, sestavili skutečnou matrici memristorů s velikostí 180 nanometrů. Na tomto hardwaru trénovali sítě určené pro dva náročné obrazové úkoly:
- odstraňování šumu z fotografií,
- zvyšování rozlišení, tzv. super-rozlišení.
Testy přinesly výsledky srovnatelné s tradičními metodami využívajícími procesory a grafické karty. Rozdíl spočíval v úplně jiném profilu spotřeby energie – hardware na memristorech s EaPU potřeboval výrazně méně elektřiny.
Je to šance na zelenější velké jazykové modely?
Největší pozornost dnes přitahují velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování pohltí obrovská množství energie a vyžaduje stovky, někdy tisíce grafických karet pracujících paralelně. Není divu, že vědci uvažují o přenesení EaPU právě na tuto třídu modelů.
Autoři práce přiznávají, že je prozatím omezuje dostupný hardware. Matrice 180 nm představuje pouhý zlomek toho, co by bylo třeba k trénování plnohodnotného velkého jazykového modelu. Zároveň jsou přesvědčeni, že samotná koncepce algoritmu a správy chyb není vázána na jediný typ úloh.
Výzkumníci předpokládají, že stejný přístup lze uplatnit i u velkých jazykových modelů, pokud vzniknou dostatečně rozvinuté hardwarové systémy založené na memristorech nebo příbuzných technologiích.
Zajímavé je také to, že EaPU není striktně svázána jen s memristory. Tým poukazuje na to, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních neprchavé paměti, jako jsou feroelektrické tranzistory nebo magnetorezistivní paměti.
Nová generace hardwaru pro AI
Pokud takovéto techniky překročí hranice laboratoří, může to vyvolat vznik zcela nové třídy AI akcelerátorů. Namísto dalších generací klasických GPU převezmou část úkolů specializované obvody pro výpočty přímo v paměti. Takový hardware může zamířit nejen do datových center, ale i do hraničních zařízení – od chytrých kamer po lékařské přístroje.
Představte si bezpečnostní systém, který přímo na místě zpracovává obraz, rozpoznává události a přitom spotřebuje zlomek energie dnešních řešení. Nebo chytrý telefon spouštějící lokální jazykový model bez dramatického vybíjení baterie. Právě takovéto scénáře mají šanci stát se realitou, pokud spotřeba energie klesne o několik řádů velikosti.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší náklady na služby a menší zátěž pro životní prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší šanci, že pokročilé funkce AI nebudou vyžadovat drahá předplatná.
Pro firmy zavádějící AI představuje takovýto skok efektivity zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stovky či tisíce krát, mohou si vlastní řešení dovolit i menší subjekty – třeba z oblasti medicíny, průmyslu nebo logistiky.
Je však třeba mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. Jde o zdlouhavý proces vyžadující investice a čas – podobně jako byl kdysi přechod od klasických procesorů k vyspecializovaným GPU pro grafiku a umělou inteligenci.
Téma energetické účinnosti AI se stává stále důležitějším při plánování nových datových center a výzkumných projektů. Univerzity a firmy, které se o výpočty v paměti a techniky tolerující chyby začnou zajímat již dnes, získají náskok ve chvíli, kdy tato řešení vstoupí do hlavního proudu.
