AI hltá energii jako kryptoměnový důl
Rostoucí energetická náročnost umělé inteligence začíná zatěžovat jak peněženky, tak klima. Nová čínská technika by však mohla celý tento trend obrátit naruby.
Vědci prokázali, že neuronové sítě lze trénovat s dramaticky nižší spotřebou energie – stačí spojit netradiční hardware s chytrým algoritmem, který se namísto boje s chybami naučí s nimi žít.
Každý, kdo si někdy pohrával s generováním obrázků nebo chatboty, vidí jen přívětivé rozhraní. Za kulisami však dřou obrovské serverové farmy plné procesorů a grafických karet. Tyto stroje spotřebovávají gigantická množství elektřiny – zejména při trénování složitých modelů, jako jsou velké jazykové modely.
Čím rozsáhlejší je neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesorem je zapotřebí. Právě tyto operace způsobují obrovské energetické ztráty. Stále hlasitěji se hovoří o tom, že rozvoj AI by se mohl zařadit mezi největší spotřebitele elektřiny na světě – srovnatelné s celými průmyslovými odvětvími.
Řešení energetické náročnosti AI už nespočívá jen v optimalizaci kódu. Je potřeba změnit samotný přístup k hardwaru i ke způsobu trénování modelů.
Memristory – paměť, která myslí na místě
Jedním ze slibných směrů výzkumu „zelenější" umělé inteligence je takzvané výpočetní zpracování přímo v paměti. Místo neustálého přesouvání dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli v tomto přístupu hrají memristory.
Memristor je speciální elektronická součástka fungující jako rezistor s pamětí. Jeho odpor závisí na historii protékajícího proudu a dokáže reprezentovat váhy v neuronové síti. Díky tomu jedna struktura současně plní roli paměti i výpočetní jednotky.
- uchovává informace (váhy neuronové sítě),
- umožňuje lokální výpočty bez odesílání dat do procesoru,
- může výrazně omezit přenos dat, a tím i spotřebu energie.
Zní to ideálně, jenže skutečné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky nákladná a zkracuje jejich životnost. Prosté přenesení klasických metod trénování sítí na takový hardware proto nefunguje uspokojivě.
Nový přístup: méně oprav, větší tolerance chyb
Tým z laboratoře v čínském Zhejianu navrhl odlišnou filozofii trénování AI na memristorech. Namísto snahy odstranit veškeré nedokonalosti navrhli vědci metodu, která s nimi vědomě počítá. Říkají jí error-aware probabilistic update, zkráceně EaPU – tedy pravděpodobnostní aktualizace zohledňující chyby.
Jádro přístupu tvoří jednoduchá myšlenka: síť se nesnaží opravovat každou nepatrnou změnu váhy. Pokud chyba spadá do mezí tolerance hardwaru, parametr zůstane nedotčen. Teprve větší odchylky spustí proces aktualizace.
Namísto opravování téměř všech vah při každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně energie a delší životnost hardwaru.
Tento přístup přináší několik důsledků:
- dramaticky klesá počet zápisových operací v memristorech,
- vliv šumu se snižuje, protože algoritmus „nepronásleduje" každou náhodnou fluktuaci,
- proces trénování se stává stabilnějším i přes nedokonalý hardware.
Kolik energie se podařilo ušetřit?
Podle zveřejněných výsledků vyžaduje samotné trénování neuronových sítí v architektuře založené na memristorech s využitím EaPU až 50krát méně energie ve srovnání s dřívějšími metodami určenými pro tyto obvody.
A to není vše. Srovnáme-li toto řešení s klasickým trénováním na grafických kartách, rozdíl se stává přímo extrémním. Vědci odhadují, že celkovou spotřebu energie lze snížit až o šest řádů velikosti – tedy přibližně milionkrát.
| Řešení | Spotřeba energie (trénování) | Přesnost modelů | Životnost hardwaru |
|---|---|---|---|
| Klasické GPU | 100 % | Vysoká | Standardní |
| Memristory bez EaPU | Nižší než GPU, stále ale vysoká | Výrazně horší | Omezená kvůli častým zápisům |
| Memristory s EaPU | Přibližně milionkrát méně než GPU | Srovnatelná s klasickými superpočítači | Až tisíckrát delší životnost |
Metoda navíc zvyšuje přesnost sítě o 60 % oproti předchozím řešením s memristory. Výsledky se tak prakticky vyrovnají těm, jichž dosahují tradiční superpočítače – bez jakéhokoli kvalitativního kompromisu.
Testy: od šumu ve fotografiích po zostření detailů
Aby vědci ověřili, že nejde jen o teorii, sestavili skutečnou matrici memristorů o velikosti 180 nanometrů. Na tomto hardwaru trénovali sítě zodpovědné za dva náročné úkoly spojené se zpracováním obrazu:
- odstraňování šumu z fotografií,
- zvyšování rozlišení, takzvaná super-rozlišení neboli super-resolution.
Testy přinesly výsledky srovnatelné s tradičními metodami využívajícími procesory a grafické karty. Zásadní rozdíl spočíval v energetickém profilu – hardware na memristorech s EaPU spotřeboval výrazně méně elektřiny.
Je to šance na „zelenější" velké jazykové modely?
Největší pozornost dnes přitahují velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování pohltí obrovské množství energie a vyžaduje stovky, někdy tisíce GPU pracujících paralelně. Není divu, že vědci uvažují, zda by EaPU šlo přenést právě na tuto třídu modelů.
Autoři práce přiznávají, že je prozatím omezuje dostupný hardware. Matrice 180 nm je jen nepatrným zlomkem toho, co by bylo potřeba k trénování plnohodnotného velkého jazykového modelu. Zároveň jsou přesvědčeni, že samotná koncepce algoritmu a správy chyb není svázána s jedním konkrétním typem úlohy.
Vědci předpokládají, že stejný přístup lze uplatnit u velkých jazykových modelů, pokud vzniknou dostatečně rozsáhlé hardwarové systémy založené na memristorech nebo příbuzných technologiích.
Zajímavé je, že EaPU není striktně vázána jen na memristory. Tým poukazuje na to, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních nevolatilní paměti – například ve feroelektrických tranzistorech nebo magnetorezistivních pamětech.
Nová generace hardwaru pro AI
Pokud tyto techniky opustí laboratoře, může to vynutit vznik zcela nové třídy AI akcelerátorů. Namísto dalších generací klasických GPU by část úloh převzaly specializované obvody pro výpočty přímo v paměti. Takový hardware by mohl zamířit nejen do datových center, ale také do hraničních zařízení – od chytrých kamer až po zdravotnické přístroje.
Představme si monitorovací systém, který zpracovává obraz přímo na místě, rozpoznává události a přitom potřebuje zlomek energie dnešních řešení. Nebo smartphone spouštějící lokální jazykový model bez drastického vybíjení baterie. Právě takovéto scénáře mají šanci stát se realitou, pokud spotřeba energie klesne o řády velikosti.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší náklady na služby a menší zátěž pro životní prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší šanci, že pokročilé funkce AI nebudou vyžadovat drahá předplatná.
Pro firmy nasazující AI představuje takový skok v efektivitě zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být výsadou technologických gigantů. Když náklady na energii klesnou stokrát či tisíckrát, vlastní řešení si mohou dovolit i menší subjekty – třeba z oblasti medicíny, průmyslu nebo logistiky.
Je však třeba mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. To je zdlouhavý proces vyžadující investice a čas – podobně jako byl kdysi přechod od klasických procesorů k specializovaným GPU pro grafiku a AI.
Pro ty, kdo sledují rozvoj technologií, nabývá téma energetické efektivity AI stále většího významu při plánování nových datových center a výzkumných projektů. Instituce a firmy, které se o výpočty v paměti a techniky tolerující chyby začnou zajímat již dnes, získají náskok ve chvíli, kdy tato řešení proniknou do hlavního proudu.
