Průlom v úspoře elektřiny pomocí AI: až milionkrát méně energie

Rostoucí spotřeba elektřiny umělou inteligencí se stává kritickým problémem

Poptávka po energii pro běh systémů umělé inteligence dosahuje alarmujících rozměrů a ohrožuje jak domácnosti, tak i klima. Nová technologie vyvinutá v Číně by však mohla dramaticky změnit tento trend k lepšímu.

Vědci demonstrovali, že lze trénovat neuronové sítě s výrazně nižší energetickou náročností, pokud se kombinuje neobvyklý hardware s chytrým algoritmem, který místo boje s chybami přijímá jejich existenci jako součást procesu.

Jak moderní AI vytráví elektřinu jako velké průmyslové závody

Uživatelé, kteří se hrají s generováním obrázků nebo si chatují s AI asistenty, vidí jen elegantní rozhraní. Za obsluhou běží však obrovské serverovny plné procesorů a grafických čipů, které konzumují závratné množství elektřiny, především během trénování složitých modelů podobných velkým jazykovým sítím.

Čím komplexnější je neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesory. Právě tyto operace způsobují strašlivé ztráty energie. Odborníci čím dál více varují, že rozvoj AI by se mohl stát jedním z největších konzumentů elektřiny celosvětově, na úrovni velkých průmyslových odvětví.

Řešení problému energetické náročnosti AI již nespočívá jen v ladění softwaru. Potřebná je fundamentální změna přístupu k samotnému hardware a metod trénování modelů.

Memristory: pamět, která počítá sama na místě

Jedním z hlavních směrů vývoje energeticky efektivnější umělé inteligence je takzvané výpočetnictví přímo v paměti. Místo neustálého přesunu dat mezi pamětí a procesorem se část operací vykonává tam, kde jsou data uložena. Klíčovou roli zde hrají memristory.

Memristor je speciální elektronická součástka fungující jako rezistor s pamětí. Jeho odpor se mění v závislosti na historii elektrického proudu a může reprezentovat váhy neuronové sítě. Díky tomu jediná struktura plní zároveň roli paměti a výpočetní jednotky.

• uchovává informace (váhy sítě),
• umožňuje lokální výpočty bez posílání dat procesoru,
• může výrazně snížit přenos dat a tedy i spotřebu elektřiny.

Teorie zní příslibně, ale skutečné memristory jsou daleko od dokonalosti. Zavádějí šum, chují se nestabilně a každá operace zápisu je energeticky drahá a zkracuje jejich životnost. Proto jednoduché převedení klasických metod trénování sítí na takový hardware nefunguje uspokojivě.

Inovativní strategie: méně oprav, více tolerance k chybám

Tým výzkumného pracovního centra v Zhejiang v Číně představil odlišnou filosofii trénování AI na memristorech. Místo snah o odstranění všech nedokonalostí navrhli badatelé metodu, která je vědomě zohledňuje. Nazývají ji error-aware probabilistic update, zkráceně EaPU.

Jádro přístupu spočívá v jednoduchém konceptu: síť se nesnaží opravovat každou nepatrnou změnu váhy. Pokud chyba zůstane v mezích tolerance hardware, parametr zůstane nezměněn. Opravy se spouštějí pouze při větších odchylkách.

Namísto opravy téměř všech vah v každém kroku učení síť aktualizuje méně než 0,1 procenta parametrů. Méně zápisů znamená méně energie a delší životnost hardware.

Takový přístup přináší hned několik pozitivních efektů:

• dramaticky klesá počet operací zápisu v memristorech,
• snižuje se vliv šumu, protože algoritmus nemarní energii na každou náhodnou výchylku,
• trénování se stává stabilnější navzdory nedokonalému hardware.

Kolik elektřiny se podařilo ušetřit?

Podle publikovaných výsledků vyžaduje samotné trénování neuronových sítí na architektuře s memristory s použitím EaPU padesátkrát méně energie ve srovnání s předchozími metodami určenými pro tyto komponenty.

Ale to není všechno. Když se porovná tento přístup s běžným tréninkem sítí na grafických čipech, rozdíl se stává jednoduše obrovský. Badatelé odhadují, že celkovou spotřebu elektřiny lze snížit o šest řádů – tedy zhruba milionkrát.

Metoda zvyšuje také přesnost fungování sítě o 60 procent oproti předchozím řešením s memristory. To ji prakticky vyrovnává s výsledky tradičních superpočítačů bez jakýchkoliv kompromisů na kvalitě.

Praktické testy: od čištění šumu v fotografiích po zvýšení rozlišení

Aby ověřili, zda se nejedná jen o teorii, vědci vybudovali skutečné pole memristorů s rozměrem 180 nanometrů. Na takovém hardware trénovali sítě pro dvě náročné úlohy se snímky:

• odstranění šumu z fotografií,
• zvýšení rozlišení, neboli super-rozlišovací procesy.

V pokusech dosáhli výsledků srovnatelných s tradičními přístupy využívajícími procesory a grafické akcelerátory. Rozdíl spočíval zcela v jiném profilu spotřeby elektřiny – hardware na memristorech s EaPU spotřeboval výrazně méně proudu.

Může to být cesta k zeleněji běžícím velkým jazykovým modelům?

Největší pozornost v současnosti přitahují velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování vyžaduje nepředstavitelné množství energie a vyžaduje stovky, někdy tisíce grafických čipů pracujících paralelně. Není tedy překvapením, že badatelé zvažují, zda by se EaPU dalo přenést právě na tuto třídu modelů.

Autoři studie přiznávají, že jejich dostupný hardware je zatím omezující. Pole o velikosti 180 nanometrů představuje pouze zlomek toho, co by bylo potřebné pro trénování kompletního velkého jazykového modelu. Zároveň jsou přesvědčeni, že samotný koncept algoritmu a správa chyb není vázaná na jeden typ problému.

Odborníci se domnívají, že totožný přístup lze uplalit na velké jazykové modely, jakmile budou vyvinuty dostatečně rozsáhlé hardwarové platformy založené na memristorech nebo příbuzných technologiích.

Zajímavé je, že EaPU není omezena pouze na memristory. Tým poukazuje na to, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních nestálé paměti, jako jsou feromagnetické tranzistory nebo magnetorezistivní paměti.

Nová generace hardware pro AI

Pokud by se takové techniky dostaly mimo laboratoře, mohlo by to vynucovhat vznik úplně nové třídy akcelerátorů pro umělou inteligenci. Namísto dalších generací klasických GPU by některé úlohy převzaly specializované jednotky výpočtů v paměti. Podobný hardware by mohl putovat nejen do datových center, ale také do hraničních zařízení – od inteligentních kamer po zdravotnickou techniku.

Představte si bezpečnostní systém, který zpracovává obraz přímo na místě, rozpoznává incidenty a potřebuje zlomek energie současných řešení. Anebo chytrý telefon, který spouští místní jazykový model bez dramatického vybíjení baterie. Právě takovéto scénáře mají realističnou šanci stát se skutečností, pokud by spotřeba elektřiny klesla o několik řádů.

Jaké to bude mít důsledky pro uživatele a podniky

Z hlediska běžného uživatele jsou nejdůležitější dva efekty: nižší ceny služeb a menší zatížení prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší pravděpodobnost, že pokročilé funkce umělé inteligence nebudou vyžadovat drahé předplatné.

Pro organizace zavádějící AI znamená takový skok účinnosti zcela nové obchodní kalkulace. Trénování vlastního modelu přestane být luxus vyhrazený technologickým gigantům. Když ceny energií klesnou stokrát nebo tisíckrát, na vlastní řešení si mohou dovolit menší subjekty, včetně firem z odvětví jako medicína, výroba či logistika.

Je však nutné myslet na jednu věc: skutečná transformace vyžaduje nejen nové algoritmy, ale také masivní výrobu specializovaných pamětových čipů. Jedná se o dlouhodobý proces, který potřebuje investice a čas, podobně jako kdysi přechod od klasických procesorů k GPU určeným pro grafiku a umělou inteligenci.

Pro lidi sledující vývoj technologií v České republice by mohla být zajímavá ještě jedna perspektiva. Téma energetické efektivnosti AI se stává stále důležitějším při plánování nových datových center a vědeckých projektů. Vysoké školy a podniky, které již nyní začnou zajímat se výpočty v paměti a technikami tolerujícími chyby, získají významnou výhodu v okamžiku, kdy se tato řešení stanou běžným standardem.