Energetická náročnost umělé inteligence roste alarmujícím tempem
Rostoucí energetické nároky systémů umělé inteligence začínají představovat vážný problém jak pro peněženky, tak pro životní prostředí. Nová technologie vyvinutá v Číně však může tento znepokojivý trend zcela obrátit.
Výzkumníci prokázali, že neuronové sítě lze trénovat s radikálně nižší spotřebou energie, pokud se kombinuje netradiční hardware s chytrým algoritmem. Ten místo boje s chybami naučí systém s nimi koexistovat.
AI spotřebovává energii jako těžba kryptoměn
Každý, kdo někdy vyzkoušel generování obrázků nebo komunikoval s chatbotem, vidí pouze přívětivé rozhraní. V pozadí však pracují obrovské serverové farmy napěchované procesory a grafickými kartami. Tyto stroje pohlcují gigantická množství elektřiny, především při trénování komplexních modelů.
Čím složitější neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesory probíhá. Právě tyto operace způsobují masivní energetické ztráty. Stále častěji zaznívají hlasy, že rozvoj AI by se mohl stát jedním z největších konzumentů elektřiny na planetě.
Řešení problému energetické náročnosti AI už nespočívá pouze v optimalizaci kódu. Vyžaduje to fundamentální změnu přístupu k samotnému hardwaru a způsobu trénování modelů.
Memristory: paměť, která myslí přímo na místě
Jedním ze směrů výzkumu ekologičtější umělé inteligence jsou takzvané výpočty přímo v paměti. Namísto neustálého přesouvání dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli zde hrají memristory.
Memristor představuje speciální elektronický prvek fungující jako rezistor s pamětí. Jeho odpor závisí na historii protékajícího proudu a dokáže reprezentovat váhy v neuronové síti. Jedna struktura tak plní současně funkci paměti i výpočetní jednotky.
- uchovává informace představující váhy neuronové sítě
- umožňuje lokální výpočty bez odesílání dat do procesoru
- může výrazně omezit přenos dat, a tím i spotřebu energie
Zní to ideálně, ale skutečné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky náročná a zkracuje jejich životnost.
Revoluční přístup: méně korekcí, větší tolerance chyb
Tým z laboratoře v čínském Zhejiangu navrhl odlišnou filozofii trénování AI na memristorech. Místo snahy eliminovat všechny nedokonalosti výzkumníci vytvořili metodu, která je vědomě zohledňuje. Nazývají ji error-aware probabilistic update, zkráceně EaPU.
Jádrem tohoto přístupu je jednoduchá myšlenka: síť se nepokouší korigovat každou minimální změnu váhy. Pokud chyba zůstává v mezích tolerance hardwaru, parametr zůstává nedotčen. Teprve větší odchylky spouštějí proces aktualizace.
Namísto úpravy téměř všech vah při každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně energie a delší životnost hardwaru.
Tento přístup přináší několik zásadních efektů:
- dramaticky klesá počet zápisových operací v memristorech
- snižuje se vliv šumu, protože algoritmus nehoní každou náhodnou fluktuaci
- proces trénování se stává stabilnějším navzdory nedokonalému hardwaru
Kolik energie se podařilo ušetřit?
Podle publikovaných výsledků samotné trénování neuronových sítí v architektuře založené na memristorech s využitím EaPU vyžaduje až padesátkrát méně energie ve srovnání s předchozími metodami určenými pro takové obvody.
To však není vše. Při porovnání tohoto schématu s klasickým trénováním sítí na grafických kartách se rozdíl stává přímo extrémním. Výzkumníci odhadují, že celkovou spotřebu energie lze snížit až o šest řádů – tedy zhruba milionkrát.
Srovnání energetické náročnosti různých řešení
Klasické GPU: standardní spotřeba energie, vysoká přesnost modelů, běžná životnost hardwaru.
Memristory bez EaPU: nižší spotřeba než GPU, ale stále vysoká, výrazně horší přesnost, omezená životnost kvůli častým zápisům.
Memristory s EaPU: přibližně milionkrát nižší spotřeba než GPU, přesnost srovnatelná s klasickými superpočítači, až tisíckrát delší životnost.
Metoda navíc zvyšuje přesnost fungování sítě až o 60 % oproti předchozím řešením s memristory. Prakticky se tak vyrovnává výsledkům dosahovaným na tradičních superpočítačích – bez jakéhokoli kompromisu v kvalitě.
Praktické testy: od šumu v obrazech po zostřování detailů
Aby tým ověřil, že nejde pouze o teorii, postavil skutečnou matici memristorů o velikosti 180 nanometrů. Na tomto hardwaru trénovaly sítě odpovědné za dva náročné úkoly zpracování obrazu:
- odstranění šumu z fotografií
- zvyšování rozlišení, takzvaná super-resolution
V testech byly dosaženy výsledky srovnatelné s tradičními metodami využívajícími procesory a grafické karty. Rozdíl spočíval v zcela odlišném profilu spotřeby – hardware na bázi memristorů s EaPU vyžadoval výrazně méně elektřiny.
Otevírá se cesta k ekologičtějším velkým jazykovým modelům?
Největší pozornost dnes přitahují velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování pohlcuje obrovská množství energie a vyžaduje stovky až tisíce grafických karet pracujících paralelně. Není divu, že výzkumníci zvažují, zda EaPU lze přenést právě na tuto třídu modelů.
Autoři studie přiznávají, že je zatím omezuje dostupný hardware. Matice 180 nm představuje pouze malý zlomek toho, co by bylo potřeba pro trénování plnohodnotného velkého jazykového modelu. Současně však věří, že samotný koncept algoritmu a řízení chyb není specifický pro jeden typ úlohy.
Výzkumníci předpokládají, že stejný přístup lze aplikovat na velké jazykové modely, jakmile vzniknou dostatečně rozsáhlé hardwarové obvody založené na memristorech nebo příbuzných technologiích.
Zajímavé je, že EaPU není striktně vázána pouze na memristory. Tým naznačuje, že podobný způsob probabilistické aktualizace parametrů může fungovat i u jiných řešení energeticky nezávislé paměti, jako jsou feroelektrické tranzistory nebo magnetorezistivní paměti.
Nová generace hardwaru pro umělou inteligenci
Pokud tyto techniky opustí laboratoře, může to vynutit vznik zcela nové třídy AI akcelerátorů. Místo dalších generací klasických grafických karet část úloh převezmou specializované obvody pro výpočty v paměti. Takový hardware by mohl zamířit nejen do datových center, ale i do okrajových zařízení – od inteligentních kamer po zdravotnickou techniku.
Představte si monitorovací systém, který přímo na místě zpracovává obraz, rozpoznává události a potřebuje zlomek energie dnešních řešení. Nebo smartphone spouštějící lokální jazykový model bez dramatického vybíjení baterie. Právě takové scénáře mají šanci stát se realitou, pokud spotřeba energie klesne o řády.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší náklady na služby a menší zátěž životního prostředí. Méně elektřiny v datových centrech znamená nižší účty provozovatelů, a tedy větší šanci, že pokročilé funkce AI nebudou vyžadovat drahé předplatné.
Pro firmy zavádějící AI takový skok v efektivitě znamená zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stokrát či tisíckrát, vlastní řešení si mohou dovolit i menší subjekty z oblastí jako medicína, průmysl nebo logistika.
Je však třeba mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. Je to dlouhý proces vyžadující investice a čas, podobně jako kdysi přechod od klasických procesorů ke specializovaným grafickým kartám pro grafiku a AI.
Téma energetické efektivity AI se stává stále důležitějším při plánování nových datových center a výzkumných projektů. Univerzity a firmy, které se již dnes začnou zajímat o výpočty v paměti a techniky tolerující chyby, získají náskok, až tato řešení vstoupí do hlavního proudu.
