Rostoucí hlad umělé inteligence po elektřině se stává problémem jak pro peněženky, tak pro klima – nová čínská technika však může tento trend obrátit naruby.
Vědci prokázali, že neuronové sítě lze trénovat s radikálně nižší spotřebou energie, pokud se zkombinuje netradiční hardware s chytrým algoritmem, který místo boje s chybami se je naučí tolerovat.
AI pohlcuje energii jako kryptoměnový důl
Kdokoli si hraje s generováním obrázků nebo používá chatboty, vidí jen přívětivé rozhraní. Za oponou však pracují obrovské serverové farmy plné procesorů a grafických karet. Tyto stroje spotřebovávají gigantická množství elektřiny – především při trénování složitých modelů, jako jsou velké jazykové modely.
Čím rozsáhlejší neuronová síť, tím více výpočtů a přenosů dat mezi pamětí a procesory. Právě tyto operace způsobují obrovské energetické ztráty. Stále častěji se hovoří o tom, že rozvoj AI by se mohl stát jedním z největších konzumentů elektřiny na světě, srovnatelným s celými průmyslovými odvětvími.
Řešení problému energetické náročnosti AI už nespočívá pouze v optimalizaci kódu. Je zapotřebí změnit přístup k samotnému hardwaru i způsobu trénování modelů.
Memristory – paměť, která myslí na místě
Jedním ze směrů výzkumu ekologičtější umělé inteligence je takzvané výpočetnictví v paměti. Místo neustálého přesouvání dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli přitom hrají memristory.
Memristor je speciální elektronický prvek fungující jako rezistor s pamětí. Jeho odpor závisí na historii protékajícího proudu a dokáže reprezentovat váhy v neuronové síti. Díky tomu jedna struktura plní zároveň funkci paměti i výpočetní jednotky.
- uchovává informace (váhy neuronové sítě),
- umožňuje lokální výpočty bez odesílání dat do procesoru,
- může výrazně omezit datové přenosy, a tím i spotřebu energie.
Zní to ideálně, jenže reálné memristory jsou daleko od dokonalosti. Vnášejí šum, chovají se nestabilně a každá operace zápisu je energeticky nákladná a zkracuje jejich životnost. Proto přímé přenesení klasických metod trénování sítí na takový hardware nefunguje uspokojivě.
Nový přístup: méně oprav, více tolerance k chybám
Tým z laboratoře v čínském Zhejiangu navrhl odlišnou filozofii trénování AI na memristorech. Místo snahy o eliminaci veškerých nedokonalostí vědci navrhli metodu, která s nimi vědomě počítá. Nazvali ji error-aware probabilistic update, zkráceně EaPU – tedy pravděpodobnostní aktualizace zohledňující chyby.
Jádrem tohoto přístupu je jednoduchý nápad: síť se nepokouší opravit každou minimální změnu váhy. Pokud chyba spadá do mezí tolerance hardwaru, parametr zůstane nedotčen. Teprve větší odchylky spustí proces aktualizace.
Místo opravování téměř všech vah při každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená méně spotřebované energie a delší životnost hardwaru.
Tento přístup přináší několik důsledků:
- dramaticky klesá počet zápisových operací v memristorech,
- snižuje se vliv šumu, protože algoritmus „nepronásleduje" každou náhodnou fluktuaci,
- proces trénování se stává stabilnějším i přes nedokonalost hardwaru.
Kolik energie se podařilo ušetřit?
Podle zveřejněných výsledků vyžaduje samotné trénování neuronových sítí v architektuře postavené na memristorech s využitím EaPU až 50krát méně energie ve srovnání s předchozími metodami určenými pro tyto obvody.
A to není vše. Pokud se tento přístup porovná s klasickým trénováním sítí na grafických kartách, rozdíl se stane doslova extrémním. Vědci odhadují, že celková spotřeba energie lze snížit až o šest řádů velikosti – tedy přibližně milionkrát.
| Řešení | Spotřeba energie (trénování) | Přesnost modelů | Životnost hardwaru |
|---|---|---|---|
| Klasické GPU | 100 % | Vysoká | Standardní |
| Memristory bez EaPU | Nižší než GPU, ale stále vysoká | Výrazně horší | Omezená častými zápisy |
| Memristory s EaPU | Přibližně milionkrát méně než GPU | Srovnatelná s klasickými superpočítači | Až tisíckrát delší životnost |
Metoda také zvyšuje přesnost sítě až o 60 % oproti předchozím řešením s memristory. To prakticky vyrovnává výsledky s těmi dosahovanými na tradičních superpočítačích – tedy bez jakéhokoli kvalitativního kompromisu.
Testy: od šumu v obrazech po zostření detailů
Aby tým ověřil, že nejde jen o teorii, sestrojil skutečnou matrici memristorů o velikosti 180 nanometrů. Na tomto hardwaru byly trénovány sítě pro dva náročné úkoly spojené s obrazem:
- odstraňování šumu z fotografií,
- zvyšování rozlišení, tzv. super-resoluce.
Testy přinesly výsledky srovnatelné s tradičními metodami využívajícími procesory a grafické karty. Rozdíl spočíval v úplně jiném profilu spotřeby energie – hardware na memristorech s EaPU potřeboval výrazně méně elektřiny.
Je to šance na ekologičtější velké jazykové modely?
Největší pozornost dnes poutají velké jazykové modely stojící za chatboty a generátory textu. Jejich trénování pohlcuje obrovská množství energie a vyžaduje stovky, někdy tisíce paralelně pracujících GPU. Není divu, že vědci zvažují, zda by EaPU šlo přenést právě na tuto třídu modelů.
Autoři studie přiznávají, že je zatím omezuje dostupný hardware. Matrice 180 nm je pouhým zlomkem toho, co by bylo potřeba k trénování plnohodnotného velkého jazykového modelu. Zároveň se však domnívají, že samotná koncepce algoritmu a správy chyb není specifická pro jediný typ úlohy.
Vědci předpokládají, že stejný přístup lze uplatnit i u velkých jazykových modelů – za předpokladu, že vzniknou dostatečně rozvinuté hardwarové systémy postavené na memristorech nebo příbuzných technologiích.
Co je zajímavé, EaPU není striktně vázána jen na memristory. Tým upozorňuje, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních netrvalé paměti – například ve feroelektrických tranzistorech nebo magnetorezistivních pamětech.
Nová generace hardwaru pro AI
Pokud takové techniky opustí laboratoře, může to vynutit vznik zcela nové třídy AI akcelerátorů. Místo dalších generací klasických GPU by část úloh převzaly specializované obvody pro výpočetnictví v paměti. Takový hardware by mohl zamířit nejen do datových center, ale i do hraničních zařízení – od chytrých kamer po lékařské přístroje.
Představme si monitorovací systém, který na místě zpracovává obraz, rozpoznává události a přitom potřebuje zlomek energie dnešních řešení. Nebo chytrý telefon spouštějící lokální jazykový model bez dramatického vybíjení baterie. Právě takovéto scénáře mají šanci stát se realitou, pokud spotřeba energie klesne o několik řádů velikosti.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva efekty: nižší náklady na služby a menší zátěž pro životní prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší šanci, že pokročilé funkce AI nebudou vyžadovat drahé předplatné.
Pro firmy zavádějící AI představuje takový skok v efektivitě zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stokrát nebo tisíckrát, na vlastní řešení si mohou dovolit i menší subjekty z oborů jako medicína, průmysl nebo logistika.
Je však třeba mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. Jde o zdlouhavý proces vyžadující investice a čas – podobně jako kdysi přechod od klasických procesorů k specializovaným GPU pro grafiku a AI.
Pro ty, kdo sledují vývoj technologií, nabízí toto téma ještě jeden zajímavý rozměr. Energetická efektivita AI se stává stále důležitějším faktorem při plánování nových datových center a výzkumných projektů. Instituce a firmy, které se začnou zajímat o výpočetnictví v paměti a techniky tolerující chyby již dnes, získají náskok ve chvíli, kdy tato řešení proniknou do hlavního proudu.
