Energetická náročnost umělé inteligence roste závratným tempem
Rostoucí spotřeba elektrické energie systémů umělé inteligence začíná představovat vážný problém jak pro rozpočty firem, tak pro životní prostředí. Nová technologie vyvinutá čínskými vědci však může tento trend zcela zvrátit.
Výzkumníci prokázali, že neuronové sítě lze trénovat s dramaticky nižší energetickou náročností. Klíčem je kombinace netradičního hardwaru s důmyslným algoritmem, který místo boje s chybami dokáže s nedokonalostmi efektivně pracovat.
Datová centra pohánějící AI spotřebovávají obrovské množství energie
Běžný uživatel generátorů obrázků nebo konverzačních asistentů vidí pouze přívětivé rozhraní. V pozadí však pracují rozsáhlé serverové farmy plné procesorů a grafických karet. Tyto systémy spotřebovávají enormní množství elektřiny, především při trénování komplexních modelů včetně velkých jazykových modelů.
S rostoucí složitostí neuronových sítí narůstá také objem výpočtů a přenosů dat mezi pamětí a procesory. Právě tyto operace způsobují masivní energetické ztráty. Odborníci stále častěji upozorňují, že rozvoj AI by se mohl stát jedním z největších spotřebitelů elektrické energie na světě, srovnatelným s velkými průmyslovými odvětvími.
Řešení energetické náročnosti AI již nespočívá pouze v optimalizaci programového kódu. Vyžaduje fundamentální změnu přístupu k hardwaru i metodám trénování modelů.
Memristory: paměť schopná provádět výpočty přímo na místě
Jedním ze slibných směrů výzkumu ekologičtější umělé inteligence jsou takzvané výpočty v paměti. Namísto neustálého přesouvání dat mezi pamětí a procesorem se část operací provádí přímo tam, kde jsou data uložena. Klíčovou roli v tomto přístupu hrají memristory.
Memristor představuje speciální elektronickou součástku fungující jako rezistor s pamětí. Jeho odpor závisí na historii protékajícího proudu a dokáže reprezentovat váhy v neuronové síti. Díky tomu jedna struktura plní současně funkci paměti i výpočetní jednotky.
- Uchovává informace v podobě vah neuronové sítě
- Umožňuje lokální výpočty bez nutnosti odesílat data do procesoru
- Výrazně omezuje datové přenosy, a tím i spotřebu energie
Zní to skvěle, avšak reálné memristory mají své nedostatky. Generují šum, chovají se nestabilně a každá operace zápisu je energeticky náročná a zkracuje jejich životnost. Proto prosté přenesení klasických metod trénování sítí na tento hardware nepřináší uspokojivé výsledky.
Revoluční přístup: méně korekcí a větší tolerance k chybám
Tým z laboratoře v čínském Zhejiang navrhl odlišnou filozofii trénování AI na memristorech. Místo snahy eliminovat veškeré nedokonalosti vyvinuli badatelé metodu, která s nimi vědomě počítá. Pojmenovali ji error-aware probabilistic update, zkráceně EaPU – tedy pravděpodobnostní aktualizace zohledňující chyby.
Jádrem tohoto přístupu je jednoduchý koncept: síť se nepokouší korigovat každou minimální změnu váhy. Pokud chyba nepřekročí toleranční hranici hardwaru, parametr zůstává beze změny. Teprve významnější odchylky spouštějí proces aktualizace.
Místo upravování téměř všech vah v každé iteraci učení síť aktualizuje méně než 0,1 % parametrů. Méně zápisů znamená nižší spotřebu energie a delší životnost hardwaru.
Tento přístup přináší několik pozitivních efektů:
- Dramaticky klesá počet zápisových operací v memristorech
- Snižuje se vliv šumu, protože algoritmus nehoní každou náhodnou fluktuaci
- Proces trénování se stává stabilnějším i přes nedokonalý hardware
Jaké energetické úspory se podařilo dosáhnout?
Podle publikovaných výsledků vyžaduje samotné trénování neuronových sítí v architektuře založené na memristorech s využitím EaPU až padesátkrát méně energie ve srovnání s předchozími metodami určenými pro tyto obvody.
To však není vše. Při porovnání s klasickým trénováním sítí na grafických kartách se rozdíl stává doslova extrémním. Výzkumníci odhadují, že celková spotřeba energie může klesnout až o šest řádů – tedy přibližně milionkrát.
Srovnání energetické náročnosti různých řešení
Klasické GPU: Plná spotřeba energie, vysoká přesnost modelů, standardní životnost hardwaru.
Memristory bez EaPU: Nižší spotřeba než GPU, ale stále vysoká, výrazně horší přesnost, omezená životnost kvůli častým zápisům.
Memristory s EaPU: Přibližně milionkrát nižší spotřeba než GPU, přesnost srovnatelná s klasickými superpočítači, až tisíckrát delší životnost.
Metoda navíc zvyšuje přesnost fungování sítě až o 60 % oproti předchozím řešením s memristory. Výsledky se prakticky vyrovnávají těm dosahovaným na tradičních superpočítačích, tedy bez jakéhokoli kompromisu v kvalitě.
Praktické testy: od odstranění šumu po vylepšení rozlišení
Pro ověření, že nejde pouze o teorii, tým sestrojil skutečnou matici memristorů o velikosti 180 nanometrů. Na tomto hardwaru byly trénovány sítě zodpovědné za dva náročné úkoly zpracování obrazu:
- Odstranění šumu z fotografií
- Zvýšení rozlišení, takzvaná super-rozlišovací technika
V testech bylo dosaženo výsledků srovnatelných s tradičními metodami využívajícími procesory a grafické karty. Zásadní rozdíl spočíval v profilu spotřeby energie – hardware na bázi memristorů s EaPU potřeboval výrazně méně elektřiny.
Otevírá se cesta k ekologičtějším velkým jazykovým modelům?
Největší pozornost dnes přitahují velké jazykové modely stojící za konverzačními asistenty a generátory textu. Jejich trénování pohlcuje obrovské množství energie a vyžaduje stovky, někdy tisíce grafických karet pracujících paralelně. Badatelé proto zkoumají, zda lze EaPU aplikovat právě na tuto kategorii modelů.
Autoři studie připouštějí, že je zatím limituje dostupný hardware. Matice 180 nm představuje pouze zlomek toho, co by bylo potřeba pro trénování plnohodnotného velkého jazykového modelu. Současně však věří, že samotný koncept algoritmu a řízení chyb není specifický pro jeden typ úlohy.
Výzkumníci předpokládají, že stejný přístup lze aplikovat na velké jazykové modely, jakmile vzniknou dostatečně rozsáhlé hardwarové obvody založené na memristorech nebo příbuzných technologiích.
Zajímavé je, že EaPU není striktně vázána pouze na memristory. Tým naznačuje, že podobný způsob pravděpodobnostní aktualizace parametrů může fungovat i v jiných řešeních energeticky nezávislé paměti, jako jsou feroelektrické tranzistory nebo magnetorezistivní paměti.
Nová generace hardwaru pro umělou inteligenci
Pokud tyto techniky opustí laboratoře, může to vynutit vznik zcela nové kategorie akcelerátorů AI. Místo dalších generací klasických grafických karet by část úkolů převzaly specializované obvody pro výpočty v paměti. Takový hardware by mohl směřovat nejen do datových center, ale také do edge zařízení – od chytrých kamer po zdravotnickou techniku.
Představme si monitorovací systém, který přímo na místě zpracovává obraz, rozpoznává události a potřebuje jen zlomek energie současných řešení. Nebo smartphone spouštějící lokální jazykový model bez dramatického vybíjení baterie. Právě tyto scénáře mají šanci stát se realitou, pokud spotřeba energie klesne o řády.
Co to znamená pro uživatele a firmy
Z pohledu běžného uživatele jsou nejdůležitější dva dopady: nižší ceny služeb a menší zátěž životního prostředí. Méně elektřiny v datových centrech znamená nižší provozní náklady operátorů, a tedy větší pravděpodobnost, že pokročilé funkce AI nebudou vyžadovat drahá předplatná.
Pro firmy zavádějící AI představuje takový skok v efektivitě zcela nové obchodní kalkulace. Trénování vlastního modelu přestává být luxusem vyhrazeným technologickým gigantům. Když náklady na energii klesnou stokrát či tisíckrát, vlastní řešení si mohou dovolit i menší subjekty včetně firem z oblastí medicíny, průmyslu nebo logistiky.
Je však nutné mít na paměti jednu věc: skutečná změna vyžaduje nejen nové algoritmy, ale také masovou výrobu specializovaných paměťových obvodů. Jde o dlouhý proces vyžadující investice a čas, podobně jako kdysi přechod od klasických procesorů k specializovaným GPU pro grafiku a AI.
Pro zájemce sledující technologický vývoj může být zajímavá ještě jedna perspektiva. Téma energetické efektivity AI nabývá na důležitosti při plánování nových datových center a výzkumných projektů. Univerzity a firmy, které se již dnes začnou zajímat o výpočty v paměti a techniky tolerující chyby, získají náskok, až tato řešení vstoupí do hlavního proudu.
