Potrebujemo preizkus izpustov za umetno inteligenco

Avtomobile preizkušamo glede izpustov, preden smejo na cesto. Gospodinjske aparate ocenjujemo po energetski učinkovitosti. Na stavbe lepimo nalepke, ki povedo, koliko energije porabijo na kvadratni meter.

Agenti umetne inteligence ne dobijo ničesar od tega. Nihče ne vpraša, koliko žetonov je sistem požrl, da je odgovoril na vprašanje z da ali ne.

Nevidni odpadki

Vsak žeton, ki ga ustvari veliki jezikovni model (LLM), stane energijo. Pravo elektriko, pravo hlajenje, pravo obrabo strojne opreme. Model, ki ustvari 2.000 žetonov uvoda, pridržkov in polnila, da poda 40 žetonov dejanske informacije, proizvaja odpadke. Fizične, merljive, okoljske odpadke.

Nihče jih ne meri. Smo v dobi »osvinčenega bencina« umetne inteligence. Tehnologija deluje, ljudje jo imajo radi, stranski učinki pa so popolnoma brez cene.

Kako bi to izgledalo

Standardiziran preizkus učinkovitosti, ne točnosti. Pri naboru nalog z znanimi pravilnimi odgovori: koliko žetonov sistem porabi, da pride do njih?

Štiri mere:

1. Razmerje učinkovitosti žetonov (TER)

Sistem, ki ustvari 500 žetonov, od katerih jih le 80 nosi dejansko informacijo, ima TER 0,16. To je ocena F.

2. Strošek dokončanja naloge (TCC)

Koliko žetonov (vhodnih in izhodnih) agent porabi, da dokonča jasno določeno nalogo? Povzemi ta dokument. Popravi to napako. Odgovori na to vprašanje. Dva sistema, ki oba dasta pravilen odgovor, nista enaka, če eden porabi desetkrat več žetonov.

3. Breme ponovnih poskusov in raziskovanja

Agentni sistemi so najhujši kršitelji. Agent, ki preizkusi 5 napačnih pristopov, preden naleti na pravilnega, morda »deluje«, a porabi petkrat več virov kot tisti, ki pravilno razmisli že prvič.

4. Indeks pogovornih odpadkov

Kolikšen del večkratnega pogovora je takšen, da umetna inteligenca ponavlja samo sebe, ponovno povzema vprašanje ali ustvarja besedilo, ki ga uporabnik že pozna? Enako kot motor, ki v prometnem zastoju prosto teče. Žge gorivo in ne gre nikamor.

Številke

Samo ChatGPT ima 900 milijonov tedenskih aktivnih uporabnikov. Dodajte Gemini, Claude, Copilot in preostale, pa je prava številka precej čez milijardo. Če vsaka interakcija v povprečju stane 500 nepotrebnih žetonov, je to 500 milijard zapravljenih žetonov na teden. Ob približno 0,001 kWh na 1.000 žetonov (zmerna ocena za sklepanje) je to 500.000 kWh na teden čistih odpadkov. Dovolj za napajanje približno 50.000 domov.

Agentna umetna inteligenca bo to pomnožila za več velikostnih razredov. Sistemi, ki delujejo samostojno, kličejo orodja, ustvarjajo podagente in se vrtijo v zankah ponavljanja. Agent, ki deset minut teče in v zanki žge žetone, zapravlja več kot vaš denar. Zapravlja skupno ozračje.

Kje se primerjava drži in kje poči

Avtomobili proizvajajo CO2 kot stranski produkt prevoza iz točke A v točko B. Žetoni umetne inteligence proizvajajo CO2 kot stranski produkt odgovora na vaše vprašanje. V obeh primerih:

• isto koristno delo je mogoče opraviti s silno različnimi količinami odpadkov
• potrošniki ne vidijo, kako odpadki nastajajo
• same tržne spodbude tega ne bodo odpravili (večji modeli so »boljši«, tako kot so bili večji motorji »boljši«)
• predpisi in označevanje so spremenili vedenje (standardi CAFE, ocene Energy Star)

Tu postane zanimivo: pri avtomobilih motorja ne moreš prisiliti, da bi bolj premislil, ali mora zares porabiti to gorivo. Pri umetni inteligenci lahko. Sistem lahko presodi, ali je odgovor z 2.000 žetoni upravičen ali bi zadostovalo 50. Odpadki so v programski opremi, ne v fiziki, zato je to dejansko lažje rešljiv problem, kot so bili kdaj izpusti avtomobilov.

Kaj bi se spremenilo

Učinkovitost postane konkurenčna os: Zdaj preizkusi nagrajujejo točnost. Preizkus izpustov bi nagradil enako točnost z manj žetoni. Model, ki doseže 95 % z 200 žetoni, je ocenjen višje kot tisti, ki doseže 96 % z 2.000 žetoni.

Okviri za agente dobijo pritisk k optimizaciji: Današnje arhitekture agentov so osupljivo potratne. Zanke ponovnih poskusov, ponovno branje celotnega konteksta, odvečni klici orodij. Ocena izpustov bi razvijalce potisnila k pametnejšemu načrtovanju, boljšemu predpomnjenju in učinkovitejši rabi orodij.

Uporabniki dobijo podlago za izbiro: Ljudje izbirajo orodja umetne inteligence po občutku in trženju. Nalepka izpustov, kakršna je kWh nalepka na vašem hladilniku, jim omogoča, da upoštevajo tudi učinkovitost. »Ta agent ima oceno A: programske naloge opravi s trikrat manj žetoni od povprečja.«

Cene odražajo resničnost: Cene žetonov so danes tekma proti dnu. Če okoljski strošek vključimo v ceno, postanejo potratni sistemi dragi, učinkoviti pa poceni.

Kdo to zgradi

Nobeno podjetje ne bi smelo imeti tega v lasti, še posebej ne tista, ki prodajajo žetone. Potrebujemo:

• neodvisno telo (kot EPA ali sistem EU za energijsko označevanje), ki določi naloge preizkusa in točkovanje
• standardizirane sklope testov: 100 do 500 raznolikih nalog z znanimi optimalnimi proračuni žetonov za programiranje, pisanje, sklepanje in agentne delovne tokove
• pregledno poročanje: ponudniki objavijo ocene izpustov skupaj z merili zmogljivosti
• stopenjske ocene: od A do F, zvezdice, karkoli je berljivo za netehnične uporabnike

EU se v to smer že premika s trajnostnimi določbami Akta o umetni inteligenci. A »poročajte o porabi energije« je preveč nejasno. Potrebujemo mero učinkovitosti na nalogo, ki omogoča neposredno primerjavo sistemov.

Dva agenta, ena naloga

Ista naloga: »Preberi to datoteko s 200 vrsticami in mi povej, ali vsebuje ranljivost SQL injection.«

Agent A prebere datoteko in odgovori s 120 žetoni:

»Da. Vrstica 47 posreduje user_input neposredno v SQL poizvedbo, zgrajeno z nizom f-string, brez parametrizacije. Namesto tega uporabi parametrizirane poizvedbe.«

Agent B prebere datoteko, jo prebere še enkrat, nato ustvari 1.500 žetonov: povzetek, kaj je SQL injection, zgodovino seznama OWASP Top 10, tri strategije za popravilo s primeri kode, opombe o interakcijah z ORM in zavrnitev odgovornosti glede popolnosti.

Oba sta pravilna. Agent B bi na današnjih preizkusih morda celo dobil višjo oceno, ker je »temeljit«. A porabil je 12-krat več žetonov, 90 % njegovega izhoda pa je bilo nenaročeno polnilo.

Agent A opravi preizkus izpustov. Agent B je požeruh goriva.

Torej

Avtomobilov ne spustimo na cesto brez preizkusa izpustov. Agentov umetne inteligence ne bi smeli spustiti v produkcijo brez preizkusa njihovih.

Ko te sisteme širimo na milijarde uporabnikov in samostojno delovanje, bi verjetno morali ugotoviti, ali gradimo računski ustreznik mišičnega avtomobila iz sedemdesetih: impresivnega, močnega in katastrofalno potratnega.

Žeton je novi galon.

---

Rad bi slišal vse, ki delajo na trajnosti umetne inteligence, zeleni računalniški obdelavi ali optimizaciji modelov. Kako bi zasnovali preizkus?