Kdo je lastnik znanja v vaših orodjih?

Obstaja vprašanje, ki ga venomer postavljam ljudem, in odgovor jih vedno vznemiri.

Kdo je lastnik pravil v programski opremi, od katere je odvisna vaša organizacija?

Ne vprašujem, kdo programsko opremo plačuje. Ne, kdo jo upravlja. Vprašujem, kdo je lastnik logike, odločanja, kodiranega znanja, ki določa, kako se sistem obnaša.

Odgovor je skoraj vedno: nihče v vaši organizaciji. Lastnik je ponudnik. Lastnica je platforma. Razvijalec, ki je odšel pred tremi leti, jo je napisal, zdaj pa živi v kodi, ki je nihče ne razume povsem. Znanje, ki poganja vaše poslovanje, je v črni skrinjici, ki jo najemate.

Svojo kariero sem posvetil gradnji teh črnih skrinjic. Več kot dve desetletji podjetniške programske opreme, nacionalnih platform, sistemov, ki jih vsak dan uporabljajo milijoni ljudi. Pa me ponoči ne skrbi, ali koda deluje. Skrbi me, kaj se zgodi z znanjem, ko je enkrat v njej.

Naj vam povem zgodbo.

Delal sem na veliki vladni platformi v Savdski Arabiji. Sistem je upravljal ključne nacionalne postopke. Pravila so bila zapletena, robnih primerov ni bilo konca, strokovno znanje, potrebno za gradnjo, pa so prispevali ljudje, ki so vso kariero preživeli v razumevanju, kako postopek deluje v resnici. Regulatorji, inšpektorji, upravni uslužbenci, ljudje, katerih znanje je bilo temelj celotnega sistema.

To znanje smo zakodirali v programsko opremo. In dobro smo to naredili. Sistem je deloval. A tu je bistvo: ko je bilo znanje enkrat v kodi, je pripadalo kodi. Strokovnjaki s tega področja, ki so prispevali svoje razumevanje, izvedbe niso mogli prebrati. Niso mogli preveriti, ali so pravila še pravilna. Ko so se predpisi spremenili, logike niso mogli spremeniti, ne da bi šli prek razvojne ekipe. Njihovo znanje je bilo prevedeno v jezik, ki ga ne govorijo.

To se dogaja v vsaki panogi. Logika triaže bolnikov v bolnišnici živi v sistemu elektronskih zdravstvenih zapisov, ki ga medicinske sestre ne morejo pregledati. Pravila vpisa v šoli živijo v platformi, ki je upravitelji ne morejo spreminjati. Prednostne naloge razdeljevanja v banki hrane živijo v bazi podatkov, do katere prostovoljci, ki razumejo skupnost, nimajo dostopa. Ljudje z najglobljim znanjem o tem, kako bi stvari morale delovati, imajo najmanj nadzora nad tem, kako dejansko delujejo.

Zdaj vse to pomnožite z umetno inteligenco.

Veliki jezikovni modeli (LLM) so učeni na ogromnih količinah človeškega znanja. Zmorejo ustvarjati politike, pisati postopke, snovati poteke dela, dajati priporočila. Impresivni so. Obenem so tudi globoko centralizirajoči. Ko model umetne inteligence kodira znanje, kodira povprečja. Kodira splošni primer. Ne kodira posebne resničnosti vaše skupnosti, vaše organizacije, vašega konteksta. In ne more, ker je bil učen na podatkih vseh in na razumevanju nikogar.

Rezultat je svet, v katerem se lokalna strokovnost splošči. Kjer človeka, ki je dvajset let razumel, kako deluje oskrba z vodo v njegovi regiji, nadomesti sistem, naučen, kako oskrba z vodo deluje povsod. Kjer se nianse, izjeme in človeška presoja, zaradi katerih sistemi dejansko služijo ljudem, zgladijo v statistično sredino.

To se mi zdi zares strašljivo. Ne zato, ker bi bila umetna inteligenca slaba, ampak ker gradimo najmočnejše sisteme znanja v človeški zgodovini, ne da bi vprašali, komu služijo.

Vprašanje, kdo je lastnik znanja, ni akademsko. Določa, kdo ima moč. Ko podjetje poseduje pravila, ki urejajo vaše poslovanje, ima nad vami vzvod. Ko platforma poseduje logiko, ki služi vaši skupnosti, jo lahko spremeni brez vaše privolitve. Ko model umetne inteligence vaše strokovno znanje vsrka v svoje uteži, to znanje postane njihovo za unovčenje in vaše za najem.

Kaj torej storiti?

Mislim, da ima odgovor več delov in nobeden ni preprost.

Prvič, znanje mora biti izraženo v oblikah, ki jih lahko berejo ljudje, ne le stroji. Koda je natančna, a neprozorna za tiste, ki niso razvijalci. Naravni jezik je berljiv, a za stroje preveč dvoumen. Vrzel med obema je tam, kjer je pravo delo. Formalni specifikacijski jeziki, strukturirani sistemi pravil, deklarativna logika, vse to so stare zamisli, ki si zaslužijo novo pozornost. Če bi bila pravila, ki urejajo vašo organizacijo, izražena v obliki, ki jo lahko prebere strokovnjak za politike in izvede stroj, bi znanje ostalo vidno, tudi ko bi se programska oprema spreminjala.

Drugič, potrebujemo prenosljivost. Zdaj menjava programske platforme pomeni izgubo institucionalnega znanja, vpetega v stari sistem. Logika, prilagoditve, robni primeri, ki ste jih leta kodirali, vse je ujeto v lastniški obliki. Znanje bi moralo biti izvozljivo. Če zapustite platformo, bi moralo z vami oditi tudi vaše razumevanje, kako deluje vaše poslovanje.

Tretjič, premisliti moramo vlogo umetne inteligence pri delu z znanjem. Sedanji model je ekstrakcija: umetna inteligenca vsrka človeško strokovnost v svoje učne podatke in jo ponuja nazaj kot storitev. Boljši model bi bilo ojačanje: umetna inteligenca pomaga ljudem izraziti, kar že vedo, v strukturiranih, prenosljivih, preverljivih oblikah. Razlika je v tem, kdo obdrži lastništvo. V modelu ekstrakcije ga obdrži platforma. V modelu ojačanja ga obdrži skupnost.

Četrtič, pomembno je upravljanje. Odprta koda pomaga, a ne zadošča, če je logika še vedno nerazumljiva netehničnim deležnikom. Zadružni modeli lastništva, skupnostni skladi podatkov, javna digitalna infrastruktura, to so upravljavske strukture, ki lahko znanje držijo odgovorno do ljudi, na katere vpliva.

Nič od tega ni lahko. Ekonomija močno vleče v nasprotno smer. Centralizirane platforme so donosnejše od orodij v lasti skupnosti. Črne skrinjice je ceneje zgraditi kot prozorne sisteme. Zaklep pri ponudniku je lastnost, ne napaka, če ste ponudnik.

A cena sedanje poti je resnična. Skupnosti, ki ne razumejo sistemov, od katerih so odvisne. Organizacije, ki ne morejo prilagoditi svojih orodij, ko se resničnost spremeni. Strokovnjaki, katerih znanje so vsrkale platforme, ki jih ne potrebujejo več. Svet, v katerem se vrzel med tistimi, ki nadzorujejo kodo, in tistimi, ki živijo pod njo, nenehno širi.

Obstaja alternativa. Sistemi, v katerih znanje ostane berljivo. Kjer skupnosti same posedujejo dejstva, pravila in dogodke, ki določajo, kako delujejo. Kjer umetna inteligenca pomaga prevajati človeško razumevanje v skupno sistemsko logiko, namesto da človeško razumevanje nadomesti s statističnimi povprečji.

Kjer ljudje ostanejo del sistemov, ki oblikujejo njihova življenja.

To ni zgolj tehnološki problem. To je problem človekovih pravic.

Osamah Alghanmi je soustanovitelj podjetja Almadar, studia za programsko opremo s sedežem v Ljubljani v Sloveniji. Več kot dve desetletji je gradil podjetniške sisteme, med njimi platforme nacionalnega obsega v Savdski Arabiji. Piše o znanju, moči in vprašanju, kdo nadzoruje, kaj stroji vedo.