Naša življenja so kratka. Naše izkušnje so omejene. Pa vendar velik del življenja porabimo za oblikovanje prepričanj o svetu, ki smo ga komaj spoznali.
Vzamemo določen spomin, dogodek ali zgodbo, ki nam jo kdo pripoveduje, in iz tega izpeljemo splošna pravila o tem, kako svet deluje.
Moramo. Nimamo razkošja, da bi vsako trditev temeljito preverili. A zaradi tega smo ranljivi za manipulacijo.
Rad bi raziskal nekaj povezanih zamisli:
Moč anekdot: Kako osamljene izkušnje oblikujejo naša prepričanja in širijo dezinformacije.
Psihologija prepričanj: Zakaj iščemo potrditev namesto resnice.
Meje raziskovanja: Zakaj je treba preverjati tudi znanstvene ugotovitve.
Spektakel umetne inteligence: Kako impresivne predstavitve ustvarjajo iluzijo zmožnosti.
Protistrup: Zakaj je znanstveno raziskovanje bistveno za razumevanje resničnosti.
Drugačna raba umetne inteligence: Gradnja Kflow, ki nam pomaga izzivati lastne predpostavke.
Opažam, kako učinkovito se anekdote uporabljajo za širjenje dezinformacij, zlasti v politiki.
Levica in desnica uporabljata isto tehniko. En sam incident se ojača in predstavi kot zgleden za celotno skupino, ideologijo ali ustanovo.
In deluje izjemno dobro.
Leta 1973 sta psihologa Amos Tversky in Daniel Kahneman opisala hevristiko dostopnosti: nagnjenost, da presojamo, kako pogosto ali verjetno je nekaj, glede na to, kako zlahka nam pridejo na misel primeri.
Bolj ko pogosto naletimo na neko zgodbo, bolj se nam zdi značilna za resničnost.
Zgodbe so lahko vse resnične. Prav to je še posebej zanimivo.
Da bi koga zavedli, ni nujno, da lažete. Včasih je dovolj, da resnico predstavite izbirno.
A obstaja še ena težava. Na te zgodbe ne naletimo le pasivno. Dejavno iščemo tiste, ki potrjujejo, kar že verjamemo.
Psihologi to imenujejo potrditvena pristranskost. Pregled Raymonda Nickersona iz leta 1998 dokumentira, kako zelo ta nagnjenost vpliva na naše razmišljanje.
Boleče je odkriti, da se morda že leta motite glede nečesa, v kar verjamete. Vaš ego je ogrožen, vaša presoja je izpodbijana, včasih pa se vam zdi ogrožen ves vaš pogled na svet.
Zato poiščete nov primer. Nov članek. Še enega strokovnjaka, ki se strinja z vami.
In zdaj lahko vse pogosteje vprašate umetno inteligenco.
Očiten odgovor je, da se nehamo zanašati na anekdote in se začnemo zanašati na znanstvene raziskave.
Strinjam se. A navadili smo se tudi, da raziskave obravnavamo kot avtoriteto in ne kot nekaj, kar je treba preučiti.
Nekdo navede statistiko ali se sklicuje na objavljeno študijo in njegov argument naenkrat deluje verodostojno.
A koliko nas v resnici preveri metodologijo, predpostavke ali omejitve?
Leta 2005 je John Ioannidis objavil Why Most Published Research Findings Are False, v katerem trdi, da so številne znanstvene ugotovitve lahko nezanesljive zaradi statističnih slabosti, metodoloških težav in pristranskosti.
Tudi njegove zaključke so izpodbijali, kar je natanko tako, kot bi moralo delovati znanstveno preverjanje.
Težava ponovljivosti je še en primer. Leta 2015 je Open Science Collaboration poskusil ponoviti 100 psiholoških študij. Medtem ko jih je 97 % izvirnih študij poročalo o statistično značilnih ugotovitvah, jih je takih med ponovitvami bilo le 36 %.
To ne pomeni, da je znanost nezanesljiva.
Moč znanosti ni v tem, da znanstveniki ne morejo delati napak. Je v tem, da je njihove trditve mogoče preučiti, izpodbijati in popraviti.
A kadar raziskave navajamo samo zato, da utrdimo svoja prepričanja, smo avtoriteto anekdot zamenjali z avtoriteto citatov, ne da bi nujno izboljšali svoje razmišljanje.
Podoben vzorec sem opazil pri trženju velikih jezikovnih modelov.
Kažejo nam izjemne predstavitve. Umetna inteligenca v nekaj minutah zgradi aplikacijo, reši težek problem ali opravi nalogo, ki bi običajno profesionalcu vzela ure.
Impresivno. A kaj to dejansko dokazuje?
Koliko poskusov je bilo potrebnih? Koliko človeškega posredovanja je bilo vključenega? Kako zanesljivo lahko sistem ponovi rezultat? Kako se primerja s preprostejšimi in cenejšimi alternativami?
Uspešna predstavitev odgovori na zelo malo teh vprašanj.
Je anekdota. Zagotovo impresivna, a vendarle anekdota.
In ker veliki jezikovni modeli (LLM) komunicirajo z izjemno tekočnostjo, je iluzija še prepričljivejša.
Samozavestno lahko razložijo stvari, ki so jih narobe razumeli, iz dvomljivih predpostavk zgradijo prepričljive argumente, včasih pa se z uporabniki strinjajo tudi takrat, ko so njihova prepričanja napačna.
Ta zadnja nagnjenost je znana kot prikupništvo (sycophancy).
Razvili smo tehnologijo, ki nam lahko pomaga raziskovati ogromne količine informacij, vendar tvegamo, da jo spremenimo v prefinjen stroj za potrjevanje obstoječih prepričanj.
Postavimo vprašanje, prejmemo domiseln odgovor in se počutimo poučene.
A ali smo se res česa naučili?
Ali pa smo preprosto našli boljši način, da potrdimo, kar smo že hoteli verjeti?
Med besedama anekdota in protistrup (angleško anecdote in antidote) je zanimiv kontrast.
Obe imata starogrške korenine, čeprav izhajata iz različnih besed.
Anekdota izvira iz anékdota, kar pomeni stvari, ki niso objavljene ali dane v javnost. Protistrup (antidote) izvira iz antídoton, kar pomeni nekaj, kar je dano proti nečemu drugemu, zlasti zdravilo proti strupu.
Menim, da je to uporabna metafora.
Če anekdote postanejo nevarne, ko jih zamenjamo za splošne resnice, kaj je potem protistrup?
Zame je to znanstvena metoda.
Ne znanost kot ustanova ali zbirka uveljavljenih dejstev, temveč znanost kot discipliniran proces spraševanja o tem, kar verjamemo.
Oblikujemo hipoteze, zbiramo dokaze, preizkušamo predpostavke in preučujemo tekmovalne razlage.
Karl Popper je poudaril pomen falsifikabilnosti: znanstvena hipoteza mora biti odprta za to, da jo dokazi ovržejo.
Namesto da bi se spraševali »Kateri dokazi podpirajo moje prepričanje?«, bi se morali spraševati tudi »Kateri dokazi bi me prepričali, da se motim?«
To drugo vprašanje je veliko težje.
Zahteva intelektualno ponižnost in pripravljenost, da svojo identiteto ločimo od svojih prepričanj.
Naša prepričanja morajo biti odgovorna dokazom. Dokazov ne bi smeli izbirati tako, da služijo našim prepričanjem.
Mislim, da smo preveč udobno navajeni na to, da imamo odgovore.
Za skoraj vse obstaja odgovor, takoj dosegljiv in podan z izjemno samozavestjo.
A odgovori niso isto kot razumevanje.
Razumevanje zahteva soočenje z negotovostjo, preučevanje protislovij in včasih opustitev zamisli, na katere smo se navezali.
To je neprijetno delo. Morda smo ga zato tako željni prepustiti drugim.
A v tem boju je nekaj dragocenega. Tako razvijamo presojo in se učimo razlikovati, kaj vemo, od tistega, kar zgolj verjamemo.
Ne želim, da nam umetna inteligenca to vzame. Želim jo uporabiti, da bo ta proces dostopnejši.
Potrebujemo raziskave, a moramo jih tudi spraševati. Potrebujemo strokovno znanje, a ga ne smemo zamenjevati z nezmotljivostjo. In potrebujemo umetno inteligenco, a ne kot še eno orodje za krepitev naših pristranskosti.
Kajti dezinformacije ne preživijo le zato, ker ljudje lažejo.
Preživijo tudi zato, ker hočemo verjeti.
Ne potrebujemo bolj prepričljivih odgovorov. Potrebujemo boljše načine, kako jih spraševati.
To gradim s Kflow.
Še vedno obstaja praktična težava.
Naša življenja so kratka. Raziskave so razpršene po publikacijah, znanstveni članki zahtevajo predznanje in vsaka zapletena zamisel temelji na pojmih, ki jih morda ne razumemo.
Ne moremo osebno preveriti vsega, a tudi ne bi smeli slepo zaupati vsaki avtoriteti.
Tu menim, da bi lahko umetna inteligenca postala resnično prelomna.
Ne tako, da bi mislila namesto nas, temveč tako, da bi nam pomagala misliti strožje.
Takole si predstavljam, kako bi delovalo:
Začnite s temo. Sistem jo razdeli na med seboj povezane pojme, razvrščene od začetne do napredne ravni in podprte z raziskavami.
Raziščite graf znanja. Pojmi so povezani prek odnosov in odvisnosti, tako da razumete, kako ideje gradijo ena na drugi.
Vnesite svoja prepričanja in vprašanja. Vaše predpostavke postanejo trditve, ki jih je mogoče raziskati, namesto da bi jih sprejeli kot dejstva.
Preučite dokaze. Trditve se ovrednotijo glede na podporne in nasprotujoče si raziskave, negotovost pa je izrecno prikazana.
Izzovite svoje zaključke. Sistem ustvari protiargumente, prepozna možne pristranskosti in vam omogoči, da trditve izsledite do njihovih temeljnih predpostavk in podlag.
Obstaja očiten ugovor: LLM so pristranski, pa tudi znanstvene raziskave niso imune na pristranskost.
Prav zato nobenega od obeh ne bi smeli obravnavati kot končne avtoritete.
Viri, predpostavke in sklepanje morajo ostati dostopni preverjanju. Zaključki morajo ostati odprti za revizijo.
Ne pričakujem, da bo ta proces odpravil pristranskost ali prinesel popolno gotovost. To bi bila še ena iluzija.
Želim zgraditi orodje, ki bo naše napake lažje prepoznavalo, naša prepričanja lažje izzivalo in naše razumevanje lažje poglabljalo.
Tversky & Kahneman (1973) — Availability: A Heuristic for Judging Frequency and Probability
Nickerson (1998) — Confirmation Bias: A Ubiquitous Phenomenon in Many Guises
Ioannidis (2005) — Why Most Published Research Findings Are False
Open Science Collaboration (2015) — Estimating the Reproducibility of Psychological Science
Karl Popper (1959) — The Logic of Scientific Discovery
Sharma et al. (2023) — Towards Understanding Sycophancy in Language Models