Lahko raziskovalci ustavijo izmišljene navedbe umetne inteligence?

Portland, OR, USA - Sep 1, 2024: ChatGPT, Gemini, Microsoft Copilot, Claude, and Perplexity app icons are seen on a Google Pixel smartphone. AI competition concepts.
Foto: hapabapa iz iStock

Ena največjih težav umetne inteligence ostajajo t. i. halucinacije – primeri, ko si model samozavestno izmišlja vire, podatke ali citate, ki v resnici ne obstajajo.

Ob nedavni predstavitvi modela GPT-5 je podjetje OpenAI iz San Francisca poudarilo, da je stopnjo halucinacij znatno zmanjšalo, a strokovnjaki opozarjajo: popolna odprava tega pojava je skoraj nemogoča.

Manj napak, a ne popolna zanesljivost

Nova generacija modelov GPT se po dosedanjih testih obnese bolje od predhodnikov. Na posebnih preizkusih, ki ocenjujejo natančnost pri ustvarjanju citatov, je GPT-5 dosegel bistveno boljše rezultate kot GPT-4, vendar pa napake vendarle ostajajo. Pri daljših nalogah, denimo povzetkih znanstvenih člankov, model še vedno pogosto zameša vire ali pa si jih povsem izmisli.

»Stopnja halucinacij je padla na raven, ki je za večino uporabnikov sprejemljiva,« pravi Tianyang Xu, raziskovalka umetne inteligence na Univerzi Purdue. Vendar dodaja, da so na posebej zahtevnih področjih, kot sta pravo ali matematika, težave še vedno pogoste.

Ali se ChatGPT Plus splača?

Zakaj AI halucinira?

Halucinacije niso zgolj napaka v sistemu, temveč posledica načina delovanja velikih jezikovnih modelov (LLM). Ti so v osnovi statistični stroji, ki napovedujejo naslednjo besedo glede na vzorce v podatkih. To pomeni, da lahko ustvarijo zelo verjetno zveneč, a povsem napačen odgovor. Med učenjem so modeli pogosto nagrajeni za »ugibanje«, namesto da bi znali jasno priznati, da odgovora nimajo.

»Problem je v tem, da modeli preveč redko rečejo ‘ne vem’,« poudarja Mark Steyvers, raziskovalec na Univerzi v Kaliforniji v Irvineu.

Napredek z več podatki in dostopom do spleta

Veliko izboljšav je prišlo z večanjem obsega modelov in dostopa do spletnih virov. GPT-5 na primer na testu ScholarQA-CS, ki preverja znanje iz računalništva, z dostopom do spleta doseže celo višje rezultate kot nekateri človeški strokovnjaki. Brez spletnega dostopa pa se njegova zanesljivost močno zmanjša – napačnih citatov je skoraj 40 %.

Tudi na drugih preizkusih, denimo na LongFact, je GPT-5 zabeležil občutno manj napak kot konkurenca, kadar je imel dostop do spleta. Če tega ni imel, so se napake hitro povečale. To kaže, kako ključnega pomena je sprotno preverjanje virov.

Iskanje večje iskrenosti

OpenAI je v zadnji fazi učenja model GPT-5 posebej treniral k bolj iskrenim odgovorom. Rezultat: pri nalogah, ki jih sploh ni bilo mogoče rešiti, je GPT-5 le v 17 % primerov lagal, da jih je opravil, medtem ko je model o3 to storil skoraj v polovici primerov. To kaže, da usmerjeno učenje lahko zmanjša pretirano samozavest modelov.

Uporabniki kot zadnji filter

Kljub napredku raziskovalci priznavajo, da bo popolna odprava halucinacij skoraj nemogoča. »Če bi bilo mogoče, bi to laboratoriji že rešili,« pravi Mushtaq Bilal, raziskovalec v podjetju Silvi. Zato je toliko bolj pomembno, da se uporabniki naučijo prepoznati omejitve umetne inteligence in kritično presojati njene odgovore.

Po mnenju strokovnjakov je ključno razviti »nove intuicije za dobo umetne inteligence«. To pomeni, da bo treba modele uporabljati kot pomočnike, ne pa kot nezmotljive avtoritete.

Med koristjo in tveganjem

AI orodja prinašajo izjemne prihranke časa, zlasti pri raziskovalnem delu, analizah in iskanju literature. A zaupanje vanje je lahko tvegano, saj samozavestno zapisane, a napačne informacije hitro zavedejo uporabnika. Zato raziskovalci in razvijalci iščejo ravnovesje med zmanjševanjem napak ter ohranjanjem uporabnosti.

Halucinacije so torej lastnost, ne zgolj napaka umetne inteligence. Zdi se, da se jim nikoli ne bomo mogli povsem izogniti – a z napredkom tehnologije in odgovorno uporabo jih bo možno obvladovati na način, ki bo omogočal koristno sobivanje človeka in stroja.

Jan Nebec

Novinar

This site uses Akismet to reduce spam. Learn how your comment data is processed.