Najprej je dobil eno najpomembnejših francoskih literarnih nagrad. Nekaj ur pozneje je anonimen račun na omrežju X objavil rezultate AI-detektorja, štiri dni zatem pa je njegov roman izpadel iz izbora za Goncourta. Primer Thélysona Oréliena je literarni škandal, predvsem pa precej neprijeten primer tega, kaj se zgodi, ko računalniška ocena začne delovati kot dokaz.
Thélyson Orélien je 38-letni kanadsko-haitijski pisatelj. Njegov prvenec C’était ça ou mourir spremlja Jonasa Dorléona, profesorja zgodovine in geografije, ki mora zapustiti Port-au-Prince in prečkati obe Ameriki do Kanade. Roman je postal eno opaznejših del letošnje francoske literarne jeseni, uvrstil pa se je tudi v prvi izbor za Goncourta ter v predizbore za nagradi Femina in Médicis.
21. septembra je Orélien prejel Prix du Roman Fnac. Še isti dan pa se je zgodba obrnila: na omrežju X je račun z imenom Balance ton Claude objavil rezultate analize romana z detektorjem umetne inteligence Pangram. Trdil je, da je dvajset preverjenih odlomkov orodje označilo kot strojno generirane.
Račun je imel okoli devetdeset sledilcev, objavo pa je videlo več milijonov ljudi. Nekaj dni pozneje se je izkazalo, da za računom stoji francoski esejist Samuel Fitoussi, ki ga je ustanovil junija z namenom preverjanja romanov. Podjetje Pangram je medtem pojasnilo, da z računom in afero nima nobene zveze.
25. septembra je Akademija Goncourt roman umaknila iz izbora. Kot razlog je navedla željo po ohranitvi integritete nagrade in akademije. Toda prav tu se zgodba zaplete, saj sta se skoraj hkrati pojavila dva različna očitka, ki sta se v javnosti hitro zlila v eno samo afero.
Dva očitka, dve popolnoma različni vrsti dokazov
Prvi očitek je plagiatorstvo. Kanadska medija La Presse in Radio-Canada sta v njegovih starejših kolumnah in drugih prispevkih našla dele besedil, ki naj bi bili brez ustreznega pripisa prevzeti iz že obstoječih del. Takšen očitek je mogoče preverjati precej klasično: dve besedili postaviš drugo ob drugo in pogledaš, koliko ter na kakšen način se prekrivata.
Drugi očitek je uporaba umetne inteligence pri pisanju romana. Tu je situacija bistveno drugačna. Orélien uporabo AI zanika in navaja, da je roman začel pisati jeseni 2017, prvo različico dokončal leta 2019 ter jo nato večkrat predelal.
Na drugi strani obstajajo rezultati detektorjev. In ravno tu je pomembna razlika: pri plagiatorstvu lahko pokažeš izvorno besedilo in kopijo, medtem ko pri umetni inteligenci detektor ne pokaže, kdo je nekaj napisal. Pokaže samo, da besedilo po določenih značilnostih spominja na tekst, ki bi ga lahko ustvaril jezikovni model.
Detektor ne vidi, kdo je pisal
AI-detektor ne vidi prvega osnutka, izbrisanega odstavka, komentarjev urednika ali stavka, ki ga je avtor prepisal petkrat. Ne vidi niti, koliko časa je bil dokument odprt ali koliko različnih verzij je obstajalo pred končno. Vidi samo končno besedilo in na podlagi njegovih statističnih značilnosti oceni, kako podobno je besedilom, ki jih ustvarjajo jezikovni modeli.
Takšna ocena je lahko uporaben signal, ni pa isto kot dokaz izvora. Tudi precej dober detektor se lahko pri konkretnem primeru zmoti, raziskave pa so že pokazale, da lahko nekatera orodja napačno označijo človeško napisano besedilo. Pri nekaterih sistemih so se pojavila tudi opozorila glede slabše zanesljivosti pri avtorjih, ki ne pišejo v svojem prvem jeziku.
Zato visok odstotek ne pomeni nujno: to je napisal stroj. Pomeni predvsem, da je besedilo po določenih značilnostih podobno besedilom, ki jih pogosto proizvaja stroj. Razlika se na prvi pogled zdi majhna, vendar je v resnici podobna razliki med tem, da nekdo »ustreza opisu«, in tem, da je nekdo dejansko »storilec«.
Ko verjetnost začne delovati kot dokaz
Težava ni omejena na literarne nagrade. Podoben tip detektorjev se uporablja tudi v akademskem okolju pri preverjanju seminarskih, diplomskih in drugih pisnih nalog. Mehanizem je isti: sistem poda verjetnostno oceno, problem pa nastane v trenutku, ko se ta začne obravnavati kot sodba.
Če program neko nalogo označi kot »verjetno napisano z AI«, se lahko breme zelo hitro obrne. Namesto da bi moral nekdo dokazati uporabo umetne inteligence, mora avtor dokazovati, da je besedilo napisal sam. Tako nenadoma postajajo pomembne stvari, ki so bile še pred nekaj leti samo neopazen del delovnega procesa: zgodovina različic dokumenta, osnutki, zapiski, viri, komentarji mentorja in stare verzije odstavkov.
Ne zato, ker bi moral vsak tekst spremljati mali forenzični arhiv. Razlog je preprostejši: spremenilo se je vprašanje. Včasih je bilo dovolj pokazati končni izdelek, danes pa se lahko zgodi, da moraš pokazati tudi pot do njega.
Odločitev ni bila soglasna
Tudi znotraj Akademije Goncourt odločitev ni bila sprejeta brez pomislekov. Član akademije Pascal Bruckner je javno povedal, da pri »linču« ne bo sodeloval in da se mu zdi odziv prehiter. Ob tem je poudaril, da je njegov glas samo eden od desetih, roman pa je kljub vsemu označil za najboljšega v tej literarni sezoni.
Orélien je medtem opozoril tudi na rasistične napade, ki naj bi jih bil deležen po prihodu v Francijo, in dejal, da meni, da mu nekateri želijo škoditi. Del komentatorjev je opozoril na dejstvo, da je tarča afere črnski avtor haitijskega rodu, ki piše o migraciji in izgnanstvu.
Tudi tukaj je pomembno ločevanje. Rasistični napadi ne odgovorijo na vprašanja o avtorstvu, vprašanja o avtorstvu pa ne opravičujejo rasističnih napadov. Obe stvari lahko obstajata hkrati in nobena sama po sebi ne razreši druge.
Kaj pravzaprav ostane
Roman je še vedno v prodaji in bralci ga še vedno berejo. Drugi izbor za Goncourta bo znan 6. oktobra, nagrada pa bo podeljena 4. novembra. Toda največje vprašanje, ki ga je odprla afera, ni samo, ali je Thélyson Orélien uporabljal umetno inteligenco.
Bolj neprijetno vprašanje je, kako bi to sploh zanesljivo dokazali. Pri plagiatorstvu obstaja izvirnik, pri drugih vrstah digitalnega gradiva imamo lahko metapodatke, pri rokopisu pa imamo danes pogosto samo končni dokument in orodje, ki mu pripiše odstotek verjetnosti. In tu se je nekaj precej tiho spremenilo. Dolgo je veljalo, da mora obtožba nekaj dokazati, pri besedilih, za katera sumimo, da jih je napisala umetna inteligenca, pa se lahko breme obrne. Avtor mora dokazovati, da je pisal sam.
Umetna inteligenca nam torej ni prinesla samo možnosti, da lahko stroj napiše besedilo. Prinesla je tudi možnost, da človek napiše besedilo in nato dokazuje, da ga ni napisal stroj. To je verjetno precej večja sprememba, kot se zdi na prvi pogled.