Hva er greia med hallusinasjoner i store språkmodeller?

Hva er hallusinasjon?

Hallusinasjoner er ikke en feil ved språkmodellene. Det er et resultat av hvordan de fungerer. Hvis ikke de hadde hallusinert, ville de ikke kunnet gi oss de kreative samtalene, og de ville ikke kunne brukes til så mye forskjellig.

Vi sier at en språkmodell hallusinerer når den “finner på” ting. Altså når den skriver ting som ikke er sant. For eksempel kan du spørre ChatGPT hvem du er, og den vil kunne skrive en tekst som ser troverdig ut og virker overbevisende, men som kan inneholde mye faktafeil.

Disse hallusinasjonene kan være store eller små. Det kan være helt åpenbart. Eller den kan ha en detalj, en kildehenvisning eller noe annet som man må gå litt nøye gjennom for å oppdage at ikke stemmer.

Hvis du spør en språkmodell hva som er hovedstaden i Frankrike, kan den finne på å svare “Roma”. Vi skal se nærmere på hvorfor det kan skje, og hvorfor den faktisk gjør jobben sin.

Hvorfor hallusinerer språkmodellene?

En språkmodell er en maskin som følger noen regler. Den er trent på store mengder tekst, og har “lært seg” hvordan tekst ser ut, hvilken rekkefølge ting kommer i.

Den har kategorisert ord og uttrykk i noe vi kan kalle “konsepter”, i sitt nevrale nettverk. Dette kan ligne litt på hvordan vi kategoriserer språk i våre menneskehjerner. Forskning som sikter på å forklare hvordan språkmodeller fungerer har for eksempel funnet at ordene at “konge” og “mann”, er lagret som konsepter med like lang avstand fra hverandre som ordene “dronning” og “dame”.

Språkmodellene er altså ikke laget for å vite hvordan verden ser ut, eller hva som er sant. Den er laget for å produsere tekst som ser ut som den teksten den er trent på. Og når den gjør det, så oppfyller den formålet sitt, det den er laget for.

Språkmodellene er trent på og bruker tekst fra Internett. Og der står det veldig mye forskjellig, alt fra harde fakta til fiksjon, oppspinn og rett og slett utdatert informasjon. Så bruker den sannsynlighetsberegninger og regler for å både tolke forespørselen og bestemme hva som skal stå i svaret. Da blir svaret påvirket av all teksten den har sett.

Ordene ”Paris” og “Roma”, har jo faktisk veldig mye til felles: De er begge en hovedstad i en europeisk by, de ligger ganske nærme hverandre på kartet, og begge er romantiske turist-destinasjoner med vakker arkitektur, og mange kjente attraksjoner.

Når vi vet det, så kan vi forstå hvorfor en språkmodell kan si at Roma er hovedstaden i Frankrike og likevel ha løst oppgaven.

Kan vi bruke språkmodeller som hallusinerer, da?

Siden språkmodellene er såpass fleksible, generelle og tilgjengelige, kan de brukes til utrolig mye forskjellig. De klarer å lese enorme mengder tekst på kort tid, og er derfor nyttige for å oppsummere tekst, gjøre research og lete i store dokumenter.

Men da må vi også ha i mente at den ikke først og fremst er laget for å fortelle oss fakta. 

Det er litt som en gaffel, et generelt verktøy som kan brukes til mye. Du kan bruke en gaffel til å piske egg. Hvis du skal lage deg en liten omelett er den helt super, og den er lett tilgjengelig. Men hvis du skal piske eggedosis, er ikke gaffelen det beste verktøyet. 

Men gaffelen – og språkmodelllene – funker til sitt bruk, så lenge vi kjenner begrensningene. 

Hvordan løser vi det?

Hvis vi ønsker å bruke en språkmodell til noe som krever nøyaktighet, presisjon og fakta, og vi vet at de “hallusinerer” hele tiden, hvordan gjør vi det? 

Da må vi rigge verktøyene på riktig måte: Begrense oppgaven den skal løse og kildene den skal bruke.

Det kan hjelpe å tenke på språkmodellen som et barn som skal løse en oppgave eller en instruks. Den har veldig lite erfaring med verden, og den har mye fantasi. Hvis du gir den en oppgave, ser den mange muligheter, og den kan velge en litt tilfeldig løsning. Men hvis du på forhånd har forklart rammene, vil det være lettere å gjøre riktig hver gang. Da vil de bli mer firkantet og kjedelig, men også mer presis.

Hvis du har egne kilder, eller et begrenset sett med informasjon du ønsker å hente fra, kan du sette opp språkmodellen til å kun bruke de kildene. Når den da skal trekke frem et svar blir det lettere for den å velge riktig kilde.

La oss ta eksempelet med Paris og Roma igjen: Hvis du har begrenset språkmodellen til en faktabok om Frankrike (begrenset kildene), og ber den gi deg korrekte fakta fra den boken hver gang du spør (gitt den tydelige instrukser), så vil det være mye større sannsynlighet for at den klarer å si at Paris er hovedstaden i Frankrike.

Et godt tips er å vite når du skal bruke hvilket verktøy: Er du veldig erfaren på området du spør om, vil du fort se om ting stemmer. Men for en mindre erfaren (som kanskje skal lære seg noe om temaet) kan det være mer krevende å fange upresise eller feile påstander som virker troverdige. Da må du bruke tid på å dobbeltsjekke alle kilder hvis du skal være helt sikker.

Et viktig tips er å bruke et verktøy som er tilpasset til det du skal gjøre. Generelle modeller er god på mye, men de er ikke best på alt. I arbeidslivet, og spesielt hvis du trenger juridisk presisjon, så er det riktig å velge spesialiserte verktøy.

KI-verktøyet Lawai

Det som er så fint med Lawai er at det er nettopp at den er begrenset i både kilder og oppgave. Lawai er ekspert i arbeidsrett, og svarer på spørsmål om arbeidsrett, personvern og compliance. Den søker ikke over hele internett, men bruker et begrenset datasett og henter oppdatert lovverk direkte fra Lovdata. Lawai har instrukser og læresetninger som gjør at den klarer å navigere vektlegge kildene bra, og komme med trygg og god informasjon. Derfor er Lawai et presist, sikkert verktøy med svært lav risiko for feil og hallusinasjoner.