En nybegynnerveiledning til NLP og LLM

Naturlig språkbehandling (NLP, fra engelsk natural language processing) er den delen av informatikken som lar programvare lese, tolke og produsere menneskelig språk. En stor språkmodell (LLM, large language model) er det kraftigste NLP-verktøyet som er laget så langt: et nevralt nettverk trent på svært store mengder tekst til å forutsi hva som kommer videre. Det viser seg å være nok til å oppsummere, oversette, svare på spørsmål og skrive kode. Hver chatbot, hver KI-agent og hver «spør dokumentet»-funksjon fra de siste årene har en språkmodell under panseret.

Denne veiledningen forklarer begge deler på vanlig norsk, hvor de svikter, og hvordan en virksomhet bør begynne.

Hva er naturlig språkbehandling?

Naturlig språkbehandling er arbeidet med å gjøre språk om til noe en datamaskin kan handle på, og tilbake igjen. I flere tiår betydde det separate, smale systemer, hvert bygget for én oppgave:

• Klassifisering: er denne e-posten søppelpost, gjelder denne henvendelsen faktura eller levering.
• Gjenkjenning av navngitte enheter: å finne personene, selskapene, stedene og datoene i en tekst.
• Sentimentanalyse: om en anmeldelse er positiv, negativ eller blandet.
• Maskinoversettelse: fra ett språk til et annet.
• Oppsummering: en lang tekst gjort kort.

Hver av disse krevde tidligere sin egen modell, sine egne merkede treningsdata og sitt eget team. Endringen det siste tiåret er at én stor modell nå kan gjøre alle, og mange flere, ut fra en instruksjon skrevet på vanlig språk.

Hva er en stor språkmodell?

En stor språkmodell er et nevralt nettverk trent på en svært stor tekstmengde til å forutsi neste tekstbit, kalt et token, ut fra alt som står foran. Et token er et ord eller en del av et ord. En modell leser og skriver i tokens, og derfor oppgis priser og grenser i dem.

Å forutsi neste token høres beskjedent ut. I en skala med milliarder av parametere og billioner av tokens med treningstekst tvinger det modellen til å lære grammatikk, fakta, hvordan et resonnement er bygget opp og konvensjonene i kode, fordi alt dette gjør neste token lettere å gjette. De best kjente modellfamiliene i dag er blant andre GPT fra OpenAI, Claude fra Anthropic og Gemini fra Google, ved siden av åpent tilgjengelige modeller som Metas Llama og Mistrals modeller.

Hvordan virker en språkmodell?

En språkmodell bygges og brukes i tre trinn, og hvert av dem forklarer noe om hvordan den oppfører seg.

Arkitekturen under det hele er transformeren, introdusert av Vaswani og medforfattere i 2017. Kjerneideen, oppmerksomhet (attention), lar modellen veie hvert ord i et avsnitt mot alle de andre når den skal finne ut hva ett av dem betyr. Det er dette som lar den holde oversikt over et langt dokument, ikke bare de siste ordene. BERT, fra Google i 2018, viste hvor godt en transformer kunne forstå tekst. De generative modellene som fulgte, viste hvor godt den kunne produsere den.

Hvor tar språkmodeller feil?

Språkmodeller tar feil på forutsigbare måter, og hver av dem har et kjent mottiltak.

• De finner på ting. En modell produserer flytende tekst enten den er sann eller ikke, en svikt forskningslitteraturen kaller hallusinasjon. Løsningen er å gi modellen kildematerialet, be den svare ut fra det, og kontrollere alt som betyr noe.
• De kjenner ikke ferske eller interne fakta. Fortreningen stopper ved en dato, og den inkluderte aldri virksomhetens egne dokumenter. Standardsvaret er gjenfinningsforsterket generering, RAG, beskrevet av Lewis og medforfattere i 2020: hent de relevante avsnittene fra egne data først, og la modellen svare ut fra dem.
• De høres sikre ut når de ikke burde. En språkmodell sier sjelden «jeg vet ikke» av seg selv. Utform oppgaven slik at den kan, og send usikre tilfeller til et menneske.
• De er svakere på mindre språk. Det meste av treningsteksten er engelsk. Norsk fungerer godt i de store modellene, fagterminologi og dialekt mindre godt. Derfor publiserer Nasjonalbibliotekets KI-lab norske modeller som NB-BERT og talemodellen NB-Whisper.

Hvordan bør en virksomhet begynne med språkmodeller?

Begynn med én avgrenset oppgave der modellens resultat kan kontrolleres, ikke med en plattform.

1. Velg en oppgave med volum og et svar som kan sjekkes. Sortering av innkommende henvendelser, utkast til svar fra en kunnskapsbase, uthenting av felt fra dokumenter.
2. Gi modellen deres eget materiale. Mesteparten av verdien for en virksomhet kommer fra gjenfinning i egne dokumenter, ikke fra modellens generelle kunnskap.
3. Mål mot i dag. Tid per sak, feilrate, og hvor ofte et menneske må rette resultatet.
4. La et menneske ta det avgjørende steget. La modellen lage utkastet, og la en person godkjenne alt som sendes, betales eller slettes.

Når modellen gjør mer enn å svare, når den bruker verktøy og fullfører oppgaven selv, er den en agent. Hva det endrer, og hvor det lønner seg, står i Hvordan kan agentisk KI forbedre virksomheten min? og Hvor KI-agenter faktisk gjør nytte.