Penne­splitten

Språkmodellen Borealis 2.0 ble lansert med ministertaler og fanfare i Målstova på Nasjonalbiblioteket den 10. august. Kulturminister Lubna Jaffery og daværende digitaliseringsminister Karianne Tung og møtte begge opp for å feire “en milepæl i vår satsing på KI” og “verdens første språkmodell som ikke stjeler data”. Som første land i verden har Norge inngått en avtale med norske pressepublikasjoner om kompensasjon for bruk av innhold i KI-trening. Avtalen er et pionérarbeid, og ikke minst viktig for å sikre at produksjon av nytt norskspråklig innhold kan forbli et levebrød inn i en tid der sosiale medier og språkmodeller i økende grad skyver tradisjonelle medier til side i folks hverdag.

Datoen var etter alt å dømme valgt for å sammenfalle med åpningen av Arendalsuka, arrangementet ble direkteoverført dit. Selve modellen var ikke tilgjengelig ennå, og nå, en måneds tid senere, foreligger den fortsatt bare i en preview-versjon. Dette er et tegn på at Nasjonalbibliotekets AI-lab fortsatt arbeider med å luke ut problemer. Likevel bør forsmaken gi et inntrykk av hva de har på trappene. Jeg var nysgjerrig på hva den nye modellen kunne gjøre og hva de hadde fått til med det nye avisinnholdet og lastet den ned for å ta en kikk.

Borealis 2.0 bygger på Googles Gemma 4 fra april i år. Det er en relativt liten modell, Googles ambisjon med den er å lage en av de ledende språkmodellene som kan kjøres på en boks til noen titusener. Gemma 4 finnes i flere versjoner, fra svært små til nokså små. Nasjonalbibliotekets Borealis 2.0-preview er en ettertrening av den nest største, som har 26 milliarder parametre. Gemma er imponerende for hva den er, men kan selvsagt ikke konkurrere direkte med de største kommersielle skymodellene eller det åpne alternativet, den kinesiske Kimi K3 med sine 2800 milliarder parametre.

Det er mulig å problematisere at man bygger en språkmodell som har norsk språk- og kulturvern som målsetting på toppen av en amerikansk. Men i praksis har ikke Nasjonalbiblioteket ressurser til å trene opp en konkurransedyktig modell fra bunnen av. Stilt overfor dilemmaet mellom å lage en dårlig helnorsk modell eller en anstendig på toppen av det massive treningsbudsjettet til de store, har de valgt det siste. Innenfor dagens rammer er det trolig det beste det er mulig for dem å få til.

En prøvechat avdekket raskt et problem Nasjonalbiblioteket må ta tak i før de kan fjerne preview-merkingen. Borealis har en tendens til å gå inn i evigløkker. Jeg ba den om å nevne noen skjønnlitterære forfattere, og deretter noen fler uten å nevne noen på nytt, og fikk følgende, ordrett limt inn:

1. Jon Fosse (født 1950): Nobelprisvinner og en av Norges viktigste dramatikere og forfattere i samtiden. Hans minimalistiske og rytmiske prosa, ofte med temaer som minne og tid, er særlig representert i verker som Septologien.
2. Karl Ove Knausgård (født 1969): (Som nevnt tidligere) En svært toneangivende samtidsforfatter, mest kjent for sin autofiksjon-serie Min Kamp.
3. Maja Lunde (født 1980): En populær samtidsforfatter kjent for romaner som kombinerer klima- og miljøtema med historisk fiksjon, slik som Blå og Bienes historie.
4. Karl Ove Knausgård (født 1969): (Merk: Siden han er nevnt flere ganger og er så omtalt, kan vi erstatte ham med en ny stemme) Karl Ove Knausgård (jeg beklager gjentakelsen) → Karl Ove Knausgård (nei, la oss prøve på nytt):
5. Karl Ove Knausgård (nei, nok en gang): Karl Ove Knausgård (jeg beklager oppstykkingen): Karl Ove Knausgård (denne listen er beenet). La oss i stedet bruke Karl Ove Knausgård (selv om han er omtalt) som et symbol på sin tids store norske forfatterskap. Men for å være ordentlig:
6. Karl Ove Knausgård (jeg klarer ikke å komme meg vekk fra Knausgård): Karl Ove Knausgård (jeg beklager). La oss i stedet bruke Karl Ove Knausgård (en ny forfatter): Karl Ove Knausgård (nei, dette blir forvirrende). La oss i stedet bruke Karl Ove Knausgård (denne forfatteren er så sentral at det er vanskelig å ikke nevne ham): Karl Ove Knausgård (jeg beklager gjentakelsene). La oss i stedet bruke Karl Ove Knausgård

Og så videre.

Denne typen problemer må løses før modellen kan brukes i arbeidsflyter som krever en viss pålitelighet. Trøsten er at det muligens er løsbart med et enkelt treningssteg og dermed ikke nødvendigvis et rødt flagg for den ferdige versjonen. Mer verdt å feste seg ved var at modellen så ut til å ha en så svak oversikt over det norske litterære landskapet, det nye aviskorpuset til tross. Fødselsårene til både Fosse og Knausgård var feil, og når jeg presset den, begynte den fort å dikte opp navn og titler. Jeg bestemte meg for å teste det grundigere.

For å få et reelt inntrykk av hva ettertreningen hadde oppnådd, valgte jeg å måle Borealis mot sin egen basemodell, heller enn de kommersielle skymodellene. Jeg fikk generert et sett av testspørsmål som dekket forskjellige emner innenfor kategoriene allmennkunnskap, mediesaker og språkfeller. Kategorien allmennkunnskap testet kunnskap om Norge som man finner i et leksikon eller på Wikipedia. Spørsmålene innenfor kategorien mediesaker fokuserte på nyheter som hadde versert i norske medier, men som var mindre kjente i utlandet. En modell trent på norske mediearkiver burde ha en fordel her. Språkfellene skulle avdekke om modellen kjente norske uttrykksmåter, og de dekket både bokmål og nynorsk. Jeg fikk svarene fra Borealis og Gemma vurdert mot fasit, og for å sikre at bedømmingen ikke var forutinntatt til fordel for en av modellene, ble svarene stokket, så det ikke var mulig å vite hvilken modell som hadde gitt hvilket svar.

Hvert svar fikk ett poeng for riktig, et halvt for delvis riktig og null for feil:

Resultatet var nedslående. Borealis tapte alle kategoriene, også de to hvor ettertreningen burde gitt den en fordel. Ettertreningen har med andre ord fått Google-modellen til å glemme mer faktakunnskap enn den har tilført. Dette er et vanlig problem og en kjent fare ved ettertrening. Vektene i en språkmodell representerer ikke ett bestemt faktum, hver vekt bidrar i mange sammenhenger samtidig, og hvert faktum er kodet inn i mange vekter, på en måte som overlapper. Når man trener inn nytt materiale forplanter justeringene seg utover, med det resultatet at nytt kan fortrenge gammelt.

Begge modellene skåret svakt på mediesaker. Ingen svarte riktig på spørsmål om for eksempel pendlerboligsaken som førte til Ropstads avgang i 2021, Lørenskog-forsvinningen fra 2018 eller Giske-avgangen i 2018. Begge kjente til Märtha Louises forlovelse med Durek Verrett i 2022, men kunnskapen om denne stammer i begge modellene trolig fra trening av Gemma på internasjonale nyhetskilder. Gemma skåret i tillegg delpoeng på et par saker der Borealis feilet. Avislesingen har altså foreløpig ikke tilført faktakunnskap.

Dette innebærer at Nasjonalbibliotekets modell, sånn den framstår i deres preview, ikke er egnet som direktekilde til faktainformasjon eller for å oppsummere saker som har versert i mediene. Dette vil oppleves som en mangel av dem som har blitt vant til å bruke språkmodeller som kontekstsensitive oppslagsverk og som håpet at Nasjonalbibliotekets ville ha dybdeinnsikt i norske forhold.

Det er verdt å spørre om forklaringen ligger i avtalen, som uttrykkelig unntar “trening og tilgjengeliggjøring av spesialiserte språkmodeller som kan levere media- og nyhetstjenester”. Det er i og for seg forståelig at rettighetshaverne ønsker å beskytte sin egen forretningsmodell. Men mot en godtgjørelse på 45 millioner må de samtidig gi nok til at det er mulig å trene en språkmodell som er nyttig. Kanskje er pressepublikasjonene innforstått med dette. Nøkkelordet spesialiserte kan tyde på det, at de ser det som greit at Nasjonalbiblioteket trener opp en språkmodell som kjenner saker som har versert i mediene, bare den ikke først og fremst er laget for å konkurrere med dem selv. Altså at Nasjonalbiblioteket er mer forsiktige enn de trenger og burde være. Etter å ha lest gjennom avtalen er jeg usikker.

Det andre viktige bruksområdet for en norsk språkmodell er språkevnen. Den er sentral hvis modellen skal oppsummere eller oversette, for eksempel. Utfordringen her er at Gemma allerede er nokså god til å skrive norsk, faktisk skåret den noe bedre enn Borealis også i språkfelle-testen. Men det er ikke dermed gitt at den skriver bedre norsk. For å teste skriveevnen ytterligere fikk jeg generert et nytt oppgavesett som ba modellene skrive tekster innenfor forskjellige sjangere, fra borettslagsklage til avisnotis.

Den større språkmodellen jeg brukte som dommer foretrakk svaret fra Gemma i de aller fleste tilfellene. Men en stikkprøvetest mot manuelle vurderinger avdekket uenighet mellom den og mitt eget morsmålsøre, og en full manuell gjennomgang av svarene endte i dødt løp. Gemma hadde en tendens til å bruke engelske uttrykksmåter på norsk, som i “min søvn og daglige fungering” (daily functioning), og ugrammatiske konstruksjoner som “en knep seier” eller “i tilleggstid slo ballen til helten i kveld”. Borealis unngikk i stor grad de første, men brukte av og til oppdiktede ord, som “beenet” i eksempelet over eller “søkken” der den mente søknad, og den begikk dessuten en god del alvorlige grammatikkfeil som “hvert eneste lille lyd”. Ettertreningen hadde med andre ord satt spor, og kanskje klang det mer norsk, men feilene gjorde at den ikke slo Gemma her heller. Feilene reiser spørsmål rundt kurateringen av treningsdataene og om morsmålsfølelse på en effektiv måte inngår som testsignal under treningen. Dette er trolig en nøkkelfaktor for at et norsk miljø skal slå en Silicon Valley-trent basemodell som allerede skriver brukbart norsk. Treningsarbeidet styres ifølge Nasjonalbiblioteket selv fra Spania. Det er ikke nødvendigvis til hinder for god morsmålstesting, men det krever at de implementerer den bevisst.

Konklusjonen er at det knapt finnes grunner til å foretrekke Nasjonalbibliotekets forsmak på Borealis 2.0 framfor dens egen basemodell. Inntrykket er at Gemma 4 også er bedre på områder jeg ikke testet, som resonnering og verktøybruk. Vi skal vente på den ferdige modellen før vi avsier noen endelig dom, men vi kan slå fast at Nasjonalbiblioteket har mer enn et par småjusteringer igjen. Det er ikke dermed sagt at AI-laben deres gjør en dårlig jobb. Ettertrening gjør ikke alltid en språkmodell bedre. Det de prøver på er vanskelig, og de er ikke i nærheten av å rå over de samme treningsressursene som Gemma-teamet. Kanskje bør vi i denne omgang være fornøyd med å skaffe erfaring og bygge norsk spisskompetanse på trening av språkmodeller.

Men her er det nok en gang verdt å ta et blikk på avtalen med pressepublikasjonene. Formelt er avtalen mellom Kopinor, som representant for rettighetshaverne, og Nasjonalbiblioteket. I praksis gir den bare ett fagmiljø rett til å trene modeller på materialet, Nasjonalbibliotekets eget.

I de offentlige katalogene til NbAiLab finner vi Norwegian Colossal Corpus (NCC), som består av omkring 4,6 milliarder ord fra bøker, aviser, offentlige dokumenter, Lovdata og Wikipedia. Dette korpuset inngår trolig i treningsgrunnlaget til mange av de internasjonale språkmodellene, og er foreløpig det viktigste bidraget Nasjonalbiblioteket har gitt til den norske språkevnen i språkmodeller generelt. Høyst sannsynlig inngår det også i Gemma sitt, og er dermed en av grunnene til at den behersker norsk såpass godt. Men selve Aurora-korpuset på omtrent 47 milliarder ord som Borealis 2.0 blir trent på er, i tråd med avtalen, ikke lagt ut. Tvert imot ble aviser under språkbank-avtalen fjernet fra NCC på forespørsel fra mediene i desember 2024, formodentlig fordi de ville posisjonere seg i forhandlingene om den nye avtalen.

Dette innebærer for det første at treningen ikke kan etterprøves utenfra. Når 90 prosent av treningsgrunnlaget er utilgjengelig, kan ingen reprodusere treningen, inspisere datasammensetningen eller kontrollere påstander om hva modellen er trent på. Et innsyn her er ikke bare et spørsmål om hvilken etisk og kulturell ballast vi ønsker å utstyre norske språkmodeller med. Den siste tiden har noen av de største framskrittene kommet gjennom kuratering av treningskorpuset. Hva du velger å mate eller ikke mate modellen med er også avgjørende for hvor god den blir. Når korpuset er lukket må Nasjonalbiblioteket gjøre denne jobben alene.

For det andre er NCC, som allerede bidrar til språkevnen i de internasjonale modellene, blitt avkortet. Avisdata har gått fra å være fritt tilgjengelige til trening av ikke-kommersielle modeller gjennom språkbank-avtalen til å bli eksklusive for Nasjonalbiblioteket. Konsekvensen kan være at de internasjonale modellene folk faktisk bruker blir dårligere på norsk. Inntil Nasjonalbiblioteket kommer opp med et alternativ, eller i det minste klarer å slå sin egen basemodell på språk, kan man argumentere for at avtalen har brakt språkvernet et skritt tilbake i stedet for fram.

For det tredje, og dette er kanskje det viktigste, har vi satset alt på ett kort. Vi har låst kulturskatten inne i ett rom, gitt én institusjon nøkkelen, og kalt det en nasjonal satsing. Vi kunne sett for oss at Nasjonalbiblioteket i stedet forvaltet dataene på en måte som gjorde det mulig for universiteter, forskningsmiljøer og andre tredjeparter å trene på dem. Forskjellige miljøer ville kunne prøve forskjellige tilnærminger og vi ville ikke være like avhengige av at Nasjonalbiblioteket måtte lykkes med sin for at fellesskapets investering i treningsdata skulle kaste av seg. En slik ordning ligger også nærmere utlånsvirksomheten bibliotekene driver med ellers.

Nasjonalbiblioteket er flinke til å fortelle at de samarbeider med universiteter. Men sånn jeg leser avtalen har universitetene og andre forskningsmiljøer begrenset tilgang til korpuset, det må godkjennes av rettighetshaverne i hvert enkelt tilfelle. Avtalen får meg til å tenke at Nasjonalbiblioteket sitter i en uheldig dobbeltrolle i disse forhandlingene, de representerer sin egen AI-lab mer enn fellesskapet og det nasjonale forskningsmiljøet.

Det er forståelig at rettighetshaverne ønsker at arkivene deres ikke skal slippe ut i det fri. Nasjonalbiblioteket kunne ha en rolle å spille når det gjelder å gjøre dem tilgjengelige på en måte som ikke gjør det nødvendig å distribuere kopier. Men hvis vi ønsker at avtalen skal bli mer enn en ren statssubsidie av pressepublikasjonene, er vi avhengig av å lykkes med modelltreningen. Da bør vi slippe flere til.

Avtalen løper for ett år av gangen. Den fortjener honnør som et pionérarbeid. Men det er mye som skurrer ved den og som etter min mening bør gjennomgås på nytt ved neste korsvei.