Vi sjekker KI mot kilden.
Uavhengig måling av språkmodeller, talegjenkjenning og data for norsk forvaltning. Metode, data og rettelser er åpne.
Siste fra arbeidsbenken
- How much gold is speech? Kroner per correctly recognised word in Norwegian dialects
- DPR-PREREG-0001: How much gold is speech? Kroner per correctly recognised word in Norwegian dialects
- Smritir v1.0: large language models on Old Norse text restoration at diplomatic and normalised levels (Menota)
- Smritir: preregistration for measuring large language models on Old Norse text restoration at diplomatic and normalised levels (Menota)
- nortrebenk: coding agents on public code from Norwegian government agencies
- Preregistration: nortrebenk v1.0 pilot measurement (P3)
Samme strøm, ulikt utslipp.
I 2025 hadde strømmen i NO4 nesten 70 % høyere karbonintensitet enn i NO1.
Utvalgt arbeid
-
Satser og frister i norsk lov
Benchmark for daterte tallverdier i norske lover, forskrifter og stortingsvedtak, med lukket fasit. Vi klassifiserer svarene som riktige, utdaterte, feil eller ikke tolkbare. Planen for den andre kjøringen ble publisert før første kall.
-
KI-dommere som feilfinnere
NOS-FD er et referansebasert pilotsett som tester om KI-dommere finner feilene i modellsvar om norsk lov, helserettigheter og offentlig forvaltning.
-
Produksjonstyper hos ENTSO-E
To preregistrerte datasett om hvordan produksjonstyper merkes på ENTSO-E Transparency Platform. De dekker flerbrensel, registerårganger, vedvarende feilklassifisering og samsvar mellom produktene.
-
Kildedekning i kommunale KI-søk
Kildefeste er en protokoll som måler hvor stor andel av svarene fra kommunale KI-søk som har dekning i kilden de viser til. Vi bandt protokollen før datainnsamlingen.
-
Karbonintensitet per budområde
Åpen og reproduserbar karbonintensitet for NO1 til NO5 og SE1 til SE4 i 2025, med data og kode. Preprinten beskriver den produksjonsbaserte metoden, og datasettet v2.0.1 legger til forbruksbasert intensitet time for time.
-
Gebyrberegning etter regler: 0 av 840
Tre gratis lokale språkmodeller fikk 0 av 840 gebyrberegninger riktig ved korrekt regelbruk i RuleArena (flyselskap). Det ene eksakte treffet skyldtes en tallkollisjon.
-
Evakueringsavstander for farlig gods
Gratis språkmodeller oppgir for korte evakueringsavstander i tekst om farlig gods, sammenlignet med ERG-håndboka. Vi låste hypotese og mål før kjøringen.
Alle 36 arbeider, med preregistreringer og rettelser, står på ORCID.
Bidrag til andres verktøy
-
EuroEval
To bidrag til EuroEval (tidligere ScandEval), en benchmark for språkmodeller på europeiske språk.
-
Utslippsfaktorer i CodeCarbon
Faktorer for biomasse, biodrivstoff og avfall, med kilde for hver verdi.
-
Proveniens i SimpleAudit
Svaret fra hvert mål får med seg hvilket endepunkt som svarte, og om proxyinnstillingene sender trafikken via en proxy.
-
Beskrivelser i ldproxy-konfigurasjonen
Beskrivelser fra modellen kommer med på objekttyper, egenskaper og kodelister i den genererte ldproxy-konfigurasjonen.
Tjenester
- Test før dere kjøper
- Vi måler talegjenkjenning og KI-verktøy på deres egne data før kontrakten signeres. Lyd og dokumenter forlater ikke huset.
- Dokumentasjon til anbud
- For leverandører: en uavhengig kvalitetsrapport på norsk som kan legges ved tilbudet.
- Norske testsett
- Bygget fra kilden, med fasit og en plan som låses før målingen.
- Etterprøving
- Vi går gjennom tallene, metoden og koden bak et system eller en rapport.
Åpen metode
Rapport med kildeliste
Metode
- Vi låser og publiserer analyseplanen før kjøringen.
- Kode og data får DOI når vi publiserer dem.
- Negative resultater publiserer vi på lik linje med andre resultater.
- Feil retter vi åpent, i egne rettelser.
Kontakt
Andre prosjekter
Walk-to-Zoom: kunstopplevelse i AR med gigapikselbilder, der avstanden styrer forstørrelsen.
Stifinner: kart for ruteplanlegging til fots og på sykkel, med bratthet, sperrer og vernehensyn.