3. Teste og evaluere
Planlegg testen
Før KI-systemet kan settes i drift, må du vite om modellen fungerer i ditt domene, med dine data og for dine prosesser. Dette krever grundig testing og evaluering. Det er ikke nok å stole på leverandørens markedsføringsmateriell eller generelle rangeringer.
Testingen skal ikke bare være teknisk, men også praktisk og brukerorientert. For å få et godt bilde av hvordan modellen presterer, er det lurt å involvere ulike roller i virksomheten. For eksempel kan
saksbehandlere vurdere tonalitet, relevans og om svaret faktisk hjelper i arbeidet, for de vet hva et «godt svar» ser ut i praksis
jurister eller helsepersonell må verifisere at innholdet er faglig korrekt og at det ikke er brukt feil lover eller regler
teknisk personell må verifisere at løsningen er stabil, sikker og integrerer seg med eksisterende systemer
Slik planlegger du en test
Definer mål: Hva skal testen bevise? For eksempel «Modellen skal kunne oppsummere 90 % av sakene korrekt uten menneskelig inngripen».
Velg datasett: Samle inn 50–100 reelle, anonymiserte eksempler fra virksomhetens hverdag. Disse skal dekke ulike scenarier, både enkle, komplekse og unntakene.
Velg miljø: Kjør testen i et et isolert miljø der virksomheten kan teste KI uten at det påvirker den daglige driften eller får konsekvenser for tjenestene eller data.
Obs
La et relevant utvalg av brukere teste modellen før den tas i bruk. Hvis de ikke stoler på svarene de får, vil de ikke bruke den, uansett hvor teknisk avansert den er.
Neste steg
Test KI-systemet