1. Kartlegge behovene, dataene og rammevilkårene

Her er forslag til ulike tiltak virksomhetene kan vurdere:

• Sikre at kontrakter med leverandører dekker dataeierskap, sikkerhet, personvern og ansvar ved feil.

• Utarbeide interne regler for når og hvordan KI kan brukes.

• Loggfør bruk av KI-systemer, spesielt for høyrisiko-oppgaver.

• Sikre at alle brukere forstår begrensningene og risikoene ved KI.

• Ha en plan for hva som skjer hvis systemet svikter eller gir feil svar.

Tre eksempler som viser hvordan risiko kan oppstå, hva konsekvensene kan være, og hvordan de kan håndteres.

En risiko knyttet til drift av modellen er at den kan bli mindre nøyaktig over tid. Dette kan skje på grunn av at data som går inn i modellen (input) har endret seg fra de dataene modellen er trent på. Dette kalles datadrift. Modellen kan også prestere dårligere fordi konteksten modellen er trent på ikke lenger er lik, som for eksempel at det kommer nye retningslinjer eller ny praksis. Konsekvensene er dårligere beslutningsgrunnlag og feil i saksbehandling. For å redusere risikoen må virksomheten ha gode rutiner for jevnlig evaluering og oppdatering av modellen.

En risiko i KI-støttet saksbehandling er at saksbehandlere eller domeneeksperter ukritisk stoler på KI-genererte svar uten å verifisere innsendt dokumentasjon eller ha tilstrekkelig kjennskap til modellens begrensninger, for eksempelvis hallusinering, der modellen fremstiller feil informasjon med høy grad av tilsynelatende selvsikkerhet. Konsekvensene kan være at vedtak kan bli fattet på feil grunnlag og dermed være brudd på forvaltningslovens krav til forsvarlig saksbehandling. Risikoen kan håndteres gjennom klare retningslinjer for KI-bruk, målrettet kompetanseutvikling og gjennom systematisk arbeid med risiko, sikkerhet og kvalitet, som melding og læring av uønskede hendelser, internrevisjon og «red teaming».

Utstrakt bruk av KI-verktøy kan føre til at ansattes grunnleggende faglige ferdigheter, formuleringsevner og evne til kritisk tenkning svekkes over tid. Konsekvensen er tap av institusjonell kunnskap og hukommelse, redusert evne til å håndtere unntakstilfeller, og sårbarhet dersom systemet svikter. I mange prosesser er man også avhengig av god faglig kompetanse, for å gi et menneskelig overblikk på KI-svar. Hvis de faglige ferdighetene svekkes, vil denne «sikkerhetsventilen» i KI-bruk også svekkes. For å redusere risikoen må virksomheten ha kontinuerlig fokus på faglig utvikling og vedlikehold av grunnleggende kompetanse.