21. april 2021 fremlagde EU-Kommissionen det længe ventede udkast til forordning om regulering af kunstig intelligens (AI-Forordningen). Udkastet bygger på en række betænkninger mv. fra EU-Kommissionen, og har ikke mindst til formål at sikre borgernes tillid til AI-systemer. AI-Forordningen er den første målrettede lovregulering af kunstig intelligens og vil få stor betydning i Europa og resten af verden i forhold til udvikling og brug af kunstig intelligens. AI-forordningen gælder ved siden af GDPR, som fuldt ud skal efterleves, f.eks. ved brug af persondata til træning af algoritmer eller ved brug af AI-systemer til automatiske afgørelser med retsvirkning mv. for datasubjekterne. Det er samtidig hensigten at opdatere sikkerhedsregler for maskiner i forhold til AI med en ny forordning (Maskinforordningen) til afløsning af det gældende maskindirektiv. Der er ikke fastlagt en køreplan for EU-parlamentets og Rådets behandling og den efterfølgende trilog-forhandling, men der må forventes en grundig og længerevarende proces. I denne Plesner Insight giver vi et overordnet indblik i udkastet til AI-Forordningen og gennemgår også en række særlig interessante aspekter i udkastet.
Overordnet beskrivelse af AI-Forordningen
AI-Forordningen indeholder overodnet set fire typer regulering:
- Forbud mod anvendelse af visse AI-systemer (Forbudte AI-systemer) (Artikel 5)
- Særlige krav til anvendelse af AI-systemer, der anses for at frembyde høj risiko (Højrisiko-systemer) (Artikel 6-51)
- Transparenskrav til AI-systemer, der interagerer med mennesker (Artikel 52)
- Rammer for frivillige “codes of conduct” for AI-systemer, der ikke er Højrisiko-systemer) (Artikel 69)
De Forbudte AI-systemer er AI-systemer, der (a) skader mennesker fysisk eller psykisk med subliminate teknikker eller ved udnyttelse af sårbarheder, (b) gennemfører “social score cards” ved at overvåge borgere og (c) særlige former for ansigtsgenkendelse/persongenkendelse.
Fokus for AI-Forordningen er reguleringen af Højrisikosystemer, hvilket er defineret som AI-systemer inden for otte områder: Biometrisk identifikation, styring af kritisk infrastruktur, uddannelse, HR, essentielle ydelser (velfærdsydelser, kreditvurdering, alarmtjenester), retshåndhævelse, Migration/asyl og domstoles retsanvendelse. Højrisikosystemer er reguleret intensivt i forhold til deres udvikling/drift, salg og brug. Der skal for disse systemer eksempelvis etableres et risk management system og et kvalitetssikringssystem, lige som der bl.a. er krav om menneskelig involvering, transparens, robusthed, cybersikkerhed og korrekthed.
Særligt gælder det, at Højrisikosystemer skal godkendes med en overensstemmelsesvurdering (“conformity assessment”) i forhold til den teknisk dokumentation, det anvendte kvalitetssikringssystem samt systemets lovlighed efter AI-Forordningen.
Alle AI-systemer, inkl. højrisikosystemer, som er tiltænkt at interagere med fysiske personer, skal designes således, at personerne gøres opmærksom på, at de indgår i interaktion med et AI-system. Der gælder også en særlig oplysningspligt for AI-systemer, som frembringer”deep fake” manipulerede billeder, lyd og video.
EU-Kommissionen og Medlemsstaterne skal fremme udarbejdelsen af “codes of conduct” for AI-systemer, herunder i forhold til bl.a. miljømæssig bæredygtighed og anvendelighed for handicappede.
AI-Forordningen anvender et bøderegime, som det kendes fra konkurrenceretten og GDPR. Dog er maksimalbødeniveauet hævet til 6% af virksomhedens globale omsætning i forhold til brud på reglerne om forbudte AI-systemer.
Nedslagspunkter
Hvilke teknologier (Artikel 3 og Annex 1)
Et AI-system er i AI-Forordningen defineret som “software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with“.
Annex 1 indeholder angivelse af en række teknologier, som er åbne og bredt beskrevne, men dog de teknologier, der normalt henvises til i forbindelse med AI – eksempelvis maskinlæring. Der er således en vis usikkerhed forbundet med om et system er omfattet, og dette vil særligt være tilfældet, hvis en softwareløsning kun i meget begrænset omfang involverer brug af teknikker, der kan karakteriseres som AI. Det er hensigten, at EU-Kommisionen skal kunne opdatere Annex 1 i forlængelse af udviklingen i markedet (artikel 4).
AI-systemer som ikke reguleres
Autonome våbensystemer baseret på AI regnes af de fleste eksperter på området som en af de største trusler mod menneskeheden (se eksempelvis Future of Life Institute’s håndfæstning. AI-Forordningen gælder imidlertid ikke for AI-systemer, der udvikles eller bruges udelukkende til militære formål (Artikel 2(3)), hvilket sker med henvisning til, at dette skal håndteres som led i Unionens fælles sikkerheds- og forsvarspolitik efter EU Traktatens afsnit V. På tværs af AI-Forordningen er der også en lang række undtagelser for anvendelse af AI-systemer ved de retshåndhævende myndigheder og foranstaltninger.
Et andet område, som ikke reguleres direkte er selvkørende biler. Her forventes det, at EU indfører særskilte regler for godkendelse og anvendelse af disse, bl.a. med hensyntagen til principperne i AI-Forordningen. EU-Kommissionen fremkom i 2018 med en vision for førerløse køretøjer og har bl.a. i 2019 udstedt retningslinjer for midlertidige godkendelser.
Geografisk anvendelsesområde (Artikel 2)
AI-Forordningen finder anvendelse på leverandører, der markedsfører, sælger eller idriftsætter AI-systemer i EU, uanset om de pågældende leverandører er hjemmehørende i EU. Derudover er brugere af AI-systemer hjemmehørende i EU også omfattet. For at undgå omgåelse finder AI-Forordningen endelig også anvendelse på leverandører og brugere uden for EU, hvis output fra AI-systemer bruges i EU. Denne ekstra-territoriale effekt indebærer, at modtagere af data inden for områderne berørt af AI-Forordningen vil få behov for at kende tilblivelsen af disse data, f.eks. om data er tilvejebragt via Forbudte AI-systemer eller Højrisikosystemer.
Hvem er omfattet af reglerne
AI-Forordningen er kendetegnet ved, at den tilsigter at regulere alle led i kæden fra leverandør, importør, distributør til brugere – tilsammen defineret som “operatører”. Brugere er defineret som private virksomheder og offentlige institutioner, men omfatter ikke brug af AI-systemer til privat eller ikke-professionel brug. Leverandører af Højrisikosystemer pålægges i kapitel 2 i AI-Forordningen at overholde en lang række materielle krav, herunder om risikostyring, transparens, menneskelig involvering og sikkerhed mv. De øvrige led i kæden underlægges ikke samme krav, men har bl.a. en tilsynspligt i forhold til leverandørernes overholdelse af denne pligt. Importører, distributører og brugere vil tillige blive anset for selv at være leverandører, hvis de markedsfører Højrisikosystemet under eget navn, ændrer dets formål eller foretager en væsentlig ændring af systemet. Det bliver således helt centralt for importører, distributører og brugere at sikre compliance med reglerne for at undgå et “rolleskift”. Endelig er brugerne af Højrisikosystemer underlagt særlige forpligtelser, herunder i forhold til overvågning og anvendelse af input data.
Udvikling af AI-systemer
AI-Forordningen regulerer markedsføring, salg og brug af AI-systemer. De centrale begreber er “placing on the market”, “making available on the market” og “Putting into service”. AI-Forordningen omtaler i vidt omfang udvikling af AI-systemer, men reguleringen angår ikke desto mindre kun markedsføring, salg og brug. Principielt er der således ikke noget til hinder for, at leverandører udvikler AI-systemer i EU uden at overholde reglerne så længe disse systemer ikke markedsføres, sælges og anvendes i EU. Dette åbner mulighed for at europæiske teknologileverandører kan konkurrere på andre markeder (eksempelvis det amerikanske) uden at blive hæmmet af kravene i AI-Forordningen, hvis ikke tilsvarende krav gælder i udlandet. Hvis der bruges persondata ved udviklingen af sådanne AI-systemer gælder GDPR dog fortsat.
Forholdet til anden EU-lovgivning
En af vanskelighederne med AI-Forordningen er, at den har berøring med utallige eksisterende retsakter, særligt inden for produktsikkerhed, og der er gjort et stort arbejde for at identificere berøringspunkter og koordinationmed disse (se Artikel 2 og Annex II). Også i forhold til GDPR er der store berøringsflader og GDPR gælder fuldt ud ved brug af AI-systemer. Det er i den forbindelse særligt påpeget, at brugerorganisationerne skal foretage en data privacy impact assessment (DPIA), jf. Artikel 29(6) med benyttelse af de oplysninger, som leverandøren fremkommer med som led i sine transparensoplysninger.
Særligt om legal tech
AI-systemer der anvendes til at assistere domstolene i deres retsanvendelse anses som Højrisikosystemer, hvis de vedrører bistand til “ researching and interpreting facts and the law and in applying the law to a concrete set of facts“. De selvsamme AI-systemer kan imidlertid også anvendes af anklagemyndigheden, advokater og andre juridiske rådgivere, og vil hér ikke være Højrisikosystemer. Endvidere vil anvendelse af software i forbindelse med voldgift ikke blive reguleret. At alene domstolenes anvendelse af AI-systemer reelt reguleres kan skabe en ubalance mellem domstole på den ene side og anklagemyndighed/advokater på den anden side. Det er ikke usandsynligt, at legal tech leverandører vil undlade at begive sig ind på markedet for AI-systemer til domstole, men derimod prioritere advokatsektoren, som således får adgang til sofistikerede AI-systemer, som dermed ikke bliver tilgængelige for domstolene.
Problemstillingerne omkring domstolenes anvendelse af AI-systemer er i øvrigt beskrevet i “Robots Entering the Legal Profession” (særligt kapitel 16)
Læs udkastet til AI-Forordningen her.