Zákon EU o umělé inteligenci – jaké jsou jeho důsledky pro bankovnictví a fintech?

Evropský parlament v březnu schválil zákon o umělé inteligenci, který má zajistit bezpečnost a dodržování základních práv a zároveň má podpořit inovace. V platnost má vstoupit letos v květnu. Cílem zákona je chránit základní práva, demokracii, právní stát a udržitelnost životního prostředí před vysoce rizikovou umělou inteligencí a zároveň podpořit inovace a vytvořit z Evropy lídra v této oblasti.

Zákon poskytne komplexní rámec pro zajištění vývoje umělé inteligence a odpovědného využívání jejích nástrojů: zejména transparentnosti, zaujatosti, porušování soukromí, bezpečnostních rizik a potenciálu šíření dezinformací, jakož i lidského dohledu nad vývojem technologií umělé inteligence.

V pokynech zákona je použito sedm nezávazných etických zásad pro AI, které mají pomoci zajistit, aby AI byla důvěryhodná a eticky nezávadná. Mezi tyto zásady patří: lidské zastoupení a dohled, technická odolnost a bezpečnost, ochrana soukromí a správa dat, transparentnost, rozmanitost, nediskriminace a spravedlnost a nakonec společenský a environmentální blahobyt a odpovědnost.

Díky víceúrovňovému přístupu budou vysoce rizikové systémy umělé inteligence v odvětvích, jako je bankovnictví a zdravotnictví, čelit přísným právním povinnostem a vysokým sankcím za nedodržení předpisů. Zákon rozděluje AI do čtyř stupňů rizika, od minimálního po nepřijatelné, přičemž pro každý z nich platí různá míra povinností.

Zákon EU o umělé inteligenci zakazuje vývoj, zavádění a používání určitých systémů umělé inteligence, mezi ně například patří: systémy sociálního skórování, sociální inženýrství, vzdálená biometrická identifikace v reálném čase ve veřejném prostoru, profilování a predikce chování, shromažďování obrazů obličejů za účelem rozšíření databází, manipulační techniky narušující autonomii a svobodnou volbu.

Málo rizikové a vysoce rizikové systémy AI

Ne všechny systémy umělé inteligence představují významná rizika, zejména pokud podstatně neovlivňují rozhodování nebo nepoškozují právně chráněné zájmy. Systémy AI s minimálním dopadem na rozhodování nebo rizikem pro právní zájmy, jako jsou systémy vykonávající úzké úkoly nebo rozšiřující lidské činnosti, jsou považovány za málo rizikové. U těchto systémů je v zájmu transparentnosti kladen důraz na dokumentaci a registraci. Mezi vysoce rizikové systémy AI patří několik odvětví, včetně bankovnictví a pojišťovnictví (a také zdravotnických zařízení, lidských zdrojů, vzdělávání a dalších).

Povinné požadavky na vysoce rizikové systémy AI mají za cíl zajistit důvěryhodnost a zmírnit rizika s ohledem na jejich účel a kontext použití. Je důležité, aby firmy poskytující finanční služby a fintech, zejména ty, které pracují s údaji zákazníků, měly na paměti níže uvedené požadavky:

• Je nutné pravidelné řízení rizik pro vysoce rizikové AI se zaměřením na zdraví, bezpečnost a práva, vyžaduje se aktualizace, dokumentace a zapojení zúčastněných stran.
• Je nutné posoudit dopad na základní práva.
• Musí se zabránit diskriminaci a zajistit dodržování zákonů na ochranu údajů.
• Školicí a testovací datové soubory musí být reprezentativní, přesné a bez zkreslení, aby se zabránilo nepříznivým dopadům na zdraví, bezpečnost a základní práva.
• Musí být zajištěn lidský dohled a transparentnost.
• Je nutné si vést srozumitelnou dokumentaci pro sledovatelnost, ověřování shody, provozní monitorování a dohled po uvedení na trh.
• Systémy AI s vysokým rizikem by měly fungovat konzistentně po celou dobu svého životního cyklu a měly by splňovat odpovídající úroveň přesnosti a kybernetické bezpečnosti.

Podniky musí upřednostnit vývoj odpovědné umělé inteligence, aby vyhověly nedávným předpisům a předešly vysokým pokutám za jejich nedodržení. Zde uvádíme některé z kroků, kterými by firma měla začít, aby zajistila soulad s předpisy:

• Řízení umělé inteligence je nutné zavést včas a zajistit zapojení všech zúčastněných stran.
• Vzdělávejte a školte svůj tým v oblasti etických zásad AI. Řízení rizik spojených s AI bude vyžadovat nové dovednosti, od analýzy dat po bezpečnost/ochranu osobních údajů, právní analýzu a další.
• Proveďte audit AI v organizaci, a to i v oblasti práva, lidských zdrojů atd., a získejte tak úplný přehled o tom, kde se AI v organizaci používá.
• Průběžně kontrolujte dodržování předpisů.
• Ujistěte se, že vaši poskytovatelé SaaS používají AI zodpovědně.
• Zajistěte transparentnost a vysvětlitelnost modelů, které se používají ve vašem podnikání.

Požadavky na transparentnost

Systémy umělé inteligence pro všeobecné účely (GPAI) a modely GPAI, na nichž jsou založeny, musí splňovat určité požadavky na transparentnost, včetně dodržování autorského práva EU a zveřejňování podrobných shrnutí obsahu použitého pro školení. Na výkonnější modely GPAI, které by mohly představovat systémová rizika, se budou vztahovat další požadavky, včetně provádění hodnocení modelů, posuzování a zmírňování systémových rizik a podávání zpráv o incidentech.

Umělé nebo zmanipulované obrázky, zvukový nebo video obsah („deepfakes“) musí být navíc jako takové jasně označeny.

Ačkoli se jedná o velmi potřebný krok správným směrem, ďábel se skrývá v detailech a zákon o umělé inteligenci bude mít zásadní dopad na budoucnost organizací, a to jak tradičních, tak těch zaměřených na umělou inteligenci. Vzhledem k tomu, že proplouváme érou, v níž je dopad AI stále hlubší, není sladění s etickými normami a regulačními požadavky pouze otázkou dodržování právních předpisů, ale strategickým imperativem. Zaměřením se na zodpovědnou AI se podniky nejen chrání před značnými pokutami, ale také zaujímají pozici důvěryhodných a pokrokových subjektů v rychle se vyvíjejícím digitálním prostředí. Cesta k odpovědné umělé inteligenci je náročná, ale nepostradatelná a slibuje novou definici budoucnosti technologií, správy a společenského blahobytu.

Komentář redakce FinTechCowboys

Z naší zkušenosti z desítek AI projektů (jmenovat je ovšem nelze) můžeme říct, že regulace má řadu nevýhod:

• výrazně snižuje konkurenceschopnost EU řešení před řešeními třetích stran z jiných regionů, pozor to nemusí být jenom řešení z Číny, o které se dnes mluví nejvíce, ale to může klidně nějaká důvěryhodná země typu USA nebo Japonsko
• některé požadavky jsou obtížně vyhodnocovatelné – co v jednom případě může být považované za diskriminaci, může jinde být naprosto v pořádku. Představte si, že AI pro HR bude chtít záznam z trestního rejstříku, věk a zdravoní stav – pokud se hlásíte do úřadu, pak to možná není třeba, ale když chcete do armády?
• transparentnost u AI je často neřešitelné téma – AI neposkytuje vždy stejné výsledky a ani nevysvětluje, jak k nim dospěla. V podstatě jde o statistiku a pravděpodobnost. V takové oblasti je pak transparentnost problém někde mezi inženýringem a filozofií 🙂
• zvyšuje náklady v podstatě na všechny projekty, protože by se měly jednotlivé požadavky vyhodnotit a zohlednit a zpravidla to bude znamenat peníze navíc
• zvyšuje náklady i na prvotní fáze projektů typu PoC nebo MVP, protože nebude možné v „první verzi“ AI regulaci ignorovat a zavádět ji se zpožděním
• udělat z někoho lídra tím, že ho extrémně zregulujete, je protimluv 🙂

Zdroj: finextra.com a finextra.com