AI ve zdravotnictví – právní rámec, limity a na co si dát pozor

Umělá inteligence (AI) si za relativně krátkou dobu dokázala vybudovat ve zdravotnictví pevné postavení. AI se ve značné míře užívá například v oblasti radiologie, kde je využívána k analýze rentgenových snímků za účelem rozpoznání patologických jevů. AI systémy se dále používají mimo jiné i v oblasti kardiologie, onkologie či intenzivní péče. Významné uplatnění má AI také v oblasti výzkumu, kdy se využívá k analýze velkých souborů dat a hledání vzorců, což pomáhá při výzkumu nových léčebných postupů. Oproti dříve využívaným počítačovým systémům má AI zejména schopnost se dále se učit a přizpůsobovat se v průběhu času, díky čemu dochází s každou novou verzí AI systému ke zkvalitňování výstupů. AI systémy využívají zdravotnická zařízení a jiní poskytovatelé zdravotnických služeb také za účelem zefektivnění provozu a usnadnění administrativy.

Pro každého, kdo AI ve zdravotnictví vyvíjí nebo používá, je klíčové znát nová pravidla. V tomto článku srozumitelně a přehledně shrnujeme, jaké povinnosti a omezení z AI Actu (Nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024, kterým se stanoví harmonizovaná pravidla pro umělou inteligenci) vyplývají pro vývojáře AI systémů a poskytovatele zdravotní péče (uživatele AI systémů) a jaké právní rizika (odpovědnost za škodu, ochrana dat, bezpečnost) je třeba mít na paměti. Podíváme se také souvislosti využití AI ve zdravotnictví a poradíme, na co si dát pozor při jejich zavádění v praxi – od potřebné certifikace po soulad s GDPR.

Přestože je AI Act relativně novou regulací, v něm obsažená úprava, která dopadne na AI nástroje používané ve zdravotnictví, vejde v platnost již poměrně zanedlouho, a to z velké části v srpnu příštího roku, následující vlna povinností pak o rok později. Vzhledem ke komplexnosti úpravy a rychlému rozvoji AI technologií ovšem nelze než doporučit začít s přípravou na nové zákonné požadavky již nyní.

Stejně jako před pár lety GDPR zásadně ovlivnilo práci s daty, dnes vstupuje do hry Evropský akt o umělé inteligenci (AI Act) – nový právní rámec, který má zajistit, že AI bude lidem sloužit, a ne škodit.

Do druhé nejpřísněji regulované skupiny (AI systémy s vysokým rizikem) spadají nejdůležitější systémy pro zdravotnictví. Tato kategorie zahrnuje prakticky všechny AI systémy, které mohou mít významný dopad na zdraví a bezpečnost osob. AI Act výslovně řadí mezi vysoce rizikové zdravotnické prostředky s AI (ty již dnes podléhají certifikaci podle zvláštních předpisů) a dále např. AI systémy pro třídění pacientů v krizových situacích či systémy posuzující nároky na zdravotní dávky a služby. Lze shrnout, že drtivá většina medicínských AI nástrojů spadne do vysokého rizika, protože mohou ovlivnit diagnózu, léčbu nebo péči o pacienty.

Je praktické připomenout, že úprava AI actu není jediná, která na AI systémy ve zdravotnictví dopadá. Již dnes platí, že software používaný k diagnostickým či léčebným účelům může být považován za zdravotnický prostředek a musí splňovat požadavky dle Nařízení (EU) 2017/745 (MDR) o zdravotnických prostředcích nebo nařízení 2017/746 (IVDR) o diagnostických zdravotnických prostředcích in vitro. AI Act nyní přidává další vrstvu regulace.

Používáte AI systémy již delší dobu? – ověřte, zda splňují nové zákonné požadavky

Jak bylo uvedeno výše, většina medicínských AI aplikací bude patřit mezi vysoce rizikové systémy. To s sebou nese řadu přímých dopadů jak na firmy vyvíjející tyto systémy, tak na nemocnice a lékaře, kteří je nasazují do praxe. Jaké konkrétně jsou základní požadavky podle AI Actu?

• pokud vyvíjíte nebo uvádíte na trh AI systém pro zdravotnictví, který spadá do vysoce rizikové kategorie, čeká vás povinné posouzení shody (certifikace) před uvedením produktu na trh
• povinnost nastavení systému pro řízení rizik,
• Vývojář ani uživatel se neobejde bez průběžně aktualizované technické dokumentace zabezpečující mimo jiné také transparentnost fungování AI systému – uživatel AI systému jej nesmí užívat k jiným účelům, než jaké stanovil jeho vývojář v technické dokumentaci.
• Uživatelé mají povinnost vést a archivovat záznamy o provozu AI systému za účelem zpětné kontroly fungování – systémy by měly vytvoření těchto záznamů umožnit.
• Nad fungováním AI systému musí být vždy zajištěn lidský dohled patřičně proškolenou osobou s odpovídající odborností – AI jen poskytuje podklady, konečné rozhodnutí je vždy na člověku (lékaři) – ten musí mít vždy možnost výsledek AI přezkoumat a případně korigovat či ignorovat

Kladené požadavky nepředstavují jen nezbytné formality, ale mimo jiné mohou pomoci při vyvinění se z povinnosti hradit škodu vzniklou v souvislosti s užíváním AI systémů.

Co se týče výše uvedeného posouzení shody (certifikace), je nutné zdůraznit, že certifikovaný AI model bude vždy pracovat pouze s daty, která měl k dispozici nejpozději ke dni certifikace.  V případě, že jsou dále sbírány data za účelem vylepšení AI systému, v klinické praxi s těmito novými daty AI systém nepracuje, vývojář je ovšem může použít pro vytvoření nové, dokonalejší verze AI sytému – tu je ovšem nutné znovu certifikovat.

Ve zdravotnictví tak dle současné právní úpravy není možné používat plně „samostatné“ AI systémy, ale „jen“ systémy, které využívají algoritmy založené na umělé inteligenci, které musí fungovat přesně tak, jak byly certifikovány a nemohou se samy učit na nových datech a tím vylepšovat.

Je-li koncovým uživatelem AI systému lékař a takový systém slouží jen jako podpůrný nástroj, není povinnost pacienta o využívání AI informovat. Informování pacienta je ovšem na místě ve chvíli, kdy dochází ke zpracování osobních údajů (údajů o zdravotním stavu) pacienta prostřednictvím AI, nebo když je přímo pacient koncovým uživatelem AI systému.

V otázce informovaného souhlasu k využití nástrojů umělé inteligence ve zdravotnictví nepanuje jednoznačná shoda: část odborníků tvrdí, že pacient nemusí být zvlášť informován o tom, že jsou využívány AI systémy (podobně jako se nepopisuje technické fungování rentgenu apod.), jiný, opatrnější, přístup doporučuje pacienta informovat alespoň rámcově ,tj. že AI byla použita jako podpůrný nástroj, případně za jakým účelem (např., podpora diagnostiky, návrh terapie) a že konečné rozhodnutí je vždy na lékaři. V praxi lze vzhledem k povinnosti unést důkazní břemeno v případě sporu doporučit pacienta o užívání AI systémů informovat a zároveň toto uvést do zdravotnické dokumentace.

V případě sporu platí, že co není ve zdravotnické dokumentaci, jako by se nestalo, proto i věta „Pacient byl informován o použití AI jako podpůrného nástroje, dotazy zodpovězeny, souhlas udělen.“ může významně zlepšit procesní postavení poskytovatele zdravotních služeb.

Aby se mohl AI systém dále zdokonalovat a vyvíjet, díky čemuž může poskytovat kvalitnější výstupy, je důležité, aby měl k dispozici data, na kterých může trénovat. V tomto kontextu je tak potřebné mít upraveno, jaká data bude za tímto účelem uživatel AI systému poskytovat jeho vývojáři. Údaje o zdraví patří podle GDPR mezi zvláštní kategorie osobních údajů. Jejich zpracování je přípustné mimo jiné tehdy, je-li nezbytné pro poskytování zdravotní péče. Tato výjimka se však automaticky nevztahuje na zpracování těchto dat systémy umělé inteligence (AI) za účelem tato data využít k dalšímu tréninku či zdokonalování těchto systémů. Pokud by mělo k takovému zpracování dat docházet, je nutné k tomuto používat výhradně data v anonymizované podobě (tj. bez možnosti zpětné identifikace; pouhá pseudonymizace nestačí).

V souvislosti se zpracováváním dat pacientů je důležité, aby k němu docházelo na základě právního titulu v souladu s GDPR, a to primárně na základě výslovného souhlasu pacienta, jeho data jsou používána – pozor na to, že tento souhlas může pacient odvolat. Jako druhý důvod připadá v úvahu zpracování pro nezbytné účely, kdy je možné takto postupovat v případě, že je AI systém využíván v klinické praxi – pro účely dalšího vývoje a zpřesňování AI systémů tento důvod obecně není dostačující.

Chcete trénovat zdravotnickou AI na datech pacientů? Obstarejte si k tomu jejich souhlas.

Český právní řád neobsahuje speciální úpravu, která by reflektovala specifika umělé inteligence. Uplatní se proto stávající právní režimy odpovědnosti – AI nástroj je právem vnímaný jako věc či výrobek, Odpovědnost za chybu AI nástroje mohou nést jak její uživatelé (poskytovatelé péče, lékaři) tak vývojáři AI systémů. Speciální úpravu odpovědnosti za škodu způsobenou AI systémy zřejmě nepřinese ani právě připravovaný zákon o umělé inteligenci – do českého právního řádu ale zakotví nové přestupky, kterých se mohou subjekty dopustit mimo jiné i při vývoji a používání zdravotnických AI systémů.

Dojde-li k pochybení na straně poskytovatele zdravotních služeb a v jeho důsledku vznikne pacientovi újma, bude zdravotnické zařízení odpovídat dle ustanovení občanského zákoníku, které stanovuje, že kdo je povinen někomu něco plnit a použije při tom vadnou věc, nahradí škodu způsobenou vadou věci. To platí i v případě poskytnutí zdravotnických, sociálních, veterinárních a jiných biologických služeb.

Tato úprava má povahu tzv. objektivní odpovědnosti, zdravotních zařízení tak odpovídá i v případě, že chybu AI systému nezavinilo. Jediný způsob, jak by se mohlo zdravotnické zařízení vyvinit představuje prokázání toho, že systém využívající AI nebyl vadný a že byl používán řádným způsobem. Již dříve v článku uvedená povinnost disponovat a řídit se řádnou technickou dokumentací, existence efektivního sytému řízení rizik a povinnost zajistit užívání AI systému patřičně proškolenými osobami tak může v praxi ušetřit nemalé prostředky, které by jinak bylo nutné užít na náhradu případné škody.

V souvislosti s požíváním AI zdravotnických systémů platí, že nasazení AI v provozu zdravotnického zařízení nezbavuje jednotlivé lékaře jejich profesní odpovědnosti – ti musí postupovat tzv. Lege artis, tj. odborně správně a v nejlepším zájmu pacienta. Lékaři tak nesmí bez dalšího přejímat závěry AI, pokud se rozcházejí s jeho vlastním úsudkem či dalšími informacemi o pacientovi.

AI nástroje poskytují podklad pro rozhodování lékaře, konečné rozhodnutí a odpovědnost je ale stále na něm.

AI systém (nejen) pro potřeby zdravotnictví je zákonem vnímán jako výrobek – byť se jedná zpravidla jen o software. Vývojář AI systému tak dle občanského zákoníku odpovídá za škodu, kterou jeho výrobek způsobí. Ten tak bude odpovědný například za chybu v programování, nedokonalé testování, trénování AI systému na špatných či nekvalitních datech apod. Opět se jedná o objektivní odpovědnost a není proto nutné prokazovat zavinění. Situace je ovšem zkomplikována tím, že v praxi je ale pro poškozeného pacienta složité prokázat, že AI, kterou poskytovatel zdravotních služeb použil měla vadu – vývojář AI systému např. může argumentovat, že algoritmus funguje, jen na základě chybných vstupů uživatele podal chybný výstup. Evropská směrnice, která měla zlepšit důkazní postavení poškozených pacientů zatím neprošla legislativním procesem.  Poškozený pacient se tak bude se svým nárokem zpravidla obracet právě na zdravotnické zařízení.

Pro zdravotnická zařízení je v otázce odpovědnosti naprosto klíčové správné nastavení smluvního vztahu s poskytovatelem AI systémů, ve kterém dojde například ke stanovení, za jaké chyby výstupu z AI systému nese odpovědnost jeho vývojář a za jaké zdravotnické zařízení. Dále je vhodné revidovat pojistné smlouvy, neboť ne všechny myslí na škodu způsobenou AI systémem a pojišťovna by se tak v případě vzniku škodní události mohla zdráhat s plněním.

Správné nastavení smluvních vztahů s vývojáři AI systémů a pojišťovnami může zdravotnickým zařízením pomoci limitovat následky škody způsobené AI systémem.

Rozvoj technologií využívajících umělou inteligenci je nezastavitelný. V budoucnu bude AI čím dál více zasahovat do různých oblastí a zdravotnictví nebude výjimkou. Evropské nařízení o umělé inteligenci přináší soubor nových přímo závazných pravidel, který je nejen poměrně rozsáhlý, ale jejichž realizace může být technicky náročná.

Poskytovatelé zdravotních služeb i vývojáři AI nástrojů by proto měli včas začít s implementací postupů, které zajistí soulad s legislativními požadavky, čímž mohou mimo jiné předcházet vzniku škody v případě, kdy AI systém chybuje. Ať jste na straně poskytovatele zdravotní péče, nebo vyvíjíte inovativní řešení, dokážeme vám poskytnout právní podporu, která propojí technologické inovace s právní jistotou.

KONTAKTUJTE NÁS