Sztuczna inteligencja coraz śmielej wchodzi do ochrony zdrowia. Pomaga analizować obrazy medyczne, wspiera diagnostykę, przetwarza dane i może usprawniać pracę personelu. Jednak im jest bliżej pacjenta, tym ważniejsze staje się pytanie nie tylko o to, co technologia potrafi, lecz także o to, na jakich zasadach możemy z niej korzystać.
Podczas 4. webinaru z cyklu MCSC x Gaia AI Factory prawniczki z kancelarii WKB Lawyers pomogły nam zrozumieć związane z tym uwarunkowania prawno-regulacyjne. Spotkanie poprowadziły ekspertki WKB Lawyers: Jolanta Prystupa, Beata Kąkol-Dembowska i Magdalena Matysiak.
Kiedy AI staje się wyrobem medycznym?
To jedno z pierwszych pytań, które powinien zadać sobie twórca lub organizacja planująca wykorzystanie rozwiązania AI w ochronie zdrowia. Nie każde oprogramowanie używane w szpitalu jest wyrobem medycznym. Inaczej traktowane będzie narzędzie służące do planowania pracy personelu czy prostego przechowywania danych, a inaczej system, który analizuje obrazy medyczne i wspiera lekarza w postawieniu diagnozy.
Jeżeli oprogramowanie jest przeznaczone m.in. do diagnozowania, monitorowania czy prognozowania choroby albo przetwarzania informacji medycznych w celu wsparcia decyzji dotyczącej konkretnego pacjenta, może zostać zakwalifikowane jako oprogramowanie będące wyrobem medycznym (MDSW). Wówczas zastosowanie znajdują m.in. wymagania MDR/IVDR.
Kwalifikacja produktu ma bardzo konkretne konsekwencje. W zależności od klasy ryzyka producent może być zobowiązany m.in. do przeprowadzenia oceny zgodności z udziałem jednostki notyfikowanej, przygotowania dokumentacji technicznej, oceny klinicznej czy wdrożenia systemu zarządzania ryzykiem i jakością.
To rozróżnienie ma znaczenie nie tylko dla producenta. Ma znaczenie również dla szpitala, który zastanawia się nad wdrożeniem takiego rozwiązania.
AI Act: nie każda AI ma ten sam poziom ryzyka
Drugim ważnym elementem jest AI Act, który wprowadza podejście oparte na poziomie ryzyka. Wśród systemów AI wyróżniono m.in. rozwiązania o minimalnym, ograniczonym i wysokim ryzyku, a także praktyki zakazane.
W przypadku systemów wysokiego ryzyka lista obowiązków jest długa. Dostawca musi m.in. zadbać o zarządzanie ryzykiem, dokumentację techniczną, odpowiednią jakość danych, możliwość kontroli systemu przez człowieka czy monitorowanie jego działania po wprowadzeniu na rynek. W ochronie zdrowia systemy wysokiego ryzyka mają szczególne znaczenie, są np. rozwiązania będące wyrobami medycznymi lub ich komponentami.
Co ważne, obowiązki nie dotyczą wyłącznie producenta. Szpital czy inna organizacja korzystająca z systemu AI również ma swoje zadania. Należą do nich m.in. korzystanie z systemu zgodnie z instrukcją dostawcy, przechowywanie logów, zapewnienie odpowiedniej jakości danych, wyznaczenie osób odpowiedzialnych oraz monitorowanie działania systemu i zgłaszanie nieprawidłowości.
To ważna perspektywa dla podmiotów leczniczych: zakup technologii nie kończy odpowiedzialności organizacji.
Dane pacjentów: AI potrzebuje danych, ale dane potrzebują zasad
Wszyscy zgadzamy się ze stwierdzeniem, że AI potrzebuje danych. Ochrona zdrowia ma ich ogromne ilości. Problem zaczyna się wtedy, kiedy pytamy: czy możemy wykorzystać konkretne dane, w konkretnym celu i w konkretny sposób? Należy mieć na uwadze, że dane dotyczące zdrowia należą do szczególnie chronionej kategorii informacji.
Wdrażanie AI wymaga spojrzenia jednocześnie na kilka regulacji: RODO, AI Act oraz Europejską Przestrzeń Danych Zdrowotnych (EHDS). Webinar pokazał, że kluczowe jest rozróżnienie między pierwotnym a wtórnym wykorzystaniem danych, a EHDS tworzy również ramy dla wykorzystania danych m.in. w badaniach, innowacjach i trenowaniu AI.
Jednocześnie pacjent nadal pozostaje w centrum tego procesu. Informowanie o wykorzystaniu AI, odpowiednia ochrona danych, możliwość interwencji człowieka czy audytowalność procesu przetwarzania nie są dodatkowymi formalnościami, ale istotnymi elementami odpowiedzialnego wdrażania technologii.
Kto odpowiada za błędy AI?
„Co jeśli algorytm się pomyli?” to prawdopodobnie jedno z najtrudniejszych pytań w całej dyskusji o AI w medycynie. Za nim idą kolejne: Kto odpowiada za szkodę? Producent? Szpital? Lekarz? Na kim spoczywa odpowiedzialność?
Choć nie ma jednej odpowiedzi, która pasowałaby w każdym przypadku – znaczenie może mieć m.in. to, jak system został zaprojektowany, jak był wykorzystywany, czy personel został odpowiednio przeszkolony i czy lekarz zachował należytą staranność – to jednak musimy pamiętać o jednym: odpowiedzialność zawsze spoczywa na człowieku.
Co ważne, odpowiedzialność może mieć kilka wymiarów. Odpowiedzialność administracyjna nie wyklucza cywilnej ani karnej. W przypadku odpowiedzialności za produkt niebezpieczny producent może odpowiadać niezależnie od winy, jeżeli zostaną spełnione odpowiednie przesłanki. To pokazuje, że zgodność regulacyjna nie jest formalnością, którą można „odhaczyć” przed wdrożeniem.
Człowiek nadal podejmuje decyzję
Właśnie dlatego jednym z najważniejszych tematów webinaru był nadzór człowieka nad AI. W przypadku systemów wysokiego ryzyka nadzór człowieka powinien być uwzględniony już na etapie projektowania. Użytkownik powinien rozumieć możliwości i ograniczenia systemu, potrafić rozpoznać jego błędy, prawidłowo interpretować wyniki i – kiedy jest to konieczne – zrezygnować z wykorzystania systemu albo przerwać jego działanie.
W medycynie ten element nabiera szczególnego znaczenia. Technologia może podpowiadać, analizować i wykrywać zależności, których człowiek nie zauważyłby równie szybko, jednak kluczowe jest, by użytkownik potrafił zakwestionować wynik, jeśli budzi jego wątpliwość. Odpowiedzialność za proces diagnostyczny czy terapeutyczny nie może zostać sprowadzona do kliknięcia „zaakceptuj wynik”.
Wdrożenie to dopiero początek
Jest jeszcze jeden element, o którym łatwo zapomnieć, kiedy rozmawiamy o nowych technologiach: co dzieje się z nimi po wdrożeniu? W przypadku wyrobów medycznych służy temu m.in. PMS – post-market surveillance, czyli nadzór nad wyrobem medycznym po wprowadzeniu go do obrotu.
W przypadku technologii opartych na AI to szczególnie istotne, ponieważ model może z czasem działać inaczej niż na początku. Dryfowanie modelu, czyli stopniowe pogarszanie się jego dokładności i skuteczności, wymaga ciągłego monitorowania.
Właśnie dlatego bezpieczeństwo rozwiązania AI nie powinno być oceniane wyłącznie w momencie jego wdrożenia. Potrzebne są również systematyczne obserwacje, analiza działania, reagowanie na nieprawidłowości i – w razie potrzeby – działania korygujące.
AI w medycynie wymaga szerszego spojrzenia
Najważniejszy wniosek z webinaru? Dobre wdrożenie AI zaczyna się dużo wcześniej niż w momencie zakupu technologii.
Warto zacząć od odpowiedzi na kilka podstawowych pytań:
- Co dokładnie robi rozwiązanie i jakie ma przewidziane zastosowanie?
- Czy jest wyrobem medycznym?
- Jaki poziom ryzyka wiąże się z jego wykorzystaniem?
- Jakie dane przetwarza i na jakiej podstawie?
- Jakie obowiązki spoczywają na dostawcy, a jakie na podmiocie stosującym?
- W jaki sposób człowiek będzie nadzorował działanie systemu?
- Jak będziemy monitorować rozwiązanie po wdrożeniu?
- Co zrobimy, jeśli system zacznie działać inaczej niż zakładaliśmy?
Wdrożenie AI w ochronie zdrowia nie jest wyłącznie projektem technologicznym. To również projekt organizacyjny, prawny i dotyczący bezpieczeństwa. W momencie, gdy technologia jest gotowa do użycia organizacja również musi być gotowa na jej odpowiedzialne wykorzystanie.
Prelegentki
Jolanta Prystupa – prawniczka specjalizująca się w obsłudze sektora Life Sciences – od prawa farmaceutycznego i wyrobów medycznych, przez żywność (w tym suplementy diety i żywność specjalnego przeznaczenia medycznego), aż po funkcjonowanie podmiotów leczniczych, aptek i hurtowni. Na co dzień wspiera przedsiębiorców w poruszaniu się po zawiłościach prawa regulacyjnego i prawa umów – doradza przy badaniach klinicznych, wprowadzaniu na rynek produktów regulowanych, ich komercjalizacji, działaniach marketingowych i budowaniu modeli dystrybucji. Bierze udział w postępowaniach przed sądami oraz organami nadzoru dotyczących obrotu produktami sensytywnymi. Wspiera pro bono warszawską fundację działającą na rzecz rozwoju innowacji medycznych w szpitalach dziecięcych.
Magdalena Matysiak – specjalizuje się w zagadnieniach z zakresu prawa nowych technologii, ze szczególnym uwzględnieniem regulacji związanych ze sztuczną inteligencją, cyberbezpieczeństwem, outsourcingiem usług IT w sektorach regulowanych i wykorzystaniu technologii chmury obliczeniowej. Brała udział w kilkudziesięciu wdrożeniach regulacji z obszaru cyberbezpieczeństwa (m.in. ustawy o krajowym systemie cyberbezpieczeństwa oraz DORA), a także projektach związanych z doradztwem na gruncie AI Act. Posiada doświadczenie w doradztwie na rzecz podmiotów z sektorów regulowanych, a także dostawców krajowych i zagranicznych świadczących usługi IT dla takich sektorów.
Beata Kąkol-Dembowska – Specjalistka prawa ochrony danych osobowych i prawa medycznego, wspierająca m. in. podmioty lecznicze w zgodności z RODO. Łączy wiedzę prawniczą z praktycznym podejściem – działa na styku prawa, technologii i biznesu, stawiając na bezpieczeństwo danych bez zbędnej biurokracji. Doświadczenie zdobywała w czołowej warszawskiej kancelarii technologicznej, doradzając firmom z branży medycznej, FMCG i przemysłowej – od audytów RODO, przez mapowanie procesów przetwarzania danych, po kompleksowe wdrożenia dokumentacji zgodnej z wymogami unijnymi i krajowymi.
Dziękujemy ekspertkom WKB Lawyers oraz wszystkim uczestnikom webinaru za udział, pytania i wspólną rozmowę o tym, jak budować bezpieczne i odpowiedzialne środowisko dla AI w ochronie zdrowia.
Webinar był kolejnym spotkaniem w ramach cyklu MCSC x Gaia AI Factory, w którym łączymy perspektywę technologiczną, prawną i praktyczną, aby lepiej przygotować sektor ochrony zdrowia na wykorzystanie sztucznej inteligencji.
Zapraszamy na kolejne spotkanie już 2 września.