Wbudowane komputerowe systemy wizyjne w technologiach medycznych

Diagnoza wizualna jest jedną z podstawowych technik badań medycznych wykorzystywanych przez lekarzy. Ułatwia diagnozowanie widocznych zmian strukturalnych lub funkcjonalnych. W dzisiejszych czasach jest często wykonywana z wykorzystaniem kamer – zarówno zewnętrznych - w dermatologii (np. w celu wykrycia raka skóry) i okulistyce, jak również wewnętrznych w endoskopii (np. do kolonoskopii). Wykorzystywana jest również w laboratorium w postaci mikroskopu elektronowego.

Przenośne urządzenia wizyjne do zastosowań w rozwiązaniach eZdrowie

Wykorzystanie systemów wizyjnych do zwiększenia możliwości ludzkiego oka ma wiele zalet. Wraz z rozwojem sieci 5G pojawia się możliwość przesyłania danych na żywo w czasie rzeczywistym, w celu uzyskania opinii ekspertów. W przypadku połączenia ze sztuczną inteligencją, wymagania dotyczące opinii ekspertów mogą być minimalizowane. Wynika to z faktu, że jeżeli system zostanie właściwie "przeszkolony", wówczas większość obrazów może zostać jednoznacznie sklasyfikowana jako niewyraźne lub wyraźne. Oczywiście system informatyczny nie może i nie powinien zastępować diagnozy eksperta z zakresu medycyny. Nie mniej jednak, uzyskanie początkowej oceny lub nawet drugiej opinii z systemu sztucznej inteligencji mogłoby stać się standardem w społeczeństwie przyszłości aby uczynić opiekę nad pacjentami lepszą i bardziej efektywną.

Zastosowania w dermatologii, kolonoskopii i okulistyce

Naukowcy z Massachusetts Institute of Technology (MIT) odkryli, że możliwe jest mierzenie pulsu pacjenta i oddechu za pomocą jedynie nagrań wideo. Nieuzbrojone oko nie może rozpoznać minimalnych zmian w kolorze twarzy spowodowanych przepływem pulsującej krwi.

Dostępne są już udane badania umożliwiające wczesne wykrycie raka skóry. Naukowcy z Niemieckiego Centrum Badań Nad Rakiem (DKFZ), kliniki skóry Szpitala Uniwersyteckiego w Heidelbergu oraz Narodowego Centrum Chorób Nowotworowych (NCT) w Heidelbergu opracowali algorytm realizujący cyfrową ocenę podejrzanych zmian skórnych. Na 100 obrazów nieprawidłowości skórnych, jedynie 7 ze 157 dermatologów uczestniczących w badaniu osiągnęło wynik lepszy niż algorytm.

 

Rysunek 3. Zarówno lekarze, jak i systemy sztucznej inteligencji wykorzystują obrazy do ustalenia czy wszystkie cienkie naczynia siatkówki są połączone i nienaruszone lub jeśli tak nie jest, czy konieczne są badania kontrolne. Ten rodzaj diagnozy przyczynia się do zapobiegania chorobom oczu, takim jak zwyrodnienie plamki żółtej.

Obecnie są prowadzone również badania w kierunku diagnostyki raka jelita grubego z wykorzystaniem sztucznej inteligencji. Obrazy zebrane w trakcie kolonoskopii są przesyłane do systemu sztucznej inteligencji, który wykorzystuje 300 różnych charakterystyk do ustalenia czy wykryte zmiany to wczesny etap raka jelita grubego, czy też nieszkodliwy guz. Dziś powszechną praktyką jest usunięcie narośli i jej badanie w laboratorium – proces ten jest uciążliwy zarówno dla pacjentów, jak i szpitali.

Jaskra, retinopatia cukrzycowa lub zwyrodnienie plamki żółtej (AMD) związane z wiekiem pacjenta są kolejnymi przykładami schorzeń medycznych, które mogłyby zostać wykryte znacznie wcześniej, gdyby oprócz badań okulistycznych zastosowano odpowiednią technologię. Tego typu badania mogłyby być oferowane przez lekarzy ogólnych jako część corocznych badań kontrolnych lub wykonywane przez personel pielęgniarski w domach opieki dla osób starszych i w ramach opieki domowej. Mogłyby być również wykonywane przez optyków lub farmaceutów, podobnie jak pomiar ciśnienia krwi. Na dzień dzisiejszy nie istnieje znana metoda leczenia AMD, jednego z najczęściej występujących schorzeń oka w zachodnim świecie, które powoduje poważne ograniczenie widzenia u ludzi po 50 roku życia. Dlatego też, wczesne wykrycie pomogłoby znacząco ograniczyć lub wyeliminować czynniki ryzyka.

Znakomita przyszłość – przenośny aparat do badania dna oka wyposażony w sztuczną inteligencję

Ponieważ sztuczna inteligencja nie jest jeszcze wystarczająco rozwinięta, wprowadzenie na rynek urządzeń przenośnych z łącznością 5G i w pełni “nauczonym” systemem informatycznym potrwa jeszcze jakiś czas. Dzisiejsza technologia umożliwia seryjną produkcję rozwiązań umożliwiających przetwarzanie czarno-białych obrazów zdjęć RTG. Niewątpliwie kolorowe obrazy będą również prędzej czy później analizowane przez systemy sztucznej inteligencji. Jednakże, aby opracować przenośne, kompletne urządzenie do badania siatkówki oka, wyposażone również w aparat do badania dna oka, konieczne będzie opracowanie systemu wizyjnego, wykorzystywanego w obecnych rozwiązaniach stołowych, w postaci wysoce zintegrowanego urządzenia przenośnego. Jest to wielkie wyzwanie stojące przed producentami medycznych urządzeń diagnostycznych.

 

Rysunek 1. Przenośny aparat do badania dna oka, zaprojektowany jak ten pistolet termograficzny lub mobilny endoskop wyposażony w sztuczną inteligencję mogą mieć przed sobą wspaniałą przyszłość Dzięki szerokiemu zastosowaniu takich przenośnych urządzeń w opiece domowej lub w domach opieki nad starszymi osobami, wiele chorób oczu pojawiających się w starszym wieku mogłoby zostać zdiagnozowanych znacznie szybciej.

Złożone wyzwania dla producentów aparatów do badania dna oka

Z jednej strony, to dostawcy rozwiązań muszą stale ulepszać oprogramowanie do przetwarzania obrazów – taka technologia jest wciąż wykorzystywana w zastosowaniach stacjonarnych i wciąż wymaga rozwoju. Dodatkowo, transmisja danych w standardzie 5G, łącznie z platformą eZdrowie do zdalnego diagnozowania, dostosowywanie serwerów do procesów uczenia się sztucznej inteligencji, jak również same urządzenia – wszystko to musi zostać opracowane całkowicie od nowa. Odnosi się to zarówno do części sprzętowej, jak i do oprogramowania – stanowi to ogromne wyzwanie.

Konieczne jest zbudowanie systemu wbudowanej kamery zapewnienie możliwości kalibracji kolorów

Jeśli chodzi o stronę czysto sprzętową, producenci muszą często podjąć decyzje które mają wpływ na powodzenie projektu w długiej perspektywie czasu. Wybór właściwego systemu wizyjnego nie jest łatwym zadaniem. Krytycznymi czynnikami są niezawodność renderowania kolorów w trakcie analizy obrazu oraz poprawność ich reprodukcji – czynniki te odgrywają kluczową rolę ponieważ umożliwiają zarówno lekarzowi, jak i systemowi sztucznej inteligencji dokonanie klasyfikacji czy badana struktura jest zdrowa, czy też występują w niej zmiany chorobowe. W tym przypadku wiele zależy od poprawności kalibracji kolorów – konieczne jest, aby parametry w torze obliczeniowym przetwarzania kolorów, zdefiniowane w oprogramowaniu kamery był w pełni zoptymalizowane. Celem procesu kalibracji jest parametryzacja poszczególnych bloków funkcyjnych w torze przetwarzania kolorów kamery w taki sposób, aby zminimalizować błędy kolorów w odniesieniu do wartości referencyjnych. Całkowite uniknięcie tych błędów nie jest możliwe.

 

Rysunek 2. Ten aparat do badania dna oka (zdjęcie z 2010 roku) wymagał kamery do wykonania zdjęcia i komputera PC do przeprowadzenia analizy. Dzisiejsze systemy są znacznie bardziej zintegrowane. W przyszłości aparaty do badania dna oka bazujące na sztucznej inteligencji mogłyby zrewolucjonizować badania przesiewowe pod kątem jaskry, retinopatii cukrzycowej lub zwyrodnienia plamki żółtej, które może pojawiać się wraz z wiekiem.

Windows lub Linux, ARM lub x86?

Kolejnym pytaniem, na które należy znaleźć odpowiedź jest – która architektura procesora powinna zostać użyta? Czy lepszym rozwiązaniem jest architektura ARM, w systemie pracującym pod kontrolą systemu Linux, czy też urządzenie przenośne powinno zostać zaprojektowane jako platforma x86, pracująca pod kontrolą systemu Windows, tak jak poprzednie komputery diagnostyczne? Nawet jeśli przeważy opcja wykorzystania platformy x86, często kolejną decyzją jaką należy podjąć jest to czy użyć system dostarczonego przez firmę AMD, czy też Intel. Faktem jest, że w układach SoC firmy AMD zintegrowano przetwarzanie GPGPU, jak również działają one w oparciu o oprogramowanie typu "open source". Na korzyść rozwiązań firmy Intel należy zaliczyć bardziej rozbudowane środowisko programowe.

Ostatecznie, po podjęciu wszystkich tych decyzji, wciąż należy zaprojektować całą elektronikę, dostarczyć ją w odpowiedniej obudowie z właściwym BSP dla obrazu systemu operacyjnego. Celem jest, aby oprogramowanie aplikacyjne producenta OEM mogło sprawnie realizować to, do czego jest przeznaczone: dostarczać znakomite obrazy oraz system zarządzania, który uczyni proces diagnostyki znacznie bardziej efektywnym. Ponieważ są to dość złożone wyzwania, firma Basler, specjalizująca się we wbudowanych systemach wizyjnych oraz firma congatec, specjalizująca się we wbudowanych rozwiązaniach obliczeniowych, nawiązały współpracę. Celem tej współpracy jest zapewnienie wsparcia dla producentów OEM w trakcie wszystkich procesów inżynierskich – począwszy od zdefiniowania pierwszego wymagania, aż do etapu produkcji seryjnej – obie te firmy są jednym dostawcą kompleksowej platformy.

 

Rysunek 4. Inteligentne wbudowane platformy przetwarzania obrazów ze świadomością sytuacyjną obsługiwaną przez algorytmy sztucznej inteligencji składają się z wielu małych bloków funkcyjnych, których wzajemna współpraca musi zostać dokładnie przetestowana.

 

Rysunek 5. Moduł platformy NXP firmy Basler i congatec jest również przystosowany do zastosowań w zakresie sztucznej inteligencji. Zbudowany w oparciu o Basler Embedded Vision Kit, wyposażony w SoC NXP i.MX 8QuadMax, komputer modułowy conga-SMX8 SMARC 2.0 firmy congatec, płytę nośną SMARC 2.0 I moduł kamery BCON MIPI 13 MP firmy Basler.

Wbudowane rozwiązania do przetwarzania obrazów – połączone kompetencje

Dzięki interdyscyplinarnemu zespołowi ekspertów z obu firm, który zajmuje się całościowo końcowym rozwiązaniem i weryfikuje poprawność współpracy pomiędzy poszczególnymi komponentami wbudowanego systemu przetwarzania wizji oraz wbudowanej platformy obliczeniowej, producenci OEM muszą poświęcić znacznie mniej czasu i wysiłku na koordynację działań w trakcie prac rozwojowych. Oznacza to, że producenci OEM zyskują dostęp do kompleksowego rozwiązania. Klienci zyskują dzięki szybszemu projektowaniu "wbudowanego komputera do przetwarzania obrazów", jak również dzięki optymalnym usługom i wsparciu podczas produkcji seryjnej. Komputery modułowe firmy congatec często stanowią bazę technologiczną dla tego typu projektów ponieważ umożliwiają bardzo łatwe skalowanie wydajności oraz są właściwym rozwiązaniem dla strategii ciągle rozwijających się rozwiązań dostosowanych do określonych wymagań. W przypadku systemów sztucznej inteligencji stanowi to niezaprzeczalną zaletę – wymagania dotyczące wydajności będą się zmieniać wraz z rozwojem systemów sztucznej inteligencji i systemów wnioskowania. Inną opcją jest użycie modułu zapisującego, płyty nośnej i kamery będących rozwiązaniem w pełni opracowanym przez producenta OEM. Wspólna oferta obejmuje również opracowanie modułu platformy całkowicie dostosowanej do wymagań klienta, łącznie z obudową. Aby ułatwić projektantom wybór pomiędzy ARM a x86, zalecane jest stosowanie komputerów modułowych w standardzie SMARC lub Qseven. Są one dostępne w obu architekturach, charakteryzują się małymi rozmiarami, właściwymi do użycia w mobilnych i przenośnych urządzeniach.

Zeljko Loncaric – inżynier w Dziale Marketingu firmy congatec AG
Felix Chemnitz, Manager Produktu – Rynek Rozwiązań Medycznych, Basler AG