Platforma wizyjna ze sztuczną inteligencją dla robotyki od Intel-a, congatec i Real-Time Systems
| TechnikaRozpoznawanie obrazów z wykorzystaniem komputera staje się coraz bardziej istotne w systemach robotyki. Ale jak połączyć rozwiązania czasu rzeczywistego i technologię TSN (ang. time-sensitive networking) z systemami wizyjnymi i sztuczną inteligencją? Firma congatec we współpracy z firmami Intel i Real-Time Systems odrobiła już pracę domową. Cel: dostarczenie producentom OEM w pełni skalowalnej i skonsolidowanej platformy.
Rynek systemów rozpoznawania obrazów z wykorzystaniem komputera rośnie bardzo gwałtownie i jest postrzegany jako rynek z bardzo dużym potencjałem rozwoju w wielu obszarach - takich jak zaawansowane systemy wsparcia kierowcy, przetwarzanie obrazów w medycynie, precyzyjne rolnictwo, sprzedaż, reklama, media, systemy zapewnienia bezpieczeństwa i nadzoru, bezzałogowe statki powietrzne i systemy robotyki. Rosnące zapotrzebowanie na tego typu systemy w nowych obszarach zastosowania sztucznej inteligencji jest jednym z głównych czynników napędzających rynek.
Obecnie zakłada się, że dzięki sztucznej inteligencji, rynek rozpoznawania obrazów z wykorzystaniem komputera osiągnie znakomity, skumulowany roczny wskaźnik wzrostu na poziomie +47%i, podczas gdy dla całego rynku maszynowego przetwarzania obrazu szacuje się wzrost na poziomie "tylko" około 8.5%ii. Według Researchstore.biziii, najważniejszymi czynnikami napędzającymi wzrost są rosnące zapotrzebowanie na systemy kontroli jakości i automatyki, ewolucja systemów robotyki sterowanych przetwarzanymi obrazami, rosnące wykorzystanie systemów 3D, jak również rosnące zapotrzebowanie na systemy przetwarzania obrazów tworzone pod kątem konkretnych zastosowań, które oprócz automatycznego rejestrowania obrazów, muszą również realizować określone funkcje analityczne i przetwarzające.
Nowe wyzwania rzadko pojawiają się same
Dostawcy robotów i systemów sterujących, którzy chcą zaimplementować swoje nowe rozwiązania wykorzystujące systemy widzenia maszynowego i algorytmy sztucznej inteligencji, muszą stawić czoła wielu poważnym wyzwaniom. Działając w wysoce dynamicznym środowisku, są zmuszeni stosować najnowsze rozwiązania technologiczne i w efektywny kosztowo sposób muszą integrować je w swoich produktach. Z drugiej zaś strony, muszą w sposób ciągły generować duże ilości danych, aby móc zasilać nimi algorytmy sztucznej inteligencji. W tym samym czasie muszą uwzględniać również wszystkie wyjątki, które mogą wynikać np. z interakcji człowieka.iv
Kolejnym wyzwaniem, nad którym należy zapanować, jest zapewnienie niezawodnej komunikacji w rozwiązaniach Industry 4.0. Ponieważ wykorzystanie sieci komputerowych niezmiennie niesie za sobą ryzyko ataku, wymaga to rozbudowanych mechanizmów ochrony systemu oraz szczególnej uwagi. Konserwacja predykcyjna jest kolejnym obszarem, w którym technologie LPWAN (ang. Low Power Wide Area Network), takie jak Sigfox i NB-IoT torują drogę dla nowych strategii w celu zebrania istotnych wskaźników raportowania. Tak więc istnieje naprawdę duża ilość pilnych zadań, których to realizacją firmy typu OEM muszą się wyróżnić na tle konkurencji, aby móc kontynuować działalność i się rozwijać.
Niezawodni partnerzy technologiczni poszukiwani
W tak wysoce dynamicznym środowisku, firmy typu OEM potrzebują niezawodnych partnerów technologicznych dla swoich wbudowanych systemów wizyjnych, którzy zapewnią solidne fundamenty dla ich nowych rozwiązań. Dostawcy tacy jak congatec i Real-Time Systems połączyli swoje siły z firmą Intel w celu opracowania doskonałej platformy do przetwarzania wideo, wykorzystania sztucznej inteligencji i sterowania w czasie rzeczywistym, prezentowanej na stoiskach targów Embedded World jako gotowy do użycia system demo.
Dzięki niezwykle szybkiemu, deterministycznemu działaniu nawet sześciu rdzeni, platforma serwera przemysłowego zbudowana w oparciu o moduły COM Express Type 6 z procesorami Intel Xeon E2 może obsługiwać wiele zadań czasu rzeczywistego i zadań nierealizowanych w czasie rzeczywistym. Oferująca rzeczywistą wielozadaniowość, gotowa do użycia, przemysłowa platforma sterująca wykorzystuje rozwiązania RTS hypervisor stworzone przez firmę Real-Time Systems. Zostały one zaprojektowane pod kątem kolejnych generacji robotów pracujących z wykorzystaniem systemów wizyjnych oraz sterowników systemów automatyki, które muszą obsługiwać wiele zadań jednocześnie - łącznie ze świadomością sytuacyjną generowaną w wykorzystaniem algorytmów sztucznej inteligencji działających w oparciu o głębokie uczenie się.
Jednorodne rozwiązanie i konsolidacja obciążenia pracą
Nadrzędnym celem jest złożenie z pojedynczych elementów jednorodnej platformy, konsolidując tym samym obciążenie pracą poszczególnych elementów. Systemy, które przedtem były systemami oddzielnymi - np. systemy rozpoznawania wizji, systemy sztucznej inteligencji, układy IoT, mogą teraz zostać łatwo skonsolidowane w postaci jednego rozwiązania sprzętowego, łącznie z rozwiązaniami czasu rzeczywistego i TSN (ang. Time-Sensitive Networking). Dzięki temu klienci nie muszą już opracowywać i utrzymywać różnych systemów wbudowanych dla pojedynczych zadań - oznacza to bardzo znaczące oszczędności. Jednak, aby mieć możliwość tworzenia takich zróżnicowanych systemów, producenci OEM potrzebują mocnych i niezawodnych rozwiązań typu hypervisor, pracujących w czasie rzeczywistym, jak również przystosowanej do konkretnego zastosowania, wielordzeniowej, wbudowanej platformy serwerowej z taką ilością rdzeni, jaka jest wymagana do obsługi specyficznych, dyskretnych zadań programowych.
Łączenie tego, co powinno być razem
Platforma przemysłowa, prezentowana przez firmy Intel, congatec i Real-Time Systems została zbudowana w oparciu o komputery modułowe COM Express z procesorami Intel Xeon E2. Zawiera w sobie trzy gotowe do użycia, wstępnie skonfigurowane maszyny wirtualne. Jedna z nich obsługuje kamerę wizyjną Basler, wykorzystywaną do rozpoznawania obiektów z poziomu system Linux, z wykorzystaniem oprogramowania Intel OpenVino. Algorytmy sztucznej inteligencji są uruchamiane na karcie Intel Arria 10 FPGA dostarczonej przez firmę Refexces.
Niezależne partycje czasu rzeczywistego obsługują system Linux czasu rzeczywistego w celu wyważenia wahadła odwrotnego w czasie rzeczywistym, co symbolizuje rozproszone roboty produkcyjne. Przy próbie naruszenia równowagi wahadeł, system odpowiada natychmiastowo w czasie rzeczywistym i utrzymuje wahadła w równowadze. Kolejna partycja Linux - a jest wykorzystywana do obsługi bezpiecznej bramy sieciowej znajdującej się na płycie. Dzięki integracji bezpiecznej bramy sieciowej na płycie znacząco obniża się koszt całego rozwiązania, jak również zmniejszają się wymiary całego systemu - nie ma konieczności stosowania zewnętrznej bramy. Takie rozwiązanie stanowi również zabezpieczenie przed włamaniem z wykorzystaniem mechanizmu "tylnych drzwi", co może mieć miejsce w przypadku wykorzystywania zewnętrznej bramy. Dzięki temu moduł ten może zostać wykorzystany bezpośrednio jako urządzenie brzegowe.
Aby zademonstrować niezależność aplikacji i działanie mechanizmów czasu rzeczywistego na pojedynczej platformie serwerowej z wieloma maszynami wirtualnymi, partycja Linux - a, na której jest uruchomione demo systemu wizyjnego może być ponownie uruchamiana bez żadnego wpływu na wirtualizowany system czasu rzeczywistego. Oczywiście istnieje możliwość niezależnego, ponownego uruchamiania wszystkich pozostałych systemów operacyjnych na ich maszynach wirtualnych, jak również istnieje możliwość weryfikacji poprawności ich pracy za pomocą odpowiednich mechanizmów (watchdog).
źródło: https://www.learnopencv.com/wp-content/uploads/2018/11/openvino-2.png
Kluczem są partnerzy
Producenci OEM, korzystający z takich gotowych do użycia rozwiązań platformowych, czerpią korzyści z faktu, iż wysiłek i koszty, jakie należy ponieść na opracowanie nowego produktu są znacznie niższe. Wynika to z tego, że wiele funkcjonalności zostało już opracowanych i przetestowanych, a współpraca poszczególnych komponentów również została już zweryfikowana. Fakt, że Real-Time Systems należy do firmy congatec AG również znacząco ułatwia skalowanie rozwiązań do innych poziomów wydajności. To, że RTS hypervisor obsługuje wszystkie popularne platform x86 niekoniecznie oznacza, że każda wbudowana platforma obliczeniowa od dowolnego dostawcy została zwalidowana i przetestowana pod kątem poprawności współpracy z RTS hypervisior. Oczywiście to samo stwierdzenie odnosi się do innych elementów, takich jak kamery wizyjne. Z tego też powodu, niedawno firma congatec nawiązała współpracę z firmą Basler. Celem tej współpracy jest dostarczenie klientom elementów, które będą doskonale dopasowane do tworzonych przez nich wbudowanych systemów wizyjnych.
Platformy projektowane według wymagań klienta
Jeśli będzie to wymagane, congatec może zaoferować pojedyncze elementy systemu jako w pełni opracowaną, gotową do użycia i seryjnej produkcji platformę sprzętową - łącznie ze wszystkimi certyfikatami, jakie mogą być wymagane przez klienta końcowego. Dzięki takiemu podejściu klienci zyskują dzięki uproszczonej obsłudze i szybszemu projektowaniu wbudowanego system wizyjnego, jak również dzięki optymalnym warunkom obsługi i wsparcia technicznego. W firmie congatec takie projekty są zawsze realizowane w oparciu o komputery modułowe.
Takie podejście umożliwia łatwe skalowanie wydajności w zależności od wymagań i łatwą implementację strategii wykorzystujących najnowsze rozwiązania techniczne. Jednakże, zawsze istnieje możliwość wbudowania komputera modułowego i płyty nośnej w rozwiązanie dostosowane do wymagań producenta OEM, łącznie z opracowaniem platformy zgodnej z wymaganiami klienta, dedykowanej obudowy i komunikacji IoT. Krótko mówiąc: prawdziwe portfolio rozwiązań platformowych dla producentów OEM.
iv https://ijasre.net/uploads/2/3648_pdf.pdf
Autor*: Zeljko Loncaric - inżynier w Dziale Marketingu firmy congatec
źródło: congatec
