Systemy widzenia maszynowego w instalacjach przemysłowych
| TechnikaKonstruktorzy maszyn i systemów automatyki przemysłowej coraz częściej są zobligowani do zaimplementowania jakiejś formy widzenia maszynowego w celu określenia odległości od wszystkich obiektów w polu obserwacji. Powody, jakie się za tym kryją, są różne, od konieczności nadzoru nad otoczeniem pod kątem wykrywania zmian lub włamań, do oceny odległości obiektów na linii produkcyjnej oraz wzmocnienia ogólnej ochrony operatora lub robota przed zagrożeniami wynikającymi z bezpieczeństwa. Ten ostatni czynnik staje się coraz bardziej istotny w dzisiejszych czasach, bo pojazdy autonomiczne pracujące w magazynach przemysłowych wykorzystują widzenie maszynowe do realizacji zautomatyzowanej jazdy, lokalizacji przedmiotów i identyfikacji obiektów oraz do wykrywania i unikania przeszkód.
Najpopularniejszą metodą realizacji widzenia maszynowego w pomieszczeniach i tym samym do oceny odległości od obiektu jest użycie radaru optycznego (lidara). Czujnik taki wykorzystuje światło laserowe do pomiaru dystansu między obiektami. Lidar emituje wiązkę promieni w kierunku obiektu i mierzy czas jej powrotu, aby określić odległość od każdego punktu w przestrzeni. Pomiar dotyczy też długości fali odbitego światła lasera, aby wyeliminować zakłócenia.
Lidar to kosztowne i złożone rozwiązanie, bo poza skomplikowaną częścią sprzętową niezbędne są algorytmy widzenia maszynowego. Oprogramowanie firmware lidara też jest bardzo złożone i wymaga realizacji adaptacji (procesu uczenia się). Zapewnienie adaptacji zwykle wymaga zatrudnienia ekspertów w dziedzinie widzenia maszynowego do przygotowania aplikacji.
W tym artykule zaprezentowano, jak użyć gotowego lidara firmy Intel bazującego na specjalnej kamerze w aplikacjach przemysłowych do wykrywania odległości od obiektów znajdujących się w polu widzenia. Jej użycie rozwiązuje problem szybkiego dodawania widzenia maszynowego do nowych lub istniejących systemów bez konieczności pogłębiania wiedzy na temat technologii optycznych i algorytmów widzenia maszynowego. W drugiej części tekstu zaprezentowano, jak sparować ten lidar z komputerem jednopłytkowym (SBC) firmy UDOO przy użyciu interfejsu USB 3.1.
Widzenie maszynowe w systemach automatyki przemysłowej
Środowiska automatyki przemysłowej w zakładach przemysłowych stają się bardziej dynamiczne, a w halach działa coraz większa liczba urządzeń, pracują ich operatorzy i gromadzone są materiały eksploatacyjne. Wszystkie maszyny, czujniki i inny sprzęt zwiększają poziom automatyzacji i mają na celu zwiększenie wydajności przy jednoczesnym zapewnieniu bezpieczeństwa operatora.
W istniejących systemach instaluje się dodatkowe czujniki przeznaczone do wykrywania obiektów, w tym ludzi, w obszarze działania maszyn z uwagi na konieczność zapewnienia im bezpieczeństwa. Obiekt na linii produkcyjnej można wykryć na wiele sposobów, w tym za pomocą podstawowego czujnika światła, który wykrywa zmianę oświetlenia otoczenia spowodowaną przechodzeniem obiektu, mechanicznego przełącznika, który jest aktywowany przez ciężar przedmiotu lub bariery świetlnej w poprzek linii produkcyjnej, która jest przerywana, gdy obiekt naruszy wyznaczoną granicę. Chociaż metody te są odpowiednie do zapewnienia podstawowej funkcjonalności wykrywania obiektów i zapewniania bezpieczeństwa, przy dużej liczbie osób i sprzętu konieczne jest użycie bardziej wyrafinowanej automatyzacji, a więc złożonego wykrywania wizyjnego, działającego podobnie do ludzkiego oka.
Systemy wizyjne z grubsza przypominają dodawanie wzroku do maszyn w celu umożliwienia identyfikacji kolorów, rozróżniania obiektów i rozpoznawania ruchów. Powszechną i bardzo praktyczną funkcjonalnością widzenia maszynowego jest także wykrywanie i ocena odległości do wszystkich obiektów w polu widzenia.
Istnieją dwie popularne metody wykrywania i pomiaru odległości do wielu obiektów jednocześnie. Pierwszym z nich jest radar mikrofalowy, który w środowisku wewnętrznym, a więc w hali produkcyjnej, może być niebezpieczny dla ludzi, którzy są stale narażeni na sygnały radiowe o wysokiej częstotliwości. Na zewnątrz mikrofale emitowane przez radar odbijają się od obiektów, po czym rozpraszają się nieszkodliwie w otaczającym środowisku. W pomieszczeniach zamkniętych to nie zachodzi i emisja z radaru będzie się wielokrotnie odbijała od wielu obiektów i metalowych ścian, powodując wzrost poziomu zakłóceń elektromagnetycznych (EMI). Długotrwałe narażenie może mieć niekorzystne skutki dla zdrowia pracowników.
Drugą metodą jest pomiar odległości z wykorzystaniem światła emitowanego przez laser. Taki radar nazywa się lidarem. Emituje on jedną lub więcej wiązek światła laserowego, które kierowane są na obiekty, których odległość ma być zmierzona. Czas przelotu wiązki do obiektu i z powrotem do czujnika, razem z przesunięciem fazowym sygnału odbitego w stosunku do nadawanego, pozwala na wyliczenie odległości. Zawarty w lidarze algorytm oblicza odległość do obiektów na podstawie czasów przelotu i zmian fazy i podaje ją w centymetrach lub calach.
Obliczenie różnicy czasu i zmiany fazy dla pojedynczej wiązki laserowej, a więc wówczas, gdy interesuje nas wykrycie jednego obiektu, jest dość proste. Ale w systemach wizyjnych wiązka omiata całą przestrzeń w polu widzenia i w czasie rzeczywistym oblicza odległości do kilkudziesięciu obiektów znajdujących się w polu widzenia. Wynikiem działania programu jest stworzenie wizualnej mapy odległości. To już nie jest trywialne zadanie, które wymaga wydajności obliczeniowej i pamięci, a więc zmusza do sięgnięcia po zaawansowany komputer.
Widzenie maszynowe w praktyce
Praktycznym rozwiązaniem aplikacji widzenia maszynowego, które można szybko wdrożyć i uruchomić, jest tzw. lidarowa kamera głębi Intel RealSense 82638L515G1PRQ o wysokiej rozdzielczości L515 (rys. 1). Ma ona 61 mm średnicy, 26 mm głębokości i zawiera jednostkę analizy głębi obrazu, dodatkową kolorową kamerę RGB oraz jednostkę inercyjną (IMU). Kamera działa w rozdzielczości 1024×768 lub 1920×1080 i wizualizuje dane w taki sposób, że kolor każde go piksela reprezentuje odległość, w jakiej znajduje się ten punkt od obiektywu kamery.
Kamera L515 zwraca bitmapowy obraz obszaru znajdującego się w jej polu widzenia. Różnica jest taka, że zamiast zwracać typowy obraz fotograficzny, tu jest specjalny obraz, w którym kolor każdego piksela reprezentuje jego odległość od obiektu. Kamera obserwuje w przestrzeni od 0,25 do 9 m. Zawiera również standardową 2-megapikselową (MP) kamerę z obrazem RGB, która jest przydatna podczas projektowania, gdzie można jej użyć do nakładania obrazów (rzeczywistego i tzw. odległościowego). Ma dość dużą czułość, bo jest przystosowana do oświetlenia wewnętrznego i może źle pracować w miejscach, w których jest dużo światła słonecznego.
Przykładowy obraz z L515 pokazano na rysunku 2. Obraz z kamery jest wyśrodkowany na roślinie umieszczonej na pierwszym planie i jest podzielony na dwie sekcje. Lewa strona przedstawia zwykły obraz rośliny i tła z kamery RGB w naturalnych kolorach. Prawa strona to wizualna reprezentacja odległości każdego obiektu od kamery. Roślina na pierwszym planie ma odcienie niebieskiego, podczas gdy ściana w tle jest jasnopomarańczowa. Po prawej stronie ściana jest dalej od środka aparatu, więc obraz nabiera głębszych odcieni czerwieni. Korzystając z tych informacji, oprogramowanie może przetwarzać dane obrazu w celu określenia odległości między obiektami a kamerą.
Dzięki niewielkim rozmiarom i wysokim stopniom integracji kamera L515 jest odpowiednia do zastosowań w automatyce przemysłowej w pomieszczeniach, w których wykrywanie głębi wizji maszynowej musi zostać szybko wdrożone w nowych lub istniejących systemach. W przypadku systemów mobilnych przydatna może być też jednostka IMU mierząca przyspieszenie w zakresie do ±4 g wraz z żyroskopem, dostarczającym danych o kącie obrotu urządzenia wokół osi do ±1000o/s. Jest to odpowiednie dla większości pojazdów wewnętrznych lub robotów używanych w obiektach automatyki przemysłowej. Należy zachować ostrożność podczas tworzenia oprogramowania firmware dla IMU, ponieważ pojazd lub robot, który uderza w przeszkodę, może chwilowo zostać poddany przyspieszeniu o wartości większej niż 4 g, co jest wyjątkiem, który należy uwzględnić.
Integracja w kompletnym systemie
Lidar Intel L515 można połączyć z komputerem PC lub komputerem jednopłytkowym (SBC) za pomocą szybkiego interfejsu USB 3.1. Obudowa kamery ma złącze USB Type-C, dzięki czemu można użyć standardowych kabli ze złączami typu C. Ponieważ przetwarzanie obrazu maszynowego może wymagać dużej mocy obliczeniowej procesora, zaleca się użycie wydajnego komputera, aby w razie potrzeby zestawy danych obrazu mogły być przetwarzane w czasie rzeczywistym.
Komputer jednopłytkowy UDOO Bolt V8 to wydajna jednostka oparta na czterordzeniowym procesorze pracującym z częstotliwością 2 GHz (z przyspieszeniem do 3,6 GHz) i z maks. 32 GB pamięci DRAM. Jako pamięć programu można w nim użyć dysku SSD M.2. Obsługiwany jest też standardowy interfejs dysku twardego SATA-3.
UDOO Bolt V8 ma ponadto dwa interfejsy wideo HDMI 1.4 do podłączenia do monitora. W celu podłączenia do sieci można użyć w fabryce za pomocą gigabitowego przewodowego Ethernetu poprzez wbudowany port RJ-45. Obsługiwane są również Wi-fi Bluetooth. Dźwięk stereo jest obsługiwany przez standardowe gniazdo 3,5 milimetra. Komputer pozwala na instalację dowolnego 64-bitowego systemu operacyjnego zgodnego z architekturą x86, w tym Microsoft Windows i każdą 64-bitową dystrybucję Linuksa. Wydajność wiąże się z poborem mocy – komputer wymaga 19-woltowego, 65-watowego zasilacza do obsługi tych 2 GHz.
Dla potrzeb algorytmów obróbki danych w systemach wizyjnych UDOO Bolt V8 zapewnia dużą moc obliczeniową. Może pobierać dane z Intel RealSense L515 przez szybki interfejs USB 3.1 typu C, a jeśli to konieczne, może wyświetlać obraz na monitorze podłączonym do jednego z interfejsów HDMI. Alarmy dźwiękowe lub ostrzeżenia mogą być odtwarzane przez głośniki podłączone do dowolnego z gniazd wyjściowych audio.
Podsumowanie
Widzenie maszynowe z wykrywaniem głębi w obrazie to szybko rozwijająca się dziedzina, która może wymagać skomplikowanego oprogramowania i zaawansowanego sprzętu, jeśli projektant zdecyduje się na pracę od podstaw. Niemniej dzięki wykorzystaniu gotowych rozwiązań i specjalizowanych komponentów, które wykonują obliczenia dla osi Z z użyciem specjalnego oprogramowania zaszytego w pamięci czujnika, można zaoszczędzić dużo czasu i pieniędzy, czego wynikiem jest wysokowydajny system wizyjny, który daje się szybko i niezawodnie uruchomić w środowisku automatyki przemysłowej.
Rolf Horn, Digi-Key Electronics
Digi-Key Electronics
https://www.digikey.pl/
