Inteligentne kamery i robotyka, czyli co przynoszą nowe chipy Qualcomma

Nowe chipy SoC są odpowiedzią na zwiększające się potrzeby rynku w zakresie komunikacji w sieciach 5G, brzegowym przetwarzaniu danych i sztucznej inteligencji oraz w związku z coraz większą liczbą aplikacji wykorzystujących kamery do realizacji systemów widzenia maszynowego w robotyce przemysłowej.

Są to zintegrowane platformy wielordzeniowe o dużej wydajności, zapewniające heterogeniczną moc obliczeniową wynikającą z połączenia możliwości przetwarzania CPU, GPU i DSP) oraz mające wbudowane jednostki AI do kamer i obróbki sygnału wideo. Można je połączyć z chipami do łączności komórkowej, bezprzewodowej oraz układami zarządzania zasilaniem, aby zapewnić kompletne rozwiązanie platformy komputerowej. Dla klientów przygotowano projekty referencyjne i zestawy projektowe oraz środowisko programistyczne

Układy QCS410 i QCS610 przeznaczone są do obróbki obrazu z kamery i realizacji uczenia maszynowego i zapewniają dużą moc obliczeniową przy małym zużyciu energii. Oba rozwiązania zawierają procesor sygnału obrazu (ISP) i silnik AI Engine, które razem z heterogeniczną jednostką obliczeniową zapewniają szybką realizację algorytmów AI w systemach Linux i Android. Platformy te są przeznaczone do inteligentnych kamer, wyświetlaczy i sprzętu do wideokonferencji.

Układy

QCS8250 obsługuje równocześnie maksymalnie 7 kamer i 3 wyświetlacze 4 K. Zapewnia moc obliczeniową 15 TOPS w aplikacjach AI. Rozwinięciem układu QCS8250 jest QRB5165 bazujący na tej samej architekturze, ale przeznaczony do zastosowań w robotyce, w tym aplikacji, gdzie wymagane jest zapewnienie małych opóźnień przy realizacji algorytmów. Oprogramowanie systemowe dla tego chipa bazuje na linuksowym Ubuntu, a oprócz systemu operacyjnego Qualcomm przygotował kilka zestawów SDK i zestawów narzędzi, które pomagają klientom wdrożyć kluczowe funkcje typowego robota, w tym algorytmy wykrywania i śledzenia obiektów, unikanie przeszkód, vSLAM, mapowanie 3D. Dzięki temu SoC nadaje się do aplikacji takich jak profesjonalne sprzątanie, drony, roboty bezpieczeństwa publicznego i pojazdy AGV. Platformy te spełniają wymagania aplikacji przemysłowych i robotyki, QRB5165 pracuje w rozszerzonym zakresie temperatur.

Oprogramowanie i biblioteki

Aby wesprzeć klientów w szybszym rozwoju produktów, Qualcomm przygotował platformę programistyczną opartą na systemie Linux, która zawiera narzędzia do łączenia oprogramowania aplikacji i algorytmów klientów z systemami operacyjnymi typu open source (Linux i/lub Android) oraz oprogramowaniem BSP Qualcomma. Dostępne są również narzędzia do debugowania kodu i programowania pamięci Flash. Producent udostępnia ponadto zestawy SDK, np. Neural Network SDK dla AI umożliwia wykonywanie algorytmów AI bezpośrednio na rdzeniach CPU i GPU, w tym w silniku Snapdragon Neural Processing Engine.

Oprogramowanie aplikacyjne łączy kod własnościowy firmy Qualcomm oraz komponenty programowe typu open source. Opiera się na dystrybucji Yocto Linux (wydanie Poky) razem z aplikacjami takimi jak GStreamer, do obsługi kamery, multimediów i sztucznej inteligencji. Układy QCS410 i QCS610 są kompatybilne programowo i pinowo, dzięki czemu można zmienić chip na wydajniejszy bez modyfikacji płytki lub programu.

Oprogramowanie oraz biblioteki dają możliwość łatwego przygotowania złożonych produktów wykorzystujących technologię sztucznej inteligencji. W przypadku QCS610 może to być kamera z algorytmem AI, który automatycznie identyfikuje mówcę w systemie konferencyjnym lub działania konsumentów w sklepie. W przypadku QRB5165 może to być z kolei nawigacja wspomagana sztuczną inteligencją lub algorytm wykrywania i unikania obiektów dla robota magazynowego lub drona.

Biblioteka Neural Processing SDK for AI pozwala na korzystanie z własnych lub zewnętrznych modeli AI, które zostały opracowane i wytrenowane na frameworkach takich jak Caff e, Caff e2, TensorFlow i ONNX. Umożliwia także wdrażanie i optymalizowanie aplikacji krawędziowego przetwarzania danych. Programista może wybrać wdrożenie swojego modelu AI na silniku Neural Processing, który jest zoptymalizowany pod kątem akceleracji wnioskowania lub na wielordzeniowym procesorze, a nawet GPU, w zależności od zasobów, opóźnień i wymagań dotyczących pamięci.

Możliwości pakietu Neural Processing SDK w zakresie sztucznej inteligencji są stale ulepszane w celu optymalizacji wydajności aplikacji AI dla tych platform SoC.

Paweł Pajda

CODICO Poland
www.codico.com
tel. 12 4171083 ext. 21