Poprawa bezpieczeństwa i wydajności w fabryce dzięki szybkiemu wdrożeniu widzenia maszynowego w systemach przemysłowych

Od projektantów maszyn w dziedzinie automatyki przemysłowej wymaga się wdrażania różnego rodzaju widzenia maszynowego w celu określenia odległości od wszystkich obiektów w danym polu widzenia. Powodów dla wdrażania tego rodzaju widzenia maszynowego do określania dystansu może być wiele, jak na przykład monitorowanie otoczenia pod kątem zmian oraz ingerencji, pomiar odległości między obiektami na linii produkcyjnej, bądź ogólna ochrona operatora lub robota przed zagrożeniami. Przykładem mogą być pojazdy wewnątrz magazynów przemysłowych, w których widzenie maszynowe pozwala na automatyczne prowadzenie, lokalizowanie i identyfikację obiektów oraz wykrywanie i omijanie przeszkód.

Najpopularniejszą metodą widzenia maszynowego służącą do pomiaru odległości obiektów jest LiDAR (Light Detection And Ranging), który do pomiaru odległości między obiektami wykorzystuje światło lasera. LiDAR mierzy czas powrotu i długość fali odbitego światła laserowego w celu określenia odległości od poszczególnych punktów. Jednakże algorytmy widzenia maszynowego LiDAR są bardzo skomplikowane i charakteryzują się stromą krzywą uczenia, przez co kodowanie aplikacji wymaga wiedzy eksperckiej z dziedziny widzenia maszynowego.

Niniejszy artykuł demonstruje deweloperom sposób użycia gotowych kamer LiDAR firmy Intel stosowanych do pomiaru odległości od obiektów w polu widzenia. Rozwiązuje on problem szybkiego wdrożenia widzenia maszynowego w nowych lub istniejących systemach bez konieczności zdobywania skomplikowanej wiedzy o technologiach i algorytmach widzenia maszynowego. Następnie przedstawia sposób parowania kamery LiDAR firmy Intel z komputerem jednopłytkowym (SBC) firmy UDOO, z użyciem szybkiego połączenia USB 3.1.

Widzenie maszynowe w środowiskach automatyki przemysłowej wewnątrz budynków

Środowiska automatyki przemysłowej wewnątrz budynków stają się coraz bardziej dynamiczne i występuje w nich coraz więcej urządzeń, operatorów i materiałów. Wszystkie maszyny, czujniki oraz wyższe poziomy automatyzacji mają za zadanie zwiększyć efektywność, a jednocześnie zapewnić bezpieczeństwo operatorów.

W wielu przypadkach stosowane są dodatkowe czujniki wykrywające obiekty i osoby w strefach docelowych. Obiekty na liniach produkcyjnych mogą być wykrywane na wiele sposobów. Może to być na przykład podstawowy czujnik światła, który wykrywa zmianę w świetle z otoczenia spowodowaną przemieszczającym się obiektem, łącznik mechaniczny naciskany ciężarem obiektu lub wiązka światła w poprzek linii produkcyjnej, która jest przerywana przez obiekt. Metody te są odpowiednie dla podstawowego wykrywania obiektów, jednak coraz większy poziom skomplikowania w automatyce wymaga bardziej złożonego wykrywania wizualnego, podobnego do ludzkiego wzroku.

Widzenie maszynowe można z grubsza porównać do dania maszynom wzroku, umożliwiającego identyfikowanie kolorów, rozróżnianie obiektów i rozpoznawanie wielu ruchów. Najczęstszym i najpraktyczniejszym rodzajem widzenia maszynowego jest pomiar odległości wszystkich obiektów w polu widzenia.

Istnieją dwie powszechne metody pomiaru odległości wielu obiektów. Pierwsza to radar. Jednak wewnątrz budynku stwarza ona zagrożenie dla ludzi w wyniku ciągłego narażenia na sygnały wysokiej częstotliwości. W zastosowaniach na zewnątrz budynków częstotliwości radarowe odbijają się od przedmiotów i rozpraszają się nieszkodliwie w otaczającym środowisku. Wewnątrz budynków promieniowanie radarowe odbija się wielokrotnie od przedmiotów, powodując wysokie poziomy zakłóceń elektromagnetycznych (EMI). Długotrwała ekspozycja może mieć długoterminowe skutki zdrowotne dla człowieka.

Drugą często stosowaną metodą pomiaru odległości wielu obiektów w polu widzenia jest technologia dalmierza laserowego, zwana również LiDAR. Na obiekty, których odległość należy zmierzyć kierowana jest jedna lub kilka wiązek laserowych. Czas potrzebny na odbicie wiązki laserowej z powrotem do receptora w punkcie początkowym oraz wszelkie przesunięcia fazowe wiązki są porównywane z czasem i fazą emitowanego promieniowania laserowego. Algorytm oblicza odległość od obiektów na podstawie różnic czasu i fazy oraz przelicza ją na centymetry lub cale.

Obliczenie różnic czasu i fazy dla pojedynczej wiązki laserowej w celu pomiaru jednego obiektu jest stosunkowo proste. Jednak bardziej skomplikowane zastosowania widzenia maszynowego mogą wymagać obliczania odległości dziesiątków obiektów w polu widzenia. Połączenie tych obliczeń w celu stworzenia wizualnej mapy odległości nie jest takie łatwe i wymaga znacznych rozwojowych nakładów czasu.

Widzenie maszynowe z pomiarem odległości

Praktycznym rozwiązaniem widzenia maszynowego, które można szybko zainstalować i uruchomić jest wysokiej rozdzielczości kamera L515 LiDAR RealSense 82638L515G1PRQ z funkcją pomiaru głębokości (ilustracja 1). Kamera ma 61mm średnicy i 26mm grubości, zawiera moduł obrazowania LiDAR z pomiarem głębokości, kamerę RGB oraz inercyjną jednostkę pomiarową (IMU). Kamera LiDAR może dostarczać wynikowe mapy bitowe 1024 x 768 lub 1920 x 1080 pikseli, w których każdy piksel reprezentuje odległość danego punktu od kamery.

Ilustracja 1: Intel RealSense L515 jest autonomiczną kamerą LiDAR wysokiej rozdzielczości wyposażoną również w kamerę RGB oraz inercyjną jednostkę pomiarową (IMU). Można ją z łatwością podłączyć do współpracującego komputera przy użyciu portu USB 3.1. (Źródło ilustracji: Intel)

Kamera Intel L515 LiDAR dostarcza obrazy w postaci mapy bitowej obszaru w polu widzenia. Zamiast typowego obrazu fotograficznego, kamera LiDAR dostarcza obraz, w którym wartość RGB każdego piksela reprezentuje jego odległość od kamery Intel L515. Kamera ma rozdzielczość od 0,25 do 9m. Posiada ona również standardową kamerę obrazowania RGB o rozdzielczości 2MP, która jest użyteczna na etapie rozwojowym. Jest ona zalecana do pracy w warunkach oświetleniowych wnętrz budynków i nie została zaprojektowana do pracy przy silnym świetle słonecznym.

Przykładowy obraz z kamery Intel L515 przedstawiono na ilustracji 2. Obraz z kamery jest wyśrodkowany na roślinie na pierwszym planie i podzielony na dwie sekcje. Strona lewa ukazuje normalny obraz rośliny i tła z kamery RGB w naturalnych barwach. Prawa strona stanowi wizualną reprezentację odległości poszczególnych obiektów od kamery. Roślina na pierwszym planie jest wyświetlana w odcieniach koloru niebieskiego, a ściana w tle kolorem jaskrawo pomarańczowym. Ściana po prawej stronie znajduje się dalej od środka kamery, dlatego obraz przechodzi w kolory intensywniejszej czerwieni.

Ilustracja 2: kamera LiDAR Intel L515 dostarcza zarówno obraz RGB (po lewej), jak i mapę bitową (po prawej), która reprezentuje odległości obiektów od kamery. Obiekty bliżej kamery są wyświetlane kolorem niebieskim, a obiekty dalsze kolorem intensywnie czerwonym. (Źródło ilustracji: Intel)

Wykorzystując te informacje oprogramowanie przetwarza dane obrazu w celu określenia odległości pomiędzy obiektami i kamerą.

Dzięki kompaktowym rozmiarom i wysokiemu stopniowi integracji, kamery LiDAR Intel L515 nadają się do stosowania w automatyce przemysłowej wewnątrz budynków, gdzie wymagane jest szybkie wdrożenie widzenia maszynowego z pomiarem głębokości w nowych lub istniejących systemach. W przypadku systemów mobilnych, kamera Intel L515 zawiera inercyjną jednostkę pomiarową (IMU), która może mierzyć przyspieszenia w zakresie ±4g oraz żyroskop, który może mierzyć obroty w zakresie do ±1000˚/s. Jest to wystarczające dla większości pojazdów i robotów używanych w automatyce przemysłowej wewnątrz budynków. Podczas kodowania oprogramowania układowego inercyjnej jednostki pomiarowej (IMU) należy zachować ostrożność, gdyż przyspieszenie w momencie uderzenia pojazdu lub robota w przeszkodę może chwilowo przekraczać 4 g, dlatego należy uwzględnić ten wyjątek.

Widzenie maszynowe w kompletnym systemie

Kamera Intel L515 może współpracować z komputerem PC lub komputerem jednopłytkowym (SBC) za pośrednictwem szybkiego interfejsu USB 3.1. Obudowa kamery posiada złącze USB Type-C® do podłączania standardowych kabli ze złączami Type-C, ułatwiając integrację. Przetwarzanie obrazów w widzeniu maszynowym może znacznie obciążać procesor, dlatego zaleca się zapewnienie dużej mocy obliczeniowej umożliwiającej przetwarzanie zbiorów danych w czasie rzeczywistym, jeżeli zachodzi taka potrzeba. UDOO KTMX-UDOOBL-V8G.00 Bolt V8 jest wysokowydajnym komputerem jednopłytkowym (SBC) bazującym na czterordzeniowym procesorze działającym z prędkością 2,0GHz (z przyspieszeniem do 3,6GHz) z obsługą pamięci DRAM do 32GB. W charakterze pamięci programów może on wykorzystywać dysk półprzewodnikowy M.2 SSD, a także obsługuje interfejs standardowych dysków twardych SATA-3.

Ilustracja 3: UDOO Bolt V8 jest zaawansowanym komputerem jednopłytkowym (SBC) z czterordzeniowym procesorem działającym z prędkością do 3,6GHz. Obsługuje on interfejsy dysków zewnętrznych M.2 oraz SATA-3, może pomieścić do 32GB pamięci DRAM i posiada złącze USB 3.1 Type-C do podłączania kamery LiDAR Intel RealSense L515. (Źródło obrazu: ODOO)

Komputer UDOO Bolt V8 posiada dwa interfejsy wideo HDMI 1.4 umożliwiające podłączenie monitora. Połączenie z siecią fabryczną można zrealizować przy użyciu przewodowej sieci Gigabit Ethernet, za pośrednictwem wbudowanego złącza RJ-45. Obsługiwane są również technologie Wi-Fi oraz Bluetooth. Dźwięk stereo obsługiwany jest przez standardową wtyczkę 3,5mm. Komputer jednopłytkowy (SBC) może działać pod dowolnym 64-bitowym systemem x86, włączając w to Microsoft Windows, a także pod dowolną 64-bitową dystrybucją Linux. Do pracy z prędkością 2GHz ten zaawansowany komputer jednopłytkowy (SBC) wymaga zasilania 19V, 65W.

Komputer UDOO Bolt V8 posiada znaczną moc obliczeniową, umożliwiającą prace algorytmów przetwarzania danych widzenia maszynowego. Może on odbierać dane z kamery Intel RealSense L515 za pośrednictwem szybkiego interfejsu USB 3.1 Type-C i wyświetlać obraz na monitorze podłączonym do jednego z interfejsów HDMI, jeżeli to konieczne. Ostrzeżenia lub alarmy akustyczne mogą być emitowane przez głośniki podłączone do jednego z gniazd wyjściowych audio.

Podsumowanie

Widzenie maszynowe z pomiarem głębokości jest szybko rozwijającą się dziedziną, która może wymagać skomplikowanego kodowania i sprzętu w przypadku budowy od podstaw. Wdrożenie systemu widzenia maszynowego z wykorzystaniem gotowych rozwiązań wykonujących obliczenia głębokości we wstępnie zakodowanym oprogramowaniu układowym oszczędza czas i pieniądze, umożliwiając szybkie i skuteczne uruchomienie wysokowydajnego systemu widzenia maszynowego w środowiskach automatyki przemysłowej.