Wykorzystanie fuzji czujników do usprawnienia logistyki i procesów produkcyjnych Przemysłu 4.0

Fuzja czujników integruje dane z różnych czujników, by dostarczyć bardziej szczegółowy i złożony obraz funkcjonowania systemu lub otoczenia. Często niedoskonałości jednej technologii czujników można pokonać, integrując (scalając) dane z innej technologii czujników. Dodanie sztucznej inteligencji (AI) oraz uczenia maszynowego (ML) może wzmocnić efektywność fuzji czujników.

Implementacja fuzji czujników niesie ze sobą różnorodne wyzwania. Wyzwaniem może być na przykład, wypracowanie zrównoważonego rozwiązania, aby nie „preferować” jednej technologii kosztem pozostałych. Może to skutkować brakiem skalowalności i obniżeniem parametrów działania. Jednym z rozwiązań tego wyzwania jest połączenie różnych technologii czujników w jednym pakiecie. Fuzja czujników nie ogranicza się do używania wielu dyskretnych czujników.

Bez względu na stopień integracji czujników, wprowadzenie sztucznej inteligencji (AI) lub uczenia maszynowego (ML) może poprawić parametry działania, jednak proces uczenia może być skomplikowany i wymagać dużo czasu. Projektanci mogą zamiast tego skierować swoją uwagę na samouczące się czujniki, wyposażone w zintegrowane funkcje sztucznej inteligencji oraz uczenia maszynowego.

Niniejszy artykuł rozpoczyna się od przeglądu implementacji fuzji czujników wykorzystującej czujniki dyskretne, 32-bitowy mikrokontroler MCU i oprogramowanie uczenia maszynowego. Następnie przedstawia zestaw zintegrowanych rozwiązań do fuzji czujników oraz przykłady ich użycia w obiektach logistycznych, ośrodkach przetwarzania danych, automatyce procesowej, transporcie bliskim materiałów i maszynach rolniczych.

Na koniec zbadamy zintegrowane rozwiązanie fuzji czujników środowiskowych z wykorzystaniem oprogramowania sztucznej inteligencji (AI). W trakcie dyskusji przedstawione zostaną przykładowe urządzenia firm Renesas Electronics, Sensirion, TE Connectivity, ACEINNA, Bosch Sensortec oraz TDK InvenSense.

Projektanci mogą zapoznać się z opcjami fuzji czujników za pomocą płytki projektu referencyjnego firmy Renesas. Płytka bazuje na 32-bitowym mikrokontrolerze MCU z rdzeniem 120MHz Arm® Cortex®-M4, wyposażonym w maks. 2MB pamięci flash na kod i 640kB pamięci statycznej o dostępie swobodnym (SRAM) oraz licznymi opcjami interfejsów i łączności.

Powiązany zestaw ewaluacyjny jest zoptymalizowany pod kątem projektów wieloczujnikowych i fuzji czujników. Zawiera on czujnik jakości powietrza, czujnik światła, czujnik temperatury i wilgotności, 6-osiową inercyjną jednostkę pomiarową (IMU), mikrofon oraz łączność Bluetooth Low Energy (BLE) (ilustracja 1). Projekt referencyjny zawiera także zautomatyzowaną platformę do uczenia maszynowego (ML) przeznaczoną dla urządzeń brzegowych oraz zastosowań związanych z fuzją czujników.

Ilustracja 1: płytka ewaluacyjna i rozwojowa do fuzji czujników IoT ze zautomatyzowanym oprogramowaniem rozwojowym do uczenia maszynowego (ML) i łącznością BLE. (Źródło ilustracji: Renesas Electronics)

Stabilizujące czujniki przechyłu

Czujniki przechyłu to specjalistyczne inercyjne jednostki pomiarowe (IMU), które znajdują zastosowanie w wielu dziedzinach, takich jak maszyny rolnicze, pojazdy terenowe, transport bliski materiałów oraz ciężki sprzęt budowlany. Wymogi bezpieczeństwa niekiedy nakazują stosowanie czujników przechyłu, aby zagwarantować bezpieczne warunki pracy. Czujniki przechyłu mogą składać się z szeregu dyskretnych urządzeń, co może prowadzić do komplikacji.

Rdzeniem większości czujników przechyłu jest czujnik żyroskopowy, który mierzy prędkość kątową lub szybkość obrotu wokół osi. Wszystko działa świetnie, jeśli platforma jest w ruchu, ale jeśli przestanie się poruszać, powiedzmy przechylona o 20 stopni, sygnał wyjściowy czujnika spadnie do zera. Dodatkowo żyroskop może z biegiem czasu ulegać znacznemu dryftowi, co prowadzi do sumowania błędów i w rezultacie sprawia, że pomiar staje się niedokładny lub nieprzydatny.

Aby zniwelować ograniczenia żyroskopów, dynamiczne czujniki przechyłu zawierają również przyspieszeniomierz w celu pomiaru ruchu. W ten sposób system może uzyskać informację o zatrzymaniu ruchu i użyć ostatniego odczytu z żyroskopu do określenia kąta przechyłu. Ostatnim elementem układanki jest czujnik temperatury, który kompensuje wpływ zmiennych temperatur na żyroskop oraz przyspieszeniomierz.

Filtry Kalmana są często używane przy fuzji czujników w czujnikach przechyłu. Standardowy filtr Kalmana oparty na liniowej estymacji kwadratowej można zastosować, gdy czujniki działają w liniowym zakresie parametrów działania. Filtry Kalmana mogą generować stosunkowo dokładne oszacowania stanu nawet w systemach takich jak czujniki przechyłu, które charakteryzują się niepewnością i błędami sumarycznymi.

Czujniki przechyłu działające w obszarze nieliniowym mogą zyskać na zastosowaniu rozszerzonego filtru Kalmana, który linearyzuje oszacowania przy użyciu bieżącej wartości średniej i kowariancji.

Czujniki przechyłu, na przykład AXISENSE-G-700 firmy TE Connectivity i MTLT305D firmy ACEINNA mają sześć stopni swobody (6 DOF) wykrywania ruchu - trzy z żyroskopu i trzy z przyspieszeniomierza - i wykorzystują techniki filtrowania Kalmana do fuzji czujników (ilustracja 2).

Ilustracja 2: czujnik przechyłu AXISENSE-G-700 łączy dane z czujników przyspieszenia, obrotu i temperatury, zapewniając dokładne informacje o przechyle w dynamicznych warunkach. (Źródło ilustracji: TE Connectivity)

Fuzja dziewięciu w jednym

Podczas gdy 6 stopni swobody (DoF) jest wystarczające w wielu przypadkach, niektóre zastosowania do śledzenia ruchu, takie jak drony, pojazdy i urządzenia rzeczywistości wirtualnej mogą skorzystać z dodatkowych informacji dostarczanych przez wykorzystanie 9 stopni swobody.

Moduł OPENIMU300RI firmy ACEINNA jest przeznaczony do użytku w motoryzacji oraz pojazdach budowlanych i rolniczych 12V i 24V. Oprócz żyroskopu i przyspieszeniomierza ta inercyjna jednostka pomiarowa (IMU) posiada 3-stopniowy anizotropowy magnetometr magnetorezystancyjny (AMR).

Procesor ARM zbiera dane z czujników i implementuje OpenIMU - otwartoźródłowy stos do rozwoju oprogramowania dla inercyjnych jednostek pomiarowych (IMU), globalnego systemu pozycjonowania (GPS) i inercyjnego systemu nawigacyjnego (INS). Stos zawiera filtr Kalmana do fuzji czujników z możliwościami dostosowawczymi.

TDK InvenSense również oferuje 9-osiowe urządzenie śledzące ruch. Model ICM-20948 ma zakres temperatur roboczych od -40°C do 85°C, dzięki czemu jest odpowiedni do różnych zastosowań w wymagających środowiskach, takich jak automatyka przemysłowa i systemy autonomiczne. Zawiera on system mikroelektromechaniczny (MEMS) oparty na trójosiowym żyroskopie, trójosiowy przyspieszeniomierz w technologii MEMS oraz trójosiowy magnetometr/kompas, również oparty na technologii MEMS.

Oprócz czujników ruchu o 9 stopniach swobody (DoF) model ICM-20948 posiada niezależne przetworniki analogowo-cyfrowe (ADC) dla każdego czujnika, obwody kondycjonowania sygnału oraz cyfrowy procesor ruchu (DMP) (ilustracja 3).

Ilustracja 3: platforma czujników zintegrowanych zapewnia 9 stopni swobody (DoF) dzięki trójosiowemu żyroskopowi i trójosiowemu przyspieszeniomierzowi (po lewej) oraz trójosiowemu magnetometrowi/kompasowi (po prawej dołu). (Źródło ilustracji: TDK InvenSense)

Niektóre szczegóły dotyczące modułu ICM-20948 to:

Trzy niezależne wibracyjne żyroskopy mikroelektromechaniczne (MEMS). Gdy żyroskopy obracają się wokół dowolnej z trzech osi, efekt Coriolisa wywołuje drgania wykrywane przez czujnik pojemnościowy. Sygnał z przetwornika jest przetwarzany, aby uzyskać napięcie proporcjonalnie odpowiadające prędkości kątowej.

3-osiowy przyspieszeniomierz MEMS ma oddzielne masy dla każdej osi. Przyspieszenie wzdłuż osi powoduje przemieszczenie odpowiedniej masy, które wykrywa czujnik pojemnościowy. Gdy moduł ICM-20948 zostanie umieszczony na płaskiej powierzchni, zmierzy 0g na osiach X i Y oraz +1g na osi Z.

Magnetometr bazuje na technologii czujnika Halla. Wykrywa on magnetyzm ziemski w osiach X, Y i Z. Sygnał wyjściowy z czujnika generowany jest za pomocą układu sterującego czujnikiem, wzmacniacza, 16-bitowego przetwornika analogowo-cyfrowego (ADC) oraz układu arytmetycznego do przetwarzania uzyskanego sygnału. Każda oś ma zakres pełnoskalowy ±4900µT.

Cyfrowy procesor ruchu (DMP) w module ICM-20948 jest układem różniczkującym. Niektóre z jego funkcji i zalet obejmują:

• Przeniesienie obliczeń algorytmów przetwarzania ruchu z procesora hosta, co zmniejsza pobór mocy oraz upraszcza synchronizację i architekturę oprogramowania. DMP gwarantuje, że algorytmy przetwarzania ruchu mogą działać z dużą częstotliwością, około 200Hz, co zapewnia precyzyjne wyniki przy niskiej latencji. Zalecana jest praca z częstotliwością 200Hz, nawet jeśli aplikacja aktualizuje się znacznie wolniej, np. 5Hz. Odsprzężenie szybkości przetwarzania cyfrowego procesora ruchu od szybkości aktualizacji aplikacji zapewnia bardziej stabilne parametry działania systemu.
• Cyfrowy procesor ruchu umożliwia pracę przy bardzo niskim poborze mocy i kalibrację czujników w tle. Kalibracja jest kluczowa dla zachowania optymalnych parametrów działania każdego czujnika oraz procesów fuzji czujników przez cały okres użytkowania urządzenia.
• Cyfrowy procesor ruchu upraszcza architekturę oprogramowania i przyspiesza jego rozwój, co przekłada się na krótszy czas wprowadzenia produktu na rynek.

Zintegrowane czujniki środowiskowe

Monitorowanie warunków środowiskowych odgrywa kluczową rolę w przetwórstwie żywności i jej przechowywaniu, zakładach chemicznych, operacjach logistycznych, ośrodkach przetwarzania danych, uprawie roślin szklarniowych, systemach ogrzewania, klimatyzacji i wentylacji (HVAC) oraz w wielu innych dziedzinach. Pomiary wilgotności względnej (RH) i temperatury można łączyć w celu obliczenia punktu rosy.

Cyfrowe czujniki temperatury i wilgotności z serii SHTC3 firmy Sensirion zostały zoptymalizowane pod kątem stosowania w urządzeniach brzegowych zasilanych bateriami oraz wielkoseryjnej elektroniki użytkowej. Platforma czujnika na bazie komplementarnego półprzewodnika z tlenku metalu (CMOS) zawiera pojemnościowy czujnik wilgotności, czujnik temperatury z przerwą energetyczną, analogowe i cyfrowe przetwarzanie sygnałów, przetwornik analogowo-cyfrowy, pamięć danych kalibracyjnych oraz interfejs komunikacyjny I²C.

Niewielka obudowa DFN o wymiarach 2 x 2 x 0,75mm pozwala na użycie w zastosowaniach o ograniczonej przestrzeni. Szeroki zakres napięcia zasilania od 1,62V do 3,6V i budżet energetyczny poniżej 1μJ na jeden pomiar sprawiają, że seria SHTC3 jest odpowiednia do urządzeń mobilnych lub bezprzewodowych z zasilaniem bateryjnym (ilustracja 4). Na przykład urządzenia o numerze katalogowym SHTC3-TR-10KS są dostarczane w ilości 10000 sztuk na szpuli Digi-Reel, w postaci taśmy i szpuli lub taśmy ciętej. Aby przyspieszyć prace rozwojowe nad systemami, projektanci mogą skorzystać z płytki ewaluacyjnej SHTC3.

Ilustracja 4: urządzenie do monitorowania warunków środowiskowych zawierające cyfrowe czujniki temperatury i wilgotności. (Źródło ilustracji: Sensirion)

Dodanie ciśnienia barometrycznego

Kontekst i świadomość lokalizacji są coraz ważniejsze w automatyce domowej, systemach klimatyzacji i wentylacji (HVAC), sprzęcie fitness i zastosowaniach służących do nawigacji wewnątrz budynków. W projektach tych systemów można wykorzystać zintegrowany moduł środowiskowy BME280 firmy Bosch Sensortec, który oprócz czujnika temperatury i wilgotności zawiera również czujnik ciśnienia barometrycznego.

Czujniki te są konstrukcjami o niskim poziomie szumów, które zapewniają wysoką dokładność i rozdzielczość. Czujnik ciśnienia mierzy bezwzględne ciśnienie barometryczne. Zintegrowany czujnik temperatury jest zoptymalizowany pod kątem współpracy z czujnikiem wilgotności względnej (RH) w celu określania wilgotności względnej i punktu rosy. Służy on również do kompensacji temperatury barometru. Aby przyspieszyć proces projektowania i integracji systemu, dostępna jest płytka rozwojowa.

Sztuczna inteligencja w monitorowaniu środowiska

Bosch Sensortec oferuje również czujnik środowiskowy 4-w-1 z wbudowaną sztuczną inteligencją (AI). Moduł BME688 zawiera czujnik gazowy oraz czujniki ciśnienia, wilgotności i temperatury o wysokiej liniowości i dokładności. Moduł jest dostarczany w odpornej obudowie o wymiarach 3,0mm x 3,0mm x 0,9mm, odpowiedniej do zastosowań mobilnych i innych zastosowań o ograniczonej przestrzeni (ilustracja 5).

Ilustracja 5: moduł BME688 firmy Bosch Sensortec zawiera czujnik gazowy oraz czujniki ciśnienia, wilgotności i temperatury. Wszystkie są wspierane przez sztuczną inteligencję (AI). (Źródło ilustracji: Bosch Sensortec)

Czujnik gazowy może wykrywać lotne związki organiczne (LZO), lotne związki siarki (LZS) i inne gazy, takie jak tlenek węgla i wodór w zakresie części na miliard (ppb). Moduł BME688 zawiera funkcję skanera gazów, którą można dostosować pod kątem czułości, selektywności, szybkości przesyłu danych i poboru mocy.

Oprogramowanie BME AI-Studio optymalizuje również czujnik gazowy pod kątem innych mieszanin gazów i zastosowań. Płytkę ewaluacyjną BME688 można konfigurować za pomocą oprogramowania BME AI-Studio. BME AI-Studio pozwala na konfigurowanie czujników, analizowanie i etykietowanie danych, jak również na szkolenie oraz optymalizację rozwiązań aplikacyjnych dla fabryk, obiektów logistycznych, domów inteligentnych i urządzeń IoT.

Próbkowanie gazów oraz szkolenie systemu bezpośrednio w terenie, a nie w laboratorium, pozwala na opracowanie bardziej realistycznych algorytmów, które działają efektywniej i oferują wyższy poziom niezawodności w rzeczywistych warunkach pracy. W uzupełnieniu do pomiaru gazów, zdolność modułu BME688 do jednoczesnego pomiaru wilgotności, temperatury i ciśnienia barometrycznego pozwala opracowywać bardziej kompleksowe i dokładne modele AI.

Podsumowanie

Systemy fuzji czujników dla Przemysłu 4.0, logistyki i innych zastosowań można opracowywać przy użyciu szeregu dyskretnych czujników lub zintegrowanego rozwiązania, które zawiera wiele czujników w jednej obudowie. Urządzenia zintegrowane pozwalają uzyskiwać mniejsze i mniej energochłonne rozwiązania dla zastosowań mobilnych i brzegowych. Niezależnie od tego, czy używamy czujników dyskretnych, czy zestawu czujników zintegrowanych, parametry działania można poprawić, dodając sztuczną inteligencję (AI) i uczenie maszynowe (ML).