Produkt edge-sensing żyje albo umiera przez cztery rzeczy: sensory obserwujące świat, hub uruchamiający modele, pamięć je zasilającą oraz interfejsy spajające cały stos. Jeśli dobierzesz je według wartości szczytowych, projekt zadziała na stole laboratoryjnym, ale przegra z baterią. Artykuł towarzyszący, Inferencja na urządzeniu przebudowuje stos sensorów, przedstawia lepsze podejście: przenoś każdą decyzję do najtańszego poziomu, który potrafi ją podjąć. Ten artykuł przekłada tę zasadę na konkretne wymagania, element po elemencie.
Przyjrzyjmy się parametrom, które definiują każdy element, funkcjom edge AI, za które warto dopłacić, oraz typowym interfejsom.
Komponent | Kluczowe parametry do określenia | Funkcja edge AI, której warto szukać | Typowy interfejs |
|---|---|---|---|
IMU | Osie, równoczesne zakresy full-scale, gęstość szumu, stabilność biasu żyroskopu, ODR, głębokość FIFO | Drzewa decyzyjne bez kodu, programowalny DSP w sensorze, wbudowana fuzja danych | I2C / I3C / SPI + przerwanie |
Time-of-flight | Liczba stref, zasięg względem światła otoczenia, FoV/FoI, dokładność, powierzchnia modułu | Histogramowanie on-chip, wyjście odległości wraz z poziomem ufności | I2C / I3C (CSI-2 dla klasy obrazowej) |
Radar 60 GHz | Szerokość pasma przemiatania, kanały Tx/Rx, antena w obudowie, zasięg mikro/makro | Autonomiczny silnik wykrywania obecności lub klasyfikator DSP on-chip | SPI + przerwanie |
Mikrofon MEMS | SNR, AOP, typ wyjścia, tolerancja dopasowania w macierzy | Wykrywanie aktywności akustycznej, NPU w mikrofonie dla VAD i wykrywania słów kluczowych | PDM / I2S / TDM |
Hub sensorów / host | SRAM, przepustowość pamięci, obsługa operatorów NPU, prąd głębokiego uśpienia, toolchain | Domena huba always-on, synchronizacja wielu strumieni, bezpieczeństwo modeli | Obsługuje powyższe magistrale |
Pamięć | SRAM (KB), flash (MB), pojemność i przepustowość LPDDR (GB/s) | Mieści model INT8 wraz z aktywacjami, z zapasem na OTA | On-chip / LPDDR / PSRAM |
Interfejsy | Liczba pinów, szybkość transmisji, liczba urządzeń na magistrali, obsługa przerwań | Przerwania in-band, dynamiczne adresowanie (I3C) | I2C / I3C / SPI / PDM / I2S / CSI-2 |
Inercyjna jednostka pomiarowa (IMU) to podstawowy element urządzeń ubieralnych, trackerów zasobów i monitoringu stanu, a zarazem najbardziej dojrzały przykład AI w sensorze. O doborze właściwego IMU decydują cztery obszary specyfikacji:
STMicroelectronics przoduje w inteligencji w sensorze, a TDK InvenSense, Bosch Sensortec i Analog Devices pokrywają zakres od zastosowań konsumenckich po przemysłowe. W projektach automotive i długowiecznych status AEC-Q100 oraz programy dostępności przez 10 lat to parametry, po których można filtrować wybór.
Sensor time-of-flight (ToF) raportuje odległość, a nie obraz, dlatego rozszerzył zastosowanie z telefonów na laptopy, roboty i urządzenia AGD jako czujnik obecności i gestów z wbudowaną ochroną prywatności. Direct ToF (dToF) mierzy czas powrotu fotonów on-chip i przekazuje hostowi odległość wraz ze wskaźnikiem ufności, podczas gdy indirect ToF zamienia większy pobór mocy na gęstsze mapy głębi. Do porządkowania tej kategorii użyj trzech parametrów:
Radar milimetrowy wykrywa makroruch i mikroruch (w tym oddech) w linii widzenia, w ciemności i bez rejestrowania możliwych do identyfikacji obrazów. Niektóre elementy pełnią rolę front-endów, wykonując przemiatanie FMCW (frequency-modulated continuous-wave) i przechowując dane w FIFO on-chip, podczas gdy lekki model klasyfikuje po stronie hosta. Inne mają DSP zintegrowany w strukturze i uruchamiają klasyfikator w samym sensorze. Gdy ta decyzja zostanie podjęta, zwróć uwagę na trzy parametry:
Rynek dostawców dzieli się według zastosowań. Infineon prowadzi w segmencie konsumenckim i automatyce budynkowej, podczas gdy TI dominuje w motoryzacyjnym monitorowaniu kabiny. Dostawcy modułów oferują jeszcze jedną opcję: zapłać więcej, a antena i dopasowanie przychodzą już gotowe.
To od mikrofonu zaczyna się historia poboru mocy w trybie always-on, a stosunek sygnału do szumu (SNR) jest tylko częścią arkusza danych. Oto, co jeszcze warto sprawdzić:
Host agreguje strumienie danych z sensorów oraz ich znaczniki czasu, synchronizuje je, uruchamia to, czego sensory nie potrafią, i wybudza się tylko wtedy, gdy niższe warstwy mu to zasygnalizują. Same wskaźniki TOPS wprowadzają w błąd, więc przy wyborze elementu należy:
Sama warstwa hosta obejmuje dziś bardzo szerokie spektrum. Na najniższym poziomie mikrokontrolery z NPU, takie jak STM32N6 od ST, wniosły akcelerowane przetwarzanie wizji i audio do budżetów mocy i ceny klasy MCU. Poziom wyżej, układy oparte na Arm’s Ethos-U85 przenoszą operatory transformera aż na endpoint. Na najwyższym poziomie edge SoC, takie jak Dragonwing Q-8750 firmy Qualcomm, uruchamiają potoki multimodalne i małe modele językowe. Dopasuj ten poziom do najcięższego modelu, jaki produkt będzie uruchamiał, z zapasem na ten, który będzie uruchamiał w przyszłym roku.
Pamięć decyduje o tym, czy projekt działa, a w 2026 roku także o tym, czy uda się go wyprodukować w założonym budżecie. Wbudowana pamięć SRAM na chipie wyznacza rzeczywisty limit dla inferencji w klasie MCU, ponieważ aktywacje i bufory robocze muszą się w niej zmieścić; typowy zakres to 256 KB do 512 KB. Pamięć Flash przechowuje skwantyzowany model, zwykle około jednej czwartej rozmiaru jego 32-bitowego oryginału po redukcji do 8 bitów, plus zapas na aktualizacje over-the-air i sloty A/B. Gdy pojawiają się potoki wizyjne lub małe modele językowe, potrzebna staje się zewnętrzna pamięć LPDDR, a o możliwościach akceleratora decyduje wtedy przepustowość wyrażana w GB/s w równym stopniu co sama pojemność.
Jednak określenie wymagań pamięciowych to łatwa część. Pojemność DRAM przesunęła się w stronę centrów danych AI, co podbija ceny LPDDR i wydłuża terminy dostaw. Sprawdź dostępność, status cyklu życia i alternatywne źródła dostaw, zanim BOM zostanie zamrożony. W tym cyklu taka weryfikacja jest częścią specyfikacji.
Magistrala determinuje liczbę pinów, pobór mocy i to, ile czujników może współdzielić jedną linię. Interfejs służy do kształtowania ruchu, zanim dotrze on do kosztownej części systemu, a domyślne wybory w tym zakresie uległy zmianie:
Zasady z On-Device Inference Is Remaking the Sensor Stack mają zastosowanie do każdej pozycji BOM: rozstrzygaj każdą decyzję jak najniżej w stosie i wybieraj komponenty, które przekazują wyniki, a nie surowe próbki.
Każda z powyższych specyfikacji jest również hasłem do wyszukiwania. Zakres pełnej skali, SNR i pamięć on-chip odpowiadają filtrom parametrycznym w Octopart, a tam, gdzie specyfikacja jest nowsza niż zestaw filtrów (na przykład liczba stref lub NPU wbudowane w czujnik), karta katalogowa jest dostępna jednym kliknięciem z tych samych wyników. Określ specyfikację pod kątem budżetu uśpienia i filtruj według wartości, które go wyznaczają, a BOM dla edge sensing złoży się w jedną spójną architekturę.