Продукт на базе edge-sensing живет или умирает из-за четырех вещей: датчиков, которые наблюдают за внешним миром, хаба, который исполняет модели, памяти, которая их питает, и интерфейсов, связывающих весь стек воедино. Если выбирать их по пиковым характеристикам, устройство будет работать на стенде, но провалится по времени автономной работы. В сопутствующей статье On-Device Inference Is Remaking the Sensor Stack предложен более удачный подход: переносить каждое решение на самый дешевый уровень, который способен его принять. В этой статье это правило переводится в конкретные спецификации — по компонентам.
Рассмотрим характеристики, которые определяют выбор каждого компонента, edge-AI-функции, за которые стоит платить, и типовые интерфейсы.
Компонент | Ключевые характеристики, которые нужно зафиксировать | На какую edge-AI-функцию обратить внимание | Типовой интерфейс |
|---|---|---|---|
IMU | Число осей, одновременные диапазоны полного масштаба, плотность шума, стабильность смещения гироскопа, ODR, глубина FIFO | Деревья решений без кода, программируемый DSP внутри датчика, встроенное объединение данных | I2C / I3C / SPI + прерывание |
Time-of-flight | Число зон, дальность в зависимости от внешней освещенности, FoV/FoI, точность, габариты модуля | Гистограммирование на кристалле, выдача расстояния вместе с оценкой достоверности | I2C / I3C (CSI-2 для решений класса image) |
Радар 60 ГГц | Полоса сканирования, каналы Tx/Rx, antenna-in-package, диапазон micro/macro | Автономный движок определения присутствия или DSP-классификатор на кристалле | SPI + прерывание |
MEMS-микрофон | SNR, AOP, тип выхода, допуск на согласование в массиве | Обнаружение акустической активности, встроенный в микрофон NPU для VAD и keyword spotting | PDM / I2S / TDM |
Хаб датчиков / хост | SRAM, пропускная способность памяти, поддержка операторов NPU, ток глубокого сна, toolchain | Домен always-on хаба, синхронизация нескольких потоков, защита моделей | Размещает перечисленные выше шины |
Память | SRAM (КБ), flash (МБ), емкость и пропускная способность LPDDR (ГБ/с) | Должна вмещать INT8-модель вместе с активациями и запасом под OTA | Встроенная / LPDDR / PSRAM |
Интерфейсы | Число выводов, скорость передачи данных, число устройств на шине, поддержка прерываний | Внутриполосные прерывания, динамическая адресация (I3C) | I2C / I3C / SPI / PDM / I2S / CSI-2 |
Инерциальный измерительный модуль (IMU) — это рабочая лошадка носимой электроники, трекеров активов и систем мониторинга состояния, а также самый зрелый пример AI внутри датчика. Правильный выбор IMU определяют четыре группы характеристик:
По интеллекту внутри датчика лидирует STMicroelectronics, а TDK InvenSense, Bosch Sensortec и Analog Devices закрывают диапазон от потребительских до промышленных решений. Для автомобильных и долгоживущих проектов статус AEC-Q100 и программы 10-летней доступности — это характеристики, по которым стоит сразу отфильтровывать варианты.
Датчик time-of-flight (ToF) выдает расстояние, а не изображение, поэтому он вышел за пределы смартфонов и распространился в ноутбуках, роботах и бытовой технике как датчик присутствия и жестов со встроенной приватностью. Прямой ToF (dToF) измеряет время возврата фотонов на кристалле и передает хосту расстояние вместе с показателем достоверности, тогда как косвенный ToF обменивает энергопотребление на более плотные карты глубины. Чтобы ориентироваться на рынке, используйте эти три характеристики:
Радар миллиметрового диапазона обнаруживает макродвижения и микродвижения (включая дыхание) в пределах прямой видимости, в темноте и без захвата идентифицируемых изображений. Одни компоненты работают как фронтенды, выполняя частотно-модулированные непрерывные сканирования (FMCW) и сохраняя данные во встроенном FIFO, в то время как легковесная модель классифицирует их на хосте. Другие содержат DSP на кристалле и выполняют классификацию прямо в датчике. Когда это решение принято, обращайте внимание на следующие три характеристики:
Рынок поставщиков здесь разделен по приложениям. Infineon лидирует в потребительских устройствах и автоматизации зданий, а TI доминирует в автомобильных системах внутрисалонного мониторинга. Есть и еще один вариант — поставщики модулей: вы платите больше, но антенна и согласование приходят уже в заранее проработанном виде.
Именно с микрофона начинается история энергопотребления always-on, и отношение сигнал/шум (SNR) — лишь часть картины. Вот что еще нужно проверить:
Хост агрегирует потоки от датчиков, выставляет временные метки и синхронизирует их, исполняет то, что не могут сами датчики, и просыпается только тогда, когда нижние уровни дают на это сигнал. Одни только значения TOPS вводят в заблуждение, поэтому при выборе компонента следует:
Сам уровень хоста теперь охватывает очень широкий диапазон. На нижнем уровне микроконтроллеры с NPU, такие как STM32N6 от ST, принесли ускоренное зрение и аудио в рамки бюджета MCU по мощности и цене. Ступенью выше находятся компоненты на базе Ethos-U85 от Arm, которые доносят операторы трансформеров до конечной точки. На верхнем уровне edge SoC, такие как Dragonwing Q-8750 от Qualcomm, исполняют мультимодальные конвейеры и небольшие языковые модели. Соотносите этот уровень с самой тяжелой моделью, которую будет запускать продукт, оставляя запас под ту, которую он будет запускать в следующем году.
Память определяет, будет ли устройство работать, а в 2026 году — и уложится ли проект в бюджет при выводе в производство. Встроенная SRAM на кристалле — это реальный потолок для инференса в устройствах класса MCU, поскольку активации и рабочие буферы должны помещаться в нее; типичный диапазон составляет от 256 КБ до 512 КБ. Во Flash хранится квантизованная модель, примерно в четыре раза меньше своего исходного 32-битного варианта после сокращения до 8 бит, плюс нужен запас для обновлений по воздуху и A/B-разделов. Как только появляются конвейеры компьютерного зрения или небольшие языковые модели, следом приходит внешняя LPDDR, и уже пропускная способность в ГБ/с — не меньше, чем емкость, — определяет, что именно сможет выдать ускоритель.
Но задать характеристики памяти — это самая простая часть. Емкость DRAM смещается в сторону ИИ-ЦОДов, что подталкивает цены на LPDDR вверх и увеличивает сроки поставки. Проверяйте доступность, статус жизненного цикла и наличие альтернативных поставщиков до того, как BOM будет зафиксирована. В текущем цикле такая проверка — уже часть спецификации.
Шина определяет количество выводов, энергопотребление и то, сколько датчиков могут работать на одной линии. Интерфейс нужен для того, чтобы формировать трафик до того, как он достигнет дорогой части системы, и стандартные подходы к этому изменились:
Принципы из On-Device Inference Is Remaking the Sensor Stack применимы к каждой позиции BOM: принимайте каждое решение как можно ниже по стеку и отдавайте предпочтение компонентам, которые передают результаты, а не сырые выборки.
Каждая указанная выше спецификация — это еще и поисковый запрос. Диапазон полного масштаба, SNR и встроенная память сопоставляются с параметрическими фильтрами на Octopart, а если спецификация новее набора фильтров (например, число зон или встроенный в датчик NPU), то даташит доступен в один клик из тех же результатов. Задавайте спецификацию под бюджет сна на уровне энергопотребления и фильтруйте по тем числам, которые его определяют, — и BOM для периферийных сенсорных узлов сложится в единую, согласованную архитектуру.