L'inferenza on-device sta ridefinendo lo stack dei sensori

Punti chiave

• Con l’inferenza sul dispositivo, un sensore viene valutato più per ciò che fornisce a un modello vicino che per la pulizia con cui trasmette il flusso di dati. 
• La larghezza di banda della memoria, non il TOPS di picco, limita la maggior parte dei progetti edge, e la quantizzazione a 8 bit è la leva che consente di far entrare un modello nella memoria on-chip.
• Nei progetti always-on, il consumo si ottimizza con un risveglio a livelli: ogni decisione va affidata allo stadio meno costoso in grado di prenderla, perché spostare i dati costa più dei calcoli.

L’inferenza si sposta sul dispositivo

L’Edge AI sta passando dai progetti pilota ai prodotti mainstream nel 2026. Dei circa 21 miliardi di dispositivi IoT connessi attualmente in servizio, la maggior parte invia ancora i propri dati fuori dal dispositivo per l’elaborazione. Ma il silicio progettato ad hoc sta portando questo lavoro a bordo: i primi microcontrollori STM32 con una unità di elaborazione neurale dedicata (NPU) sono entrati in produzione di volume alla fine del 2024, e i moduli edge AI di fascia economica sono scesi a livelli di prezzo che rendono l’inferenza locale una scelta predefinita economicamente conveniente.

I sensori ora alimentano un modello

Una volta che l’inferenza viene eseguita localmente, un sensore viene valutato meno per quanto pulitamente digitalizza un segnale e più per quanto il suo output sia utile al modello accanto ad esso. Questo ha tre conseguenze:

• Dati più puliti e con gamma più ampia. I modelli penalizzano il rumore e il clipping, quindi i front-end stanno guadagnando margine dinamico. Le unità di misura inerziale a doppio range (IMU) acquisiscono contemporaneamente vibrazioni sottili e urti intensi, senza perdita di dati tra i range. I fornitori di microfoni ora aumentano i punti di sovraccarico acustico insieme ai rapporti segnale-rumore, così un evento molto rumoroso non satura prima che il modello possa rilevarlo.
• Elaborazione all’interno del sensore. Core di machine learning e unità di elaborazione nel sensore nelle IMU, motori AI all’interno dei microfoni MEMS, e visione on-die consentono al componente di emettere una decisione o una caratteristica invece di un flusso grezzo, così l’host può rimanere in sleep.
• Output sparso e guidato dagli eventi. I sensori di visione event-based e i microfoni wake-on-sound usano larghezza di banda e capacità di calcolo solo quando qualcosa cambia, invece di trasmettere continuamente 24 ore su 24.

Questi sviluppi aiutano anche a proteggere la privacy. I sensori time-of-flight e radar riportano distanza e movimento, non immagini, e la visione nel sensore mantiene i pixel grezzi sul die, così un sensore di presenza può svolgere il proprio compito senza che un flusso video lasci mai il componente.

È la larghezza di banda, non i TOPS, a fissare il limite

Il dato più pubblicizzato per un componente edge AI è di solito il valore TOPS (trilioni di operazioni al secondo), ed è il parametro sbagliato su cui dimensionare un progetto. Due acceleratori con lo stesso valore di TOPS possono fornire throughput reale molto diverso perché le prestazioni dipendono dalla larghezza di banda della memoria, dagli operatori supportati dal silicio e da quanto bene il compilatore del fornitore riesce a mappare la tua rete su di esso. 

Nella maggior parte dei progetti edge, il collo di bottiglia è lo spostamento dei tensori, quindi il processore si ferma in attesa della memoria molto prima di esaurire la capacità di calcolo. L’energia per inferenza, non il TOPS di picco, è il valore che riflette ciò che “vede” la batteria. È utile pensare a due regimi, distinti in base a dove risiede il modello: SRAM on-chip o DRAM esterna.

Il regime del microcontrollore

Su un microcontrollore, il limite è la SRAM on-chip: spesso appena 256 KB o 512 KB. Questo budget deve contenere le attivazioni del modello e i buffer di lavoro (i tensori runtime), quindi il modello deve essere piccolo e quantizzato per poter entrare, con i pesi conservati nella flash. La quantizzazione è la leva: convertire i pesi da floating point a 32 bit a interi a 8 bit riduce un modello di circa tre o quattro volte con una perdita minima di accuratezza, abbastanza da far sì che una rete della classe MobileNet quantizzata rientri in circa 1 MB di flash, dove la versione in virgola mobile non entrerebbe.

Il regime dell’edge SoC

Su un edge SoC più grande che esegue pipeline di visione o un piccolo modello linguistico, il vincolo si sposta sulla LPDDR esterna, dove la capacità conta meno della velocità con cui pesi e attivazioni possono essere trasferiti in streaming. La memoria è anche una questione di approvvigionamento. La riallocazione nel 2026 della capacità DRAM verso i data center AI ha fatto salire i prezzi della LPDDR e ristretto l’offerta. I fornitori combattono la stessa battaglia sul fronte della larghezza di banda: a maggio, Synaptics ha definito la larghezza di banda della memoria il principale collo di bottiglia per l’inferenza on-device dei modelli linguistici e ha indicato nella compressione aggressiva dei pesi il modo per recuperare throughput.

Risveglia il chip grande per ultimo

Rimanere always-on senza scaricare la batteria dipende dall’organizzare i rilevatori per costo: gli stadi più costosi restano spenti finché uno più economico non guadagna il diritto di risvegliarli. Qualunque elemento funzioni continuamente determina il consumo a riposo del sistema, quindi il compito è rendere quello stadio di base il più economico possibile e lasciare che controlli tutto ciò che sta sopra.

Il livello del microfono

Un microfono MEMS intelligente esegue una piccola rete neurale per il rilevamento dell’attività vocale con decine di microampere, poi passa a un modello più profondo per il keyword spotting solo quando rileva parlato, e risveglia l’host solo dopo.

Il livello del movimento

Il core di machine learning di una IMU classifica l’attività sul sensore e genera un interrupt. Il processore host e qualsiasi acceleratore restano in deep sleep finché non compare una classe di interesse.

Il livello della presenza

Un radar a 60 GHz, come Infineon’s BGT60LTR11AIP, o un sensore time-of-flight multizona gestisce il rilevamento della presenza con elaborazione on-chip, risvegliando una videocamera o un’intera pipeline di visione solo dopo aver confermato che è presente una persona.

Il risparmio emerge da come questi prodotti trascorrono la maggior parte del loro tempo: in inattività. Per avere un ordine di grandezza, un sistema che mantiene attivo un host per l’ascolto assorbe milliampere, mentre un front-end a livelli resta inattivo a decine di microampere e assorbe milliampere solo per una frazione di secondo quando accade qualcosa. Con una batteria a bottone, la differenza tra always-on e architettura a livelli è la differenza tra giorni e anni di autonomia.

Metti l’intelligenza nello stadio meno costoso

Tra sensing, memoria e alimentazione, la logica progettuale si riduce a due principi che dovrebbero guidare la selezione dei componenti:

• Risolvi ogni decisione il più in basso possibile nello stack. Ogni classificazione che una IMU, un microfono o un sensore di presenza può determinare da solo è una classificazione per cui l’host non deve mai essere risvegliato.
• Spostare i dati costa più dei calcoli. I byte trasferiti su un bus o inviati al cloud consumano più energia dell’elaborazione stessa, quindi è preferibile scegliere componenti che restituiscono risultati invece di campioni grezzi. 

Ogni funzione che sposti nel sensore è una funzione che il processore host, la memoria e l’interfaccia non devono più gestire. Il compromesso è la flessibilità. Spingi l’intelligenza nel sensore quando il compito è stabile e ben compreso. Mantienila sull’host quando il modello cambierà spesso o richiederà riaddestramento sul campo, dove riflashare il firmware è preferibile a riprogettare un motore fisso. 

Per indicazioni su dove collocare nello stack ogni elemento di intelligenza, vedi The Edge-Sensing BOM: What to Spec, from IMUs to Interfaces, che analizza la BOM riga per riga: IMU, time-of-flight, radar, microfoni, sensor hub, memoria e interfacce.