온디바이스 추론이 센서 스택을 재편하고 있습니다

핵심 요점

• 온디바이스 추론에서는 센서가 얼마나 깨끗하게 스트리밍하느냐보다, 바로 옆의 모델에 무엇을 전달하느냐로 더 많이 평가됩니다. 
• 대부분의 엣지 설계에서는 최대 TOPS보다 메모리 대역폭이 한계를 결정하며, 8비트 양자화는 모델을 온칩 메모리에 맞추기 위한 핵심 수단입니다.
• 항상 켜져 있는 설계에서는 전력 효율의 핵심이 계층형 웨이크업에 있습니다. 데이터 이동 비용이 연산 자체보다 더 크기 때문에, 각 결정은 그것을 처리할 수 있는 가장 저렴한 단계로 최대한 내려 보내야 합니다.

추론이 디바이스 안으로 이동하다

엣지 AI는 2026년에 파일럿 단계를 넘어 주류 제품으로 진입하고 있습니다. 현재 사용 중인 약 210억 개의 연결형 IoT 디바이스 가운데 대부분은 여전히 데이터를 디바이스 외부로 보내 처리합니다. 그러나 목적에 맞게 설계된 실리콘이 이 작업을 온보드로 옮기고 있습니다. 전용 신경망 처리 장치(NPU)를 탑재한 최초의 STM32 마이크로컨트롤러는 2024년 말 대량 생산에 들어갔고, 보급형 엣지 AI 모듈의 가격도 로컬 추론이 경제적인 기본 선택이 될 만큼 내려왔습니다.

이제 센서는 모델에 데이터를 공급한다

추론이 로컬에서 실행되면, 센서는 신호를 얼마나 깨끗하게 디지털화하느냐보다 그 출력이 옆의 모델에 얼마나 유용하냐로 평가됩니다. 이는 세 가지 결과를 낳습니다.

• 더 깨끗하고 더 넓은 범위의 데이터. 모델은 노이즈와 클리핑에 민감하므로 프런트엔드는 더 큰 헤드룸을 확보하는 방향으로 발전하고 있습니다. 듀얼 레인지 관성 측정 장치(IMU)는 미세한 진동과 강한 충격을 동시에 포착해 범위 사이에서 데이터 손실이 발생하지 않도록 합니다. 마이크 공급업체들도 이제 신호대잡음비와 함께 음향 과부하 한계를 높이고 있어, 큰 소리가 발생해도 모델이 보기 전에 포화되지 않습니다.
• 센서 내부의 연산. IMU의 머신러닝 코어와 센서 내 처리 장치, MEMS 마이크 내부의 AI 엔진, 그리고 다이 내장 비전은 부품이 원시 스트림 대신 결정 결과나 특징값을 출력하게 하여 호스트가 계속 절전 상태를 유지할 수 있게 합니다.
• 희소하고 이벤트 중심적인 출력. 이벤트 기반 비전 센서와 웨이크 온 사운드 마이크는 모두 24시간 내내 스트리밍하는 대신, 변화가 있을 때만 대역폭과 연산 자원을 사용합니다.

이러한 발전은 프라이버시 보호에도 도움이 됩니다. ToF와 레이더는 이미지가 아니라 거리와 움직임을 보고하며, 센서 내 비전은 원시 픽셀을 다이 내부에 그대로 유지하므로, 존재 감지 센서는 카메라 피드가 부품 밖으로 나가지 않아도 제 역할을 할 수 있습니다.

한계를 정하는 것은 TOPS가 아니라 대역폭이다

엣지 AI 부품의 대표 지표로는 보통 TOPS(초당 1조 연산 횟수)가 거론되지만, 설계 규모를 판단할 때 이 수치에만 의존하는 것은 적절하지 않습니다. 동일한 TOPS 등급의 두 가속기라도 실제 처리량은 크게 다를 수 있습니다. 성능은 메모리 대역폭, 실리콘이 지원하는 연산자, 그리고 벤더의 컴파일러가 사용자의 네트워크를 얼마나 잘 매핑하는지에 달려 있기 때문입니다. 

대부분의 엣지 설계에서는 텐서를 이동시키는 일이 병목이 되므로, 프로세서는 연산 능력이 부족해지기 훨씬 전에 메모리를 기다리며 정지하게 됩니다. 배터리 관점에서 의미 있는 수치는 최대 TOPS가 아니라 추론당 에너지입니다. 이를 이해하려면 모델이 어디에 올라가는지, 즉 온칩 SRAM인지 외부 DRAM인지에 따라 두 가지 영역으로 나눠 생각하는 것이 도움이 됩니다.

마이크로컨트롤러 영역

마이크로컨트롤러에서는 한계가 온칩 SRAM에 있습니다. 보통 256KB에서 512KB에 불과합니다. 이 예산 안에는 모델의 활성값과 작업 버퍼(런타임 텐서)가 모두 들어가야 하므로, 모델은 여기에 맞도록 작고 양자화되어야 하며 가중치는 플래시에 저장됩니다. 양자화가 핵심 수단입니다. 가중치를 32비트 부동소수점에서 8비트 정수로 변환하면 정확도 손실을 거의 늘리지 않으면서 모델 크기를 대략 3~4배 줄일 수 있어, 부동소수점 버전으로는 불가능한 MobileNet급 네트워크도 양자화 버전이면 약 1MB 플래시에 담을 수 있습니다.

엣지 SoC 영역

비전 파이프라인이나 소형 언어 모델을 실행하는 더 큰 엣지 SoC에서는 제약이 외부 LPDDR로 옮겨갑니다. 여기서는 용량보다 가중치와 활성값을 얼마나 빠르게 스트리밍할 수 있는지가 더 중요합니다. 메모리는 조달의 문제이기도 합니다. 2026년 AI 데이터센터 쪽으로의 DRAM 생산능력 재배치는 LPDDR 가격을 끌어올리고 공급을 더 타이트하게 만들었습니다. 벤더들도 대역폭 측면에서 같은 싸움을 하고 있습니다. 5월에 Synaptics는 온디바이스 언어 모델 추론의 주요 병목으로 메모리 대역폭을 지목했고, 처리량을 되찾는 방법으로 공격적인 가중치 압축을 제시했습니다.

큰 칩은 가장 나중에 깨워라

배터리를 소모하지 않으면서 항상 켜진 상태를 유지하려면, 검출기를 비용 순서대로 계층화해야 합니다. 더 저렴한 단계가 깨울 가치가 있다고 판단하기 전까지는 비용이 큰 단계는 꺼져 있어야 합니다. 연속적으로 동작하는 것이 무엇이든 시스템의 유휴 전류를 결정하므로, 핵심은 맨 아래 단계를 가능한 한 저전력으로 만들고 그 위의 모든 단계를 제어하도록 하는 것입니다.

마이크 계층

스마트 MEMS 마이크는 수십 마이크로암페어 수준에서 음성 활동 감지를 위한 작은 신경망을 실행하고, 음성을 들었을 때만 더 깊은 키워드 스포팅 모델로 넘어가며, 그다음에야 호스트를 깨웁니다.

모션 계층

IMU의 머신러닝 코어는 센서에서 직접 활동을 분류하고 인터럽트를 발생시킵니다. 관심 있는 클래스가 나타날 때까지 호스트 프로세서와 가속기는 깊은 절전 상태를 유지합니다.

존재 감지 계층

 Infineon의 BGT60LTR11AIP 같은 60GHz 레이더나 멀티존 ToF 센서는 온칩 처리로 존재 감지를 수행하고, 사람이 실제로 있음을 확인한 뒤에만 카메라나 전체 비전 파이프라인을 깨웁니다.

이 절감 효과는 이런 제품들이 대부분의 시간을 유휴 상태로 보낸다는 점에서 드러납니다. 대략적인 규모를 보면, 호스트를 계속 깨어 있게 하여 청취하도록 하는 시스템은 밀리암페어 단위의 전류를 소모하는 반면, 계층형 프런트엔드는 수십 마이크로암페어 수준으로 유휴 상태를 유지하고 무언가가 발생했을 때만 잠깐 동안 밀리암페어 단위로 올라갑니다. 코인셀 배터리에서는 항상 켜짐 방식과 계층형 방식의 차이가 수명 며칠과 수년의 차이가 됩니다.

지능은 가장 저렴한 단계에 배치하라

센싱, 메모리, 전력 전반에 걸쳐 설계 논리는 결국 두 가지 원칙으로 요약되며, 이 원칙이 부품 선택을 이끌어야 합니다.

• 각 결정은 가능한 한 스택의 낮은 단계에서 해결하라. IMU, 마이크, 또는 존재 감지 센서가 스스로 끝낼 수 있는 분류라면, 그 일을 위해 호스트를 깨울 필요가 없습니다.
• 데이터 이동 비용은 연산보다 크다. 버스를 가로질러 또는 클라우드로 올려 보내는 바이트는 계산 자체보다 더 많은 에너지를 소모하므로, 원시 샘플이 아니라 결과를 보고하는 부품을 선호해야 합니다. 

센서 안으로 밀어 넣는 기능 하나하나가 호스트 프로세서, 메모리, 인터페이스가 더 이상 부담하지 않아도 되는 기능이 됩니다. 다만 그 대가로 유연성은 줄어듭니다. 작업이 안정적이고 잘 이해되어 있을 때는 지능을 센서 안으로 넣으십시오. 반대로 모델이 자주 바뀌거나 현장에서 재학습이 필요하다면 호스트에 두는 것이 낫습니다. 고정 기능 엔진을 다시 설계하는 것보다 펌웨어를 다시 플래시하는 편이 훨씬 쉽기 때문입니다. 

스택의 어느 위치에 어떤 지능을 배치해야 하는지에 대한 가이드는 The Edge-Sensing BOM: What to Spec, from IMUs to Interfaces를 참고하십시오. 이 자료는 BOM을 IMU, ToF, 레이더, 마이크, 센서 허브, 메모리, 인터페이스까지 항목별로 차례대로 설명합니다.