Suy luận trực tiếp trên thiết bị đang tái định hình ngăn xếp cảm biến

Những điểm chính

• Với suy luận ngay trên thiết bị, cảm biến được đánh giá nhiều hơn qua những gì nó cung cấp cho mô hình ở gần đó thay vì qua mức độ sạch của luồng dữ liệu mà nó truyền đi. 
• Băng thông bộ nhớ, chứ không phải TOPS cực đại, mới là yếu tố giới hạn phần lớn các thiết kế edge, và lượng tử hóa 8-bit là đòn bẩy để đưa mô hình vừa với bộ nhớ trên chip.
• Trong các thiết kế always-on, hiệu quả điện năng đến từ cơ chế đánh thức theo tầng: đẩy mỗi quyết định xuống tầng rẻ nhất có thể xử lý được, vì việc di chuyển dữ liệu tốn kém hơn phép toán.

Suy luận chuyển lên ngay trên thiết bị

Edge AI đang chuyển từ giai đoạn thử nghiệm sang các sản phẩm đại trà vào năm 2026. Trong số khoảng 21 tỷ thiết bị IoT kết nối đang hoạt động, phần lớn vẫn gửi dữ liệu ra ngoài thiết bị để xử lý. Nhưng silicon được thiết kế chuyên dụng đang đưa khối lượng công việc đó lên ngay trên thiết bị: các vi điều khiển STM32 đầu tiên có bộ xử lý thần kinh chuyên dụng (NPU) đã đi vào sản xuất hàng loạt vào cuối năm 2024, và các mô-đun edge-AI phân khúc phổ thông đã giảm xuống các mức giá khiến suy luận cục bộ trở thành lựa chọn mặc định hợp lý về kinh tế.

Cảm biến giờ đây cấp dữ liệu cho một mô hình

Khi suy luận chạy cục bộ, cảm biến được đánh giá ít hơn ở khả năng số hóa tín hiệu sạch đến đâu, và nhiều hơn ở mức độ hữu ích của đầu ra đối với mô hình nằm bên cạnh nó. Điều này kéo theo ba hệ quả:

• Dữ liệu sạch hơn, dải rộng hơn. Mô hình rất nhạy với nhiễu và hiện tượng clipping, nên các front end đang được tăng biên độ dự phòng. Các bộ đo quán tính dải kép (IMU) có thể đồng thời ghi nhận rung động tinh vi và va đập mạnh mà không mất dữ liệu giữa các dải. Các nhà cung cấp microphone hiện cũng nâng ngưỡng quá tải âm học cùng với tỷ số tín hiệu trên nhiễu, để một sự kiện âm thanh lớn không làm bão hòa trước khi mô hình kịp nhìn thấy nó.
• Tính toán ngay bên trong cảm biến. Các lõi machine learning và khối xử lý trong cảm biến trong IMU, các engine AI bên trong microphone MEMS, và thị giác on-die cho phép linh kiện xuất ra quyết định hoặc đặc trưng thay vì luồng dữ liệu thô, nhờ đó host có thể tiếp tục ở trạng thái ngủ.
• Đầu ra thưa, theo sự kiện. Các cảm biến thị giác dựa trên sự kiện và microphone wake-on-sound đều chỉ dùng băng thông và năng lực tính toán khi có thay đổi xảy ra, thay vì truyền liên tục suốt ngày đêm.

Những phát triển này cũng giúp bảo vệ quyền riêng tư. Cảm biến time-of-flight và radar báo cáo khoảng cách và chuyển động, chứ không phải hình ảnh, còn thị giác trong cảm biến giữ các pixel thô lại trên die, nên cảm biến hiện diện có thể hoàn thành nhiệm vụ mà không cần luồng camera rời khỏi linh kiện.

Băng thông, không phải TOPS, mới đặt ra trần giới hạn

Thông số nổi bật thường thấy của một linh kiện edge AI là xếp hạng TOPS của nó (nghìn tỷ phép toán mỗi giây), và đó lại là điều không nên dùng để định cỡ thiết kế. Hai bộ tăng tốc có cùng TOPS công bố vẫn có thể cho thông lượng thực tế rất khác nhau vì hiệu năng phụ thuộc vào băng thông bộ nhớ, các toán tử mà silicon hỗ trợ, và mức độ trình biên dịch của nhà cung cấp ánh xạ mạng của bạn lên đó tốt đến đâu. 

Trong phần lớn thiết kế edge, việc di chuyển tensor mới là yếu tố giới hạn, nên bộ xử lý sẽ bị chờ bộ nhớ rất lâu trước khi cạn năng lực tính toán. Năng lượng trên mỗi lần suy luận, chứ không phải TOPS đỉnh, mới là con số phản ánh đúng những gì pin phải gánh. Nên hình dung theo hai chế độ, được phân tách bởi nơi mô hình nằm: SRAM trên chip hoặc DRAM ngoài.

Miền vi điều khiển

Trên vi điều khiển, trần giới hạn là SRAM trên chip: thường chỉ từ 256 KB đến 512 KB. Ngân sách đó phải chứa các activation và bộ đệm làm việc của mô hình (các tensor thời gian chạy), nên mô hình phải nhỏ và được lượng tử hóa để vừa, trong khi trọng số được giữ trong flash. Lượng tử hóa là đòn bẩy then chốt: chuyển trọng số từ số thực dấu phẩy động 32-bit sang số nguyên 8-bit giúp thu nhỏ mô hình khoảng ba đến bốn lần mà chỉ mất rất ít độ chính xác, đủ để một mạng thuộc lớp MobileNet sau lượng tử hóa nằm gọn trong khoảng 1 MB flash, trong khi phiên bản float thì không thể.

Miền Edge SoC

Trên một edge SoC lớn hơn chạy pipeline thị giác hoặc mô hình ngôn ngữ nhỏ, ràng buộc chuyển sang LPDDR ngoài, nơi dung lượng kém quan trọng hơn tốc độ có thể truyền các trọng số và activation. Bộ nhớ cũng là một bài toán nguồn cung. Việc tái phân bổ dung lượng DRAM sang các trung tâm dữ liệu AI trong năm 2026 đã đẩy giá LPDDR tăng lên và làm nguồn cung thắt chặt hơn. Các nhà cung cấp cũng chiến đấu ở cùng mặt trận băng thông: vào tháng 5, Synaptics gọi băng thông bộ nhớ là nút thắt chính đối với suy luận mô hình ngôn ngữ trên thiết bị và chỉ ra nén trọng số quyết liệt là cách để giành lại thông lượng.

Đánh thức chip lớn sau cùng

Để duy trì trạng thái always-on mà không làm cạn pin, cốt lõi là xếp chồng các bộ dò theo chi phí: các tầng đắt đỏ sẽ tắt cho đến khi một tầng rẻ hơn giành quyền đánh thức chúng. Bất cứ thứ gì chạy liên tục sẽ quyết định mức tiêu thụ khi nhàn rỗi của hệ thống, nên nhiệm vụ là làm cho tầng đáy này rẻ nhất có thể và để nó chặn/cho phép mọi thứ phía trên.

Tầng microphone

Một microphone MEMS thông minh chạy một mạng nơ-ron rất nhỏ để phát hiện hoạt động giọng nói ở mức vài chục microamp, sau đó chỉ nâng lên mô hình sâu hơn để nhận diện từ khóa khi nghe thấy lời nói, và chỉ sau đó mới đánh thức host.

Tầng chuyển động

Lõi machine-learning của một IMU phân loại hoạt động ngay trên cảm biến và phát ra ngắt. Bộ xử lý host cùng mọi bộ tăng tốc sẽ tiếp tục ngủ sâu cho đến khi xuất hiện một lớp sự kiện cần quan tâm.

Tầng hiện diện

Một radar 60 GHz, chẳng hạn như BGT60LTR11AIP của Infineon, hoặc cảm biến time-of-flight đa vùng sẽ xử lý phát hiện hiện diện bằng năng lực xử lý trên chip, chỉ đánh thức camera hoặc toàn bộ pipeline thị giác khi xác nhận có người hiện diện.

Lợi ích tiết kiệm thể hiện ở cách các sản phẩm này dành phần lớn thời gian của chúng: ở trạng thái nhàn rỗi. Để hình dung sơ bộ về quy mô, một hệ thống giữ host luôn thức để lắng nghe sẽ tiêu thụ ở mức miliamp, trong khi một front end phân tầng chỉ nhàn rỗi ở mức vài chục microamp và chỉ lên mức miliamp trong một phần nhỏ của giây khi có sự kiện xảy ra. Với pin cúc áo, khác biệt giữa always-on và phân tầng là khác biệt giữa vài ngày và vài năm tuổi thọ.

Đặt trí tuệ ở tầng rẻ nhất

Xét trên các khía cạnh cảm biến, bộ nhớ và công suất, logic thiết kế quy về hai nguyên tắc nên dẫn dắt việc chọn linh kiện của bạn:

• Giải quyết mỗi quyết định ở càng thấp trong stack càng tốt. Mỗi phép phân loại mà IMU, microphone hoặc cảm biến hiện diện có thể tự xử lý là một lần host không cần phải thức dậy.
• Di chuyển dữ liệu tốn kém hơn phép toán. Các byte bị đẩy qua bus hoặc đưa lên cloud tiêu tốn nhiều năng lượng hơn bản thân việc tính toán, vì vậy hãy ưu tiên các linh kiện báo cáo kết quả thay vì mẫu dữ liệu thô. 

Mỗi chức năng bạn đẩy vào cảm biến là một chức năng mà bộ xử lý host, bộ nhớ và giao tiếp không còn phải gánh nữa. Sự đánh đổi nằm ở tính linh hoạt. Hãy đẩy trí tuệ vào cảm biến khi tác vụ ổn định và đã được hiểu rõ. Hãy giữ nó ở host khi mô hình sẽ thay đổi thường xuyên hoặc cần huấn luyện lại tại hiện trường, nơi việc nạp lại firmware sẽ tốt hơn so với phải làm lại một engine cố định. 

Để có hướng dẫn về việc mỗi phần trí tuệ nên nằm ở đâu trong stack, xem The Edge-Sensing BOM: What to Spec, from IMUs to Interfaces, bài viết đi qua BOM theo từng dòng: IMU, time-of-flight, radar, microphone, sensor hub, bộ nhớ và giao tiếp.