Hướng Đi Tiếp Theo cho AI Nhúng

Zachariah Peterson
|  Created: Tháng Mười Hai 16, 2022  |  Updated: Tháng Tư 18, 2024
AI Nhúng

Vào tháng 4 năm 2021, tôi đã xuất bản một bài báo trên Printed Circuit Design & Fab, nơi tôi tuyên bố rằng tương lai của AI là được tích hợp. Nói ngắn gọn, quan điểm của tôi là các hệ thống được tích hợp sẽ tận dụng việc sử dụng AI nhiều hơn trên thiết bị cuối, có nghĩa là chúng sẽ ít phụ thuộc vào các nền tảng đám mây hoặc trung tâm dữ liệu để suy luận hơn.

Không nghi ngờ gì, tôi tin rằng tương lai của AI vẫn là được tích hợp, nhưng không phải với bộ chipset hay kiến trúc hệ thống mà tôi đã nghĩ. Tại thời điểm viết bài báo trước, tôi vẫn mắc kẹt với ý tưởng rằng logic kết hợp + tuần tự có thể chinh phục tất cả các vấn đề tính toán. Kinh nghiệm đã cho thấy điều đó đơn giản không thể.

Quan điểm này đã được xác nhận trong 18 tháng qua, đặc biệt là với việc ra mắt nhiều chip tăng tốc AI mới trong năm 2022. Đối với các nhà thiết kế và kỹ sư PCB, những chip này là một lựa chọn tuyệt vời để nhanh chóng thêm khả năng AI vào một thiết kế thông qua các giao diện tiêu chuẩn. Thông thường, chúng được truy cập qua một làn PCIe Gen2 hoặc nhanh hơn, có thể qua USB, hoặc thậm chí với cái gì đó chậm như SPI cho các bộ tăng tốc tính toán thấp. Các chip cũng có trong các gói tiêu chuẩn (quad hoặc BGA) mà bạn sẽ đặt và định tuyến theo cách thông thường. Để xem AI trên thiết bị đã đi đến đâu và sẽ đi đến đâu tiếp theo, tôi quyết định trình bày một số phát hành bộ tăng tốc AI thú vị nhất trong năm 2022.

Phát hành Bộ xử lý AI trong năm 2022

Kể từ khi thế giới bước vào kỷ nguyên AI, ngành công nghiệp phần cứng có rất nhiều việc phải làm để cạnh tranh với ngành công nghiệp phần mềm. Một số bộ xử lý tiên tiến mới nhất nhắm đến các ứng dụng AI nhúng được liệt kê trong bảng dưới đây.

Sản phẩm

Tổ chức

Điểm khác biệt

Chip mạng nơ-ron nhịp nhàng

Viện Công nghệ Ấn Độ

Tiêu thụ điện năng cực thấp

Bộ xử lý Học tập Phân cấp

Ceromorphic

Cấu trúc transistor thay thế

Đơn vị Xử lý Thông minh (IPUs)

Graphcore

Nhiều sản phẩm nhắm đến thiết bị đầu cuối và đám mây

Katana Edge AI

Synaptics

Kết hợp phát hiện hình ảnh, chuyển động và âm thanh

Chip ET-SoC-1

Công nghệ Esperanto

Xây dựng trên RISC-V cho tải trọng công việc AI và không AI

NeuRRAM

CEA–Leti

Bộ xử lý neuromorphic lấy cảm hứng từ sinh học dựa trên RAM kháng (RRAM)

Chip GrAI VIP

GrAI Matter

Cảm biến dựa trên sự kiện cho xử lý hình ảnh

SoC học máy (MLSoC)

SiMa.ai

Khả năng nhìn máy tính cắm và chạy

ECM 3532

Eta Compute

Bộ xử lý tổng hợp cảm biến, tiêu thụ điện năng rất thấp

SoC EyeQ

Mobileye

Nhắm đến hệ thống ô tô

 

Những startup và cơ quan nghiên cứu này đang thúc đẩy AI nhúng phát triển mạnh mẽ với những tiến bộ đáng kể trong chip tùy chỉnh của họ. Ngược lại, chúng ta chưa thấy nhiều phát triển tiếp theo từ các sản phẩm AI nhúng đã thiết lập như Google Coral, đây là một trong những mô-đun hoặc chip tăng tốc dễ sử dụng. Ngoài những bộ xử lý chuyên biệt này, có hai con đường khác mà các nhà thiết kế có thể thực hiện để đưa khả năng AI nhúng vào trong thiết kế của họ.

Ba Con Đường Để Tích Hợp AI Nhúng

Sau khi xem xét xu hướng từ các startup, nhà sản xuất bán dẫn lâu năm và cộng đồng mã nguồn mở, có ba phương thức để triển khai AI nhúng trong một hệ thống mới:

Bộ tăng tốc phần mềm trên MCU – Con đường tính toán thấp nhất để tăng tốc suy luận AI, gắn thẻ/xử lý trước và huấn luyện nằm trong firmware/phần mềm. Các gói như TinyML cho phép các nhà phát triển nhanh chóng triển khai các kỹ thuật tăng tốc dựa trên phần mềm giúp tăng tốc suy luận. Những phương pháp này liên quan đến việc thao tác dữ liệu hoặc mô hình nhằm giảm số bước xử lý cần thiết trong suy luận. Với những kỹ thuật này, các nhà phát triển giờ đây có thể chạy các mô hình suy luận đơn giản trên các MCU nhỏ, tất cả với logic tuần tự + kết hợp đơn giản.

Silicon tùy chỉnh – Không có khả năng các SoC tùy chỉnh sẽ biến mất trong thời gian sớm khi tất cả các tên tuổi công nghệ quy mô lớn xây dựng năng lực phát triển chip nội bộ của riêng họ. Với các lõi sẵn có từ ARM và với mộttiêu chuẩn mở như RISC-V, các nhà thiết kế chip có thể nhanh chóng tạo ra một thiết kế lõi thực hiện các hoạt động tính toán AI ở cấp độ logic như một hướng dẫn phần cứng. Điều này giảm đáng kể lượng tiêu thụ năng lượng và số lượng hoạt động tính toán thô.

FPGA – Đã có một sự nỗ lực liên tục nhằm đưa FPGA ra khỏi vai trò truyền thống của chúng như là công cụ mô phỏng chip và đưa chúng vào dòng chính như là bộ xử lý cấp sản xuất. Các nhà cung cấp bán dẫn hiện đang hỗ trợ triển khai RISC-V và tăng tốc AI để xây dựng các lõi FPGA tùy chỉnh cao với các nhiệm vụ suy luận và huấn luyện AI được triển khai ở cấp độ hướng dẫn. Tất cả các dự án của khách hàng gần đây của tôi cho các ứng dụng tiên tiến (hệ thống hình ảnh dựa trên AI và sự kết hợp cảm biến) đều được xây dựng xung quanh một FPGA làm bộ xử lý chính.

Xilinx Zynq FPGA
Zynq FPGA from Xilinx.

 

Hướng đi nào cho Ngành?

Các sản phẩm được liệt kê ở trên đều được xây dựng trên silicon tùy chỉnh. Ngành FPGA không cần silicon tùy chỉnh cụ thể cho AI, khách hàng của họ có thể sử dụng công cụ phát triển để triển khai AI ở cấp độ logic mà không cần lo lắng về việc thiết kế mạch logic để mô phỏng cấu trúc của một mạng nơ-ron. Các nhà cung cấp bán dẫn đang nhìn thấy giá trị của phương pháp tiếp cận FPGA và họ đang cung cấp các công cụ phát triển mà các nhà thiết kế cần (bao gồm cả nguồn lực RISC-V) để triển khai một lõi AI trong FPGA.

Về việc chọn lựa và đặt linh kiện, điều này có nghĩa là một số hệ thống có thể được thu nhỏ về kích thước chip, giảm kích thước BOM và loại bỏ một phần có rủi ro cao trong quá trình lắp ráp, cụ thể là chip tăng tốc AI. Loại bỏ chip tăng tốc AI là một ý tưởng tuyệt vời ở mọi cấp độ. Đối với việc sản xuất, tổng chi phí linh kiện và lắp ráp có khả năng sẽ được giảm. Đối với nhà thiết kế PCB, bạn có ít hơn một chip (thường có số lượng I/O cao trên một BGA) và các linh kiện phụ trợ mà bạn cần phải đặt và định tuyến. Đối với nhà phát triển, nó loại bỏ nhu cầu phát triển một trình điều khiển để kiểm soát bộ tăng tốc ngoại vi và sau đó tích hợp điều này vào ứng dụng nhúng.

Nhà phát triển AI nhúng có thể triển khai các tùy chọn bộ tăng tốc AI dựa trên phần cứng vào PCB với bộ công cụ thiết kế sản phẩm đầy đủ trong Altium Designer®. Các tính năng CAD trong Altium Designer cho phép thực hiện mọi khía cạnh của thiết kế hệ thống và sản phẩm, từ đóng gói và bố trí PCB, cho đến thiết kế dây và cáp. Khi bạn hoàn thành thiết kế và muốn gửi các tệp cho nhà sản xuất của mình, nền tảng Altium 365™ giúp việc hợp tác và chia sẻ dự án của bạn trở nên dễ dàng.

Chúng ta mới chỉ khám phá được bề nổi của những gì có thể thực hiện với Altium Designer trên Altium 365. Bắt đầu dùng thử miễn phí Altium Designer + Altium 365 ngay hôm nay.

About Author

About Author

Zachariah Peterson has an extensive technical background in academia and industry. He currently provides research, design, and marketing services to companies in the electronics industry. Prior to working in the PCB industry, he taught at Portland State University and conducted research on random laser theory, materials, and stability. His background in scientific research spans topics in nanoparticle lasers, electronic and optoelectronic semiconductor devices, environmental sensors, and stochastics. His work has been published in over a dozen peer-reviewed journals and conference proceedings, and he has written 2500+ technical articles on PCB design for a number of companies. He is a member of IEEE Photonics Society, IEEE Electronics Packaging Society, American Physical Society, and the Printed Circuit Engineering Association (PCEA). He previously served as a voting member on the INCITS Quantum Computing Technical Advisory Committee working on technical standards for quantum electronics, and he currently serves on the IEEE P3186 Working Group focused on Port Interface Representing Photonic Signals Using SPICE-class Circuit Simulators.

Related Resources

Tài liệu kỹ thuật liên quan

Back to Home
Thank you, you are now subscribed to updates.