Der Weg nach vorn für eingebettete KI

Im April 2021 veröffentlichte ich einen Artikel in Printed Circuit Design & Fab, in dem ich verkündete, dass die Zukunft der KI eingebettet ist. Kurz gesagt, meine Ansicht ist, dass eingebettete Systeme eine größere Nutzung von KI auf dem Endgerät ermöglichen werden, was bedeutet, dass sie weniger auf Cloud-Plattformen oder Datenzentren für die Inferenz angewiesen sein werden.

Ohne Zweifel glaube ich, dass die Zukunft der KI immer noch eingebettet ist, aber nicht mit dem Chipsatz oder der Systemarchitektur, die ich gedacht hätte. Zum Zeitpunkt des Schreibens des vorherigen Artikels war ich immer noch an der Idee festgehangen, dass kombinatorische + sequenzielle Logik alle Rechenprobleme lösen könnte. Die Erfahrung hat gezeigt, dass sie es einfach nicht kann.

Diese Ansicht hat sich in den letzten 18 Monaten bestätigt, insbesondere angesichts der Veröffentlichung vieler neuer KI-Beschleunigerchips im Jahr 2022. Für PCB-Designer und Ingenieure sind diese Chips eine großartige Option, um schnell KI-Fähigkeiten über Standard-Schnittstellen zu einem Design hinzuzufügen. Typischerweise werden diese über eine PCIe Gen2 oder schnellere Lane, möglicherweise über USB oder sogar mit etwas so Langsamem wie SPI für Low-Compute-Beschleuniger, zugegriffen. Die Chips kommen auch in Standardgehäusen (Quad oder BGA), die man auf die übliche Weise platzieren und verdrahten würde. Um zu sehen, wo On-Device-KI herkommt und wohin sie als nächstes geht, habe ich beschlossen, einige der interessantesten KI-Beschleuniger-Veröffentlichungen über 2022 zu präsentieren.

KI-Prozessor-Veröffentlichungen in 2022

Da die Welt nun in das Zeitalter der KI eingetreten ist, hat die Hardwareindustrie viel aufzuholen, um mit der Softwareindustrie konkurrieren zu können. Einige der neueren fortschrittlichen Prozessoren, die auf eingebettete KI-Anwendungen abzielen, sind in der untenstehenden Tabelle aufgeführt.

Diese Startups und Forschungseinrichtungen treiben eingebettete KI mit erheblichen Fortschritten in ihren benutzerdefinierten Chips voran. Im Gegensatz dazu haben wir von etablierten eingebetteten KI-Produkten wie Google Coral, das eines der benutzerfreundlichen Beschleunigungsmodulen oder -chips war, nicht viel weitere Entwicklung gesehen. Abgesehen von diesen spezialisierten Prozessoren gibt es zwei weitere Wege, die Designer beschreiten können, um eingebettete KI-Fähigkeiten in ihre Entwürfe zu integrieren.

Drei Wege zu eingebetteter KI

Nach der Untersuchung der Trends von diesen Start-ups, etablierten Halbleiterherstellern und der Open-Source-Gemeinschaft gibt es drei Wege, um eingebettete KI in einem neuen System zu implementieren:

Software-Beschleuniger auf MCUs – Der rechenärmste Weg, um KI-Inferenz, Tagging/Vorverarbeitung und Training zu beschleunigen, befindet sich in Firmware/Software. Pakete wie TinyML ermöglichen es Entwicklern, schnell softwarebasierte Beschleunigungstechniken zu implementieren, die die Inferenz beschleunigen. Diese Methoden beinhalten Daten- oder Modellmanipulation, um die Anzahl der Verarbeitungsschritte, die bei der Inferenz erforderlich sind, zu reduzieren. Mit diesen Techniken können Entwickler jetzt einfachere Inferenzmodelle auf kleinen MCUs ausführen, alles mit einfacher sequenzieller + kombinatorischer Logik.

Benutzerdefiniertes Silizium – Es besteht keine Chance, dass benutzerdefinierte SoCs in absehbarer Zeit verschwinden, da alle hyperskalierenden Technologienamen ihre eigenen internen Chip-Entwicklungskapazitäten ausbauen. Mit fertigen Kernen von ARM und mit einem offenen Standard wie RISC-V können Chiphersteller schnell ein Kerndesign hochfahren, das KI-Compute-Operationen auf der Logikebene als Hardwareinstruktion implementiert. Dies reduziert massiv den Energieverbrauch und die Anzahl der rohen Rechenoperationen.

FPGAs – Es gibt einen kontinuierlichen Vorstoß, FPGAs von ihrer historischen Rolle als Werkzeuge für den Chip-Prototyping zu entfernen und sie als produktionsreife Prozessoren in den Mainstream zu bringen. Halbleiterhersteller unterstützen nun die Implementierung von RISC-V und KI-Beschleunigung, um hochgradig angepasste FPGA-Kerne mit KI-Inferenz- und Trainingaufgaben auf Befehlsebene zu erstellen. Alle meine jüngsten Kundenprojekte für fortschrittliche Anwendungen (KI-gesteuerte Bildgebungssysteme und Sensorfusion) wurden um ein FPGA als Hauptprozessor herum aufgebaut.

Welchen Weg wird die Industrie einschlagen?

Die oben aufgeführten Produkte basieren alle auf kundenspezifischem Silizium. Die FPGA-Industrie benötigt kein speziell für KI entwickeltes Silizium, ihre Kunden können Entwicklungswerkzeuge nutzen, um KI auf Logikebene zu implementieren, ohne sich um das Design von Logikschaltungen kümmern zu müssen, die die Struktur eines neuronalen Netzwerks nachahmen. Halbleiterhersteller erkennen den Wert des FPGA-Ansatzes und stellen den Designern die benötigten Entwicklungswerkzeuge zur Verfügung (einschließlich RISC-V-Ressourcen), um einen KI-Kern in einem FPGA zu implementieren.

In Bezug auf die Auswahl und Platzierung von Komponenten bedeutet dies, dass einige Systeme auf physisch kleinere Chips, eine kleinere Stückliste (BOM) und die Entfernung eines hochriskanten Teils der Montage, nämlich des AI-Beschleunigerchips, skaliert werden könnten. Die Eliminierung des AI-Beschleunigers ist auf allen Ebenen eine großartige Idee. Für die Herstellung werden die Gesamtkomponenten- und Montagekosten wahrscheinlich reduziert. Für den PCB-Designer bedeutet dies, dass Sie einen Chip weniger (typischerweise mit hoher I/O-Anzahl auf einem BGA) und dessen Peripheriegeräte platzieren und verdrahten müssen. Für den Entwickler entfällt die Notwendigkeit, einen Treiber zur Steuerung des externen Beschleunigers zu entwickeln und dann in die eingebettete Anwendung zu integrieren.

Eingebettete KI-Entwickler können diese hardwaregesteuerten KI-Beschleunigeroptionen in PCBs mit dem kompletten Satz an Produktdesign-Tools in Altium Designer® implementieren. Die CAD-Funktionen in Altium Designer ermöglichen alle Aspekte des System- und Produktdesigns, von der Verpackung und dem PCB-Layout bis hin zum Entwurf von Kabeln und Leitungen. Wenn Sie mit Ihrem Design fertig sind und Ihre Dateien an Ihren Hersteller weitergeben möchten, erleichtert die Altium 365™-Plattform die Zusammenarbeit und das Teilen Ihrer Projekte.

Wir haben nur an der Oberfläche dessen gekratzt, was mit Altium Designer auf Altium 365 möglich ist. Starten Sie heute Ihre kostenlose Testversion von Altium Designer + Altium 365.