La voie à suivre pour l'IA embarquée

En avril 2021, j'ai publié un article dans Printed Circuit Design & Fab, où j'ai proclamé que l'avenir de l'IA est intégré. En résumé, mon point de vue est que les systèmes embarqués vont tirer parti d'une plus grande utilisation de l'IA sur le dispositif final, ce qui signifie qu'ils dépendront moins des plateformes cloud ou des centres de données pour l'inférence.

Sans aucun doute, je crois que l'avenir de l'IA est toujours intégré, mais pas avec le chipset ou l'architecture système que j'aurais pensé. Au moment de la rédaction de l'article précédent, j'étais encore accroché à l'idée que la logique combinatoire + séquentielle pourrait conquérir tous les problèmes informatiques. L'expérience a montré que ce n'est tout simplement pas le cas.

Cette vision a été confirmée au cours des 18 derniers mois, en particulier avec la sortie de nombreux nouveaux puces d'accélération IA en 2022. Pour les concepteurs de PCB et les ingénieurs, ces puces représentent une excellente option pour ajouter rapidement des capacités IA à une conception via des interfaces standard. Typiquement, ces accès se font via une voie PCIe Gen2 ou plus rapide, éventuellement via USB, ou même avec quelque chose d'aussi lent que SPI pour les accélérateurs à faible calcul. Les puces sont également disponibles dans des boîtiers standards (quad ou BGA) que vous placeriez et routeriez de manière habituelle. Pour voir où l'IA embarquée en est arrivée et où elle se dirige ensuite, j'ai décidé de présenter certaines des sorties d'accélérateurs IA les plus intéressantes de 2022.

Sorties de Processeurs IA en 2022

Depuis que le monde est entré dans l'ère de l'IA, l'industrie du matériel a beaucoup de chemin à parcourir pour rivaliser avec l'industrie du logiciel. Certains des processeurs avancés les plus récents ciblant les applications IA embarquées sont listés dans le tableau ci-dessous.

Ces startups et institutions de recherche font avancer l'IA embarquée avec des avancées considérables dans leurs puces personnalisées. Inversement, nous n'avons pas vu beaucoup de développements supplémentaires de produits d'IA embarquée établis comme Google Coral, qui était l'un des modules ou puces accélérateurs faciles à utiliser. À part ces processeurs spécialisés, il existe deux autres voies que les concepteurs peuvent emprunter pour intégrer des capacités d'IA embarquée dans leurs conceptions.

Trois voies vers l'IA embarquée

Après avoir examiné les tendances de ces startups, des fabricants de semi-conducteurs établis et de la communauté open source, il existe trois chemins pour implémenter l'IA embarquée dans un nouveau système :

Accélérateurs logiciels sur les MCU – La voie de calcul la moins exigeante pour accélérer l'inférence IA, le marquage/prétraitement, et l'entraînement se trouve dans le firmware/logiciel. Des paquets comme TinyML permettent aux développeurs d'implémenter rapidement des techniques d'accélération basées sur le logiciel qui accélèrent l'inférence. Ces méthodes impliquent la manipulation de données ou de modèles afin de réduire le nombre d'étapes de traitement requises pour l'inférence. Avec ces techniques, les développeurs peuvent maintenant exécuter des modèles d'inférence plus simples sur de petits MCU, tout cela avec une logique séquentielle + combinatoire simple.

Silicium personnalisé – Il n'y a aucune chance que les SoC personnalisés disparaissent de sitôt, tous les grands noms de la technologie hyperscalée développant leurs propres capacités de développement de puces internes. Avec des cœurs prêts à l'emploi d'ARM et avec un standard ouvert comme RISC-V, les concepteurs de puces peuvent rapidement mettre en place un design de cœur qui implémente les opérations de calcul IA au niveau logique comme une instruction matérielle. Cela réduit considérablement la consommation d'énergie et le nombre d'opérations de calcul brut.

FPGA – Il y a eu une poussée continue pour éloigner les FPGA de leur rôle historique d'outils de prototypage de puces pour les intégrer dans le courant principal en tant que processeurs de production. Les fournisseurs de semi-conducteurs soutiennent désormais l'implémentation RISC-V et l'accélération IA pour construire des cœurs de FPGA hautement personnalisés avec des tâches d'inférence et d'entraînement IA mises en œuvre au niveau de l'instruction. Tous mes projets clients récents pour des applications avancées (systèmes d'imagerie pilotés par IA et fusion de capteurs) ont été construits autour d'un FPGA en tant que processeur principal.

Quelle direction pour l'industrie ?

Les produits mentionnés ci-dessus sont tous basés sur du silicium personnalisé. L'industrie des FPGA n'a pas spécifiquement besoin de silicium personnalisé pour l'IA, leurs clients peuvent utiliser des outils de développement pour implémenter l'IA au niveau logique sans se soucier de concevoir des circuits logiques pour imiter la structure d'un réseau neuronal. Les fournisseurs de semi-conducteurs voient la valeur de l'approche FPGA et ils fournissent les outils de développement dont les concepteurs ont besoin (y compris les ressources RISC-V) pour implémenter un cœur IA dans un FPGA.

En termes de sélection et de placement des composants, cela signifie que certains systèmes pourraient évoluer vers des puces physiquement plus petites, un BOM plus réduit, et l'élimination d'une partie à haut risque de l'assemblage, à savoir la puce d'accélérateur IA. Éliminer l'accélérateur IA est une excellente idée à tous les niveaux. Pour la fabrication, les coûts globaux des composants et de l'assemblage seront probablement réduits. Pour le concepteur de PCB, vous avez un composant en moins (typiquement avec un nombre élevé d'E/S sur un BGA) et ses périphériques que vous devez placer et router. Pour le développeur, cela élimine le besoin de développer un pilote pour contrôler l'accélérateur externe puis d'intégrer cela dans l'application embarquée.

Les développeurs d'IA embarquée peuvent implémenter ces options d'accélérateur IA pilotées par le matériel dans les PCB avec l'ensemble complet d'outils de conception de produit dans Altium Designer®. Les fonctionnalités de CAO dans Altium Designer permettent tous les aspects de la conception de systèmes et de produits, allant de l'emballage et de la disposition du PCB, jusqu'à la conception de harnais et de câbles. Lorsque vous avez terminé votre conception et que vous souhaitez envoyer les fichiers à votre fabricant, la plateforme Altium 365™ facilite la collaboration et le partage de vos projets.

Nous n'avons fait qu'effleurer les possibilités offertes par Altium Designer sur Altium 365. Commencez votre essai gratuit d'Altium Designer + Altium 365 dès aujourd'hui.