Comment l'IA embarquée évolue en 2020 et au-delà

IA, apprentissage automatique, IoT, informatique en périphérie... la liste des mots à la mode dans les communautés du matériel et du logiciel embarqués est longue, mais ceux-ci se démarquent car ils sont devenus plus communs au-delà des développeurs. Les progrès dans l'informatique embarquée à usage général au cours des ~10 dernières années sont impressionnants et ont atteint le point où je peux déployer un des nœuds blockchain de mon entreprise dans ma poche arrière. L'informatique à usage général a certainement parcouru un long chemin et a transformé la vie moderne.

Qu'en est-il de l'IA embarquée ? Si l'on regarde les avancées dans les plateformes informatiques pour l'IA embarquée, cela a certainement pris du retard par rapport à l'informatique embarquée à usage général. Dans un passé récent, l'IA embarquée n'était pas vraiment embarquée et dépendait fortement du cloud. Une nouvelle classe d'ASIC est prête à changer la dynamique de l'IA embarquée, et les concepteurs de matériel devraient se préparer à construire des systèmes autour de ces nouveaux composants. Voici ce qui s'annonce dans le monde de l'IA embarquée et comment les nouveaux systèmes embarqués peuvent tirer parti de ces changements.

Du Cloud à la Périphérie

Le rêve dans l'IA embarquée est une computation économe en énergie à la périphérie avec du matériel spécialisé. Les modèles d'IA sur ces dispositifs doivent être entraînables, soit au niveau du dispositif, soit dans le cloud, ce qui nécessiterait ensuite de transmettre le modèle formé de retour à la périphérie. En regardant le passé récent et comment le paysage de l'IA a évolué, nous avons vu un déchargement lent des capacités de calcul du cloud vers la périphérie.

Cela est aidé par des plateformes de calcul embarqué moins chères et plus puissantes. Quelque chose comme une carte Raspberry Pi ou BeagleBone est assez puissante pour fournir une prédiction numérique ou une classification simple (par exemple, images, texte ou audio) au niveau du dispositif avec des modèles pré-entraînés. Cependant, l'entraînement au niveau du dispositif avec ces plateformes prend beaucoup de temps, donc l'entraînement serait mieux réalisé dans le cloud. De nouvelles plateformes matérielles spécifiques à l'IA tentent de combler le vide et ont réussi à accélérer le calcul et à permettre des tâches plus avancées. Un exemple est la détection d'objets combinée, la reconnaissance faciale et la classification d'images à partir de données vidéo, ce qui permet des applications dans la sécurité et l'automobile, entre autres.

Progrès de l'IA embarquée du cloud à la périphérie.

Google et NVIDIA sont récemment entrés dans une sorte de course aux armements pour sortir des plateformes matérielles spécialisées pour les applications d'IA embarquée. L'unité de traitement TensorFlow (TPU) de Google a été lancée dans le cadre de la plateforme matérielle Coral ; cette plateforme est spécialisée pour exécuter des modèles TensorFlow sur le dispositif. Cela le rapproche d'une véritable plateforme d'IA embarquée spécifique à une application.

La plateforme Jetson de NVIDIA ressemble encore à une plateforme informatique polyvalente en ce sens qu'elle utilise des GPU, mais le firmware est spécialisé pour les calculs d'IA sur l'appareil. Actuellement, il existe quatre options spécialisées en IA disponibles chez NVIDIA qui peuvent être déployées dans des applications embarquées. Ces produits NVIDIA consomment encore relativement beaucoup d'énergie et génèrent une chaleur extrême car ils sont construits sur une architecture GPU héritée, ce qui limite leur utilité dans les produits IoT plus petits.

Goulots d'étranglement de l'IA embarquée : Surveillez les CI spécialisés en IA

Le goulot d'étranglement dans l'IA embarquée n'est pas un problème de traitement, c'est un problème de taille et de chaleur. La puissance de traitement polyvalente existe, et les produits GPU/TPU ont été relégués à l'IA embarquée polyvalente. Pensez à Amazon Alexa ; vous n'avez pas besoin d'un processeur spécifique à l'application pour les tâches d'IA embarquée car l'appareil doit effectuer de nombreuses autres fonctions. De plus, il reçoit constamment de l'énergie de la prise murale et est conçu pour être constamment connecté à Internet. La gamme de tâches à effectuer par cette classe de systèmes embarqués est suffisamment large pour que les CI spécialisés ne soient pas nécessaires.

Les nouveaux produits IoT dans des applications et fonctions hautement spécifiques ont besoin de quelque chose de nouveau : un CI spécialisé en IA. Quand je parle d'un « CI spécialisé en IA », je ne fais pas référence à un GPU ou TPU. Au lieu de cela, je fais référence à un CI avec une architecture matérielle spécialisée pour exécuter des types spécifiques de modèles d'IA avec une consommation d'énergie plus faible et peu ou pas de périphériques.

Les startups de CI sans usine montent en puissance pour combler le vide avec de nouvelles propriétés intellectuelles qui peuvent être implémentées dans d'autres produits, ou avec des CI autonomes qui fournissent des capacités d'IA embarquée hautement spécifiques à l'application. Une entreprise avec laquelle je travaille est sur le point de lancer un tel produit ciblant la 5G-IoT, la robotique, l'Industrie 4.0, et d'autres domaines où l'IA embarquée est attendue pour dominer.

Si vous construisez de nouveaux produits IoT, de la robotique, des produits automobiles, ou d'autres systèmes nécessitant des capacités d'IA embarquée, surveillez les nouveaux CI spécialisés en IA avec certaines des caractéristiques suivantes :

• Formation sur l'appareil : Cet aspect de l'IA embarquée repose encore sur la puissance de calcul du cloud, mais les meilleurs CI spécialisés en IA permettront une formation sur l'appareil, par exemple, dans des applications d'apprentissage supervisé.
• Interfaces à haute vitesse : De toute évidence, tout CI spécialisé en IA doit interfacer avec d'autres composants sur une carte, et il utilisera une interface à haute vitesse. I2C et SPI sont des interfaces idéales, bien que je m'attende à ce que d'autres interfaces à haute vitesse soient utilisées pour se connecter avec des périphériques informatiques.
• Optimisation pour des modèles d'IA spécifiques : Les modèles d'IA/ML impliquent des calculs matriciels redondants et des étapes d'optimisation, et l'architecture matérielle sera conçue pour exécuter les algorithmes impliqués dans différents modèles d'IA/ML. Consommation d'énergie faible : Atteindre des niveaux de puissance inférieurs au mW pour les calculs d'IA est crucial pour la formation persistante sur l'appareil, la classification et la prédiction dans des applications d'IA riches en données. Une architecture optimisée peut aider les concepteurs à surmonter le goulot d'étranglement de la chaleur, ce qui permet également de réduire la taille globale d'un nouveau produit.

La boucle est bouclée : Retour au centre de données

Je m'attends à ce que de nouveaux CI spécialisés et cœurs IP soient largement diffusés dans les prochaines années. Ce passage d'un calcul généraliste à un matériel spécifique à l'application est ce qui permettra le développement d'applications IA embarquées plus avancées. Les OEM pourront produire des dispositifs plus petits avec une efficacité computationnelle supérieure à celle qui pourrait être fournie par des MCU à usage général.

Je parle de l'IA embarquée en termes de niveau périphérique, mais les CI spécialisés en IA peuvent facilement remonter la hiérarchie du réseau jusqu'au niveau du centre de données. Décharger ces tâches des processeurs à usage général vers un ASIC réduira la consommation d'énergie globale au niveau du centre de données.

Le paysage électronique peut changer rapidement, et l'IA embarquée n'est pas une exception. Que vous recherchiez les derniers ASICs IA embarqués ou tout autre composant pour un nouveau produit, Octopart sera là pour vous aider à trouver les composants dont vous avez besoin.

Restez à jour avec nos derniers articles en vous inscrivant à notre newsletter.