Couverture ElectroniqueS n°127

Encore rares il y a deux ou trois ans, les moteurs d'accélération optimisés pour les différents algorithmes d'intelligence artificielle se déclinent désormais dans un très large spectre de semi-conducteurs allant des gros processeurs graphiques et FPGA aux modestes microcontrôleurs en passant par des circuits plus originaux. < Ce processeur IA de 1200 milliards de transistors, œuvre de Cerebras Systems, est sans doute le plus imposant de l'industrie. L es ventes de circuits dédiés à l'intelligence artificielle devraient plus que doubler en cinq ans: c'est la conclusion de deux études récentes de la société d'analyse ABI Research, l'une consacrée aux composants pour infrastructures cloud, l'autre à ceux dévolus aux appareils situés à l'extrémité du réseau ( edge ). Le premier marché est estimé à 3,5 milliards de dollars en 2018, et devrait atteindre 19,1 Md$ en 2024 ; le second atteint aujourd'hui 10,6 milliards de dollars et pourrait croître de plus de 30% par an dans les cinq ans à venir. Différents par nature, ces deux secteurs sont alimentés par des circuits distincts. Côté cloud, il s'agit de circuits très complexes chargés de calculs d'apprentissage (développer des modèles de reconnaissance de motifs en analysant des quantités faramineuses de données), de type deep learning, mais aussi d'inférence (tirer de ces modèles des résultats tangibles). Pour l'heure, ce marché est dominé par les processeurs graphiques de Nvidia, les microprocesseurs d'Intel et, dans une moindre mesure, les circuits logiques programmables de Xilinx et d'Altera. Pionnier du secteur, Nvidia s'appuie sur l'architecture massivement parallèle de ses GPU pour appréhender les calculs de matrices inhérents aux algorithmes d'intelligence artificielle. L'américain vient par exemple de lancer ses derniers cœurs Tensor dits T4. Ces GPU de seconde génération, comprenant 320 cœurs Turing et 2560 cœurs Cuda, délivrent jusqu'à 130 Tops au format INT8 sous 70W et sont capables de travailler avec des données de précisions différentes afin de mieux s'adapter aux évolutions des applications IA comme la classification d'images, la détection d'objet ou encore la compréhension du langage. Ils sont notamment utilisés dans les équipements cloud d'Amazon EC2 G4. Soucieux de ne pas se limiter au très haut de gamme, Nvidia a décliné toute une famille de composants qui démarre avec les petits processeurs Jetson Nano (0,5 Tops pour une poignée de watts) et comprend une plateforme logicielle cohérente. Intel mise sur ses Xeon et Nervana De son côté, Intel s'appuie sur sa position prédominante en processeurs réseaux, notamment pour vanter ses processeurs Xeon désormais dotés d'instructions IA spécifiques. Le numéro un mondial des semi-conducteurs vient par ailleurs de dévoiler les processeurs Nervana, déclinés en deux versions, les NPP-T pour l'apprentissage ( training ) et les NPP-I pour l'inférence. Fabriqué dans la technologie Fin-FET 10nm de l'américain, ce dernier comprend un cœur CPU, douze accélérateurs d'inférence ICE et 75 Mo de Sram embarquée, ainsi qu'un bloc de régulation de tension complet qui permet de s'adapter à différents budgets thermiques compris entre 10 W et 50 W (pour 4,8 Tops/W) et de simplifier la conception du système. Les NPP-T comptent, eux, sur 24 cœurs Tensor développant 119 Tops, 60 Mo de mémoire distribuée et des inter-faces PCIe Gen 4 et HBM2. L'ensemble représente 27 milliards de transistors répartis sur plusieurs puces réunies via un interposeur et fabriquées par TSMC en 16nm, avec une consommation variant de 150W à 250W. Les fournisseurs de FPGA ont, eux aussi, clairement orienté leurs dernières générations de circuits vers les applications IA. Xilinx a livré cet été les premiers membres de sa nouvelle famille Versal AI Core, dédiée à l'intelligence artificielle. Fabriqués en 7 nm par TSMC, ces circuits combinent deux cœurs Cortex-A72 pour les applications, deux Cortex-R5F pour le traitement de tâches en temps réel, deux millions de cellules logiques programmables et 2 000 moteurs DSP, ainsi que 400 blocs d'accélération pour algorithmes d'intelligence artificielle. Selon Xilinx, dans le traitement de réseaux neuronaux à convolution, ces circuits seraient a minima deux fois plus performants que les processeurs graphiques haut de gamme et moins gourmands en énergie. De son côté, Intel a également adapté ses tout derniers FPGA Agilex en 10 nm de fonctionnalités tournées vers l'intelligence, par exemple en adaptant la structure de ses blocs DSP désormais compatibles avec le format BFLOAT16 et des formats entiers à basse résolu-tion. Même son de cloche chez l'outsider Achronix Semiconductor, dont les Speedster7T en 7nm embarquent des moteurs dédiés au machine learning . < À l'instar de Renesas, plusieurs des principaux fournisseurs de microcontrôleurs proposent désormais des outils traduisant les frameworks IA usuels en code compatible avec leurs composants pour accélérer les calculs d'inférence. Amazon, Google et Huawei ont leurs propres puces Les géants de l'Internet, en première ligne dans l'utilisation des algorithmes IA qui leur permettent de détecter des occurrences et donc de précieux liens entre leurs données, se sont également mis à développer en interne des processeurs spécifiquement conçus pour cela. C'est le cas d'Amazon, Google, Huawei, Baidu et sans doute Ali-baba. Chez Google, l'utilisation des Tensor Processing Units (TPU) maison, spécialement conçus pour la bibliothèque TensorFlow, remonte à plusieurs années déjà. Amazon développe une puce baptisée Inferentia qui, comme son nom l'indique, se concentre sur les calculs d'inférence et non pas sur la partie apprentissage. Amazon promet « des centaines de Tops par puce » et la prise en charge des frameworks TensorFlow, Apache MXNet, PyTorch et ONNX. Huawei a présenté, en août dernier, le processeur IA Ascend 910 annoncé comme le plus puissant de l'industrie. Ce circuit délivrerait 256Tflops en FP16 et 512Tops en INT8 pour une consommation maximale de 310 W. Le chinois assure que dans une session d'apprentissage ResNet-50 typique, l'Ascend 910 associé à son framework MindSpore serait deux fois plus rapide que les solutions actuelles utilisant TensorFlow. Enfin, des start-up tentent de se frayer un chemin dans les serveurs de données en tirant profit non pas d'architectures pérennes –mais pas toujours parfaitement adaptées – comme les acteurs historiques du secteur, mais en utilisant des composants optimisés pour ces tâches. Parmi ceux-ci figurent par exemple Cerebras Systems, une start-up californienne qui a présenté cet été un processeur géant – sans aucun doute le plus grand du monde – de 1200 milliards de transistors. Ce joli bébé fabriqué en 16 nm par TSMC mesure 46225mm², soit à peu près le plus grand carré réalisable dans une tranche de silicium de 300mm de diamètre, et comprend 400 000 cœurs et 18 Go de Sram. Moins spectaculaires, mais peut-être plus concrets, les cœurs développés par Graphcore, dits IPU (intelligence processing unit), ont convaincu Microsoft, BMW, Robert Bosch ou encore Dell d'investir 200 millions de dollars dans la jeune pousse anglaise. De son côté, l'israélien Habana Labs vient de présenter son processeur d'apprentissage Gaudi qui promet une puissance quatre fois supérieure à celle d'un processeur graphique usuel, en l'occurrence un Tesla V100 de Nvidia. Bâti sur un réseau d'accélérateurs IA et associé à une mémoire HBM2, ce processeur bénéficie en outre d'une fonctionnalité RoCE, pour RDMA ( remote direct memory access ) over converged Ethernet, qui simplifie la mise en réseau de plusieurs Gaudi via l'infrastructure d'un simple réseau Ethernet. Pour l'inférence, Habana, soutenu financièrement par Intel, propose le processeur Goya qui, lui, serait respectivement deux et trois fois plus performant qu'un Tesla T4 de Nvidia sur les plateformes Bert et ResNet-50. Enfin, on citera également Wave Computing qui propose la plateforme TritonAI 64 associant les cœurs Risc MIPS qu'il a récemment rachetés et des accélérateurs IA propriétaires baptisés WaveFlow (moteur de calcul flexible, adaptable à de nombreux algorithmes) et WaveTensor (dédié, lui, aux multiplications de matrices des réseaux neuronaux à convolution). Les circuits edge visent l'inférence À l'autre bout du réseau, dit edge, les appareils électroniques comptant sur l'IA pour une foule de tâches allant de la reconnaissance d'image à l'exploitation de signaux issus de multiples capteurs en passant par la cybersécurité et la sûreté fonctionnelle tendent à développer des capacités internes d'inférence et même, parfois, d'apprentissage. Il apparaît en effet de plus en plus évident qu'avoir à faire remonter les données vers le cloud, où elles seront traitées, puis à réceptionner les résultats n'est pas toujours une démarche optimale, que ce soit en termes de temps de réaction ou de consommation d'énergie et de ressources. Et si le cloud, ou, de manière plus générique, les serveurs de données, constitue un mar-ché intéressant car gourmand de processeurs complexes et coûteux, les appareils edge représentent, eux, un volume de vente potentiel infiniment supérieur. Ils englobent en effet les smartphones, l'automobile, la domotique, les wearables ou encore la robotique industrielle. Intel vient de dévoiler les processeurs Nervana qui sont déclinés en deux versions, les NPP-T pour l'apprentissage et les NPP-I pour l'inférence. En première ligne se trouvent les fabricants de microcontrôleurs, dont beaucoup ont compris qu'ils avaient intérêt à intégrer de quoi au moins accélérer le traitement d'algorithmes d'inférence comme ils ont jadis intégré le calcul DSP, pour ne pas se faire dépasser par la concurrence. C'est par exemple le cas de Renesas Electronics qui a développé une plateforme dite e-AI, intégrable dans ses microcontrôleurs. Concrè-tement, le microcontrôleur n'est pas sollicité pour l'étape d'apprentissage du réseau neuronal, lorsqu'il s'agit de déterminer les coefficients optimaux du réseau pour une fonction donnée (typiquement une reconnaissance de motifs, qu'il s'agisse d'un objet à distinguer sur des images ou de données récurrentes dans un flux) à partir d'une énorme quantité de données. Mais, une fois ces coefficients déterminés et stockés en Rom, le microcontrôleur peut les utiliser pour la phase d'inférence, c'est-à-dire pour exécuter la fonction de reconnaissance dans l'application. e-AI assure également la traduction du réseau neuronal, qui utilise généralement le langage Python dans les frameworks IA courants, en un projet C/C++ plus familier des microcontrôleurs. Exemple d'application : Renesas vient de présenter une solution de détection de pannes basée sur e-AI et sur ses microcon-trôleurs 32 bits RX66T et destinée à l'électroménager (réfrigérateurs, lave-linges, climatisation… tout ce qui utilise un moteur). L'intérêt de l'intelligence artificielle réside ici dans la détection préventive de pannes. En alimentant le réseau neuronal de données correspondant au fonctionnement normal et anormal du moteur, il devient possible de reconnaître les signes annonçant une panne future et, par inférence via e-AI, d'apprendre au microcontrôleur à identifier ces signes pour, selon les cas, localiser précisément le problème dans le moteur et évaluer le délai dans lequel une maintenance de l'appareil s'avère nécessaire. Lors du dernier CES de Las Vegas, STMicroelectronics a lui aussi présenté une solution chargée d'apporter les bienfaits de l'intelligence artificielle à ses microcontrôleurs. Baptisée STM32Cube.AI, elle reprend une philosophie similaire à celle d'e-AI: on effectue un calcul de paramètres de réseau neuronal en amont, avant d'injecter les résultats dans un microcontrôleur à bas coût en convertissant les algorithmes IA en langage C faisant intervenir des bibliothèques de fonctions optimisées tournant sur des STM32. ST propose d'ores et déjà des exemples de code pour des applications de reconnaissance d'activité humaine et de classification de scènes audio. Chez NXP, la plateforme permettant d'intégrer de l'intelligence artificielle dans des microcontrôleurs a été baptisée eIQ. « Il apparaît claire-ment que le traitement à l'extrémité des réseaux, au niveau de l'objet connecté, sera décisif dans l'adoption massive du machine learning», estime Geoff Lees, vice-président de NXP chargé des microcontrôleurs. En raison du catalogue très vaste du néerlandais, en partie hérité de Freescale, eIQ a l'ambition de s'adapter à un large spectre de circuits cibles, allant de simples microcontrôleurs (reconnaissance d'images CIFAR-10 par réseau CMSIS-NN sur LPC5500 et détection d'anomalies sur Kinetis à cœur Cortex-M4F) à des processeurs plus puissants (reconnaissance d'instructions vocales sur RT1050, reconnaissance d'aliments sur i.MX 8QM…). Infineon met de l'IA dans ses contrôleurs automobiles Autre exemple: Infineon vient d'entamer une collaboration avec Synopsys afin d'ajouter à ses prochains microcontrôleurs automobiles Aurix un accélérateur matériel dit PPU ( parallel processing unit ) dédié aux réseaux neuronaux et basé sur une IP de processeur DesignWare ARC EV de l'américain. Cet ajout permettra aux microcontrôleurs Aurix de traiter en temps réel les données issues de capteurs automobiles et d'adopter une réponse pertinente. ARM lui-même a lancé le projet Trillium pour rassembler toutes ses initiatives dans le domaine de l'intelligence artificielle, essentiellement des cœurs de processeurs spécifiques nommés ML (apprentissage) et OD (reconnaissance de motifs) et le logiciel ARM NN servant de passerelle entre les différentes architectures du britannique (Cortex, Mali et ML) et les frameworks TensorFlow, Caffe et Android NN. Parmi les autres fournisseurs de propriété intellectuelle intéressés par l'intelligence artificielle, Cadence, via sa filiale Tensilica, propose le processeur DNA 100 dévolu aux réseaux à convolution et facilement adaptable à des charges de travail très différentes. Ceva a, lui, profité du salon AutoSens, qui s'est tenu mi-septembre à Bruxelles, pour lancer sa seconde génération de processeurs IA, les NeuPro-S. Avec, à la clé, des gains de 50% en performance, 40 % en bande passante mémoire et 30% en consommation d'énergie. Ces cœurs Neu-Pro-S traitent 1 000 à 4 000 instructions MAC 8 bits par cycle d'horloge jusqu'à 1,5 GHz. Ceva a également développé une API, CDNN-Invite, qui permet d'ajouter des moteurs de traitement de réseaux neuronaux propriétaires au framework CDNN du fabricant. Concentré sur les « petits » FPGA, Lattice Semiconductor n'en néglige pour autant pas les applications de l'IA et entend participer à sa démocratisation dans des petits appareils connectés grâce à sensAI, un environnement complet comprenant des kits de développement matériels, des cœurs IP pour réseaux neuronaux, des outils logiciels, des conceptions de référence et des services d'aide à la conception. Cette solution vise principalement les appareils consommant moins de 1W, mesurant moins de 100mm² et vendus moins de 10$. Les fonctions lancées par Lattice comprennent un modèle compact pour FPGA iCE40 UltraPlus (avec quantification 16 bits et 1 bit) et un modèle amélioré pour FPGA ECP5 (bande passante Dram étendue). Parmi les premières applications concernées figurent la détection de visage, le comptage d'objets ou encore la reconnaissance de signalisation, pour lesquelles Lattice propose des conceptions de référence. Vers des architectures neuromorphiques Plutôt que d'adapter des architectures algorithmiques existantes aux spécificités des réseaux neuronaux, certains adoptent une approche plus radicale en développant des solutions matérielles intrinsèquement optimisées pour ce type de traitement de l'information. Brain-Chip planche ainsi sur Akida, un circuit que le californien considère comme le premier processeur neuromorphique de l'industrie. Contrairement aux processeurs basés sur des réseaux de neurones à convolution ou CNN, Akida exploite en effet un réseau de neurones à impulsions (spikes) ou SNN. Un réseau CNN repose sur des multiplications de matrices de données, la partie apprentissage revenant à ajuster la pondération de chaque élément de matrice –ou neurone– afin de filtrer les données jusqu'à reconnaître certains motifs (un code-barres, un visage, un feu rouge, une signature de virus informatique…). Dans un réseau SNN, un neurone est assimi-lable à une fonction intégration et ne réagit et communique avec ses voisins que si les flux qu'il reçoit l'élèvent jusqu'à un certain seuil de potentiel. Lorsqu'il travaille, un neu-rone SNN n'ajuste pas des facteurs de pondération matricielle comme dans un réseau CNN, mais renforce ou inhibe les synapses, ou liaisons, qui le relient à ses voisins, jusqu'à établir des chemins préférentiels qui font ressortir des motifs, tout en modifiant son seuil de potentiel. En pratique, BrainChip a implémenté un réseau de 1,2 million de neurones et 10 milliards de synapses sur une puce Cmos classique. Dans une approche voisine, le suisse aiCTX a embarqué sur sa puce DynapCNN un million de neurones asynchrones SNN ainsi qu'une interface optimisée pour les applications de vision. Cascadable et entièrement configurable, le circuit s'adapte à différents types de couches CNN (ReLU, cropping, pad-ding, pooling ) et de réseaux comme LeNet, ResNet et Inception. aiCTX dispose également à son catalogue du DynapSE2, réseau à faible consommation (fonctionnement subthreshold) de 1 024 neurones répartis sur quatre cœurs configurables et de 65 000 synapses, optimisé pour les applications médicales mais aussi robotiques. Nvidia, dont les derniers GPU dits T4 sont notamment utilisés par Amazon pour accélérer l'intelligence artificielle de ses serveurs, demeure le principal fournisseur de composants IA côté infrastructures. De nombreux travaux cherchent également à effectuer les calculs inhérents aux réseaux neuronaux directement au niveau des mémoires afin d'éviter d'avoir à véhiculer des données entrantes et sortantes. Microchip a ainsi adapté sa technologie SuperFlash, héritée de SST, pour concevoir memBrain, une mémoire dite neuromorphique. Concrètement, chaque cellule mémoire, qui requiert 1,5 transistor, peut stocker de 4 à 8 bits selon les besoins de l'application (soit jusqu'à 256 niveaux), et ensuite effectuer des multiplications entre cellules ainsi que des accumulations en additionnant les lignes de sortie des cellules. À titre de comparaison, il faut 48 transistors pour stocker 8 bits de données en mémoire Sram. memBrain permet en outre d'effectuer une opération MAC en ne dépensant que 0,3 pJ – dix à vingt fois moins qu'avec une conception classique à base de DSP et de mémoire Sram/Dram selon le fabricant. La start-up Syntiant, qui développe des processeurs IA à faible consommation, a déjà annoncé son intention d'utiliser cette mémoire memBrain dans ses circuits. Pour finir ce panorama non exhaustif et qui s'étend fort rapidement, il convient de citer les fabricants de processeurs pour smartphones tant ces appareils figurent parmi les principaux véhicules de l'intelligence artificielle. Tous ces fabricants (Qualcomm, Samsung, Huawei/HiSilicon, MediaTek…) dotent désormais leurs processeurs dédiés de blocs optimisés pour améliorer les réseaux neuronaux utilisés dans des fonctions comme le traitement d'image, la réalité augmentée ou encore l'assistance personnelle.

L’intelligence artificielle est déjà omniprésente dans les composants

Couverture ElectroniqueS n°127

IBM grave les premières puces en 2 nm en abandonnant les FinFET

Zeta, le protocole LPWAN made in China, arrive en Europe

Harting invente le connecteur électronique sur mesure

L’intelligence artificielle est déjà omniprésente dans les composants

Dans la même rubrique

Couverture ElectroniqueS n°127

IBM grave les premières puces en 2 nm en abandonnant les FinFET

Zeta, le protocole LPWAN made in China, arrive en Europe

Harting invente le connecteur électronique sur mesure