Lors de la journée des investisseurs d'Autonomy, Elon Musk et son équipe ont montré beaucoup de chiffres. Ils ont beaucoup parlé de la croissance de la taille de la flotte et des performances de la nouvelle puce de réseau neuronal FSD. Cependant, il a oublié d'inclure un chiffre. Il s'agit du produit de ces deux facteurs multipliés.
Si vous consultez le site TOP500.org, qui dresse une liste des 500 superordinateurs les plus puissants du monde, vous verrez beaucoup de machines rapides. L'une des mesures de ces systèmes est le Pflops (qui correspond à un quadrillion (mille billions) d'opérations en virgule flottante par seconde).
Le superordinateur le plus rapide de la liste est Summit, au ministère de l'Énergie à Oak Ridge, dans le Tennessee. Il a une capacité d'environ 144 Pflops. Et si l'on additionne toute la puissance de traitement des 500 premiers ordinateurs, on obtient une puissance de traitement totale d'environ 1 415 Pflops.
Dans un an environ, Tesla aura mis en circulation environ un million de véhicules équipés de sa nouvelle puce “Full Self Driving”. Environ la moitié d'entre eux seront livrés avec cette puce préinstallée, et l'autre moitié, qui est en circulation aujourd'hui, pourra être mise à niveau.
Pour l'ensemble de la flotte, Tesla disposera d'une puissance de traitement d'environ 117 000 TOP. En général, la puissance de traitement d'un superordinateur est mesurée en opérations en virgule flottante, alors que Tesla ne s'intéresse qu'à la multiplication des entiers pour l'autonomie. Partons donc du principe que les FLOP sont 10 fois plus “puissants” que les OP (la conversion n'est pas exacte, mais elle devrait nous donner un ordre de grandeur).
Cela signifie que le réseau de véhicules combiné de Tesla dispose d'une puissance de traitement supérieure de quelques ordres de grandeur à celle du superordinateur le plus rapide du monde, et d'un ordre de grandeur supérieur à celui des 500 ordinateurs les plus rapides réunis. Lorsqu'on compare des superordinateurs, les PFlops ne sont pas la seule chose qui compte, mais c'est un critère facile à utiliser. Il est clair qu'avec la quantité très limitée de bande passante disponible entre les voitures et le nuage, l'architecture de l'application doit être très différente de celle d'un superordinateur typique, et lui donnera à la fois des avantages et des inconvénients.
La machine distribuée de Tesla aura des caractéristiques très intéressantes.
- Elle sera répartie dans le monde entier
- Elle sera extrêmement mobile
- Elle sera connectée à un ensemble de capteurs (vision, radar, ultrasons).
- Elle fera fonctionner le plus grand réseau neuronal du monde basé sur l'apprentissage profond de l'IA et axé sur la reconnaissance d'images.
- Sa taille augmentera continuellement (à un rythme exponentiel au cours des prochaines années).
- Il sera optimisé pour consommer peu d'énergie et sera de plus en plus alimenté par l'énergie solaire.
- Il se mettra automatiquement et dynamiquement à jour.
L'objectif de ce mastodonte informatique sera limité à une seule tâche : conduire des véhicules dotés d'une “intelligence artificielle” évolutive. Cette IA sera basée sur l'apprentissage profond par des réseaux neuronaux qui traitent des milliards de kilomètres de données visuelles de véhicules par mois, ainsi que d'autres données de capteurs. L'objectif de ce système sera de perfectionner la “conduite autonome” des voitures à un niveau qu'aucun humain ne pourrait espérer atteindre.
Bien qu'il existe d'autres applications distribuées avec des nombres massifs de “nœuds” que l'on peut voir dans l'extraction de bitcoins, XBox, les clients Whatsapp, etc…. Le mastodonte de la conduite autonome Tesla est différent en ce sens qu'il s'agit d'un système qui s'améliore au fur et à mesure que le nombre de nœuds augmente, et que les heures supplémentaires le feront de plus en plus de manière automatisée en raison de sa dépendance croissante à l'égard des réseaux neuronaux et des algorithmes de génie logiciel.
Comme l'a souligné Stewart Bowers lors de sa présentation à la journée des investisseurs d'Autonomy : “Non seulement nous pouvons regarder ce qui se passe autour du véhicule, mais nous pouvons regarder comment les humains ont choisi d'interagir avec cet environnement. Nous commençons avec un seul réseau neuronal, des détections autour de lui. Nous construisons ensuite tout cela ensemble dans des réseaux neuronaux multiples et des détections multiples. Nous intégrons ensuite tous les autres capteurs et convertissons le tout en ce qu'Elon appelle “l'espace vectoriel”, c'est-à-dire une compréhension du monde qui nous entoure. Au fur et à mesure que nous nous améliorons, nous transférons de plus en plus de cette logique dans les réseaux neuronaux eux-mêmes. L'objectif final évident est que le réseau neuronal examine toutes les voitures, rassemble toutes les informations et produise en fin de compte une source de vérité pour le monde qui nous entoure.”
En réalité, le réseau neuronal Tesla crée à la fois un modèle du monde tel qu'il est et un modèle probabiliste du comportement des différentes choses de ce monde en fonction de leur apparence. Prenons l'exemple d'un nid-de-poule ou d'un sac sur la route. Si c'est un nid-de-poule, la voiture le verra, puis remarquera qu'il ne bouge jamais. Et si vous roulez dessus, votre suspension enregistrera un certain impact. Si c'est un sac, il peut bouger (s'il bouge, ce n'est pas un nid-de-poule), et si vous le heurtez au sol ou en l'air, il n'y a pas d'impact majeur sur le véhicule.
Il poursuit : “Nous avons un réseau neuronal qui fonctionne sur notre caméra fisheye large. Ce réseau neuronal ne fait pas une seule prédiction sur le monde, il fait de nombreuses prédictions distinctes, dont certaines se vérifient les unes les autres. Ces prédictions se combinent pour nous donner une meilleure idée de ce que nous pouvons offrir et de ce que nous ne pouvons pas offrir devant le véhicule et de la façon de planifier cela. (…) Nous pouvons utiliser cela à la fois pour apprendre des comportements futurs qui sont très précis, mais nous pouvons également construire des prédictions très précises sur la façon dont les choses continueront à se produire devant nous.”
Après le déploiement de la conduite autonome de Tesla, la prochaine plus grande application “dédiée” et naturellement évolutive pour un système informatique pourrait être le système de prévision météorologique récemment mis à niveau de la NOAA, qui fonctionne sur une paire de superordinateurs à 8,4 PFlops combinés, et prévoit le temps pour l'ensemble des États-Unis. Cependant, alors que la dernière mise à jour de la NOAA représentait environ 50 % de puissance en plus sur trois ans, le système d'intelligence artificielle pour l'auto-conduite de Tesla évolue à un rythme beaucoup plus soutenu. Comme le note Elon : “Lorsque les choses évoluent à un rythme exponentiel, il est très difficile de s'y faire une idée, car nous sommes habitués à extrapoler sur une base linéaire. Mais lorsque vous avez des quantités massives de matériel sur la route, les données cumulées augmentent de façon exponentielle et le logiciel s'améliore à un rythme exponentiel.”
Dans 4 ans, en plus de sa nouvelle architecture de puce 3x plus rapide en cours de développement, Tesla devrait avoir plus de 5 millions de voitures sur la route, avec une puissance de traitement combinée de quelque chose de proche de 2 millions de POP (22.500 plus de puissance de traitement que la paire actuelle de NOAA).
Il est également possible qu'au cours des prochaines années, Tesla soit en mesure d'utiliser l'Internet par satellite à haut débit (du moins en dehors des zones urbaines denses) pour fournir une bande passante à haut débit au réseau, qui est actuellement fortement limité par une connectivité à vitesse 4G incohérente, ouvrant ainsi un plus grand potentiel d'amélioration rapide.
Toutefois, d'ici 4 ans, la concurrence pourrait se tourner vers Tesla. D'ici là, il est très probable que d'autres grands constructeurs automobiles trouveront le moyen de mettre à jour le logiciel de la majorité de leurs nouveaux véhicules.