Existe-t-il un moyen plus écologique de former l'IA?

L'apprentissage automatique transforme le monde et le change rapidement. Au cours des dernières années seulement, il nous a apporté assistants virtuels qui comprennent le langage, véhicules autonomes nouvelles découvertes de médicaments triage basé sur l'IA ] pour les scans médicaux, reconnaissance d'écriture et plus.

Le climat est une chose que l'apprentissage automatique ne devrait pas changer.

Le problème concerne la manière dont l'apprentissage automatique est développé. Pour que l'apprentissage automatique (et l'apprentissage profond) puisse prendre des décisions et des prédictions avec précision, il doit être «formé».

Imaginez un marché en ligne pour la vente de chaussures, qui a eu un problème avec les gens qui essaient de vendre d'autres choses sur le site – des vélos, des chats et des billets de théâtre. Les propriétaires de marché décident de limiter le site aux chaussures uniquement, en créant une IA pour reconnaître les photos de chaussures et en refusant toute annonce sans chaussures sur la photo.

L'entreprise rassemble des dizaines de milliers de photos de chaussures et un nombre similaire de photos sans chaussures. Il engage des scientifiques des données pour concevoir un modèle mathématique complexe et le convertir en code. Et puis ils commencent à former leur modèle d'apprentissage automatique de détection de chaussures.

C'est la partie vitale: le modèle informatique regarde toutes les images de chaussures et essaie de déterminer ce qui les rend «shoey». Qu'est-ce qu'ils ont que les photos non-chaussures n'ont pas? Sans s'embourber dans les détails techniques, ce processus prend beaucoup de temps et de ressources informatiques. Former des modèles d'apprentissage automatique précis signifie exécuter plusieurs puces comme des GPU, à pleine puissance, 24 heures sur 24, pendant des semaines ou des mois, à mesure que les modèles sont entraînés, peaufinés et affinés.

En plus du temps et des dépenses, la formation en IA consomme beaucoup d'énergie. Les puces informatiques modernes n'utilisent qu'une puissance minimale lorsqu'elles sont inactives, mais lorsqu'elles fonctionnent à pleine capacité, elles peuvent brûler de l'électricité, générant des masses de chaleur résiduelle (qui doit également être pompée à l'aide de systèmes de refroidissement qui utilisent, oui, plus d'énergie.

Toute consommation d'énergie majeure a des implications sur le changement climatique, car la majeure partie de notre électricité est toujours produite à partir de combustibles fossiles, produisant du dioxyde de carbone lorsqu'ils brûlent. Une étude récente de l'Université du Massachusetts a affirmé que la formation d'une seule IA avancée de traitement du langage produisait 626 000 lb de CO2, la même quantité que cinq voitures produiraient au cours de leur vie!

En fait, une équipe de l'Institut canadien des algorithmes d'apprentissage de Montréal (MILA) a publié le calculateur d'émissions d'apprentissage automatique en décembre de l'année dernière pour aider les chercheurs dans le domaine de l'IA à estimer la quantité de carbone produite dans formation de leurs modèles d'apprentissage automatique.

Ce problème s'aggrave, car les data scientists et les ingénieurs résolvent des problèmes d'IA plus compliqués en leur donnant plus de puissance, en utilisant un calcul plus gros et plus coûteux pour résoudre des problèmes difficiles plutôt que de se concentrer sur l'efficacité.

GPT-3, le modèle de langage basé sur l'IA récemment publié par OpenAI, a été formé sur 45 téraoctets de données textuelles (l'intégralité de Wikipédia en anglais, couvrant quelque 6 millions d'articles, ne représente que 0,6% de son formation data ) avec les coûts environnementaux de cette technologie d'apprentissage machine hyper-puissante encore inconnus.

Pour être honnête, d'autres processus informatiques sont également sur une trajectoire inquiétante. Une étude du spécialiste des TIC Anders Andrae a révélé que, selon ses projections les plus optimistes, d'ici 2030, l'industrie des TIC, qui fournit Internet, vidéo, voix et autres services cloud, serait responsable de 8% du total mondial la demande d'énergie tandis que sa projection réaliste a mis ce nombre à 21% – les centres de données en utilisant plus d'un tiers.

L'une des principales recommandations de la recherche de l'Université du Massachusetts pour réduire les déchets causés par la formation à l'IA était « un effort concerté de l'industrie et du milieu universitaire pour promouvoir des recherches plus efficaces en termes de calcul. algorithmes, ainsi que du matériel nécessitant moins d'énergie ».

Le logiciel peut également être utilisé pour augmenter l'efficacité du matériel, réduisant ainsi la puissance de calcul nécessaire aux modèles d'IA, mais l'impact le plus important viendra peut-être de l'utilisation de sources d'énergie renouvelables pour les centres de données eux-mêmes. Le centre de données de Facebook à Odense, au Danemark fonctionnerait entièrement sur des sources d'énergie renouvelables. Google possède ses propres centres de données écoénergétiques, comme celui-ci à Hamina Finlande.

À très long terme, alors que les économies industrielles mondiales s’éloignent des combustibles fossiles, le lien entre la charge de calcul et la production de CO2 sera peut-être rompu et peut-être que tout l’apprentissage automatique sera neutre en carbone. Même un apprentissage approfondi à plus long terme sur les conditions météorologiques et climatiques pourrait aider l'humanité à mieux comprendre comment combattre et même inverser le changement climatique.

Mais d'ici là, les entreprises responsables devraient tenir compte de l'impact carbone de leurs nouvelles technologies, y compris l'apprentissage automatique, et prendre des mesures pour mesurer le coût carbone de leur développement de modèle en améliorant l'efficacité du développement, des logiciels et du matériel.

Publié le 24 février , 2021 – 19h30 UTC