lambdaway

5 | list | login |load

| |

{TOGGLE}

_img https://dataroots.io/static/53a5786aefd642138444e1cf58e5ef43/cbdb1/Screenshot-2022-03-10-at-14.21.38.webp

_h1fr L'IA est-elle une catastrophe écologique ?
_h1en Is AI an eco disaster?
{center Virginie Marelli | 2022-03-28}

_fr On entend de plus en plus souvent dire que la technologie en général n'est pas très écologique. Qu'en est-il de l'IA ? Est-elle également peu respectueuse de l'environnement ? Quel est l'impact du développement des modèles d'IA et dans quelle mesure l'IA est-elle bonne pour la planète ?

_en You hear more and more that technology in general is not so eco friendly. What about AI? Is is also not so not eco-friendly? What is the impact of developing AI models and how good is AI for the planet?

_fr Dans cet article, nous essayons de démystifier et de comprendre l'impact de l'IA sur la planète et la façon dont il pourrait être réduit.
_en With this article, we try to demystify and understand the impact of AI on the planet and how this could be reduced.

_h2fr Quelles sont les ressources nécessaires pour construire une IA ?
_h2en What are the resources needed to build an AI?

_fr Pour construire des modèles d'IA, il faut beaucoup de ressources, surtout si vous construisez des modèles comme Bert, GPT, ou en général, des réseaux neuronaux profonds, avec des transformateurs.
_en To build AI models, requires a lot of resources, especially if you are building models like Bert, GPT, or in general, deep neural networks, with transformers.

{blockquote 
_fr Le modèle BERT utilise 1 500 kWh d'électricité sur une période de 3 jours. C'est environ 600 fois plus d'électricité que ce que votre cerveau utilise dans le même laps de temps.
_en BERT model uses 1,500 kWh of power over the course of 3 days. That's about 600 times more electricity than your brain uses in the same time

}

_fr La raison est simple, ces modèles nécessitent des heures d'entraînement, sur des GPU ou même des TPU, et ces modèles ont besoin de beaucoup de données pour atteindre de grandes performances. De plus, avant de trouver la meilleure architecture de modèle (pour résoudre un problème spécifique), il y a beaucoup de recherches, de réglages de paramètres et d'essais et erreurs. Cela signifie que les modèles sont entraînés plusieurs fois. Et ce, uniquement pour la formation. Une fois que le modèle est déployé pour l'inférence, il consomme encore des ressources pour produire les prédictions. En fait, si vous utilisez beaucoup le modèle, l'inférence peut consommer encore plus de ressources que la formation. Si l'on ajoute à cela le réentraînement des modèles (pour s'adapter à l'évolution des données), on obtient une consommation importante de CPU, GPU, TPU et RAM.
_en The reason is simple, these models need hours of training, on GPU's or even TPU's and these models need a lot of data to achieve great performances. Furthermore, before finding the best model's architecture (for solving a specific problem), there is a lot of research, parameters tuning and trials and errors. That means that the models are trained multiple times. And this is just for training. Once the model is deployed for inference, it still consumes resources to come up with the predictions. Actually, if you use the model a lot, the inference can consume even more resources than the training. Add to this, retraining of the models  (to adapt to changing data) and you come up to a nice amount of CPU, GPU, TPU and RAM usage.

_fr Vous pouvez directement traduire les ressources de calcul en consommation d'énergie et en émission de carbone (puisque de nos jours, la grande majorité de l'énergie provient encore des énergies fossiles). Des études ont été menées pour évaluer l'impact de l'entraînement d'un grand modèle.
_en You can directly translate the computation resources into energy consumption and into carbon emission (since nowadays, vast majority of the energy is still coming from fossil energies). There have been studies to evaluate the impact of training a big model.

_img data/catastrophe_numerique.png

_fr Et ce n'est que la partie visible de l'iceberg. En effet, il faut considérer l'ensemble du tableau et les coûts énergétiques cachés, et pas seulement l'utilisation des ressources lors de l'exécution de l'IA.
_en And this only the visible part of the iceberg. Indeed, you need to consider the whole picture and the hidden energy costs, not only the usage of the resources when running the AI.

_fr Nous avons parlé de la puissance de calcul et de la mémoire vive, et même si le cloud rend l'accès à ces ressources très abstrait et très facile (en général, il suffit d'un clic pour avoir une machine virtuelle), il y a toujours des machines très physiques dans les coulisses, cachées dans d'énormes centres de données. La construction de ces machines et de ces superordinateurs n'est pas exempte d'énergie. De plus, les puces, les capteurs et les ordinateurs ont souvent besoin de métaux rares. À cela s'ajoute le coût des centres de données, qui doivent être refroidis en raison de la chaleur dégagée par le "fonctionnement de l'IA". Le refroidissement représente plus de 40 % de la consommation d'énergie des centres de données.
_en We've been talking about Compute power and RAM, and even if the cloud makes it very abstract and very easy to access these resources (usually in a click you can have a VM), there are still some very physical machines behind the scenes, hidden in huge data centers. Building these machines and super computers is not energy free, and furthermore, there is often a need for rare metals for chips, sensors and computers. To this, you add the cost of data centers, which needs to be cooled down due to the heat that comes from "running the AI". The cooling accounts for over 40% of the energy consumption of data centers.

_fr Enfin, ce à quoi nous ne pensons pas toujours, c'est le coût du transfert et du stockage d'énormes quantités de données, qui doivent transiter sur le réseau.
_en Finally, something we don't always think about is the cost of transferring and storing huge amount of data, which need to transit over the network.

_fr Inutile de préciser que l'énergie nécessaire à l'IA, qui peut être directement liée aux émissions de CO2, est très importante.
_en No need to tell, the energy that AI needs, which can be directly linked to CO2 emissions is really big.

_h2fr La loi de Moore
_h2en Moore's law

_fr En raison de l'omniprésence de l'IA et de son adoption rapide, les recherches visant à concevoir des puces et des processeurs plus performants vont bon train. Intel investit des milliards (33), Google utilise l'IA pour concevoir des puces plus efficaces et NVIDI dévoile le GPU H100 pour l'IA et le nomme "superordinateur d'IA le plus rapide du monde".
_en Due to the omni presence of AI and its fast paced adoption, research to design more performant chips and processors goes full speed. Intel is investing billions (33), Google uses AI to design more efficient chips and NVIDI reveals H100 GPU for AI and names it ‘world’s fastest AI supercomputer’.

{blockquote 
_fr Des chercheurs de Google et des universitaires de l'université de Berkeley affirment avoir trouvé un moyen d'utiliser l'intelligence artificielle pour concevoir des puces plus rapides et plus petites qui accélèrent l'intelligence artificielle.
_en Googlers and UC Berkeley academics say they have devised a way to use artificial intelligence to design faster and smaller chips that accelerate artificial intelligence.

}

_fr Pourtant, certains affirment que la loi de Moore atteint un plateau et que nous pourrions nous heurter à un goulot d'étranglement informatique.  Les modèles deviennent de plus en plus complexes (profonds) et c'est une tendance qui ne semble pas vouloir s'arrêter.  Le rythme d'innovation des microprocesseurs pourrait ne pas être en mesure de suivre le rythme de développement des modèles profonds. Le matériel disponible pourrait ne pas être suffisant pour exécuter les modèles complexes au niveau de latence et de vitesse souhaité.
_en Still, some say that Moore's law is reaching a plateau and that we may be hitting a computational bottleneck.  Models are becoming more and more complex (deep) and this is a trend that does not seem to stop.  The pace of innovation of micro processors might not be able to follow the pace of deep models development. Hardware available might not be sufficient to run the complex models at the desired level of latency and speed.

{blockquote Le nombre de transistors dans un circuit intégré (CI) dense double environ tous les deux ans. Gordon Moore en 1965 
}

_fr Certains experts pensent même que l'infrastructure nécessaire pour soutenir l'IA pourrait devenir un goulot d'étranglement pour le développement rapide et que nous pourrions être confrontés à un nouvel hiver de l'IA.
_en Some experts even believe that infrastructure needed to support AI could become a bottleneck for the fast pace development and we could face another AI winter.

_fr Si le matériel ne peut pas suivre le rythme de développement des logiciels, ceux-ci peuvent-ils être optimisés ?
_en Well if hardware is not coping with the pace of software development, can software be optimized ?

_h2fr Combler le fossé
_h2en Bridging the gap

_fr Actuellement, la recherche se concentre principalement sur la précision des algorithmes d'IA, et non sur la consommation énergétique de ces derniers. La communauté est très peu concernée par la frugalité en énergie et en données. Une erreur commune que les gens font est de croire que réduire les calculs ne permet pas toujours de réduire le plus d'énergie. Le sujet de l'IA durable est très nouveau.
_en Currently, research is mostly focuses on accuracy of the AI algorithms, not about the energy consumption of the latter. The community is very few concerned in frugality in energy and in data. A common mistake that people make is believing that reducing calculations does not always reduce the most energy. The topic of sustainable AI is very new.

{blockquote 
_fr Il y a un ordre de grandeur à gagner dans la réduction de la consommation d'énergie si nous sommes conscients du matériel lors de la programmation et de l'optimisation de nos algorithmes Fabrice Rastello
_en There are order of magnitude to gain in reducing the energy consumption if we are hardware aware when programming and optimise our algorithms Fabrice Rastello

}

_fr Des compilateurs plus efficaces réduisent la consommation d'énergie d'un facteur 1000. La recherche croisée entre l'optimisation des logiciels pour un matériel spécifique est donc très prometteuse. Il s'agit néanmoins d'un domaine d'application assez complexe qui requiert une expertise combinée dans les logiciels d'IA, le matériel et les compilateurs. La création de telles applications est encore très difficile et peu courante. Il y a un réel problème de mise à l'échelle et de co-conception des technologies, nous devons être très agiles, pour préparer des solutions qui peuvent être adaptées à la prochaine génération de matériel. Les équipes d'IA doivent être plus diversifiées, avec des compétences en compilation mais aussi en architecture.
_en More efficient compilers are reducing the energy consumption by 1000 factor. Hence the cross research between optimizing software for specific hardware is very promising. Still it is a rather complex domain of application that requires combined expertise both in the AI software, hardware and compilers. Creating such applications is still very hard and not so common. There is a real problem in scaling and co-designing the technologies, we have to be very agile, to prepare solutions that can be adaptable to the next generation of hardware. The AI teams need to be more diverse, with skills on compilation and also in architecture.

_fr Une façon de faire en sorte que la recherche se concentre davantage sur la consommation d'énergie serait d'exiger que les articles de recherche mentionnent également la consommation d'énergie. Cela devrait devenir une mesure très importante pour l'évaluation des algorithmes.
_en One way to make research more focus towards energy consumption would be to require that the research papers also mention the energy consumption. This should actually become a very important metric for benchmarking the algorithms.

_fr Comme c'est souvent le cas, tout commence par la prise de conscience de la consommation d'énergie d'une application. [[CodeCarbon.io|https://codecarbon.io/]] propose un moyen léger d'estimer la quantité d'énergie de ses calculs.
_en As often is the case, it starts with being aware of the energy consumption of an application. [[CodeCarbon.io|https://codecarbon.io/]] proposes a lightweight way of estimating the amount of energy of one's computing.

_fr Nous devons trouver un meilleur équilibre entre frugalité et polyvalence/flexibilité des puces et des logiciels que nous construisons.
_en We need to find a better balance between frugality and versatility/flexibility of the chips and software that we are building.

_fr Une autre façon d'être plus économe en énergie consiste à changer de paradigme et à repenser nos algorithmes d'IA.
_en Another way to be more frugal with energy is to change the paradigm and rethink our AI algorithms.

_h2fr Nous avons besoin de mises en œuvre intelligentes
_h2en We need Smart implementations

_fr Étant moi-même mathématicien, je me sens toujours mal à l'aise lorsque je vois des gens émerveillés par les transformateurs et les réseaux neuronaux profonds. Je me suis toujours demandé si je ne manquais pas une partie de l'information ou si les gens n'étaient pas simplement impressionnés par des algorithmes de force brute (OK, je l'admets, j'exagère légèrement pour illustrer mon propos).
_en As a mathematician myself, I'm always feeling uncomfortable when seeing people in awe at transformers and deep neural networks. I used to wonder if I was missing part of the information or if people are just wowed by almost brute force algorithms (OK, I admit, I'm slightly exaggerating to make a point) .

_fr L'IA n'est pas vraiment une programmation complexe, les algorithmes sont faciles. Il y a beaucoup de progrès et de recherches sur de nouvelles architectures de réseaux neuronaux, chaque année. Pourtant, le processus de développement de nouveaux outils d'IA se résume à des essais et des erreurs, ce qui entraîne une perte d'énergie considérable. On a parfois l'impression de jouer à la loterie.
_en AI is not really complex programming, the algorithms are easy.  There is a lot of progress and research on new architectures of neural networks, every year. Yet the process of developing new AI tools is very much trials and errors, wasting a lot of energy. It sometimes feels like a lottery.

_fr Il y a évidemment un engouement autour de l'apprentissage profond. C'est un peu l'accessoire de mode qu'il faut absolument avoir essayé.
_en There is obviously a hype around deep learning. It's kinda the fashion accessory that you'd absolutely need to have tried.

_fr Espérons que, comme dans le monde de la mode, la prochaine génération d'IA sera plus intelligente. Nous devons sortir des sentiers battus et rêver à d'autres types de modèles.
_en Hopefully, like in the fashion world, the next generation of AI can be smarter. We need to think out of box and dream about other types of models.

_fr Il existe déjà un tas de techniques cool qui méritent peut-être aussi un certain battage. Pour n'en citer que quelques-unes, jetez un œil aux réseaux neuronaux à pic, aux modèles de graphes probabilistes et à l'IA neuro-symbolique.
_en There are already a bunch of cool techniques out there that maybe also deserve some hype. To only cite a few, have a look at Spiking Neural Networks, probabilistic graph models and Neuro-Symbolic AI.

_fr Enfin, l'apprentissage automatique lui-même peut aider à concevoir de nouveaux algorithmes et ouvrir la voie à des systèmes moins gourmands en énergie.
_en Finally machine learning itself can help designing new algorithms and pave the way for less energy greedy systems.

_h2fr Conclusion
_h2en Conclusion

_fr Pour moi, la durabilité n'est plus une question ouverte, c'est un sujet sur lequel nous devons tous agir. Heureusement, c'est un sujet qui commence à faire l'objet d'une prise de conscience au sein de la communauté de l'IA. Et comme nous l'avons vu dans ce billet, quelques pistes d'amélioration ont déjà été proposées. J'ai été très heureux de participer à la semaine européenne de l'IA 2022, où de nombreuses idées intéressantes ont été discutées. J'ai été particulièrement inspiré par la table ronde de Génération 2030 sur le matériel pour l'IA (du logiciel au matériel).  C'est ce qui m'a poussé à écrire ce billet et à poursuivre la sensibilisation. 
_en For me sustainability is no more an open question, it is something that we all should act upon. Thankfully this is a topic that is starting to gain awareness within the AI community. And as discussed in this post, there are already a couple of proposed improvement tracks. I was very happy to participate to the European AI week 2022, where a lot of great ideas were discussed. I was particularly inspired by the round table in Generation 2030 about hardware for AI (from software to hardware).  This brought me to write this post and spread the awareness further.

_h2fr Références
_h2en References

_ul [[MIT studies: Training a single AI model can emit as much carbon as five cars in their lifetimes|https://www.technologyreview.com/2019/06/06/239031/training-a-single-ai-model-can-emit-as-much-carbon-as-five-cars-in-their-lifetimes/]]

_ul [[MIT studies: Modern data management, the hidden brain of AI|https://www.technologyreview.com/2022/04/28/1051009/modern-data-management-the-hidden-brain-of-ai/?utm_source=DFP&utm_medium=ROS+banners&utm_campaign=Dell_Technologies_Contributed_Article_4.28.22]]

_ul [[Google designs chips with AI|https://www.theregister.com/2022/03/18/google_deep_learning_chip_design/?utm_campaign=Artificial%2BIntelligence%2BWeekly&utm_medium=email&utm_source=Artificial_Intelligence_Weekly_267]]

_ul [[NVIDIA reveals new GPU|https://www.theverge.com/2022/3/22/22989182/nvidia-ai-hopper-architecture-h100-gpu-eos-supercomputer]]
{hr}
{center Traduit (avec deepL.com) de [[https://dataroots.io/|https://dataroots.io/research/contributions/is-ai-an-eco-disaster-from-software-to-hardware]]{br} et mis en page avec [[lambdatalk|?view=start]].}

{{hide}
{def TOGGLE {div {@ style="position:fixed; top:10px; left:10px;"} 
 {input {@ id="toggle" type="button" value="english" onclick="toggle(this)"}}
}}
}

{style 
@font-face {
  font-family: 'Quicksand';
  src: url(data/quicksand.woff) format('woff');
}

#page_content { background:#eee; font:normal 1.1em Quicksand, optima;}
blockquote { padding:0 10px; font-style:italic; border:0; border-left: 3px solid #ccc; }

h1, h2, h3 { text-align:center; margin-left:-20px}
.fr { display:block; }
.en { display:none; }
}

{macro _fr ([^\n]+)\n to {p {@ class="fr"}€1}} 
{macro _en ([^\n]+)\n to {p {@ class="en"}€1}} 
{macro _frlist ([^\n]+)\n to {ul {@ class="fr"}€1}}
{macro _enlist ([^\n]+)\n to {ul {@ class="en"}€1}}

{macro _h1fr ([^\n]+)\n to {h1 {@ class="fr"}€1}}
{macro _h1en ([^\n]+)\n to {h1 {@ class="en"}€1}}
{macro _h2fr ([^\n]+)\n to {h2 {@ class="fr"}€1}}
{macro _h2en ([^\n]+)\n to {h2 {@ class="en"}€1}}

{script 
var toggle = function(obj) {
  var fr = document.getElementsByClassName("fr");
  var en = document.getElementsByClassName("en");
  if (obj.value==="english") {
    for (var i=0; i< fr.length; i++) fr[i].style.display="none";
    for (var i=0; i< en.length; i++) en[i].style.display="block";
    obj.value = "français";
  } else {
    for (var i=0; i< fr.length; i++) fr[i].style.display="block";
    for (var i=0; i< en.length; i++) en[i].style.display="none"; 
    obj.value = "english";   
  }
};
}