当前位置:首页>最新车讯 > >正文

一次示范训练相当于700000公里的排放量?深度学习消耗的能量比你想象的要多。

时间:2020-11-08 20:03:00


智能物品(官方账号:zhidxcom)

编辑/编辑

11月4日,当视频网站向我们推荐电影或节目时,当聪明的客户服务回答各种各样的问题时。不知不觉中,深度学习已经慢慢渗透到我们的日常生活中,但它带来的巨大能量消耗很容易被我们忽视。

从2012年到2018年,深度学习计算量增加了3000倍。最大的深度学习模式之一gpt-3在一次培训中产生的能耗相当于126户丹麦家庭一年的能源消耗。科学界估计,如果人工智能继续遵循当前的趋势,而不是为气候变化提供解决方案,它可能首先是温室效应的最大罪魁祸首。

但解决这个问题的关键是了解开发算法所需的碳足迹和能源消耗。

来自哥本哈根大学计算机科学系的Lassef.Wolffanthony和benjaminkanding两名学生开发并公布了软件程序

代码链接:

简单地说,深度学习和培训的过程是从大量数据中学习和识别模式的过程,也是一个消耗能量的过程,需要高性能的计算机每天24小时运行。

随着数据集的日益增长,算法需要解决的问题变得越来越复杂,Benjaminkanding说。

迄今为止,技术人员开发的最大的深度学习模式之一是一种名为gpt-3的高级语言模型。一种模式培训每年消耗126个丹麦家庭的能源,并产生与驾驶700000公里相同的二氧化碳排放。

Wolffanthony还指出:人工智能领域发展迅速,深入学习模式在层次和结构上不断扩展,以满足人们的需求。现在,该模型的规模正在以指数级的速度增长,这也意味着能源消耗的增加,这是大多数人所没有想到的。

为了避免培训模式因能源消耗而对环境造成的影响,石炭追踪器还将收集不同地区的算法训练所消耗的二氧化碳数据,以便将能源消耗问题转化为二氧化碳排放,从而更容易预测不同模型产生的能源消耗。

碳追踪器开发人员还呼吁深入学习的程序员关注能源消耗。

模型训练所消耗的能量与所用能量的类型、支持硬件的性能以及算法模型的设计等因素有关。

其中,拉塞夫·沃尔芬顿还提到,有许多方法可以减少模型训练对环境的负面影响。

例如,如果技术人员选择在诸如爱沙尼亚或瑞典等富含绿色能源的地方培训模型,那么能源消耗将不会很高,因为绿色能源可以减少60倍以上的碳足迹。

不同算法的能耗也有很大的不同。有些算法需要较少的计算量,在能耗不高的情况下可以达到同样的效果。如果技术人员调整模型中的一些参数以减少计算量,模型训练所需的能耗也将大大降低。

参考资料来源:科学日报

下一条: 最后一页
热点专题
热点专题
关于我们 - 资讯中心 - 网站团队 - 人才招聘 - 广告业务 - 网站地图 - 在线投稿 - 合作伙伴 - 客户投诉 - 数字报订阅

 
QQ:2820-8476-56 
地址: