乐天集团中国产业园区品牌连锁运营商

机器学习训练成本高 部分模型仅电费就要百万美元

发布时间:2020-07-03 发布者:亚时财经

机器学习是一门多领域交叉学科,涵盖多门学科知识,让计算机模拟人类行为并尝试得到新的知识或提高学习效率。其热度逐年递增,许多研究机构或企业都投身其中,试图让之为人类社会做出贡献。但随着需求的不断提升,其相关模型的训练成本也在不断增加,一些大型模型进行一轮训练甚至单电费就要上百万美元。


(图源:网络)


在计算工业行业,有个假设是“数字处理会变得越来越便宜”。但斯坦福人工智能研究所副所长克里斯托弗·曼宁表示,对于现有的一些应用来说却不是这样,特别是因为不断增加的研究复杂性和竞争性,使得最前沿模型的训练成本还在不断上升。

 

以谷歌在18年提出的AI语言模型BERT为例,该模型有超过3.5亿个内部参数,而且要大量数据来进行训练,大概用了33亿个大部分来自维基百科的单词来训练。曼宁称,维基百科都已经不算很大的训练集了,但更多的数据也意味着要用更多算力进行支持。

 

OpenAI也表示,随着对机器学习兴趣的不断增加,对算力的需求从2012年开始也急剧增加了。到了2018年,用于训练大型模型的计算机算力相比之前已增长了30万倍,并且还每三个半月翻一番。OpenAI还提到,旗下某模型已经用数千块芯片训练了十多个月。这段时间的开销难以想象。

 

另外,马萨诸塞州阿默斯特大学的研究人员在19年发表的一篇论文中估计,训练某个版本的Transformer模型可能就要花费300万美金。Facebook的AI负责人杰罗姆·佩森蒂也表示,针对当前最大的模型进行一轮训练光是电费可能就好几百万美金。

 

这样的经济压力不是一般公司能够负担的,所以著名风险投资公司Andreessen Horowitz指出,许多AI初创公司都是从云计算公司(如亚马逊和微软)来租用训练所需的算力。这样带来的开销费用会降低AI初创公司的投资吸引力。

 

至于改进,在硬件方面,计算机的发展要能够兼容现在机器学习的方式。Graphcore的创始人之一奈杰尔·图恩表示,计算机体系结构需要适应现在训练处理数据的方式,即将运算切分为很多小块同时进行运算。另一创始人安德鲁·费尔德曼说,还要对模型进行优化,减少乘零操作的次数,从而可以减少运行时间,节约成本。

 

除此之外,研究人员还在思考一些别的途径来改变这一状况,其中一种就是借助量子计算来帮助机器学习中的计算过程提速。另一种是从生物学方面出发,试图研究出一种类似神经形态的芯片来模仿生物大脑神经元电行为。英特尔和IBM等公司正在研究这种新芯片。

 

代码方面相比之下到显得没那么迫在眉睫,一些大公司也会开源自己的机器学习代码。例如亚马逊旗下公司Amazon Web Services Inc.近日宣布面向大众推出机器学习支持的开发人员工具Amazon CodeGuru,为提高代码质量和确定应用程序中最昂贵的代码行提供智能建议。

 

不过目前来看,这些新方法还有较长一段路要走,研究人员暂时还得考虑怎么让手头的机器运行得更“划算”。

 

责任编辑:Carrick

特别声明:本站转载或引用之图文若侵犯了您的合法权益,请与本站联系,本站将及时更正、删除。版权问题及网站合作,请通过亚时财经邮箱联系:asiatimescn@sina.com

热门话题更多>>

推荐文章

更多>>

扫一扫手机阅读

ATimesCN手机网站