算法、数据和算力被视为推动人工智能发展的三大要素,其中算力更是被形容为支撑人工智能走向应用的“发动机”。人工智能研究组织OpenAI最近指出,“高级人工智能所需的计算能力每三个半月就会翻一番”。
近日,脸谱(Facebook)人工智能副总裁杰罗姆·佩森蒂在接受《连线》杂志采访时认为,AI科研成本的持续上涨,或导致我们在该领域的研究碰壁,现在已经到了一个需要从成本效益等方面考虑的地步,我们需要清楚如何从现有的计算力中获得最大的收益。
那么,为何人工智能需要如此强大的计算能力?计算能力是否会限制人工智能的发展?我们能否不断满足人工智能持续扩大的计算需求?
人工智能“动脑” 背后算力消耗惊人
“2016年3月,谷歌人工智能阿尔法围棋(AlphaGo)战胜韩国棋手李世石时,人们慨叹人工智能的强大,而其背后巨大的‘付出’却鲜为人知——数千台服务器、上千块CPU、高性能显卡以及对弈一场棋所消耗的惊人电量。”远望智库人工智能事业部部长、图灵机器人首席战略官谭茗洲在接受科技日报记者采访时表示。
“相比云计算和大数据等应用,人工智能对计算力的需求几乎无止境。”中国工程院院士、浪潮集团首席科学家王恩东指出。
据介绍,人工智能最大的挑战之一是识别度不高、准确度不高,提高准确度就要提高模型的规模和精细度,提高线下训练的频次,这需要更强的计算力。准确度也是算出来的,比如大型互联网公司或者知名人工智能创业公司,有能力部署规模比较大的人工智能计算平台,算法的模型已经达到千亿参数、万亿的训练数据集规模。
“现在人工智能运用的深度学习框架,多数依赖大数据进行科研训练,形成有效模型,这些都需要较高的计算力。”谭茗洲指出,当前随着人工智能算法模型的复杂度和精度愈来愈高,互联网和物联网产生的数据呈几何倍数增长,在数据量和算法模型的双层叠加下,人工智能对计算的需求越来越大。无疑,人工智能走向深度学习,计算力已成为评价人工智能研究成本的重要指标。可以说,计算力即是生产力。
数据搬运频繁 “内存墙”问题凸显
人工智能为何如此耗费算力?具体而言,在经典的冯·诺伊曼计算机架构中,存储单元和计算单元泾渭分明。运算时,需要将数据从存储单元读取到计算单元,运算后会把结果写回存储单元。在大数据驱动的人工智能时代,AI运算中数据搬运更加频繁,需要存储和处理的数据量远远大于之前常见的应用。当运算能力达到一定程度,由于访问存储器的速度无法跟上运算部件消耗数据的速度,因此再增加运算部件也无法得到充分利用,就形成了所谓的冯·诺伊曼“瓶颈”或“内存墙”问题。这就如同一台马力强劲的发动机,却因为输油管的狭小而无法产生应有的动力。
显然,频繁的数据搬运导致的算力瓶颈,已经成为对更为先进算法探索的限制因素。而算力瓶颈对更先进、复杂度更高的AI模型的研究将产生更大影响。
王恩东曾指出:“计算力的提升对体系结构提出挑战。在半导体技术逐步接近极限的情况下,计算机发展迎来体系结构创新的黄金期,计算力的提升将更多通过体系结构创新来满足。”
据了解,最先进的自然语言处理模型XLNet约有4亿模型参数。据估算,人脑中细胞间互联轴突个数在百万亿到千万亿数量级。显然AI在认知问题上离我们追求的所谓通用人工智能还有巨大差距,而要达到通用人工智能的水平,预计研究所需要的计算能力和计算系统的能源效率将比现在至少提高几个数量级。因此人工智能要进一步突破,必须采用新的计算架构,解决存储单元和计算单元分离带来的算力瓶颈。
谭茗洲说,目前人工智能的无用计算较多。现在人工智能还像不断灌水一样,处在输入数据、调整参数的阶段,是个“黑盒子”模式,特别在图片视频方面消耗很多能量,而其中真正的有效计算却不多,非常浪费能源。今后AI有待在“可解释性”上进行突破,搞清是什么原因导致后面的结果,这样可以精准运用数据和算力,大大减少运算量。这也是目前重要的研究课题,将大大推动深度学习的发展。
计算储存一体化 或成下一代系统入口
“虽然目前阶段计算力还谈不上限制人工智能的发展,但计算力确实提高了参与人工智能研究的门槛。”谭茗洲指出。
除了研发资金的增长,在计算力爆发之前的很长一段时间,产生数据的场景随着互联网的发展渗透到生活、生产的各个角落,并且随着通讯技术的进步,尤其是5G的商用,使得产生数据的基础场景覆盖面和深度达到新的层次,数据的生产也将达到一个新的数量级。
2020年伊始,阿里达摩院发布《2020十大科技趋势》报告显示,在人工智能方面,计算存储一体化,类似于人脑,将数据存储单元和计算单元融为一体,能显著减少数据搬运,极大提高计算并行度和能效。
然而,计算存储一体化的研究无法一蹴而就。这个报告提出策略,对于广义上计算存储一体化计算架构的发展,近期策略的关键在于通过芯片设计、集成、封装技术拉近存储单元与计算单元的距离,增加带宽,降低数据搬运的代价,缓解由于数据搬运产生的瓶颈;中期规划是通过架构方面的创新,设存储器于计算单元中或者置计算单元于存储模块内,可以实现计算和存储你中有我,我中有你;远期展望是通过器件层面的创新,实现器件既是存储单元也是计算单元,不分彼此,融为一体,成为真正的计算存储一体化。近年来,一些新型非易失存储器,如阻变内存,显示了一定的计算存储融合的潜力。
据介绍,计算存储一体化正在助力、推动算法升级,成为下一代AI系统的入口。存内计算提供的大规模更高效的算力,使得AI算法设计有更充分的想象力,不再受到算力约束。从而将硬件上的先进性,升级为系统、算法的领先优势,最终加速孵化新业务。
而除了计算存储一体化的趋势,量子计算或是解决AI所需巨额算力的另一途径。目前量子计算机的发展已经超越传统计算机的摩尔定律,以传统计算机的计算能力为基本参考,量子计算机的算力正迅速发展。
谭茗洲表示,未来人工智能的突破,除了不断提升技术本身之外,还需要全球各国协同创新,融合发展,探索新的合作模式,如采取共享思维,调动世界各方面的计算资源集中发力,以降低计算的巨大成本。
延伸阅读
延伸阅读
人工智能计算力展现五大发展趋势
互联网数据中心(IDC)与浪潮联合发布的《2019—2020中国人工智能计算力发展评估报告》指出,全球新创建的数据量将从2018年的33ZB增长到2025年的175ZB。随着数据持续爆炸性增长及算法的不断演进,未来算力仍有很大的发展空间。
该报告公布的最新中国人工智能计算力城市排名显示:排在前5位的城市依次为北京、杭州、深圳、上海、广州;排名6—10位的城市是合肥、苏州、重庆、南京、西安。
报告还提出了未来人工智能计算力发展的5个重要趋势,一是到2022年,人工智能推理市场占比将超过训练市场;二是预计到2023年,中国人工智能基础架构市场未来5年复合增长率将达到33.8%,是中国整体基础架构市场增速的3倍以上;三是5G和物联网将推动边缘、端侧人工智能基础架构的快速发展;四是人工智能与云的融合将进一步加速,未来5年AIaaS(人工智能基础设施即服务)市场规模的年复合增长率预计达到66%;五是随着计算力的提升,越来越多的企业将参与到人工智能开源软件的研发和行业性能评测基准的建设中。
工信部:持续改善网络基础设施建设 引领带动绿色智能家电消费 在自家冰箱上下单,就能收到北京寄来的地道烤鸭;只要进入千兆城市,就能享受遍布的极速WiFi……在国务院新闻办公室日前举行的例行吹风会...
打造低碳零碳负碳原创技术的策源地 中国环保发起双碳科创园 5日,由中国环境保护集团(以下简称中国环保)发起的中国环保双碳科创园暨中欧双碳产业园(以下简称园区)启动会暨双碳战略座谈会在北京市顺义
支持资金近1.5亿元!内蒙古启动“双碳”科技创新重大示范工程 记者6月7日从内蒙古科技厅获悉,为将全区双碳科技创新工作迅速落到实处,内蒙古按照围绕产业链部署创新链、围绕创新链布局产业链的原则,紧
我国首个!首批两台HXN6型内电混合动力机车成功下线 6月9日,我国首批两台商品化HXN6型内电混合动力机车在中车资阳机车有限公司(以下简称中车资阳公司)成功下线。该车动力源采用动力电池组+柴
好消息!2022年起企业可提前享受前三季度研发费用加计扣除政策 近日,国家税务总局印发《关于企业预缴申报享受研发费用加计扣除优惠政策有关事项的公告》,明确从2022年起,企业可以在每年10月申报期申报
智能中遇见“未来”!中新新天津生态城将推出6个智慧应用场景 第六届世界智能大会云端召开在即。作为世界智能大会的永久展示基地,中新天津生态城今年将推出哪些值得期待的智慧应用场景?在智能中遇见未
【实探】中药价格狂飙过后的“药都”亳州:货车司机闲坐等接单 【实探】中药价格狂飙过后的“药都”亳州:货车司机闲坐等接单,当归,党
东方日升(300118.SZ)拟10股派2元 于7月14日除权除息 智通财经APP讯,东方日升(300118)(300118 SZ)公告,公司2022年年度权益
中国蜀塔(08623)拟420万元收购雅安宝盛金属材料余下30%股权 智通财经APP讯,中国蜀塔(08623)公布,于2023年7月7日,该公司全资附属
南王科技最新公告:拟投建高端环保食品级纸制品项目 南王科技公告,公司拟在广东省鹤山市鹤山工业城A区设立全资子公司“广
南王科技(301355.SZ):拟设立子公司投资建设高端环保食品级纸制品项目 格隆汇7月7日丨南王科技(301355 SZ)公布,公司于2023年7月7日召开第三
拉夏贝尔(06116):管理人仍有序开展债权申报、债务及资产核查等工作 智通财经APP讯,拉夏贝尔(603157)(06116)发布公告,自公司进入破产清算
2023年7月7日江苏省聚丙烯酰胺价格最新行情预测 中国报告大厅2023年7月7日江苏省聚丙烯酰胺价格最新走势监测显示:苏州
CCER重启真的要来了!生态环境部发布公开征求意见通知 CCER重启真的要来了!生态环境部发布公开征求意见通知,配额,交易,ccer,
云南建投混凝土(01847)附属高分子公司订立保理协议 智通财经APP讯,云南建投混凝土(01847)发布公告,于2023年7月7日,该公
明源云(00909.HK)委任梁瑞冰为联席公司秘书 格隆汇7月7日丨明源云(00909 HK)宣布,司徒嘉怡因其他工作安排,已提呈
彩客新能源(01986)4月21日斥资8.58万港元回购6.2万股 智通财经APP讯,彩客新能源(01986)发布公告,于2023年4月21日,该公司
富祥药业:7月6日接受机构调研,包括知名机构盘京投资的多家机构参与 2023年7月7日富祥药业(300497)发布公告称公司于2023年7月6日接受机构
广东宏大:预计2023年1-6月盈利,净利润同比增20%至30% 广东宏大发布业绩预告,预计2023年1-6月归属净利润盈利3 02亿元至3 27
冯奎章_冯奎 1、冯奎卖妻是明朝末年的故事。2、《冯奎卖妻》保定府有一对夫妻叫冯奎
注意!家里这些物品也要“防暑降温” 入夏以来,多轮高温天气来袭用电需求量较常年同期偏高面对“烤”验日常
2023年爱心售报|小报童带病坚持来卖报 孩子成长迅速让家长很欣慰 扬子晚报7月7日讯(记者季宇轩实习生王元钊)7月6日是2023年扬子晚报暑
粤电力A最新公告:预计上半年净利润8亿元-9.5亿元 同比扭亏为盈 粤电力A公告预计上半年净利润8亿元95亿元去年同期亏损1372亿元同比扭亏
潼关黄金(00340.HK)拟3.39亿港元收购宏勇投资100%股份 格隆汇7月7日丨潼关黄金(00340 HK)公告,于2023年7月7日,公司(作为买
小摩:转型和AI利好被负面因素抵消 首予IBM(IBM.US)“中性”评级 摩根大通分析师BrianEssex发表研报,首次覆盖IBM(IBM US),给予“中性
Wolfe下修派拉蒙环球(PARA.US)业绩预期 降评级至“跑输大盘” WolfeResearch将派拉蒙环球(PARA US)的评级从“与同行评级”下调为“跑
顺丰控股最新公告:4月速运物流业务营业收入146.46亿元 同比增长27.29% 顺丰控股公告,4月速运物流业务营业收入146 46亿元,同比增长27 29%;
青岛银行(03866.HK):提名陈霜及杜宁为董事候选人 格隆汇7月7日丨青岛银行(002948)(03866 HK)公布,董事会于2023年7月7日
深圳大动作!24条举措 剑指… 作为全国外贸重镇,深圳在促进外贸稳定健康发展上再加码!日前,中国人
我国人工智能蓬勃发展 核心产业规模达5000亿元 7月6日,2023世界人工智能大会在上海世博中心拉开帷幕。图为参观者在达
李玟妈妈首度发声,公开吐槽外国女婿缺点,李玟曾为老公整晚痛哭 阅读此文前,诚邀您点击一下“关注”,方便您随时查阅一系列优质文章,
中国银河(06881)因可转债转股2022年末期股息调整为每股0.22533元 智通财经APP讯,中国银河(601881)(06881)公布,由于公司于2022年3月24
正业科技(300410.SZ)选举余笑兵为董事长 智通财经APP讯,正业科技(300410)(300410 SZ)公告,公司董事会同意选举
紫金矿业(02899.HK)预计上半年净利约102亿元 同比下降19.2% 格隆汇7月7日丨紫金矿业(02899 HK)公告,公司预计2023年半年度实现归属
中航光电(002179.SZ):拟投资27.2亿元在洛阳购置土地建高端互连科技产业社区项目 格隆汇7月7日丨中航光电(002179)(002179 SZ)公布,2023年7月7日,公司
建发国际集团(01908.HK)根据以股代息计划发行1.08亿股 格隆汇7月7日丨建发国际集团(01908 HK)公布,根据公司以股代息计划而于
源自福特超级平台,江铃福特新款轻客来袭 说起轻客,大家的第一印象总是全顺...
多彩新媒协同多省IPTV加速布局大屏生态圈,“看中国”深度挖掘 智能大屏价值 6月16日,在北京论道暨第25届中国...
出击!招行信用卡协助警方重拳打击金融“黑灰产”! 在上海浦东新区某大厦内,挂着“法...
“2022-2023年度中国医药制造业百强”出炉,扬子江药业集团荣登榜首 7月4日,由全国工商联医药业商会、...
国庆假期怀柔北部山区的红叶进入最佳观赏期 吸引游客前来赏秋景 国庆假期,怀柔北部山区的红叶进入...
重磅!四川省科创贷款较年初新增620.35亿元 同比增长21.22% 记者日前从中国人民银行成都分行获...
252项“全程网办”!川渝两地企业登记档案实现跨区域互查 8月30日,记者从省大数据中心获悉...
2022年中国国际服务贸易交易会在京举办 四川参展企业数量创新高 8月31日至9月5日,主题为服务合作...