第497章 算力榨乾(2/2)

投票推荐 加入书签 留言反馈

是一个纯粹的物理定律和硬体架构带来的瓶颈。

    软体算法再精妙,也无法违背硬体的物理极限。

    所有人都看向夏冬。

    在这个公司里,每当遇到技术方面无解的死局,夏冬总是能拿出打破常规的方案。

    其实夏冬早就预料到了这一天,伺服器算力见顶是迟早的事。

    他老早就找豆包,恶补了人工智慧的发展史。

    深度学习和神经网络之所以在2010年之后才开始大爆发,并不是因为算法突然取得了什麽逆天的理论突破。

    纯粹是因为算力终于跟上了。

    在豆包提供的未来时间线里,拯救人工智慧算力危机的,是英伟达的GPU。也就是大家俗称的显卡。

    GPU这玩意儿,天生就是用来做大规模并行计算的。

    再后来,谷歌为了搞定自家的算法和推荐系统,乾脆自己下场研发了TPU,一种专门为AI定制的专用晶片。

    夏冬的手指在桌面上轻轻敲击着,发出有节奏的哒哒声。

    「陈默,泽明,你们有没有想过,」夏冬终于开口了,目光扫过两位技术大拿,「为什麽我们堆了那麽多顶配的CPU,算力依然捉襟见肘?我们的算法,到底在让这些CPU干什麽活?」

    陈默皱着眉头想了想:「主要就是神经网络的层级计算,里面全是大规模的矩阵乘法。」

    「对,问题就出在这里。」

    夏冬停止敲击桌面,「CPU的架构设计初衷是什麽?是处理复杂的控制逻辑,它里面有大量的分支预测丶指令调度单元。」

    「打个比方,CPU就像是一个精通微积分的大学老教授。你让他解多复杂的数学题他都会。」

    为了让非纯技术的苏晚晴也能听懂,夏冬顿了顿,摊开双手继续说道:「但是,我们推荐算法需要的,是极其海量丶极其枯燥的简单矩阵乘法。」

    「这等于你雇了一万个大学老教授,每天让他们坐在办公室里算一加一等于几。」

    陈默和吴泽明愣了一下。

    「他们能算,」夏冬一针见血地指出,「但是效率极低,而且成本高得离谱。大炮打蚊子,从根源上就错了。」

    两位顶尖的技术大拿对视了一眼,脑子里仿佛劈过一道闪电。

    陈默喃喃自语:「所以……通用的CPU,从硬体物理架构上就不适合跑我们的算法?」

    「没错。」夏冬顺势抛出一个引导性的问题,「既然一个精通微积分的老教授算得慢,那我们找一万个只会算乘法的小学生来并行计算呢?」

    「我们需要的是高并发丶低逻辑复杂度丶海量的浮点运算单元……」

    吴泽明推了推眼镜,眉头微皱,大脑在疯狂检索现有的硬体架构:「夏冬,你说的这种硬体特徵,听起来怎麽那麽像电脑里的显卡?」

    「确切地说,是GPU。」夏冬打了个响指,「泽明抓住了盲点。」

    夏冬表情淡定,内心其实正在快速梳理之前用豆包查阅的资料。

    早在2007年,英伟达就推出了CUDA架构,让GPU不仅仅能打游戏渲染图像,还能进行通用计算。

    现在这个时间节点,多伦多大学的Hinton团队丶史丹福大学的吴恩达,其实已经开始尝试用GPU加速神经网络训练了。

    效率足足比CPU高出了几十倍。

    到了2011年,吴恩达更是用12块GPU,生生跑出了相当于2000个CPU的深度学习算力。

    这就是降维打击。

章节目录