XPU太多,决定去做个¥PU
夏老师说:阿里的CIPU。为了不和DPU、IPU重名,这起名字的煞费苦心不提也罢。 然后昨天在和一些朋友说到好像字母都用光了,然后突然想到一个名字叫¥PU,当然还有它的异构处理版本叫$PU,中文俗称印钞机,夏老师看到了问题的关键5.5us,但是FPGA本身的成本也的确是个问题。
那么介于FPGA和NP之间似乎又有人搬出来了P4,那么几个问题就接踵而来了,P4很多事情干不了,或者干起来也非常恶心,特别是一些Stateful的处理涉及到多次Memory的RW,所以仔细看看Pensando魔改了P4哪些东西?有些话就不多说了,还是那句话最终还是需要抽取出一套ISA来,但一定不是P4那种过分依赖于硬件的Monkey-Lang.特别是在涉及到云安全的很多场景下。
当然对于夏老师说的带套的问题,
本质上的问题是带三个套,还是一个001就够了的问题,这个问题的答案参考杨总大作:
》七千字详解阿里云新一代云计算体系架构 CIPU《
至于最近某个羊立困讨论深度学习撞墙这件事:渣很早就清楚这么玩不行的..数学系的人基本上都会非常排斥DL的东西…倒不是洁癖..而是
落地的难点就在这里,最终你发现这是一个普适的问题,具体可以看一下几年前的一篇文章
》“人工智能” 还是 “人工智障”(1) 《
》“人工智能”还是“人工智障”(2)《
讲个真实的段子:
在某购物网站搜索一本三角范畴的书,结果是一堆三角小内内. 然后搜P群还好是一堆小姐姐的裙子,要是被人工智障把两个字倒过来, 我估计就成了罗老师教刑法第三百零一条的张三了…
这就是现状,其实现在好多家购物网站的搜索都被各种算法充斥着效率越来越低了。而普适的代价便是抽象…记得在2018年的时候就留下了一段话
考虑未来的发展,DL下一步往何处走, 其实有些简单的习题训练框架本身是不赖的,但怎么弄好,其实一方面大量的做CS的人数学基础真的很差,毕竟精力有限,读了CS哪有那么多时间再数学多学几门,所以对于他们而言,所能使用的工具很少,简单地就是一些矩阵计算,微分求导,或者更弱鸡的求 mean/var/skew/kurt .. 数学工具的薄弱也不是那么好补的, 个人愚见或许
代数拓扑
、代数几何
这些东西会对DL后一步如何简化计算并增加泛化能力,同时完成迁移学习等工作有非常重要的作用, 但是要搞懂这几门课吧,还需要十年的苦读,未必有人坐得起这个冷板凳。而当我们已经炒起来了AI泡沫后,把人工智能忽悠到了一个新的高度,大量的资本进入后,未来两三年发现实际上我们能够拿出的只是些common sense的东西或者“人工智障”类产品,虽然某些程度上减轻了人类生活的负担,但还未必能像我们忽悠的时候那样完全解放机械性的生活, 那么逐利的资本迟早有一天会撤出,留下一地鸡毛以及人工神经网络的第三次寒冬,更有甚者,或许是一个再也不可能有春天的严冬,winter is coming, 老老实实多学点东西过冬吧。
四年后,最近你也会看到一些几何深度学习和DeepMind关于范畴论、抽象代数组合的一些东西。这才是未来的希望…
原以为的资本寒冬竟然伴随着疫情晚来了两年,但还是真的来了…至于未来,新的模型是什么,需要什么样的XPU,从代数上来看一定是一个异构计算但又同时要同构的东西,所以一定不是nVidia的GPU,另一方面也没有所谓的符号主义那么纯粹,也不会像Tenstorrent那样折腾Actor,
心里有些念想,准备出发~那么就把它叫做¥PU
《XPU太多,决定去做个¥PU》来自互联网,仅为收藏学习,如侵权请联系删除。本文URL:http://www.bookhoes.com/2053.html