明年cloudza大会开发点啥呢?

有人开玩笑告诉我该去搞个zacloud了,我说干脆叫Cloudza吧,中文叫云渣,毕竟~school of Bourbaki的高度我们还是达不到的,还是怂一点好~

以后也就每年这个时候搞个线上Cloudza大会吧~ 今年在整个新一代云原生数据中心体系结构中,我们做了如下微小的工作:

明年cloudza大会开发点啥呢?

广域网SDWAN接入

竞品:SDWAN无,QUIC上有一些MP-QUIC的技术,但是无法做到我们这样全球200ms零丢包的多云融合能力。

对于终端接入云,我们实现了基于Internet 200ms全球零丢包可达的实时音视频传输RTN的关键技术创新。

一方面是针对BGP协议无法适应云的大规模数据中心要求,另一方面是针对云数据中心incast情况,提供动态的路径规避,另一方面是将云广域网SDWAN接入进行统一处理。借助2020年的成果实现了数据中心的

《云原生路由架构探索

《Ruta实战及协议详解

当然从广域网来看,也轻松实现了全球200ms全球零丢包可达,为云接入提供了最稳定的骨干网络,这样为分布式边缘计算云网融合及大量实时视频业务提供了稳定的基座

明年cloudza大会开发点啥呢?

DNS服务

竞品:有些基于DGA的DNS服务发布,但是我们开源啦,谁都可以抄作业,算法到源码全公开,而且我自己家里公司端侧部署三个月了,性能提升很明显~

用逼格的话来说:在接入访问控制流量调度中,我们实现了基于人工智能的ZaDNS优选路径和零信任接入访问能力内置路径优选,并留有接口用于零信任场景下基于DoH的DNS解析授权和网元ACL放行。同时内置了Tensorflow用于DGA域名过滤 工程实现原理如下文,其它云自己去抄作业~

《支持AI的ZaDNS服务器》

项目地址: github.com/zartbot/zadns

数据中心

竞品 : xx网络,但是没有强化学习的自动驾驶网络技术,但是华为有参考今年的SIGCOMM论文

而Ruta架构在数据中心我们实现了新一代大规模数据中分布式路由协议及SDN控制技术的研发,并和广域网RTN及用户态传输融合实现了端到端的可控转发。同时针对数据中心拥塞实现了基于强化学习的自动驾驶网络技术。

DPU

竞品 :TCP over RDMA over TCP(iWARP)/RoCE

而我们通过自研DPU在计算机体系架构中取得了革命性的创新,实现了一种以数据为中心的可编程计算指令体系架构,并且整体通信延迟比广泛使用的RoCE技术低了20%抖动下降两个数量级,并针对下一代云计算AI关键应用实现了存内计算和在网计算的关键加速能力。

惊爆:居然比RoCE快20%

然后针对第五代分布式计算架构的关键问题,分布式人工智能,我们通过存内计算实现了加速。

神奇:内存池化和分布式AI集群优化

同时构建了大规模内存池化和异构计算池化技术,也为片上网络和先进封装等DSA需求预留了接口。在Google swift拥塞控制基础上实现了关键性创新,隔离I/O域和计算域,在主机拥塞控制上实现了确定性延迟和更直观的缓存深度感知, 并实现了用户态内存直达和多路径访问,配合自动驾驶网络实现了确定性转发,同时针对大象流实现了网内缓存和按包拆分的能力。

容器网络和Serverless

竞品:没在意

简单的说就是人家在搞容器通过TCP访问时,我们直接针对Serverless的场景做JSON、XML、文件、stdin的交付,通过内存交付省掉了容器的协议栈,并实现了通用的API Gateway DPU卸载。

由于我们的用户态内存直达,实现了零损耗的计算能力,计算资源直接通过用户态内存访问,实现了整个通信栈的卸载,也方便了异构计算器件的调用。

过段时间我们会开源一个为golang准备的用户态内存直达框架,普通服务器上不使用DPU也能满足28Mpps UDP的收发。

CPU

我们这种云渣哪买得起ARMv9的IP核,也没钱Tapout,但是要做一块CPU其实不是那么难,2000RMB的开发板就能自己做CPU定义指令集。

针对NetDAM上的可计算能力扩展,我们基于RISC-V正在做一些事情,如何在FPGA上构建RISC-V几个月前就给大家准备了一个教程:

做个CPU真的难么?不难,手把手带你玩

大概今年的工作做完了,也该进入休假季了,明年开始需要解决一个更重要的问题,也就是某动物和老年人监管的问题。从人工智能的角度来看,零售金融内可以通过一些技术来实现对信用风险的还款能力度量,但是对还款意愿和尾部风险关联时无法实现的,而针对金融机构的市场风险更是无能为力,而国内某些高校搞的什么AlphaStock就是一个笑话。而老年人的巴塞尔三监管体系中则是大量根据历史数据来确定了风险值和相应的非预期损失估计,并根据历史经验选择了一个3~4倍乘数。两者之间到底谁对谁错,动物不能上市的关键原因就是无法通过理论证明这一点,本质上两者的差异就是在尾部极端风险关联上,图神经网络、复杂系统仿真(对就是今年诺奖物理奖授予的东西)是解决这个问题的关键性技术,接下来两三年时间估计会花大部分精力在这上面,因为复杂系统仿真本身也是一个需要HPC的场景,例如通过元胞自动机模拟风险传导等,并通过相应的协方差矩阵做相关性约束…

至于以前的NetDAM和Ruta工作,下一步是会在多云场景下基于Ruta框架构建标准的RPC服务和基于Memif直接进行RPC交付,把网络完全藏起来,通过构建标准的内存抽象层来服务应用。

明年cloudza大会开发点啥呢?》来自互联网,仅为收藏学习,如侵权请联系删除。本文URL:http://www.bookhoes.com/3580.html