等女友拾掇好,品尝一番菠萝味的唇膏,两人这才晃晃悠悠下楼,赶往张江高科技园区,极光云总部。
公司自研的专用a1加速卡,骄阳100,已经开始小规模部署。
微光1明天才开售,闲来无事,洛川索性过来瞧瞧热闹,顺便和王建教授聊一聊,后续的研发路径。
骄阳100,是基于risc-v开源架构,定制的专用硬件架构。
并针对lst的时序计算模块,以及transforr的自注意力并行计算单元,专门定制了硬件单元。
如专门加速矩阵乘法、门控运算的电路等。
这使得骄阳100,天生就适配这两种模型的计算逻辑。
前者已经初步应用于语音识别、信息流内容推荐等领域。
后者在学术界,已经有了基础理论,但还没形成完整的transforr模型概念。
不过在洛先知的指引下,这两种架构,已经初步运用到了极光旗下的各个平台之中。
当前,ai仍处于深度学习崛起初期。
为数不多的玩家,基本都是通过fpga加速卡或cpu做ai加速,连gpu加速都刚起步。
fpga加速卡,可简单理解为“万能积木电路板”。
它的特点是,硬件电路不是固定死的,而是像积木一样,可以现场编程,通过软件临时“拼”出适合当前任务的电路。
属于“样样通,样样松”。
不过当前的ai模型,处于百花齐放的阶段,没有统一标准。
fpga加速卡可快速适配不同算法的特性,倒也算是契合当下的状态。
而极光自研的“骄阳10o”专属高速芯片”
直接跳过了“通用可编程”的路线,牺牲部分通用性,换取这两种模型的极致效率。
同样算力下,功耗更低,速度更快。
比如,训练一个语言模型时,同样的数据量,骄阳100的速度比cpu快10倍以上,比fpga快5倍以上!
且由于不需要象fpga那样“万能积木”式的通用电路,硬件更加精简,功耗至少可降低30以上,大幅降低计算成本。
之所以选择这种极端路线,是因为洛川清楚的知道,这两种模型,正是未来ai大模型的内核。
transforr架构,更是大模型的内核底座!
当然,初代产品的性能,不论是算力,还是能效比、内存带宽等,都还远远不足以支撑超大规模分布式训练,仍需继续优化迭代。
不过倒是可以先搞一个“亿级参数模型”玩玩目前,他们已经在数据中心划出了独立集群,小规模部署骄阳100,适配极光云的特定业务,
以验证算力卡的实际性能。
如悠米视频的视频理解模型,悠米社区、极光微博的文本分类模型,微光基金的数据分析模型等等。
等世博会那边谈妥之后,也会单独构建一个模型。
而后针对实验中发现的问题,以及海量数据的反哺,持续优化选代。
等稳定性和兼容性达标后,再向内核业务推广。
如极光云的通用ai算力租贷、口袋钱包的数据分析等等。
此外,还需要开发一套,类似于英伟达cuda的并行计算架构,以及专用的全流程工具链,兼容cuda代码迁移。
并创建开发者社区,培育自家开放生态。
至于下一步的升级选代路径,洛川也已经有了大致思路。
即采用更先进的制程,提升算力密度的同时,引入存算一体架构。
就相当于把计算单元和内存“粘在一起”,数据不用来回搬运,直接在内存里算,可有效解决模型的“内存墙”问题。
如此一来,算力可瞬间提升数倍,功耗也大幅降低。
同时还需开发“云-芯协同”协议,并进一步优化芯片间的高速互联协议,以实现千卡级集群的分布式训练。
之后再引入异构计算架构,集成专用ai单元+通用cpu内核。
这种混合计算模式,有些类似于后世英伟达的安培架构。
复杂任务由cpu调度,内核计算交给ai单元,兼顾效率和灵活性。
同步开发chiplet封装技术,把多个小芯片,如算力单元、内存控制器等,像拼图一样封装在一起。
算力升数倍,同时也降低了研发成本。
再之后,继续沿着算力、带宽、通用性、生态的路径,持续迭代即可,逐步走向大模型时代,
可以说是安排的明明白白王建教授算是有的忙了而洛川需要负责的,就是持续提供“灵感”。
以及持续掏钱。
很多很多钱。。
跟团队的几位内核技术骨干,头脑风暴了半天,统一后续的研发思路之后,洛川便随着王建教授,溜达回办公室。
宋锦同学正叼着一瓶酸奶,惬意的倚靠着老板椅追剧。
身前办公桌上,还摆着一个水果拼盘,一杯奶茶,几袋薯片和妙脆角。
见两人回来,也只是抬了抬下巴,算是打过招呼,然后继续嘬着酸奶追剧。
纯特么死废宅。。
好在这小老娘们儿,还知道这儿不是自己的办公室,没脱鞋翘起二郎腿。
丢给女友一记白眼,洛川也懒得念叻她,跟王建教授商议起极光云出海的相关事宜。
当前,海外云计算市场,处于三级分化状态。
亚马逊云aws,凭借先发优势和全栈服务,通过降价和生态合作等方式,占据70的as市场份额,处于绝对领先地位。
今年第一季度营收,便超过4亿美元,
第二梯队是企业级玩家。
如微软、ib等通过传统it渠道,主打企业级市场。
谷歌则专注于初创企业、开发者市场。
第三梯队,则是开源阵营。
如openrackspace联合nasa推出的openstack社区,试图通过开源挑战aws的拢断地位。
至于国内,自然是极光云一家独大。
bat三家,外加华威,正在紧锣密鼓研发当中。
进军海外市场这件事儿,是王建教授提议的,洛川本身其实并没有太大的兴趣。
技术方面,他还是蛮有信心的。
前世,直到13年,dotcloud公司开源docker容器化技术,引爆容器化革命,各大云服务厂商才实现容器化部署。
将应用部署时间,从小时级缩短到分钟级,效率大幅提升。
但想在海外市场混,可不是单凭技术优势就能解决的,更是法律、文化、生态的综合博弈。
合规审查风险、本土化运营的隐性门坎、巴拉巴拉,想想都让人头大。
不过反正也不需要他操心,爱咋咋滴吧躺赢就完了~