为什么这么说呢?
2014年,巴拉巴拉等人在lst基础上,提出了“注意力机制”,解决了传统“串行到串行模型”的瓶颈问题。
这一创新,为2017年出现的transforr架构,埋下伏笔。
而transforr架构,正是后世大模型的内核架构!
同时,lst在语音识别、机器翻译等领域的成功应用,推动了深度学习框架的优化,
以及gpu加速技术的成熟,为大模型时代奠定了工程基础!
提前布局lst,不仅可帮助极光,在当前创建技术壁垒,更能通过持续迭代演进,为后续切入ai大模型领域,积累宝贵的算法工程经验和数据资产!
而算法和ai,前世今生都是洛川最感兴趣的领域!
同时,如果能提前掌握slt和transforr架构,还可推动国内gpu厂商的研发进度。
比如,入股一家或几家国产gpu厂商,向他们开放模型底层优化须求,推动专用定制芯片的合作研发,从而实现硬件-算法协同优化。
同时联合中芯国际等厂商,推动国产65n/45n工艺与gpu架构同步开发。
此时的中芯国际,已经具备生产65n工艺的能力了。
45n产品刚刚通过良率测试,还需要一段时间才能进入量产阶段。
这也是当前全球gpu厂商,普遍采用的工艺。
比如英伟达的8200和9800系列,采用的就是65n工艺。
之后,通过在悠米社区、悠米视频、微博、云计算平台等高频场景,部署基于国产gpu的lst/transforr模型,验证性能指标,数据持续反哺硬件研发。
其二,基于极光云计算平台,开发类似于英伟达cuda的国产并行计算架构,
向开发者开放支持国产gpu的通用计算api,同时提供免费的开发工具链、教程等,创建开发者社区,构建生态系统。
跟悠米社区的开放平台战略十分类似。
cuda是英伟达于06年推出的,并行计算平台与编程模型。
最初是给游戏开发者用的,但却意外打破了gpu的专用性。
使得gpu从单纯的图形喧染工具,转变为通用计算设备。
如ai训练、科学仿真等。
后世,大模型风潮爆发之后,cuda意外成为了ai领域的“作业系统”。
不过在此时,cuda生态还很稚嫩,英伟达也还没意识到其中的潜力,还是很有机会追赶的。
这就是挂壁的优势同时,洛川还可通过开发重度3d游戏,强制要求游戏引擎深度适配国产gpu的方式,
联合国内的gpu厂商,利用游戏场景的实时喧染须求,强行推动gpu厂商,优化显存带宽、
光线追踪、动态频率调整等技术。
这几项游戏领域的技术,同样也都可应用在ai领域。
比如光线追踪技术,用在游戏里可提升画质,之后却被优化为ai模型的“稀疏计算”,可有效提升ai计算芯片的效率。
动态频率调整技术,用在游戏显卡里,是为了平衡性能与功耗;被移植到数据中心g
pu上,却可降低at训练成本。
而当gpu厂商技术达标之后,还可顺势推出“国产gpu游戏特供版”,通过游戏热度带动销量,反哺硬件研发。
英伟达的gpu,性能领先全球,有很大一部分原因是,初期做游戏显卡,为他们积累了大量的用户和市场份额。
这意味着,英伟达有更多的资金投入研发,更大的用户技术来测试和反馈,从而推动技术更快进步,与竞品拉开差距。
也因此,抢占消费级市场,还是很有必要的。
即便初期国产gpu的性能,大概率还是会落后于英伟达。
但某种程度上说,极光开发的这款游戏,就是为国产gpu量身定做的,想要实现局部超越,那还不是轻轻松松。
至于开发哪款游戏,洛川也已经想好了听洛川洋洋洒洒、慷慨激昂的说了一大堆,宋锦和陈诗瑶都懵了。
宋锦是纯懵。
陈诗瑶则是被惊到了。
她只是想来问个算法问题而已,怎么突然就扯到了什么transforr架构?
然后又进一步演进到,想都没想过的ai大模型??
然后又双从ai大模型,莫明其妙跳转到了国产gpu。。
然后又双从国产gpu,跳转到了重度3d游戏。。
听洛川那意思,他甚至已经规划好,如何推动国产gpu厂商,实现跨越式发展!
就离谱!
更离谱的是,洛川的计划,听起来似乎还蛮靠谱的。。
这家伙的脑袋到底是怎么长的。
也太恐怖了叭。。
看着面前两个满脸痴呆,一点反应也不给的美少女,洛川意兴阑姗的摆摆手。
“得了,该干嘛干嘛去吧,尽快把微博搞定,有什么不懂的自己查论文,查不到就问我。”
“噢。。”
翌日上午。
天气晴。
洛川迎着朝阳做早操的时候,一道突如其来的“在!你!的!心!上!”,吓得他整个一哆嗦,只觉大脑顿时一片清明。
而陪着他看日出的宋锦同学,顿觉若有所得。
扫兴的撇撇嘴,洛川给看入迷的女友丢到床上,随手捞过风情跑马灯手机,接通电话。
“大哥,国内才八点,让不让人睡觉了。”
电话那头,陈博韬不爽的吐槽道:“不是哥们儿,劳资在老美吃不好睡不好,整天忙得跟条狗一样,你跟我说你八点还在睡觉?你还是个人??”
“你特么睡不好你怨谁,鬼知道你大晚上都干什么了~”
“劳资什么也没干!”
“啊对对对,别搁这儿叭叭了,赶紧有事儿说事儿。”帮女友按摩着小细腿,洛川随口道。
“拳头这边谈妥了,2800万美金,60股份,外加国内代理权。”
洛川砸吧砸吧嘴。
稍微有点溢价,但只要能拿下,怎么都是赚,也省得再拖下去,平白多出些幺蛾子。
“成,那就先这样吧,你那边做好交接,尽快赶回来,有新任务交给你。”
“什么任务啊,真就一天都不让休息呗。”陈博韬不满的嘟囊两句。
“成,那给你放两天假,在那边悠着点,别闪着腰~”
“我不知道你在说什么。”
“呵呵。”
挂断电话,洛川惬意的仰躺在柔软的大床上,给女友拽进怀中,吧唧就是两口。
“我看就没有这个必。。唔!!要了吧。。”