关掉对话框,吴辰打开陈蓓桃写的这篇文章,仔细研读了起来。
除了理论外,里面还有大量计算和模型,他不得不一边计算,一边编程验证。
直到凌晨四点,吴辰才算是搞懂了整篇文章的内核思想。
距离真正的残差网络还差一点,但也只差一点。
没有完成最后的那一步,不是因为陈蓓桃能力不足,而是时代的局限性。
毕竟2008年的当前,深层神经网络的梯度消失问题还没被解决,计算资源也远远达不到训练超深模型的要求。
甚至连alex都还没出现,更别说残差网络了。
一个让学术圈看不到前景的理论,一项让投资人得不到回报的研究,注定只能是天才突然兴起的一个念头。
如果按原本的时间线,陈蓓桃绝对想不出自己做出了什么成果。
如果不是吴辰提起,她估计都想不起来自己还研究过这东西。
但现在,吴辰点上了最后那一点残缺的龙睛。
恒等映射算法。
它可以构建快捷连接,让梯度无损穿越超深度网络的内核,可以说没有它,再深的网络也无法被有效训练,人工智能大模型的深度将永远被禁锢在浅层。
做完这一切,吴辰呼出了系统面板。
【宿主:吴辰】
【当前宿主基础信息如下:】
【技能等级】
【样品商城:复仇一号,小姜1号,启明一号,小姜2号】
【可用生产图纸:启明一号,小姜1号,小姜2号】
【技能点:2827】
不愧是天才大佬。
如果让他自己从零开始将残差网络研究出来,恐怕要花费的时间一星期都不止。
而现在有现成的东西照着去做,几个小时就让他的智力提升了10,人工智能提升了5。
简直就是自己的外挂加速器啊。
想了想,吴辰将补全的文档发给了陈蓓桃,然后又列了几个自己上辈子没了解的理论过去。
发完以后,吴辰想了想又补充了一句。
陈蓓桃没有回消息,也不知道是睡了还是沉浸在研究中。。
小姜2号必须要赶快投产,这样才能尽快实现技术变现,获得更多的技能点。
到时候用来购买样品或者生产线,甚至直接加点在个人属性上,都是不错的选择。
要是自己疯狂堆技能点,把体力点到10级,是不是能一拳打穿王宏发的狗头?
抛开这种奇怪的想法,吴辰洗漱一番后上床睡觉。
-----------------
接下来的几天,他尽量保持规整的作息。
每天早上六点起床跑步,晚上10点钟就上床睡觉,将已经混乱的生物钟调整过来。
毕竟一学期的早八不是闹着玩的。
要是开学后上课迟到,那就是重大教程事故。
让王宏发抓住两三次的话,那吴辰基本上可以滚蛋了。
不过这样规律的生活也有好处。
但最让他意外的惊喜,却是陈蓓桃。
这位真大佬竟然真的放弃snn,转而去研究吴辰提供给他的几个方向。
然后在一星期不到的时间,硬生生的完成了基于图卷积网络的分子性质预测和变分推断收敛性证明的研究。
当她将这两篇论文发给吴辰的时候,字里行间还有些惭愧。
吴辰一时不知道该说什么,只能默默回一句加油。
让他自己从头来做,三个月能做这些都已经是神速了。
将她的研究吸收后,吴辰的人工智能等级又增加了一点。
如果陈蓓桃每周都能完成这么高质量的工作,那他岂不是躺着都能升级?
可惜陈蓓桃有自己的本职工作,而且这两个方向正好是她研究过的,所以才能这么快。
其他的研究就只能慢慢磨了。
但无论如何,陈蓓桃这两项关键的算法研究,再加之吴辰自己对位置编码的研究,终于算是彻底完成了继word2vec后,通往transforr架构的另一个关键点:
注意力机制的数学基础框架!
完成了它,就相当于为注意力机制的落地扫清了理论障碍,让后续的多头注意力、位置编码等内核组件有了严谨的数学支撑,不再是单纯的工程尝试。
只要再将多头注意力的并行计算优化、位置编码的高效实现方案、层归一化的工程化改进、前馈网络的激活函数适配、跨层注意力交互机制这几个大理论完成,那2025年的人工智能就能提前面世了!
届时,他将亲自向世人宣告人工智能时代的到来!
当然,这并不是一件容易的事。
但如果自己能聚集起来一群象陈蓓桃这样的聪明人,那这个未来,应该不会太远。
-----------------
不过在吴辰开启伟大航路之前,他根本没机会遇到那么多聪明人,而是要和一群萌萌哒大一新生打成一片。
不管他在外边开公司也好,投论文也罢,他都要面对身为一个老师的本职任务:
教书,育人。
其实能进入小和山工业大学的学生,在学习能力还是没有问题的。
但是对计算机学院的老师们来说,这个问题很大。
因为有许多学生,连基本的计算机都不会用!
这种事情发生在两个阶段。
一种是发生在21世纪初的几年,那时候穷,除了去网吧,能在家中买一台计算机的家庭都不算多,更别说来自偏远地区的学生了。
另一种则是二十年后,有不少大学生是只会玩手机,不会用计算机。
而吴辰负责的c语言专业课,就面临着第一种情况。
一早上5节课,两个班总共60人,也只有3个学生配置好了基础开发环境。
吴辰倒是没有不耐烦,不过下课的时候也有一丝无力感,想睡觉。
做个负责任的老师不是一件容易的事,所以有些人要么选择摸鱼,要么选择专心搞科研。
上课?
交给助教不就好了?
如果非要选择,发论文和拉课题经费才是头等大事。
吴辰当然不会做出这种事。
中午去学校食堂随便吃了口饭,他便提前来到了要上课的实验室。
下午是大三的学生,情况应该会好很多。
到了以后,吴辰便打开讲台上的教程机开始做准备。
刚弄了没一会儿,外边便传来了脚步声,是有上课的学生来了。
吴辰看了一眼计算机右下角的时间。
12点50。
下午是1点30上课,大三的学生已经老油条了,很少会提前这么久来教室。
看来遇到好学生了。
吴辰胡思乱想着,抬头朝门口看去。
然后就和一双明媚的眼睛对视在了一起。
好漂亮的女孩子!
看清楚脸后,就连吴辰也在心底赞叹了一声。