次日中午,陈默在是食堂刚吃完饭,手机邮箱的提示音就响了。
他点开一看,发件人是郑涛,标题是【面试结果通知】,他的心猛地跳了一下,点开邮件。
【陈默同学,恭喜你通过面试选拔,诚邀你添加实验室,参与相关课题研究,请于7月3日下午两点前,携带学生卡前往实验室报到,面谈后续事宜。】
我中了!
短短一句话,陈默反复看了两三遍,心里那叫一个激动啊。
7月3日,那不就是今天吗?正好学生卡就在身上,他直接骑车前往实验室。
一点左右,他来到实验室门口,敲了敲门。
实验室里周昀起身开门。
“坐吧。”他指了指自己位置旁边的空位。
陈默依言坐下,身体下意识地挺得笔直,能看的出来陈默还是有点紧张的。
“别紧张,咱们就随便聊聊。”周昀看着脸色紧绷的陈默笑了笑,起身给他倒了杯水。
“谢谢老师。”陈默双手接过水杯。
周昀坐回自己的椅子,语气随和地问道:“邮件里时间写得急,没眈误你别的安排吧?”
“没有没有,”陈默连忙摇头,“正好下午没事。”
“那就好。”周的点点头,切入正题,“找你过来,一是正式欢迎你添加,二是想和你聊聊之后的打算,毕竟进了实验室,就意味着要投入大量的时间和精力,和你自己平时看书学习不太一样,需要有个规划,首先一个比较现实的问题,你对未来怎么考虑的?是打算本科毕业就工作,还是有意向继续读研,甚至读博?”
陈默来之前就想过了这个问题,稍微组织了一下语言:“老师,我个人是希望继续深造的,本来我也有考研的打算。”
实验室一个月四千的工资,他现在直接工作拿到手的也未必有这么多,而且他对科研还是很有兴趣的。
周的点点头:“恩,你的天赋很好,我个人也希望你能一直深造下去,至于日常开销方面你也不用担心,咱们实验室的成员,不会产生这方面的顾虑,既然你也愿意深造,那我们接下来就谈谈研究方向的问题,从你的笔试和面试来看,我个人感觉你好象对算法这一块比较感兴趣?”
“是的。”
“好,那我先给你一个课题,你先试着做一做?”象是这种科研小白最好的培养方式就是直接让他参与到某一个具体的问题,在这过程中,去培养他的科研素养。
否则一个科研小白什么都不懂,让他自己去钻研,浪费时间不说,还不一定有效果。
“好。”
周的拉过一块空白的白板,“线性代数学过吧?”
“学过。”
周昀拿起白板笔,在板面上画了两个大方块,分别标上a和b。
“假设现在有两个巨大的矩阵a和b,我们要计算它们的乘积c,这是最基础的计算,但直接按教科书上的三重循环做,效率会非常低,尤其是在gpu这类并行处理器上,所以我们在gpu上做矩阵乘法的时候,需要把大矩阵拆成小块也就是一个个ties,让硬件并行计算,但tiles怎么切分,决定了计算速度和内存效率。
假如把它抽象成一个数学问题,假设a是xk矩阵,b是kxn矩阵,c是xn矩阵,我们要计算c=axb,就要选择一个tile用来分块计算,那么问题来了,我们该如何选择这个tile的大小?也就是这三个参数一一”
“这本质上是一个优化问题,我们需要一个衡量标准,这里引入一个概念:算术强度。”
“计算量很好理解,对于矩阵乘,每个tile的计算量大约是2xt_xt_nxt_k次浮点运算。
内存访问量,粗略估计,我们需要将这三个小块读进来,所以大约是(t_xt_k+t_kxt_
ai越高,意味着我们每从内存搬运一个字节的数据,能完成的计算就越多,我们就越接近处理器理论算力的上限,所以,我们的优化目标,简单说就是在硬件限制下,最大化这个ai。”
这个问题看上去没什么用,实际上意义巨大,如果有了一种最佳的切割方案,就能得到一张“调优表”或缓存,每一种矩阵大小都能映射一种tie配置。
这个表可以直接被编译器调用,生成最高效率的矩阵乘法内核。
这个内核通过一定的处理可以运行在不同的矩阵单元中,比如nvidia的tensorre,ad的fa,tei的xx,这些矩阵单元单从硬件上看其实差距并不大,真正能让cuda一家独大的,是其对硬件的利用率,如果周昀能开发出一个高效的算子库,并且通过编译器运行在不同内核上,就能一定程度打破cuda的拢断,而矩阵运算的ti1e分割,就是他迈出的第一步,不过他自己最近的心思都放在教师智能体上,这方面打算先让陈默自己试试看,按他的估计,这个问题,陈默花点时间应该可以做的出来。
这个工作如果做出来,发一篇顶会没什么问题的。
写完这些,周昀放下笔,转过身看着陈默:“你的第一个课题,就是深入研究这个问题,怎么样?有信心吗?”
“这个”陈默看着黑板上的公式,“我试试!“
“大胆尝试就好,这是个很难的问题,你不必有压力,把它当作一个长期项目来尝试,我们实验室不会强制要求你发多少论文,只要你的工作是有意义的,我都看在眼里,遇到问题,先自己思考,如果卡壳了,随时可以来问我,自己选个位置,然后到一楼104去找一下后勤的赵老师,让他帮你把门禁录一下,再把你的银行卡号学号发给我,以后你的劳务费就从这上面走。”
“好!那我收拾一下东西就搬过来?”
“这都随你。”
实验室有了新人添加,周昀也按照承诺,让郑涛又采购了一台5090满配的计算机,外设,屏幕也全都配好。
陈默的动作也很快,下午的时候就收拾好东西搬了过来,他们大三课本来就不多,有大把的时间可以泡在实验室里。