023小说网 > 玄幻魔法 > 科研系学霸 > 第98章 突然‘抽风’

第98章 突然‘抽风’(1 / 1)

攻击演化模型完成之后,接下来就是‘玄武”防御平台的搭建,整个系统的内核其实就是一个ai防御大模型,模型的整体架构也早就设计好了,缺的就是‘攻击数据’了。

现在攻击数据有了,接下来要做的就是训练了,模型的主体方面依旧由周的负责,剩下的人除了一个五人小组负责数据的整理,其他人的工作重心全部都放到了‘玄武”防御平台的搭建上。

本来周的以为项目就这样能够顺利推进下去,但是科研自然不可能永远都是一帆风顺。

在“腾蛇”提供的近乎无限的攻击数据的喂养下,防御模型的训练任务在超算平台上全功率运转了数日。

起初,一切看起来都非常美好,损失函数曲线平稳下降,验证集上的各项指标节节攀升,很快就达到了一个令人惊叹的高点。

项目组成员们看着实验日志上如此优美的曲线,都觉得胜利在望,不过就在今天,也就是实验进行的第四天,问题出现了。

几乎所有组别的实验都在准确率达到一个高点之后,就开始在一个区间内毫无规律地剧烈抖动,前一秒还在99,下一秒就可能暴跌至70,就象是心电图一样。

发现了这一现象的工程师很快汇报给了周的。

“周总,实验出问题了。”

周昀看着屏幕上不断跳动的性能指标皱了皱眉:“你让开,我看一下。”

工程师连忙起身让座,周的坐下后,调取了实验日志,里面有更加详细的实验数据的记录。

“奇怪,损失函数的震荡幅度这么大”他一边翻阅数据,一边自言自语,“而且这个波动模式,不象是常见的过拟合现象。”

手指轻轻敲打看鼠标,不断翻阅看试验记录。

“前面还好好的,怎么突然就抽风了呢?”旁边几位工程师也从来没见过这种情况。

周的想了一会,对身边的工程师说道:“你让张工过来一下,让他把计算机带过来。”

几分钟后,负责‘腾蛇”数据整理的小组长张工匆匆赶来,手里还拿着一台笔记本计算机:“周总,您找我?”

“恩,你把你们整理的‘攻击”数据给我看看。”

“好的,都在这里了。”他在键盘上敲了几下,将计算机交给周昀。

周的翻了一下,心中大概有了猜测:“先停止训练吧,我怀疑可能是数据的问题,可能要对模型做一些调整。”

几人都有些不明白,他们还一点思路都没有,周的这就找到问题所在了?

“周总,能不能说说问题出在哪了?”

周的点点头:”“腾蛇”本身是一个攻击生成模型,虽然我们可以设置它最终的攻击目的,但是我们无法控制它达成这个目的的方式,这也就导致了,它可能生成互相矛盾,但是又能够达成相同目的的攻击方式。”

他指了指最近24小时‘蛇”生成的新型攻击数据的特征分布直方图,“这就能很明显地看得出来,最近的数据里,这些攻击的攻击模式非常的矛盾,我觉得这就是导致模型突然抽风的原因。”

众人都不由地点了点头,这样的话,他们倒是能够理解了。

“那我们能不能给‘蛇”加一些约束,让它别生成这么矛盾的数据?

周的摇了摇头:“约束会限制‘腾蛇”的创造力,我们宁愿防御模型自己学会消化这些奇怪的数据,也不能让“腾蛇”的潜力被框住。”

除此之外,他还想到了一个非常重要的漏洞,之前无论什么模型都好,训练的数据集都是有限的,但是对这个模型来说,它的训练集是无限的,虽然现在没有出现‘遗忘”问题,但是根据他的估计,迟早会发生的,早,晚的区别罢了。

“先把训练任务停一下,等会儿我发几个测试方案,你们跑一下。”周的将笔记本还给张工,快步走回办公室,准备对模型进行修改。

回到办公室,周的拿出一张白纸,开始写写画画,问题已经很清楚了,模型目前的架构无法消化特征上存在矛盾的海量攻击数据,有一个非常简单的想法就是,多训练几个子模型,然后将结果汇总,这种方法固然简单,但周的不想用,这种方法治标治标不治本,多个子系统势必会带来参数量爆炸、决策延迟增加以及模型间责任分散的新问题。

很快他就想到了自己的毕业论文,既然连不同模态的数据都能映射到同一个高维空间,没道理网络流量不行,它们的数据形式甚至都是一样的。

思路逐渐清淅起来,一个个数学公式被他写到纸上。

大概写满了十几张之后,周昀放下笔:“应该可以了。”

又整理了一下思路,他开始将内核算法进行代码实现,几个小时后,他将重新设计的关键模块代码和说明发给了负责模型实现的工程师。

为了确保他们都能理解自己的思路,周的还特地拉着他们开了个会,算法中的很多参数都需要和模型的其他部分进行关联,如果不能完全理解他的算法,很有可能会出现问题。

经过了大概一天的修改,模型再次进行训练。

同样是四天之后,这次并没有发生上一次的‘抽风”现象,损失函数下降得依旧很稳定。

大家看着大屏幕上实时更新的训练曲线,这次的曲线确实平滑了很多,堪称是非常的优雅!

“恩,如果五天之后没有问题,就接入‘玄武’平台吧,他们那边已经完成的差不多了。”

这个模型的运行模式比较特殊,它可以做到在线更新,也就是边训练,边使用,它无时无刻不在发生着进化。

五天后,模型的训练曲线依旧平稳,不过因为其本身性能已经很强了,哪怕还在继续训练,在测试集上也几乎看不见什么提升了。

“周总,验收通过了,可以准备接入了。

“好,按照原计划,将其接入‘玄武”防御平台。”

整个接入大概需要半个月左右的时间,因为在模型完成接入之后还需要对整个模型进行各种测试,以保证其能够稳定运行,这个测试也是非常耗时间的。

测试完之后还有一个修改的阶段,这么大一个项目,代码里不可能一点没有bug,接下来的工作只会更加枯燥。

章节报错(免登录)
最新小说: 九霄至尊 天命反派,开局强娶黑丝女神! 大婚当天去照顾师弟,我走你哭啥 玄幻:生来无敌,一眼秒杀仙帝 叠加职业,成就武神 在时空中流浪的军队 多子多福:这个世界美女太多 万物驭灵 从法爷开始的异世界之旅 从皇天命格开始高武成神