姜大校花越听苏飞的问题,眉头皱的越深,她总感觉在哪里见过这个问题,终于她回想起来这熟悉的感觉来源于哪。
这不是我大二的那篇华科院一区论文所尝试攻克的问题么?
看着眼前讲得滔滔不绝的苏飞,姜倾雪表情微微一滞,这货不会是专门看过我的那篇论文来刷好感度的吧?
“……在注意力机制的运算上,无序问题的时空性我觉得是最难解决的,这在自然语言处理领域体现的尤为明显,我想着社长不是自然语言处理领域的么,就想着问问社长……社长,社长,你还在吗?”
苏飞见姜大校花愣在那,在她眼前晃了晃手。
姜倾雪略微有些不好意思:“刚才走神了,抱歉,能不能再说一遍。”
苏飞感到有些意外,姜大校花这种连废话都不喜欢多说一句的以效率优先的人,居然也会走神么。
“从哪里开始?”
“最初开始。”
苏飞:“……”
合着您就压根没听我说什么是吧。
苏飞:“如此这般……那般……”
他又重新说了一遍。
“你的这个问题其实我有尝试解决过。”
姜大校花说到此处,看向苏飞。
苏飞:“额,所以怎么解决的。”
姜倾雪一时摸不准,苏飞是装傻还是真不知道,她只得继续说道:“我并没有完全解决这个问题,而且我研究的不是注意力机制这个方面,而是在其他的模型训练中有遇到过这种信息无序的问题,我当时采用的方法是人为地给每个位置标了一个信息,在计算的时候带入这个信息。”
苏飞:“所以效果如何?”
姜大校花说道:“效果也不能说没有,但极其有限,不过对于我的那篇论文来说,已经足够了。”
苏飞捕获了一个关键词,那篇论文。
“社长,你撰写的那篇论文能不能给我参考下。”
虽然苏飞搜索了近年所有的注意力机制文献,但如果有论文提出了注意力机制相关难题的解决方桉,却以其他模型的标题发论文,那么苏飞搜索不到也是一件很正常的事情。
这种搜索论文没法搜索完全的情况,在学术界其实是一件很正常的事,这也是为什么很多大牛喜欢开研讨会,特别喜欢和不同领域的人交流的原因。
姜倾雪想了想:“明天我把我的论文和当时参考的所有资料一起整理给你吧。”
苏飞连忙道谢,随后道::“社长,你刚才说的没有完全解决,也就是说这个思路应该是正确的,但遇到了一些问题?”
姜倾雪思考了一会儿,点头说道:“最主要的还是位置信息,位置信息如何设置以及位置信息以怎样的方式加入模型输入,这是一个很重要的问题。而我说的没有完全解决,就是在这个问题上我没有处理好。”
说到此处,姜大小姐停顿了一下,随后以一种极其自信地语气,说道:“至于思路,我相信我不会出错,解决信息无序问题的思路必定是引入位置信息。”
这自信的样子,果然不愧是姜大校花。
但引入位置信息这个思路,苏飞也觉得非常靠谱,既然信息是无序的,直观上的第一想法当然是引入位置信息,这种简单清奇的思路与其说是学术方面的积累,倒不如说是第六感的灵光一闪。
果然,姜倾雪的智商被评为25不是没有原因的,她灵光一闪的想法直截了当地戳中了盲点。
如果思路没错,那么任何问题都只需要一张灵感激发卡。