第(1/3)页 成文飞指了指桌上的智能音箱样机,轻声叹了口气:“你看,现在我们写的这所有神经网络,从数学本质上讲,全都是无状态的函数映射。” “你给它输入一批数据,它经过前向传播给你输出一个预测结果,算完这一步,网络里所有的激活值就全部清空了,做完就忘。” “每一次推理都是完全割裂、彼此独立的,它根本没有持久的记忆。” 成文飞走到实验台前,手指轻轻抚过这个工程音箱的外壳,动作轻柔的就像是在抚摸一个孩子一般。 像是在对何凯明做技术剖析,又像是在对自己内心深处的执念自言自语道: “如果我们只是想做一个听懂‘打开客厅空调’、‘播放周杰伦的歌’的语音遥控器,那无状态函数就完全够用了。” “但如果我们想要的,是一个能够跟人持续聊天、拥有连贯稳定的人格、清楚记得你们上个月聊过什么话题、甚至拥有属于她自己独有回忆的人工智能呢?” 何凯明愣了一下,顺着成文飞的思路往下深想,眉头也渐渐皱了起来: “残差结构本身确实完全不自带记忆功能,要想让一个深度网络拥有连续的记忆,我们就必须跳出单纯的分类网络,去解决序列建模的问题。” “不仅需要长短期记忆网络那样的隐状态传递,未来甚至还需要构建独立的外部记忆库、全局状态管理机制,以及足够长的上下文窗口和检索增强系统……” “是啊,路还长着呢,一步一步来吧。” 成文飞隐藏起自己的情绪,拍了拍手,把话题拉回了眼前的工程现实。 “而且就算我们现在把这些算法的理论图纸全都画出来,光靠咱们机房里现有的这些英伟达计算卡,也根本跑不动!残差结构让模型可以无限变深、变大,但更深、参数量更大的模型,单卡显存连塞都塞不下,更别提训练了。” 一提到算力和硬件瓶颈,何凯明也泄气了,苦着脸吐槽道: 第(1/3)页