第(1/3)页 “当网络层数叠加到一定深度,会出现不可逆的梯度衰减、特征退化,浅层的有效特征,会在层层传递中不断丢失、失真、稀释,网络越深,学习能力反而越弱,准确率不升反降。” “基于这个问题,我才将接下来的课题定为深度网络在物理层面的衰减问题,希望能验证我的想法,尝试看看能不能用另一种方式解决这个问题。” 陈星心中狂喜,就是这个! 就是这个点! 何凯明思考的问题,正是他以后名动天下的ReSNet残差网络诞生的前置思考。 就像他说的一样,学术界普遍认为神经网络越深、层数越多,AI 越强,可现实却是网络叠深之后,出现梯度消失、梯度爆炸、性能退化越深、准确率反而越低,学不动。 属于是越学越废。 解决方式也正是何凯明提出来的,直接短路连接、残差跳跃,不用让每一层网络都必须 学完整新特征。 说人话就是允许神经网络 偷懒、进行残缺学习,不需要每层都强行拟合,学不动的部分直接跳过、残差传递。 当然,陈星也是一知半解,他也不会直接告诉何凯明所谓的残差网络,只是引导着问他:“那现在你有解决思路吗?” “有一点,但不多,因为我是刚从计算机视觉转到神经网络不久,还没有完整的构建自己的体系,只是一些粗略想法。” “比如我在想,既然层层传递会不断损耗特征、梯度会逐层消失,那我们未必一定要让每一层网络都强制学习全新的特征。” “如果我们搭建一条旁路直连通道,让原始特征可以跳过部分堆叠层,直接向后传递,让深层网络只需要学习前后的残差差异,是不是就能规避深度衰减的问题?” “不用层层拟合完整特征,只学增量偏差,剩余原始信息直接直通保留。” 陈星心中再次确定。 来了! 没错,就是这个! 这就是未来统治整个AI视觉、深度学习、自动驾驶领域的残差神经网络 ReSNet! 别人还在头疼网络越深越废的行业难题,何凯明已经摸到了下一代AI底层架构的钥匙。 陈星不动声色,按捺住心中的激动,脸上露出欣赏的笑意对何凯明说:“这个思路非常大胆,也极具颠覆性,你尽管放手去做,这个项目我批了,实验室所有算力、数据、资源你可以整理一下交到我这边来。” “我亲自给你审批。” 第(1/3)页