第(2/3)页

    “我明白您的意思。”何凯明接过话头，思索着说道：

    “我们需要更好的特征表达和多尺度融合机制。”

    “把低层的精细空间信息和深层的高级语义信息结合起来，比如构建一种特征金字塔结构，或者引入空洞卷积来扩大感受野。

    甚至……我们可以尝试在卷积层之间，加入一种类似人类视觉聚焦的权重分配机制，也就是注意力的雏形，让网络自己学会该重点看哪里。”

    成文飞顺着何凯明的思路往下延伸，提出了一个更具颠覆性的问题：

    “多尺度融合确实是一条必经之路，但凯明，我这两天在想另一个更核心的问题，表征迁移，也就是迁移学习。”

    “你想想看，咱们用深层残差网络在千万级的大数据集上，千辛万苦训练出来的底层视觉特征，能不能直接挪到别的小任务上去用？”

    何凯明眼睛一亮：“您是说……预训练加微调？！”

    “对！就是预训练！”

    成文飞这会的神色变得格外认真：“如果每次做一个新任务，比如从人脸识别换成自动驾驶的车道线检测，或者做医学影像分割，我们都要重新收集几百万张标注图片从零开始训练，那人工智能的落地成本就太高昂了！”

    “残差网络真正能够改变整个行业的，绝不仅仅是它能训得很深，而是它有潜力变成一个通用的视觉底座！我们先在超大规模数据集上完成预训练，之后只需要用极少量的特定行业数据进行微调，就能迅速适配分类、检测、分割等所有下游任务！”

    说完这番话，成文飞转过身，看着窗外园区里郁郁葱葱的树冠，心里突然涌起了一阵强烈的悸动。

    先用海量的数据让深层网络学到通用的底层世界知识，然后再拿少量的数据去微调适配具体的对话任务……

    这套预训练加微调的迁移学习范式，今天可以用在计算机视觉的CNN网络上，那明天呢？

    如果有一天，算力足够庞大，架构足够先进，把这套思想原封不动地平移到自然语言处理上。
    第(2/3)页