第(2/3)页

    “咱们现在训这个62层的网络，光是做跨卡的数据同步和梯度汇总，通信延迟就吃掉了将近四成的计算时间！那帮做游戏显卡的海外厂商，底层驱动根本就没有为超深层神经网络的并行计算做过专门优化。

    这些天我每天写算法的时间，还没帮工程组那帮兄弟调试显卡通信的时间多呢！再这么折腾下去，我感觉我都成工程组的，而不是算法组的了。”

    “别抱怨了，咱们苦日子马上就要熬出头了。”

    成文飞笑了笑，压低声音透露了一个消息：“昨天陆远江陆教授告诉我，他们团队专门为我们人工智能实验室做的第一代高通量张量算力卡，RC-1401已经在台积电完成流片封装，最快下个礼拜就能把第一批工程样卡送回深城！”

    “新卡有24 组通用计算簇和12GB GDDR5显存，位宽也达到了384bit。”

    “FP32可以达到4.1 TFLOPS。”

    “等我们拿到第一批工程样卡进行上机测试，只要验证没问题，就可以立刻拉上软件工程组的人，一起动手解决分布式训练的框架和集群调度问题了。”

    何凯明听着这个参数，脸上露出惊喜的表情，不过随即又有点遗憾的说：“显存感觉有点低啊，只有12G，目前来说是够用了，明年随着参数的指数级增加，可就不一定够用了。”

    说完这句，何凯明以为成文飞会和自己一样感觉显存低，没想到的是他竟然露出一个笑容，然后小声的说道：

    “凯明，现在显存小点不怕，反正这卡属于第一代，也是我们陆教授团队解决从成都到1的卡，未来可就不一定了。”

    “哦？”何凯明也来了兴趣，追问道：“公司难道有什么新技术能大规模提高显存？”

    “陈总给我透露了点，去年咱们无冬大师在硅片上打了一个世界上最光滑，最直的孔，目前化学研发中心，还有半导体工艺团队，正在全力攻坚这个孔。”

    何凯明主要是做算法的，他对半导体工艺不是特别了解，有点路易十六挠头的继续问道：“硅片打孔？和咱们要的显存有啥关系。”

    “哈哈，这你就不懂了吧？”成文飞组织了一下语言，用比较简单的话解释道：“有了这个孔，就可以把显存裸die像搭积木一样封装起来，走线就可以走在内部或者中介层，这样一颗显存颗粒内部，就可以封装N个裸片，而且因为是内部走线，延迟和漏电会非常低。”
    第(2/3)页