基于动态外存储器的神经网络混合计算

发表在自然2016年10月,我们介绍了一种记忆增强神经网络,称为可微神经计算机(DNC)。证明了它可以学会用记忆来回答复杂的问题,结构化数据,包括人工生成的故事,家谱,甚至还有伦敦地铁的地图。DNC代码在DeepMind的Github存储库中可用。亚搏体育投注在这里.

神经网络擅长模式识别和快速,反应式决策,但是,我们只是刚刚开始建立可以缓慢思考的神经网络——也就是说,故意或理性地运用知识。我们展示了如何将神经网络和记忆系统结合起来,使学习机器能够快速存储知识并灵活地推理。这些模型,我们称之为可微神经计算机(dncs)。可以从神经网络之类的例子中学习,但它们也可以像计算机一样存储复杂的数据。

当我们设计dncs时,我们希望机器能够学会自己形成和导航复杂的数据结构。DNC的核心是一个称为控制器的神经网络,类似于计算机中的处理器。控制器负责接收输入,读写记忆,产生可以解释为答案的输出。

可辨别的神经计算机学习如何使用记忆,以及如何从零开始产生完整的答案。他们利用优化的魔力学会了这样做:当一个dnc产生一个答案时,我们将答案与期望的正确答案进行比较。随着时间的推移,控制器学习生成越来越接近正确答案的答案。在这个过程中,它知道如何使用它的内存。

我们希望dncs既能为计算机科学提供一个新的工具,又能为认知科学和神经科学提供一个新的隐喻:这是一个学习机器,无需事先编程,能够将信息组织成相关事实,并利用这些事实解决问题。