微电子所等开发出基于语义记忆的动态神经网络_动态神经网络

微电子所等开发出基于语义记忆的动态神经网络

2024/9/2 8:38:33 20859: 来源：微电子研究所

摘要：目前，人工智能系统广泛应用的神经网络模型多是静态的。随着数据量不断增长，它在传统数字计算系统中产生大量能耗和时间开销，难以适应外界环境的变化。

　　【仪表网研发快讯】大脑神经网络具有复杂的语义记忆和动态连接性，可将不断变化的输入与庞大记忆中的经验联系起来，高效执行复杂多变的任务。目前，人工智能系统广泛应用的神经网络模型多是静态的。随着数据量不断增长，它在传统数字计算系统中产生大量能耗和时间开销，难以适应外界环境的变化。

　　中国科学院微电子研究所微电子器件与集成技术研发中心刘明院士团队研究员尚大山，联合香港大学博士王中锐、复旦大学博士张续猛，将人工神经网络与大脑的动态可重构性相结合，开发出基于语义记忆的动态神经网络。该网络将新信息与过去的经验信息进行关联，利用输入样本与语义记忆的相似性，为神经网络配备动态连接，从而根据需求分配计算资源。与静态网络相比，语义记动态神经网络能够根据计算资源权衡识别准确性和计算效率，可在资源受限设备或分布式计算环境中展现出色的性能。

　　进一步，该团队基于TaN/TaOx/Ta/TiN阻变存储器阵列，验证了动态神经网络设计在ResNet和PointNet++网络框架上的有效性。研究显示，提取特征的神经网络和语义记忆分别在基于阻变存储器的存内计算和内容寻址存储的组合结构上进行物理实现，缓解了冯·诺依曼计算瓶颈。在对2D图像数据集MNIST和3D点云数据集ModelNet的分类任务中，该设计实现了与软件相当的准确率，相比于静态神经网络减少了48.1%和15.9%的计算量，相比传统数字硬件系统降低了计算能耗。软硬件协同设计研究为开发与大脑的适应性和效率相媲美的人工智能系统提供了参考。

　　近期，相关研究成果发表在《科学进展》(Science Advances)上。研究工作得到国家自然科学基金委员会、科学技术部、中国科学院的支持。