神经编码是指大脑将外界刺激（如视觉、嗅觉）转化为神经元脉冲响应的过程，是脑科学研究的关键问题，也对机器视觉和机器感知意义重大。大脑中所接收的信息超过70%都是来自于视觉系统，视网膜作为心灵之窗，是生物视觉信息处理的第一站，负责对时空中不断变化的可见光进行实时编码。目前已经提出了很多模拟生物视网膜的信息编码模型，但仅处理简单或静态图像刺激，并且局限于小规模神经元群，不能有效表征真实视网膜处理动态自然场景的过程。

为了突破上述瓶颈，北京大学信息科学技术学院计算机系、数字视频编解码技术国家工程实验室黄铁军教授课题组提出并实现了一种基于卷积循环神经网络的视网膜编码模型，能够高精度地预测大规模视网膜神经节细胞对动态自然场景的响应，同时可以学习出各个神经节细胞的感受野。所提出的卷积循环编码网络除了在结构上更加接近视网膜，还可以使用更少的参数学习出精度更高的编码模型。实验结果揭示了网络的循环连接结构是影响视网膜编码的关键因素。这一模型不仅具有生物学价值，而且对设计新一代脉冲视觉模型、芯片乃至研制视网膜假体都具有重要意义。

视网膜结构与对应的卷积循环编码网络

相关成果以“通过卷积循环神经网络揭示对动态自然刺激的神经编码（Unravelling neural coding of dynamic natural visual scenes via convolutional recurrent neural networks）”为题，近日发表在《细胞·模式》（Cell Patterns, DOI: 10.1016/j.patter.2021.100350）。计算机系2017级博士研究生郑雅菁为论文的第一作者，主要合作者为人工智能研究院余肇飞研究员和英国利兹大学的Jian K. Liu研究员等。

这一计算机科学与生命科学交叉成果的取得，源于北京大学学科全面的综合优势和跨学科交叉的特色。黄铁军课题组从2015年开始与生命学院唐世明课题组、基础医学部濮鸣亮课题组等开展交叉合作研究，2018年共同组建的“类脑视觉”团队获批科技部创新人才推进计划重点领域创新团队。这一研究工作还得到了国家自然科学基金基础科学中心、牛顿高级学者基金等的大力支持。