近日，厦门大学电子科学系/福建省等离子体与磁共振重点实验室屈小波教授团队在神经网络学习权威期刊《IEEE Transactions on Neural Networks and Learning Systems》上发表论文“Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding”(Chunyan Xiong, Chaoxing Zhang, Mengli Lu, Xiaotong Yu, Jian Cao, Zhong Chen, Di Guo, and Xiaobo Qu*, IEEE Transactions on Neural Networks and Learning Systems, DOI: 10.1109/TNNLS.2024.3353795,arXiv:2304.06959, 2024)。
稀疏深度学习重建常采用软阈值函数，但针对软阈值神经网络理论分析严重缺乏。我们设计了一个凸对偶软阈值网络，解决了传统软阈值神经网络难以获得全局最优解的困境，避免了神经网络训练过程依赖于网络参数初始化方式（图1）。我们理论上分析了网络的凸性并理论证明强对偶关系成立，在图像去噪的数据集验证强对偶关系成立、对偶网络不依赖于初始化方式及优化器的选取等。此外，还推导了带并行结构的深层软阈值网络的对偶模型。该工作将为稀疏深度学习重建方法提供理论基础。
图1. 软阈值对偶神经网络特性。（a）常规软阈值网络的非凸目标函数；（b）对偶软阈值的凸目标函数；（c）原始网络和对偶网络的零对偶间隙；（d）对偶网络的凸性避免了局部最优。
该工作博士生熊春燕为第一作者，实验部分由硕士生张超星、卢梦丽等合作完成，论文写作得到硕士生于小烔、博士生曹健、厦门大学电子科学与技术学院陈忠院长、厦门理工学院郭迪教授等共同指导，由屈小波教授担任通信作者。
该工作得到国家自然科学基金（61971361，62122064，62331021和62371410）、福建省自然科学基金（2023J02005和2021J011184）、厦门大学校长基金（20720220063）和厦门大学南强拔尖人才计划资助。
论文链接: http://dx.doi.org/10.1109/TNNLS.2024.3353795
厦门大学计算感知实验室：https://csrc.xmu.edu.cn/index_cn