近日，理学院统计机器学习小组（SMaLL）在深度神经网络优化领域取得新进展。两项相关成果分别发表于《IEEE Transactions on Neural Networks and Learning Systems》和《Expert Systems with Applications》。论文“NGDE: A Niching-based Gradient-directed Evolution Algorithm for Non-convex Optimization”第一作者为博士研究生于琪，通讯作者为梁锡军副教授；论文“GEGAN: Gradient-guided Evolutionary Algorithm for Training Generative Adversarial Networks”第一作者为硕士研究生贾雯雯和博士研究生于琪，通讯作者为梁锡军副教授。两项研究工作得到国家重点研发计划、山东省自然科学基金支持。

在深度神经网络优化方面，作者提出了一种基于小生境的梯度导向进化算法NGDE。该方法将候选解划分至多个子域并行探索，并利用所设计的梯度定向突变算子协同更新，有效克服了梯度方法易陷入局部最优和进化算法计算成本过高的问题。在LeNet-5等网络训练任务中，NGDE显著提升了分类精度，在样本量不足的条件下优势较为显著。

在生成对抗网络优化方面，小组构建了梯度引导的进化框架GEGAN。该框架通过隐式梯度方向协同更新生成器，并借助接受–拒绝机制确保代际改进，使算法兼具良好的全局探索与局部收敛的能力。理论分析表明，算法在合理的条件下所产生的迭代种群的最优解可收敛到目标函数的近似局部均衡点。在多个基准对比实验上，算法的图像生成质量与多样性均达到领先水平。

近年来，统计机器学习小组（SMaLL）聚焦深度神经网络的优化算法及目标检测应用研究，已在《IEEE Transactions on Neural Networks and Learning Systems》、《Expert Systems with Applications》、《Engineering Applications of Artificial Intelligence》及《European Journal of Operational Research》等期刊发表多篇论文，推进了该方向的研究进展。

论文链接：

https://ieeexplore.ieee.org/document/10499905/

https://www.sciencedirect.com/science/article/abs/pii/S0957417426001703

供稿：赵振华

编辑：王辰

审核：刘学锋