【本站讯】近日,我院王健副教授领衔的“跨媒体大数据”联合实验室分别针对人工智能中神经网络结构复杂、高维大规模数据存在无效和冗余特征、难以获取长时序信息等问题与缺陷,设计出了一系列网络结构优化、大数据特征选择和时序循环神经网络模型,有效改善了上述不足,提高了人工智能模型的学习性能,在人工智能与大数据处理技术研究方面取得系列进展,相关研究成果分别发表在IEEE Transactions on Neural Networks and Learning Systems、IEEE Transactions on Cybernetics和Information Sciences三大人工智能顶级期刊。
题目为《带Group Lasso惩罚与控制冗余的神经网络特征选择》(Feature Selection using a Neural Network With Group Lasso Regularization and Controlled Redundancy)的研究论文发表在人工智能领域权威国际期刊IEEE Transactions on Neural Networks and Learning Systems(T0 期刊,IF: 11.683)。王健副教授和博士生张华清为该论文共同第一作者,我校荣誉教授Nikhil R. Pal院士(印度统计研究所)参与指导,中国石油大学(华东)为第一署名单位。该项工作得到国家自然科学基金、国家科技重大专项、山东自然科学基金、中央高校基础研究经费、中国石油天然气集团公司重大科技项目以及山东省高校青年创新科技支撑计划的资助。特征选择技术也称属性选择,是指从原始特征或属性中选择出最有效的特征或属性以降低数据维度的过程,它是人工智能数据预处理环节的重要步骤,也是大数据处理技术的重要环节。该项工作在神经网络中嵌入Group Lasso惩罚项并实现特征冗余控制,在选出对解决问题最有帮助、蕴含信息量最大的特征或属性的同时,控制所选特征子集的冗余程度,以达到降维的最优效果,从而使模型的泛化能力更强,降低神经网络模型产生过拟合的风险。
图 1.带Group Lasso惩罚与控制冗余的神经网络特征选择
题目为《基于L1正则化的神经网络结构优化模型设计与分析》(Learning Optimized Structure of Neural Networks by Hidden Node Pruning With L1 Regularization)的研究论文发表在国际人工智能领域权威期刊IEEE Transactions on Cybernetics(T0期刊,IF: 10.387)。硕士生谢雪涛和博士生张华清为论文共同第一作者,王健副教授为通讯作者,我校荣誉教授Nikhil R. Pal院士(印度统计研究所)参与指导,中国石油大学(华东)为第一署名单位。该项研究成果得到了国家自然科学基金、山东省自然科学基金和中央高校基本科研业务基金的资助。该项工作借助L1正则子具有的稀疏表达能力,提出两种神经网络结构优化学习模型;本项工作另外一个突出贡献就是提出了一种简单且具有通用性的收敛性证明方法,同时保证了模型设计的合理性。实验结果表明所提出模型具有强大的鲁棒性、广泛的适用性、理想的剪枝能力和良好的泛化能力,适用处理高维大数据。该研究成果在人工智能与深度学习构造最简网络结构方面具有很强的指导作用和应用推广价值。
图 2.基于L1正则化的神经网络结构优化模型设计与分析
题目为《记忆强化循环神经网络模型:共轭梯度学习算法和模型收敛性》(A recalling-enhanced recurrent neural network: Conjugate gradient learning algorithm and its convergence analysis)的研究论文发表在人工智能领域计算机科学TOP期刊Information Sciences(T1 期刊,IF: 5.524)。博士生高涛为该论文第一作者,王健副教授和张凯教授为共同通讯作者,我校特聘教授及兼职博士生导师Jacek M. Zurada院士(美国路易斯维尔大学)参与指导,中国石油大学(华东)为第一署名单位。该项工作得到国家自然科学基金、国家科技重大专项、山东自然科学基金、中央高校基础研究经费、中国石油天然气集团公司重大科技项目以及山东省高校青年创新科技支撑计划的资助。循环神经网络因其结构特殊性,对解决人工智能中时间序列问题具有天然优势。该项工作基于最优化理论设计出一种新型记忆强化循环神经网络模型;为提升算法性能,通过构造自适应共轭梯度法对结构参数进行优化,分别从理论和实践两个方面验证了模型的合理性和有效性。
图 3.记忆强化循环神经网络模型:共轭梯度学习算法和模型收敛性
王健副教授现担任山东省数学会理事、“跨媒体大数据”联合实验室主任,Neural Computing and Applications (T2 期刊, IF: 4.664) 编委,Journal of Applied Computer Science Methods和IEEE Transactions on Neural Networks and Learning Systems(T0 期刊,IF:11.683)副主编。王健副教授领衔的“跨媒体大数据” 联合实验室于2018年3月由中国石油大学(华东)、山东省计算中心(国家超级计算济南中心)联合成立(http://cilab.sci.upc.edu.cn/);印度统计研究所Nikhil R. Pal院士和美国路易斯维尔大学Jacek M. Zurada院士担任实验室荣誉主任,并与实验室开展密切合作。实验室主要从事人工智能领域中神经网络模型设计、神经网络模型理论分析、特征选择、分数阶神经网络和石油工程大数据处理等领域的研究,近年来取得了较为丰硕的科研学术成果。实验室先后获得国家自然科学基金、国家自然科学基金青年项目、山东省重点研发项目、山东省农业厅重大推广项目、山东省自然科学基金、国际合作交流基金等20余项重点科研学术项目的资助,发表学术论文100余篇,其中,SCI收录30余篇,EI收录100余篇,主要理论成果发表于《IEEE Transactions on Neural Networks and Learning Systems》、《IEEE Transactions on Cybernetics》、《Neural Networks》、《Information Sciences》、《IEEE Transactions on Knowledge and Data Engineering》、《SPE Journal》、《Journal of Petroleum Science and Engineering》和《Journal of Natural Gas Science and Engineering》等国际重要期刊。
(理学院 张华清、谢雪涛、高涛)