声明
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。
国内刊号：32-1668/N
国际刊号：1671-7775
发布日期:
作者：杨鹤标,胡惊涛,刘芳
单位：(江苏大学 计算机科学与通信工程学院, 江苏 镇江 212013)
关键词： 词向量, 层序Softmax, 增量训练, 矩估计, 梯度迭代
基金： 国家自然科学基金资助项目（61872167）； 江苏省社会发展基金资助项目（BE2017700）
针对词向量训练过程中层序Softmax算法无法进行增量训练及海量数据训练低效的问题,提出了动态层序Softmax算法.通过对数据样本的增量加载,采用结点置换方法动态构建编码树,实现对样本的增量训练.为避免损失函数因样本量较少而呈现震荡式下降,利用梯度的一阶矩估计与二阶矩估计动态调整参数更新方向与学习率,通过梯度迭代缩小权值变化范围和收敛训练误差,提高词向量的训练效率.以维基百科中文语料作为数据进行了试验,完成了训练效率和质量的分析.结果表明：相较于现有方法动态层序Softmax算法显著提高了训练效率,当增量样本大小为10 kB～1 MB时,训练增速有近30倍的提升,有效地缩短训练周期.
来源：2020年第1期
《江苏大学学报(自然科学版)》期刊编辑部
严正声明：本站非期刊官网，非中介代理。
本站仅提供学术规范服务：快速预审、润色编辑服务、中英文查重、降重、去重服务、推荐合适的期刊投稿等学术规范服务。 如需提供学术规范服务请联系在线编辑。