CASIA OpenIR  > 毕业生  > 硕士学位论文
基于因式分解机模型的非线性分类器设计
其他题名A Nonlinear Classifier Based on Factorization Machines Model
刘晓龙
学位类型工学硕士
导师刘成林 ; 张燕明
2014-11-28
学位授予单位中国科学院大学
学位授予地点中国科学院自动化研究所
学位专业模式识别与智能系统
关键词因式分解机模型 随机梯度下降算法 多项式分类器 支持向量机 Factorization Machines Sgd Pca-pnc Svm
摘要近几年,因式分解机模型成为推荐系统研究领域的一个研究热点,同时也是被广泛应用最主流的算法之一;它的显著特点是具有近似于多项式分类器的非线性分类性能,但其训练和预测的计算复杂度是线性的。在2011年,2012年和2013年的KDD-cup竞赛中,排名靠前的解决方案的组合预测策略中,基于因式分解机的模型起到了主要作用。 本论文针对经典的因式分解机模型,提出将其引入通用分类器设计。通过对因式分解机模型的特性研究,利用随机梯度下降算法,提出了基于因式分解机的通用分类器模型和相应的优化算法,并获得了逼近与多项式分类器的分类性能。 首先,本文从数据组织、模型分析和优化算法三个方面来详细描述和分析了因式分解机模型在推荐系统回归问题中的应用,总结了当前的因式分解机模型的一些研究成果和主要的研究方法与热点。 然后,针对因式分解机模型做出相应的修改,构造了一个通用的两类分类器,并介绍了具体的学习算法和工程实现。同时为了使因式分解机分类器取得更高的分类精度,加快学习速度和适应非平衡数据集下的学习,还对随即梯度下降(SGD)算法做出了相应的改进。 最后,本文在UCI和LIBSVM的多个数据集上,对因式分解机的分类性能进行了测试和评价,同时与子空间上的多项式分类器和支持向量机(线性核和多项式核)进行了比较,对因式分解机分类性能给出了客观的评价。并提出了在下一步针对因式分解机的研究中,有哪些可以关注的方向。
其他摘要In recent years, the Factorization Machines (FMs) model has drawn a lot of attention in the field of Recommender System, and was implemented in many academic competitions and industrial applications. In the KDD-CUP of 2011, 2012, and 2013, the FMs model was widely adopted and yielded impressive performance. In this work, we propose an efficient classification method based on the FMs model. By training the FMs classifier with Stochastic Gradient Descent algorithm, we achieved comparable classification performance with the polynomial classifier. In this thesis, we first analyze the FMs from the points of data construction, model structure and learning algorithm, and summarize the main research achievements about FMs in recent years. Then, we apply the FMs model to classifier design by modifying the structure. To improve the efficiency and convergence of training for FMs classifier, we also modify the standard Stochastic Gradient Descent algorithm accordingly. We conduct extensive experiments on 11 data sets from the UCI Machine Learning Repository and LIBSVM datasets to evaluate the performance of FMs classifier, with comparison with the PCA-PNC (polynomial network classifier with dimensionality reduction by principal component analysis) and SVM (support vector machine) with linear and polynomial kernels. At last, we discuss the possible extensions of FMs classifier.
其他标识符201128014628047
语种中文
文献类型学位论文
条目标识符http://ir.ia.ac.cn/handle/173211/7741
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
刘晓龙. 基于因式分解机模型的非线性分类器设计[D]. 中国科学院自动化研究所. 中国科学院大学,2014.
条目包含的文件
文件名称/大小 文献类型 版本类型 开放类型 使用许可
CASIA_20112801462804(897KB) 暂不开放CC BY-NC-SA请求全文
个性服务
推荐该条目
保存到收藏夹
查看访问统计
导出为Endnote文件
谷歌学术
谷歌学术中相似的文章
[刘晓龙]的文章
百度学术
百度学术中相似的文章
[刘晓龙]的文章
必应学术
必应学术中相似的文章
[刘晓龙]的文章
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。