随机梯度下降分类器算法?

By 陆勤 at 2019-05-31 • 0人收藏 • 80人看过

随机梯度下降(SGD)是一种简单但非常有效的方法,用于凸损失函数诸如(线性)支持向量机和Logistic回归的线性分类器的判别学习。尽管SGD早在机器学习社区中出现,但最近在大规模学习的背景下它已经受到了相当多的关注。


SGD已成功应用于文本分类和自然语言处理中经常遇到的大规模稀疏机器学习问题。由于数据稀疏,SGD分类器可轻松扩展到超过10 ^ 5个训练样例和超过10 ^ 5个特征的问题。


随机梯度下降的优点是:


  • 高效

  • 易于实施


随机梯度下降的缺点包括:


  • SGD需要许多超参数,例如正则化参数和迭代次数

  • SGD对特征缩放很敏感


参考资料


https://scikit-learn.org/stable/modules/sgd.html





登录后方可回帖

信息栏
数据人网是数据人学习、交流和分享的平台,专注于从数据中学习,努力发觉数据之洞见,积极利用数据之价值
Loading...