联系我们
详解安川机器人学习的八大要素
安川机器人学习是大数据、人工智能的核心，是从事这个领域的必经之路。但是懂得算法还远远不能体现机器学习的价值所在。如果你是开发者，方便的机器学习，为你涉入该领域提供了便捷。不过，能够确定一套高商业价值的模型，你需要很长的积淀。总结八个机器学习的核心能力以供把控方向。
1、问题模型化能力
2、复杂数据结构化能力
喂入算法是数据是设计好的，结构化了的数据，但实际数据往往有各种来源，如图像数据、文本数据、空间、事件序列。..故而合理的结构化数据的能力是很有必要的。
3、数据量、数据结构与数据合理预处理的能力
1）数据量VS异常值
所谓异常值，即不是缺失值，也不是错误值，同样是真实情况的表现，之所以觉得一个数据异常，是因为我们能够用到的数据量不够大，无法准确地代表整个此类数据的分布。故当数据量足够大时，异常值不再异常，且提升了数据的覆盖面，如个性化推荐。
2）数据平衡VS采样
如果数据分布均衡，应尽可能避免采样；因为上下采样都有其不利影响，上采样不得当，使得数据中存在大量相同的数据，会导致模型过拟合；下采样则必然减少数据信息量。
数据不平衡时，常见的处理方式有：
简单粗暴地复制小样本数量的样本——容易过拟合；
调整权重——其效果基本近似于上一种；
随机森林，使每棵树训练时的样本均衡；
观察导致样本不均衡的因素，或可在该因素下先分类，再分别训练模型。
4、理解特征、并可以有效转换特征的能力
海量数据特征中，必然有很多特征存在相关性，常常通过降维有效合并相关数据，这样，在防止了过拟合的同时，也缓解了计算机的负担；
有时特征经过转换后，预测效果更佳。如连续变量离散化、重新划分离散区间。..。
也可对特征重要性排序，绘制特征数量增加与模型预测结果的关系曲线。
5、选择适当算法的能力
1） 算法不是越复杂越好的，记住：同样的数据下，当所有模型拟合效果相近时，复杂度越小的算法，带来不必要的麻烦越小，可解释性也相对更高。
2） 在相同算法下，训练的效果会随着数据的增加而增加，但超过一定程度后，训练效果将趋于稳定，此时应该考虑更换复杂度较高的算法。
可以参考下图为数据选择合理的算法。
6、优化损失函数的能力
当数据分布不均、或需要为某个类别增加权重时，就需要调整损失函数的权值参数，或增加惩罚项。如通过在特定的错误类型上，增加更多的惩罚来解释它们的权重
7、模型训练与模型融合的能力
想要训练出一个好的模型参数也不简单，*好对算法参数有较深的理解。可以使用栅格搜索（GridSearchCV）辅助调参，但真正得到的好的参数，还需要与你长期的经验相结合。
有时单一的模型不能很好的拟合数据，此时可以将多个模型融合做训练，常见的模型融合有Boosting、Bagging两种。典型的如Adaboost、随机森林
8、区分经验误差与泛化误差
训练集上的效果不能代表实际效果，要得到好的实际预测效果，及减小泛化误差。交叉验证可以实现这一目的，不过*好还要准备一套数据来验证。通俗理解：交叉验证是高考前的各种模考，而*终测试数据的结果就是高考结果。
