转行数据挖掘和机器学习# DataSciences - 数据科学
z*8
1 楼
原文链接：
http://mp.weixin.qq.com/s?__biz=MzIzODExMDE5MA==&mid=403826129&
半年前从数学专业转行到了互联网行业做数据挖掘和推荐系统，在做具体的业务的时候
遇到了一些知识点，于是自己整理出来。如果有后来人需要转行的话，可以用这份资料
来参考一下。大牛请忽视以下的内容，小白可以参考下。
从数学专业转行到工业界做数据挖掘需要的知识储备：
1. Hadoop，HIVE，SQL数据库操作。
Hive用于提取数据，做基本的数据分析。hive的基本函数，比如聚合函数，数学函数，
字符串的函数，连接表格函数等。hive的各种语句，比如if else，case等语句。
EXCEL的基本操作需要掌握，可以进行各种数据的处理、统计分析和辅助决策操作，用
熟悉了其实挺方便的。
2.编程语言
编程语言最好会python，c/c++，或者java，至少一种。做机器学习的话感觉用python
会多一些。
3.操作系统
Linux系统，脚本语言Shell。
4. 数据挖掘和机器学习的基础知识和算法
逻辑回归算法 Logistic Regression（LR），
支持向量机算法 Support Vector Machine（SVM），
物质扩散和热传导算法（Heat Spreading），
Gradient Boosting Decision Tree（GBDT），
聚类算法，神经网络算法，决策树，随机森林，异常值检测等常用算法需要掌握。
特征工程的基础知识：根据相应的产品进行必要的特征构造，物品特征，交叉特征等。
其中LR使用广泛：由于LR是使用线性方法来处理非线性的问题，导致特征工程十分复杂
，交叉项多（二维或者三维的交叉）。
工程上的最优化论文推荐：
Ad Click Prediction a View from the Trenches
需要了解的是相关论文的背景SGD算法，Truncated Gradient算法，RDA算法，FOBOS算
法，FTRL算法等。
5. 统计学：
时间序列模型，变量的相关系数，ROC曲线和AUC，交叉验证，主成分分析。
6. 大数据，推荐系统，计算广告学的科普书籍
http://mp.weixin.qq.com/s?__biz=MzIzODExMDE5MA==&mid=403826129&
半年前从数学专业转行到了互联网行业做数据挖掘和推荐系统，在做具体的业务的时候
遇到了一些知识点，于是自己整理出来。如果有后来人需要转行的话，可以用这份资料
来参考一下。大牛请忽视以下的内容，小白可以参考下。
从数学专业转行到工业界做数据挖掘需要的知识储备：
1. Hadoop，HIVE，SQL数据库操作。
Hive用于提取数据，做基本的数据分析。hive的基本函数，比如聚合函数，数学函数，
字符串的函数，连接表格函数等。hive的各种语句，比如if else，case等语句。
EXCEL的基本操作需要掌握，可以进行各种数据的处理、统计分析和辅助决策操作，用
熟悉了其实挺方便的。
2.编程语言
编程语言最好会python，c/c++，或者java，至少一种。做机器学习的话感觉用python
会多一些。
3.操作系统
Linux系统，脚本语言Shell。
4. 数据挖掘和机器学习的基础知识和算法
逻辑回归算法 Logistic Regression（LR），
支持向量机算法 Support Vector Machine（SVM），
物质扩散和热传导算法（Heat Spreading），
Gradient Boosting Decision Tree（GBDT），
聚类算法，神经网络算法，决策树，随机森林，异常值检测等常用算法需要掌握。
特征工程的基础知识：根据相应的产品进行必要的特征构造，物品特征，交叉特征等。
其中LR使用广泛：由于LR是使用线性方法来处理非线性的问题，导致特征工程十分复杂
，交叉项多（二维或者三维的交叉）。
工程上的最优化论文推荐：
Ad Click Prediction a View from the Trenches
需要了解的是相关论文的背景SGD算法，Truncated Gradient算法，RDA算法，FOBOS算
法，FTRL算法等。
5. 统计学：
时间序列模型，变量的相关系数，ROC曲线和AUC，交叉验证，主成分分析。
6. 大数据，推荐系统，计算广告学的科普书籍
