怎么处理categorical variable有很多个level的# DataSciences - 数据科学
m*n
1 楼
直接做出那么多个dummy？比如50个州
那是相当于引进了很多个变量吧
这会overfit的吧？
那是相当于引进了很多个变量吧
这会overfit的吧？
t*g
2 楼
大概可以做个grouping，就是把很多category group到一起，在nlp里面有个比较常用
的方法是one hot encoding
的方法是one hot encoding
s*h
3 楼
数据够大就不用担心。
regularization就是派这个用处的。
用标准的train,validate,test流程可以控制overfit
【在 m******n 的大作中提到】
: 直接做出那么多个dummy？比如50个州
: 那是相当于引进了很多个变量吧
: 这会overfit的吧？
regularization就是派这个用处的。
用标准的train,validate,test流程可以控制overfit
【在 m******n 的大作中提到】
: 直接做出那么多个dummy？比如50个州
: 那是相当于引进了很多个变量吧
: 这会overfit的吧？
s*h
4 楼
hash?
比如按hash function a，搞出3个categories
比如按hash function b，搞出3个categories
这样总共就是6个额外的变量，而不是50个？
比如按hash function a，搞出3个categories
比如按hash function b，搞出3个categories
这样总共就是6个额外的变量，而不是50个？
N*N
5 楼
fyi
http://www.willmcginnis.com/2016/02/24/beyond-one-hot-sklearn-t
【在 m******n 的大作中提到】
: 直接做出那么多个dummy？比如50个州
: 那是相当于引进了很多个变量吧
: 这会overfit的吧？
http://www.willmcginnis.com/2016/02/24/beyond-one-hot-sklearn-t
【在 m******n 的大作中提到】
: 直接做出那么多个dummy？比如50个州
: 那是相当于引进了很多个变量吧
: 这会overfit的吧？
g*e
6 楼
Try to standardize the data and use group average as a predictor instead of
dummy. This will make the model more robust.
【在 m******n 的大作中提到】
: 直接做出那么多个dummy？比如50个州
: 那是相当于引进了很多个变量吧
: 这会overfit的吧？
dummy. This will make the model more robust.
【在 m******n 的大作中提到】
: 直接做出那么多个dummy？比如50个州
: 那是相当于引进了很多个变量吧
: 这会overfit的吧？
相关阅读
美国的machine learning 方向ms 发展的不错。Google 的一个data analyst-temp position open可以refer找AI+药物研发的伙伴一起创业朋友自己做的数据科学面试网站初级菜鸟的纠结-是否应该转行data scientist有没有大数据 （Hadoop: MapReduce）方面的高手？能帮我看看这请教去哪里下Data Set？关于课题选择的一些问题Data Scientist vs Software Engineer (转载)会讲故事就能做好演讲著名人類學家胡家奇擔憂人工智慧發展求内推，重酬关于转行ds的一个误区【工作内推】Principal Science & Analytics寻亚马逊和微软的朋友创业 (转载)请问：有人了解MITx MicroMasters Program in Statistics and Data Science?[内推] NetBrain tech (software engineer等)职位内部推荐机会公司在佛州 现招聘data analystFB招Data Scientist ContractorOMSA vs OMSCS 比较