大家对于有很多value的categorical feature都怎么处理？# DataSciences - 数据科学
x*6
1 楼
转换成binary vector？
这样的话多几个这种feature岂不是就很高维了？
这样的话多几个这种feature岂不是就很高维了？
d*m
2 楼
feature hashing减少维度
x*6
3 楼
Thank you
c*u
4 楼
刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
了
了
d*m
5 楼
看样子我们上的是同一门课啊。。。
CS190 on edx?
hash
【在 c***u 的大作中提到】
: 刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
: 了
CS190 on edx?
hash
【在 c***u 的大作中提到】
: 刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
: 了
r*w
6 楼
我在上这门。
因为没接触过hash，问一个基本问题：用这个hash的话，是不是有很多features就进入
到同一个bucket里面了？这样的话，是不是有一定的几率使结果不准确（就是，用裸的
features的话，这些features是不同的，但是hash的话，有些会被当做相同的）？
【在 d**m 的大作中提到】
: 看样子我们上的是同一门课啊。。。
: CS190 on edx?
:
: hash
因为没接触过hash，问一个基本问题：用这个hash的话，是不是有很多features就进入
到同一个bucket里面了？这样的话，是不是有一定的几率使结果不准确（就是，用裸的
features的话，这些features是不同的，但是hash的话，有些会被当做相同的）？
【在 d**m 的大作中提到】
: 看样子我们上的是同一门课啊。。。
: CS190 on edx?
:
: hash
O*y
7 楼
借这个楼搭个顺风车问个问题，PCA（lab5 里面用到）是不是主要用来做数据的预处理
（减少data dimension）用,比如用pca生成图像观察data的特征发现outlier等，然后
用新生成的reduced dimension feature去做modeling去预测？那最后model的分析解释
parameters也是建立在new feature上，谢谢。
我是新手，多谢指教。
（减少data dimension）用,比如用pca生成图像观察data的特征发现outlier等，然后
用新生成的reduced dimension feature去做modeling去预测？那最后model的分析解释
parameters也是建立在new feature上，谢谢。
我是新手，多谢指教。
d*m
8 楼
我也没接触过，但你说的是对的，hash后的features可能引入了一些本来数据中不存在
的关系
比如A和B都被扔到一个bucket里，那么同时具有AB两个feature就是2，而单独的A或B就
是1
所以这种方法只用在很多feature都是0的情况下才好用吧
【在 r***w 的大作中提到】
: 我在上这门。
: 因为没接触过hash，问一个基本问题：用这个hash的话，是不是有很多features就进入
: 到同一个bucket里面了？这样的话，是不是有一定的几率使结果不准确（就是，用裸的
: features的话，这些features是不同的，但是hash的话，有些会被当做相同的）？
的关系
比如A和B都被扔到一个bucket里，那么同时具有AB两个feature就是2，而单独的A或B就
是1
所以这种方法只用在很多feature都是0的情况下才好用吧
【在 r***w 的大作中提到】
: 我在上这门。
: 因为没接触过hash，问一个基本问题：用这个hash的话，是不是有很多features就进入
: 到同一个bucket里面了？这样的话，是不是有一定的几率使结果不准确（就是，用裸的
: features的话，这些features是不同的，但是hash的话，有些会被当做相同的）？
s*h
9 楼
这个只能说是一个折中方案吧。
hash
【在 c***u 的大作中提到】
: 刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
: 了
hash
【在 c***u 的大作中提到】
: 刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
: 了
h*d
10 楼
【在 x*****6 的大作中提到】
: 转换成binary vector？
: 这样的话多几个这种feature岂不是就很高维了？
相关阅读
Hadoop developer的薪水(entry level)推荐DS请问大家有没有直接用java全程写mapreduce的程序的？OCR job from recruiter感觉已经把market上的data scientist投遍了hive table 转换成csv文件丢数据是什么情况？华为在Seattle开分部：诚招Cloud Computing Chief Architect & (转载)有谁在上UW的data science课吗？coursera上ml的课，需要交作业吗？统计系的paper怎么都这么能扯感谢这里某大牛的refer，顺利找到一份工作[Data Science Project Case] Topic Learning说说最近的一次面试,兼告诫国人我觉得关于datascience最近看到的几个有价值的贴我觉得data science其实挺难的准备换工作了Science上新clustering算法的分析测试最近听说的两个笑话发现DS的工资在北加和南加好像差距太大了请教，survival analysis 和 bayesian analysis 在 data sciences 有比较大的价值吗？