大家对于有很多value的categorical feature都怎么处理？# DataSciences - 数据科学
x*6
1 楼
转换成binary vector？
这样的话多几个这种feature岂不是就很高维了？
这样的话多几个这种feature岂不是就很高维了？
d*m
2 楼
feature hashing减少维度
x*6
3 楼
Thank you
c*u
4 楼
刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
了
了
d*m
5 楼
看样子我们上的是同一门课啊。。。
CS190 on edx?
hash
【在 c***u 的大作中提到】
: 刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
: 了
CS190 on edx?
hash
【在 c***u 的大作中提到】
: 刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
: 了
r*w
6 楼
我在上这门。
因为没接触过hash，问一个基本问题：用这个hash的话，是不是有很多features就进入
到同一个bucket里面了？这样的话，是不是有一定的几率使结果不准确（就是，用裸的
features的话，这些features是不同的，但是hash的话，有些会被当做相同的）？
【在 d**m 的大作中提到】
: 看样子我们上的是同一门课啊。。。
: CS190 on edx?
:
: hash
因为没接触过hash，问一个基本问题：用这个hash的话，是不是有很多features就进入
到同一个bucket里面了？这样的话，是不是有一定的几率使结果不准确（就是，用裸的
features的话，这些features是不同的，但是hash的话，有些会被当做相同的）？
【在 d**m 的大作中提到】
: 看样子我们上的是同一门课啊。。。
: CS190 on edx?
:
: hash
O*y
7 楼
借这个楼搭个顺风车问个问题，PCA（lab5 里面用到）是不是主要用来做数据的预处理
（减少data dimension）用,比如用pca生成图像观察data的特征发现outlier等，然后
用新生成的reduced dimension feature去做modeling去预测？那最后model的分析解释
parameters也是建立在new feature上，谢谢。
我是新手，多谢指教。
（减少data dimension）用,比如用pca生成图像观察data的特征发现outlier等，然后
用新生成的reduced dimension feature去做modeling去预测？那最后model的分析解释
parameters也是建立在new feature上，谢谢。
我是新手，多谢指教。
d*m
8 楼
我也没接触过，但你说的是对的，hash后的features可能引入了一些本来数据中不存在
的关系
比如A和B都被扔到一个bucket里，那么同时具有AB两个feature就是2，而单独的A或B就
是1
所以这种方法只用在很多feature都是0的情况下才好用吧
【在 r***w 的大作中提到】
: 我在上这门。
: 因为没接触过hash，问一个基本问题：用这个hash的话，是不是有很多features就进入
: 到同一个bucket里面了？这样的话，是不是有一定的几率使结果不准确（就是，用裸的
: features的话，这些features是不同的，但是hash的话，有些会被当做相同的）？
的关系
比如A和B都被扔到一个bucket里，那么同时具有AB两个feature就是2，而单独的A或B就
是1
所以这种方法只用在很多feature都是0的情况下才好用吧
【在 r***w 的大作中提到】
: 我在上这门。
: 因为没接触过hash，问一个基本问题：用这个hash的话，是不是有很多features就进入
: 到同一个bucket里面了？这样的话，是不是有一定的几率使结果不准确（就是，用裸的
: features的话，这些features是不同的，但是hash的话，有些会被当做相同的）？
s*h
9 楼
这个只能说是一个折中方案吧。
hash
【在 c***u 的大作中提到】
: 刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
: 了
hash
【在 c***u 的大作中提到】
: 刚刚学到, One-hot encoding, 转换成sparse vector, 然后再把sparse vector给hash
: 了
h*d
10 楼
【在 x*****6 的大作中提到】
: 转换成binary vector？
: 这样的话多几个这种feature岂不是就很高维了？
相关阅读
之前没有什么数学统计背景的怎么转DS？[Road map] From ClickStream to ConsumerInsight公司招DATA SCIENTIST版标太肉头了应用统计硕士选课求教Data Science方向 (转载)有系统一点的A/B testing方法的教程吗？Big data是下一个大坑吗how to organize thousands of chartsKaggle四月一号的题The Random Number Grand Challenge太搞笑了做大数据的好混学术界么？[IT+IEOR背景]请教一下往DtSci方向的职业发展建议MS Analysis service高手看过来大家别忘了linkedin “chinese big data group”请问如何access SAS软件？做data scientist好海归么fresh graduate转行找工作历程 (转载)学习Pig Latin板上有人能介绍用大数据发现了什么吗？大家有实地接触Tableau, Qlikview, SAS Visual Analytics or Pe (转载)我先开个题