如何evaluate an unsupervised learning method? - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

如何evaluate an unsupervised learning method?

如何evaluate an unsupervised learning method?# DataSciences - 数据科学

g*p2015-04-28 07:04

1 楼

据英国《每日邮报》10月13日报道，美国摄影师艾伦·劳伦斯创作了一组神奇的照片集，让他患病的2岁儿子威尔(Wil)看似在飞行。近期，他发布了该系列的第二组照片。照片中，小威尔在金门大桥、美国黄金大峡谷等著名景点上空“飞翔”，看上去非常自由欢乐。
据悉，劳伦斯和他的6个孩子生活在犹他州。2年前，小威尔出生后就被诊断患有唐氏综合症，这让劳伦斯非常伤心。在威尔还是婴儿的时候，艾伦有一次看到威尔模仿飞行的动作后受到启发，拍摄和制作了一组威尔飞翔的照片。在Photoshop的帮助下，这个可爱的小家伙似乎不受地球引力任何影响，虽然身患疾病却仍然自由地“飞翔”。
这组作品在网上受到了极大的关注，网友们都被劳伦斯夫妇的乐观精神和他们对于威尔的爱所感动。艾伦也被大家充满正能量的回复鼓舞。他还推出了一个为威尔做日历的公益众筹项目，期望以此筹集到一些善款，用来帮助更多唐氏患者家庭。

d*42015-04-28 07:04

2 楼

一次电面，一个amazon manager问我这个问题。一时不知所措不知道如何回答。我说最
终我们还是需要 class label 的信息吧？她说这是unsupervised learning, no class
label.

g*p2015-04-28 07:04

3 楼

E*g2015-04-28 07:04

4 楼

网上找了一下
External Index: Used to measure the extent to which cluster
labels match externally supplied class labels.
- Entropy
Internal Index: Used to measure the goodness of a clustering
structure without respect to external information.
- Sum of Squared Error (SSE)
Relative Index: Used to compare two different clusterings or
clusters.
- Often an external or internal index is used for this function, e.g., SSE
or
entropy

class

【在 d******4 的大作中提到】

: 一次电面，一个amazon manager问我这个问题。一时不知所措不知道如何回答。我说最
: 终我们还是需要 class label 的信息吧？她说这是unsupervised learning, no class
: label.

s*h2015-04-28 07:04

5 楼

楼上找得挺好，这两个方法应该都有效：
基于cluster的metrics，和entropy
看过有人这样弄：
方法A，和方法B，分别搞出一个vector
然后基于vector跑SVM, 方法A结果更好，所以号称方法A生成的vector更有代表性。
上次有人问LDA如何evaluate，不是有人回答么？当时没继续看如何做的，是不是也算？