请问这样的数据应该用什么样的模型适合。 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

请问这样的数据应该用什么样的模型适合。

请问这样的数据应该用什么样的模型适合。# DataSciences - 数据科学

a*e2014-10-14 07:10

1 楼

我想建立一个模型, 需要预测量是一个工程的实际花费.
自变量的类型包括以下几种类型
1) 连续变量
２）一些　binary 变量,　（０，　１）
３）　一些　categorical变量,　　比如 (0, 100, 100.1, 81.94); 这里有一些
categorical变量应该是存在内在order的
请问如何把它们统一在一个model里. 一般的回归模型可以处理这种情况吗？一般还有
什么比较好的可以试。

c*z2014-10-14 07:10

2 楼

take a look
http://www.uta.edu/faculty/kunovich/Soci5304_Handouts/Topic%208_Dummy%20Variables.doc
you can definitely try OLS, if the assumptions are met (or roughly met)
plot the data to see outliers, truncations, correlations, etc

a*e2014-10-14 07:10

3 楼

非常感谢，资料很有用。
另外还有一个问题，数据量大概有300个记录，每个记录可能会有两百个 feature。
显然很多feature会被扔掉从domain knowledge的角度。但仍然可能会保有100个左右
的feature。从统计的角度可以 stepwise的选，但还有什么办法呢。基于经验来说
，对于300个记录这样的数据量，一般多少feature（可能包括高阶）对于回归模型
合适。

【在 c***z 的大作中提到】

: take a look
: http://www.uta.edu/faculty/kunovich/Soci5304_Handouts/Topic%208_Dummy%20Variables.doc
: you can definitely try OLS, if the assumptions are met (or roughly met)
: plot the data to see outliers, truncations, correlations, etc

c*z2014-10-14 07:10

4 楼

1. ridge or lasso
2. PCA if your clients know math
try glmnet in R

T*u2014-10-14 07:10

5 楼

我会试试tree

P*62014-10-14 07:10

6 楼

如果用glmnet的话，好像有elastic net. 它比lasso会保留更多的变量
无论lasso or elastic net， they are biased. 如果你的features小于100的话，AIC
and BIC for generally linear regression may be also OK.

【在 T*****u 的大作中提到】

: 我会试试tree

a*e2014-10-14 07:10

7 楼

请问如何理解 lasso和 elastic net 是biased。能不能详细解释一下。谢谢。

n*32014-10-14 07:10

8 楼

all these shrinkage approach are biased with penalized term.
it is all about optimization with Bias-variance tradeoff

【在 a********e 的大作中提到】

: 请问如何理解 lasso和 elastic net 是biased。能不能详细解释一下。谢谢。

a*z2014-10-14 07:10

9 楼

try PCA or clustering first.

P*62014-10-14 07:10

10 楼

就是预测的期望值和实际值会有偏差，但是可能本身的自我误差比较小，所以high
dimension features反而可能比较准。就是上面有人提到的trade-off.

【在 a********e 的大作中提到】

: 请问如何理解 lasso和 elastic net 是biased。能不能详细解释一下。谢谢。

a*r2014-10-14 07:10

11 楼

IBM Modeler can to do auto model selection

【在 a********e 的大作中提到】

: 我想建立一个模型, 需要预测量是一个工程的实际花费.
: 自变量的类型包括以下几种类型
: 1) 连续变量
: ２）一些　binary 变量,　（０，　１）
: ３）　一些　categorical变量,　　比如 (0, 100, 100.1, 81.94); 这里有一些
: categorical变量应该是存在内在order的
: 请问如何把它们统一在一个model里. 一般的回归模型可以处理这种情况吗？一般还有
: 什么比较好的可以试。

h*72014-10-14 07:10

12 楼

elastic net介于ridge和lasso之间
总体来说我倾向lasso选，ridge测
毕竟这两个可以用概率论解释，更加analytical，parameter也少一些

T*u2014-10-14 07:10

13 楼

讲讲lasso选和ridge测的关系好吗

【在 h*****7 的大作中提到】

: elastic net介于ridge和lasso之间
: 总体来说我倾向lasso选，ridge测
: 毕竟这两个可以用概率论解释，更加analytical，parameter也少一些

h*72014-10-14 07:10

14 楼

对高维而言，lasso是拥有convex解的最sparse的方法，能在闭合解状态下最大限度的
选出优质feature，对应贝叶斯的超高斯先验。
这些都是典型的高维选特征方法。它以牺牲goodness of fitting来换取feature的鲁棒
性抑制overfitting。简言之就是用bias换variance，还不是NP hard。
ridge应用于预测，对应于高斯先验，均衡bias和variance的表现是多年证实的。选定
feature了，用ridge做预测，睡的香！

【在 T*****u 的大作中提到】

: 讲讲lasso选和ridge测的关系好吗

T*u2014-10-14 07:10

15 楼

多谢！有啥阅读材料推荐一下吗？

【在 h*****7 的大作中提到】

: 对高维而言，lasso是拥有convex解的最sparse的方法，能在闭合解状态下最大限度的
: 选出优质feature，对应贝叶斯的超高斯先验。
: 这些都是典型的高维选特征方法。它以牺牲goodness of fitting来换取feature的鲁棒
: 性抑制overfitting。简言之就是用bias换variance，还不是NP hard。
: ridge应用于预测，对应于高斯先验，均衡bias和variance的表现是多年证实的。选定
: feature了，用ridge做预测，睡的香！

h*72014-10-14 07:10

16 楼

这些都是我个人的理解
其实看lasso文章就好

【在 T*****u 的大作中提到】

: 多谢！有啥阅读材料推荐一下吗？