请教，survival analysis 和 bayesian analysis 在 data sciences 有比较大的价值吗？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

请教，survival analysis 和 bayesian analysis 在 data sciences 有比较大的价值吗？

请教，survival analysis 和 bayesian analysis 在 data sciences 有比较大的价值吗？# DataSciences - 数据科学

P*62014-06-17 07:06

1 楼

浏览本版的帖子，发现有谈到survical analysis和bayesian analysis的，很高兴，因
为这两个我会，就是不知道用处广不广。用在什么领域。本人没作过data scientist.
本来以为bayesian analysis可以用在online learning的领域，后来发现如果用
gradient descent求解的话，只要用新数据带入方程，更新那几个参数就可以了。:(

c*z2014-06-17 07:06

2 楼

Great use.
For example, user attrition using survival analysis and sentiment analysis
using naive Bayes.

P*62014-06-17 07:06

3 楼

谢谢，
那我要把survival analysis深入研究一下。
naïve bayes 好像是 classification 的方法。很简单易用，有效。但其难度和
理论应用的广度比真正的bayesian analysis差远了。通常不归在bayesian analysis。
当初学bayesian analysis，要先学EM 和 sampling, 洋洋上百页的讲义，连
empirical bayes 都只有一页。naïve bayes 根本没提。但是bayesian 方法即
使在统计中都是小众。它的广度只是理论上的。
这个版有点冷清，全靠你了。其实，我觉得data science很值得交流，就算是需要不少
编程知识，大家只要看清方向，多交流，也会提高比较快，用不了一两年就可以实用了

【在 c***z 的大作中提到】

: Great use.
: For example, user attrition using survival analysis and sentiment analysis
: using naive Bayes.

d*42014-06-17 07:06

4 楼

Could you give more details about how to use survival analysis on user
attrition?
thanks

【在 c***z 的大作中提到】

: Great use.
: For example, user attrition using survival analysis and sentiment analysis
: using naive Bayes.

t*u2014-06-17 07:06

5 楼

coask

【在 d******4 的大作中提到】

: Could you give more details about how to use survival analysis on user
: attrition?
: thanks

A*s2014-06-17 07:06

6 楼

没做过marketing，
不过所有survival analysis的应用应该都差不多--
user attrition是一个event，
用一般的classification方法可以用来预测event occurrence within a certain
width of period
用survival就可以用来预测when the event will occur
logistic regression可以视为Cox model with exact/discrete time treatment of
tied events的特殊形式

【在 d******4 的大作中提到】

: Could you give more details about how to use survival analysis on user
: attrition?
: thanks

j*g2014-06-17 07:06

7 楼

似乎不同领域对bayesian的理解也不太一样比如统计跟信号处理也是最近才发现
我对beyasian的学习集中在probabilistic graphic model上

【在 P*****6 的大作中提到】

: 谢谢，
: 那我要把survival analysis深入研究一下。
: naïve bayes 好像是 classification 的方法。很简单易用，有效。但其难度和
: 理论应用的广度比真正的bayesian analysis差远了。通常不归在bayesian analysis。
: 当初学bayesian analysis，要先学EM 和 sampling, 洋洋上百页的讲义，连
: empirical bayes 都只有一页。naïve bayes 根本没提。但是bayesian 方法即
: 使在统计中都是小众。它的广度只是理论上的。
: 这个版有点冷清，全靠你了。其实，我觉得data science很值得交流，就算是需要不少
: 编程知识，大家只要看清方向，多交流，也会提高比较快，用不了一两年就可以实用了

P*62014-06-17 07:06

8 楼

说实话，不知道生物统计临床怎么使，除此之外，我觉得就是graphic model用
bayesian最为易于理解，MCMC简直就是天然为此设计的。但是不知道data scientist用
它能解决什么问题

【在 j*******g 的大作中提到】

: 似乎不同领域对bayesian的理解也不太一样比如统计跟信号处理也是最近才发现
: 我对beyasian的学习集中在probabilistic graphic model上

t*u2014-06-17 07:06

9 楼

你们说的survival analysis就是
stochastic process/reliability analysis的？

没做过marketing，
不过所有survival analysis的应用应该都差不多--
user attrition是一个event，
用一般的classification方法可以用来预测event occurrence within a certain
width of period
用survival就可以用来预测when the event will occur
logistic regression可以视为Cox model with exact/discrete time treatment of
tied events的特殊形式

【在 A*******s 的大作中提到】

: 没做过marketing，
: 不过所有survival analysis的应用应该都差不多--
: user attrition是一个event，
: 用一般的classification方法可以用来预测event occurrence within a certain
: width of period
: 用survival就可以用来预测when the event will occur
: logistic regression可以视为Cox model with exact/discrete time treatment of
: tied events的特殊形式

c*t2014-06-17 07:06

10 楼

machine learning的毛病就是没有自己原产的cost function。optimization和cost
function没啥关系。cost function实际上成了post monitoring
MCMC就是把它选cost function(MAP)和optimzation打包一起初理

【在 j*******g 的大作中提到】

: 似乎不同领域对bayesian的理解也不太一样比如统计跟信号处理也是最近才发现
: 我对beyasian的学习集中在probabilistic graphic model上

c*z2014-06-17 07:06

11 楼

我是半瓶醋叮当晃
班上其他大牛才是深藏若虚
bayesian analysis对我来说确实是高山仰止类似于物理里面的统一场论

【在 P*****6 的大作中提到】

P*62014-06-17 07:06

12 楼

高手啊，能总结成这样

【在 c****t 的大作中提到】

: machine learning的毛病就是没有自己原产的cost function。optimization和cost
: function没啥关系。cost function实际上成了post monitoring
: MCMC就是把它选cost function(MAP)和optimzation打包一起初理

A*s2014-06-17 07:06

13 楼

理论上就是Poisson process，semiparametric inference那些东西
不过应用起来知不知道这些理论关系不大
不大熟悉survival model在reliability方面的应用，不好说。

【在 t*********u 的大作中提到】

: 你们说的survival analysis就是
: stochastic process/reliability analysis的？
:
: 没做过marketing，
: 不过所有survival analysis的应用应该都差不多--
: user attrition是一个event，
: 用一般的classification方法可以用来预测event occurrence within a certain
: width of period
: 用survival就可以用来预测when the event will occur
: logistic regression可以视为Cox model with exact/discrete time treatment of

P*62014-06-17 07:06

14 楼

这话可以理解为bayesian 在实际中用处不大就象统一场论：）
bayesian analysis没有这么难，只要上课肯定能会。平时还可以用winbug.
我觉得data scientist主要工作是分析问题，找到合适的方法。大部分这些方法展现出
来后，数学推倒都不算难。关键是想透，基本功扎实不出概念错误。

【在 c***z 的大作中提到】

: 我是半瓶醋叮当晃
: 班上其他大牛才是深藏若虚
: bayesian analysis对我来说确实是高山仰止类似于物理里面的统一场论

P*62014-06-17 07:06

15 楼

恩，以前老考虑sensoring,所以忘了survival analysis其实有两大特点：
一个是可以处理sensoring
另一个是可以处理时间
不过我觉得survival analysis主要不是用来预测when the event will occur的，特别
是作为semi-paramatric的cox model.应该主要是用来比较不同factor对event发生概率
的影响（比率）。引入的时间项h(t)是unspecific的，因此求解中消掉了好像。不知对
不对。有大牛说说。另外，需要提醒的是它的exp项是没有intercept的。这个是与
logistic regression重要的不同的之一。

【在 A*******s 的大作中提到】

A*s2014-06-17 07:06

16 楼

After we have beta estimates of Cox model, we can further fit baseline
function h(t). Then we could do numeric integral upon H(t, X) to get S(t, X)

【在 P*****6 的大作中提到】

: 恩，以前老考虑sensoring,所以忘了survival analysis其实有两大特点：
: 一个是可以处理sensoring
: 另一个是可以处理时间
: 不过我觉得survival analysis主要不是用来预测when the event will occur的，特别
: 是作为semi-paramatric的cox model.应该主要是用来比较不同factor对event发生概率
: 的影响（比率）。引入的时间项h(t)是unspecific的，因此求解中消掉了好像。不知对
: 不对。有大牛说说。另外，需要提醒的是它的exp项是没有intercept的。这个是与
: logistic regression重要的不同的之一。

P*62014-06-17 07:06

17 楼

我猜您是想说paramatric survival analysis, 比如假设weibull distribution？
这个说不定对customer attrition 真的很有用。

X)

【在 A*******s 的大作中提到】

: After we have beta estimates of Cox model, we can further fit baseline
: function h(t). Then we could do numeric integral upon H(t, X) to get S(t, X)

A*s2014-06-17 07:06

18 楼

Cox model是不用fit baseline hazard function，但是你想fit的话也有办法，got it？

【在 P*****6 的大作中提到】

: 我猜您是想说paramatric survival analysis, 比如假设weibull distribution？
: 这个说不定对customer attrition 真的很有用。
:
: X)

P*62014-06-17 07:06

19 楼

大牛，受教了，我倒是不怀疑牛人们会有办法。就是不知道啥办法。
Cox model 我就知道个adjusted survival curve.

it？

【在 A*******s 的大作中提到】

: Cox model是不用fit baseline hazard function，但是你想fit的话也有办法，got it？

d*42014-06-17 07:06

20 楼

People assume the hazard function to be an increasing step function which
jumps only at times when an event is observed.

【在 P*****6 的大作中提到】

: 大牛，受教了，我倒是不怀疑牛人们会有办法。就是不知道啥办法。
: Cox model 我就知道个adjusted survival curve.
:
: it？