请教有没有可以实时计算时间学列correlation的近似算法？ (转载) - 未名空间MITBBS历史存档

请教有没有可以实时计算时间学列correlation的近似算法？ (转载)# Stock

l*g2010-05-21 07:05

1 楼

【以下文字转载自 Living 讨论区】
发信人: laoying (大老虎), 信区: Living
标题: 生活太拮据了
发信站: BBS 未名空间站 (Mon Sep 20 15:24:35 2010, 美东)
买房,买车,生活立刻拮据了.
已经2个月没有在外边吃过东西了,快餐都没有过.无论如何,都要回家自己做.
买菜总是在Friday evening, 赶着周末打折开始,抢购一些质量不错的打折的菜.
一周都吃打折的一两种菜,孩子们都抱怨阿.
咋整呢?

s*k2010-05-21 07:05

2 楼

【以下文字转载自 EE 讨论区】
发信人: silverhawk (silverhawk), 信区: EE
标题: 请教有没有可以实时计算时间学列correlation的近似算法？
发信站: BBS 未名空间站 (Wed May 19 20:42:59 2010, 美东)
假设我有两个时间序列x(i),y(i),i=1:n. 一般的correlation计算要等到全部n个采样
完成之后再计算。我现在想用一种online的方法来实时计算，从i=2开始就开始计算两
个序列的相关性，每次时间序列有一个新的采样correlation更新一次，当然由于采样
不完全，所以允许correlation的误差存在，但是希望大体走势应该是越来越趋近最后
的准确值，不知道有没有这样的实时算法存在。谢谢

L*12010-05-21 07:05

3 楼

bso2个月前经常在外面吃饭，发包子吧

b*y2010-05-21 07:05

4 楼

kalman filter 也可以update correlation吧？

r*k2010-05-21 07:05

5 楼

BSO 房车

b*e2010-05-21 07:05

6 楼

用来炒股？

【在 s********k 的大作中提到】

: 【以下文字转载自 EE 讨论区】
: 发信人: silverhawk (silverhawk), 信区: EE
: 标题: 请教有没有可以实时计算时间学列correlation的近似算法？
: 发信站: BBS 未名空间站 (Wed May 19 20:42:59 2010, 美东)
: 假设我有两个时间序列x(i),y(i),i=1:n. 一般的correlation计算要等到全部n个采样
: 完成之后再计算。我现在想用一种online的方法来实时计算，从i=2开始就开始计算两
: 个序列的相关性，每次时间序列有一个新的采样correlation更新一次，当然由于采样
: 不完全，所以允许correlation的误差存在，但是希望大体走势应该是越来越趋近最后
: 的准确值，不知道有没有这样的实时算法存在。谢谢

z*i2010-05-21 07:05

7 楼

太假了
哈哈

【在 l*****g 的大作中提到】

: 【以下文字转载自 Living 讨论区】
: 发信人: laoying (大老虎), 信区: Living
: 标题: 生活太拮据了
: 发信站: BBS 未名空间站 (Mon Sep 20 15:24:35 2010, 美东)
: 买房,买车,生活立刻拮据了.
: 已经2个月没有在外边吃过东西了,快餐都没有过.无论如何,都要回家自己做.
: 买菜总是在Friday evening, 赶着周末打折开始,抢购一些质量不错的打折的菜.
: 一周都吃打折的一两种菜,孩子们都抱怨阿.
: 咋整呢?

s*k2010-05-21 07:05

8 楼

能详细的说说吗？另外希望算法不要太复杂了

【在 b********y 的大作中提到】

: kalman filter 也可以update correlation吧？

t*o2010-05-21 07:05

9 楼

BSO
发包子吧

【在 l*****g 的大作中提到】

: 【以下文字转载自 Living 讨论区】
: 发信人: laoying (大老虎), 信区: Living
: 标题: 生活太拮据了
: 发信站: BBS 未名空间站 (Mon Sep 20 15:24:35 2010, 美东)
: 买房,买车,生活立刻拮据了.
: 已经2个月没有在外边吃过东西了,快餐都没有过.无论如何,都要回家自己做.
: 买菜总是在Friday evening, 赶着周末打折开始,抢购一些质量不错的打折的菜.
: 一周都吃打折的一两种菜,孩子们都抱怨阿.
: 咋整呢?

s*k2010-05-21 07:05

10 楼

no, for research. but should work in stock market

【在 b*******e 的大作中提到】

: 用来炒股？

g*u2010-05-21 07:05

11 楼

孩子们？要幸福，少生娃啦。

【在 l*****g 的大作中提到】

: 【以下文字转载自 Living 讨论区】
: 发信人: laoying (大老虎), 信区: Living
: 标题: 生活太拮据了
: 发信站: BBS 未名空间站 (Mon Sep 20 15:24:35 2010, 美东)
: 买房,买车,生活立刻拮据了.
: 已经2个月没有在外边吃过东西了,快餐都没有过.无论如何,都要回家自己做.
: 买菜总是在Friday evening, 赶着周末打折开始,抢购一些质量不错的打折的菜.
: 一周都吃打折的一两种菜,孩子们都抱怨阿.
: 咋整呢?

l*r2010-05-21 07:05

12 楼

Just find an algorithm to fill the missing values. Really depends on the
characteristic of your data.

l*g2010-05-21 07:05

13 楼

这里的人太没有人性了,
我都这么惨了,还不停的向我要包子.....

【在 L******1 的大作中提到】

: bso2个月前经常在外面吃饭，发包子吧

s*k2010-05-21 07:05

14 楼

不知道你提到的missing data指的是什么？难道是后面的未知数据？

【在 l*******r 的大作中提到】

: Just find an algorithm to fill the missing values. Really depends on the
: characteristic of your data.

t*s2010-05-21 07:05

15 楼

你上个月不是打了兔子吗?拿出来吃了吧

【在 l*****g 的大作中提到】

: 【以下文字转载自 Living 讨论区】
: 发信人: laoying (大老虎), 信区: Living
: 标题: 生活太拮据了
: 发信站: BBS 未名空间站 (Mon Sep 20 15:24:35 2010, 美东)
: 买房,买车,生活立刻拮据了.
: 已经2个月没有在外边吃过东西了,快餐都没有过.无论如何,都要回家自己做.
: 买菜总是在Friday evening, 赶着周末打折开始,抢购一些质量不错的打折的菜.
: 一周都吃打折的一两种菜,孩子们都抱怨阿.
: 咋整呢?

l*r2010-05-21 07:05

16 楼

你不是说采样不完全嘛，我的理解是有些时间点你没有采集到。

【在 s********k 的大作中提到】

: 不知道你提到的missing data指的是什么？难道是后面的未知数据？

f*g2010-05-21 07:05

17 楼

mai shen

【在 l*****g 的大作中提到】

: 【以下文字转载自 Living 讨论区】
: 发信人: laoying (大老虎), 信区: Living
: 标题: 生活太拮据了
: 发信站: BBS 未名空间站 (Mon Sep 20 15:24:35 2010, 美东)
: 买房,买车,生活立刻拮据了.
: 已经2个月没有在外边吃过东西了,快餐都没有过.无论如何,都要回家自己做.
: 买菜总是在Friday evening, 赶着周末打折开始,抢购一些质量不错的打折的菜.
: 一周都吃打折的一两种菜,孩子们都抱怨阿.
: 咋整呢?

s*k2010-05-21 07:05

18 楼

采样不完全的意思是本来我这个时间序列需要采样比如10000个点，但是我现在想开始
采样第10个点的
时候就计算correlation，然后每次再采样一组数据update一次，就是相当于一个实时的
correlation计算，而不是等到所有数据点都采样之后再计算。

【在 l*******r 的大作中提到】

: 你不是说采样不完全嘛，我的理解是有些时间点你没有采集到。

l*g2010-05-21 07:05

19 楼

too yellow

【在 f****g 的大作中提到】

: mai shen

b*y2010-05-21 07:05

20 楼

查一下hidden Markov model，应该就是对附这种问题的，不过我己经基本全忘了

【在 s********k 的大作中提到】

: 采样不完全的意思是本来我这个时间序列需要采样比如10000个点，但是我现在想开始
: 采样第10个点的
: 时候就计算correlation，然后每次再采样一组数据update一次，就是相当于一个实时的
: correlation计算，而不是等到所有数据点都采样之后再计算。

d*r2010-05-21 07:05

21 楼

比不上我们不买菜天天到外面吃的，不过都是去蹭教会和上帝的，不花钱。。。。

g*u2010-05-21 07:05

22 楼

去矿工版问问。他们等做题的贤人很多。

m*u2010-05-21 07:05

23 楼

发包子!! You made Anywhere blocked me!!

【在 l*****g 的大作中提到】

: 这里的人太没有人性了,
: 我都这么惨了,还不停的向我要包子.....

r*d2010-05-21 07:05

24 楼

不知道你的online算法是什么意思，不然如果你能每一时刻把数据传到EXCEL里用
CORREL不就能算correlation了么？

D*92010-05-21 07:05

25 楼

laoying is a god doctor.

s*62010-05-21 07:05

26 楼

不太明白你的意思。每一次多算一个不就得了？如果对程序效率要求不高的话。

O*e2010-05-21 07:05

27 楼

一年挣40万的话，买了房也能出去吃吧？

s*62010-05-21 07:05

28 楼

你除非是在Stationary的序列的假定下，否则你想预测下面的？不一定Converge的。

P*a2010-05-21 07:05

29 楼

sigh
我最近2周亏了那么多
岂不是要考虑绝食了

【在 l*****g 的大作中提到】

: 【以下文字转载自 Living 讨论区】
: 发信人: laoying (大老虎), 信区: Living
: 标题: 生活太拮据了
: 发信站: BBS 未名空间站 (Mon Sep 20 15:24:35 2010, 美东)
: 买房,买车,生活立刻拮据了.
: 已经2个月没有在外边吃过东西了,快餐都没有过.无论如何,都要回家自己做.
: 买菜总是在Friday evening, 赶着周末打折开始,抢购一些质量不错的打折的菜.
: 一周都吃打折的一两种菜,孩子们都抱怨阿.
: 咋整呢?

h*u2010-05-21 07:05

30 楼

kf 需要model ,hmm也需要model

【在 b********y 的大作中提到】

: 查一下hidden Markov model，应该就是对附这种问题的，不过我己经基本全忘了

t*o2010-05-21 07:05

31 楼

你咋亏了啊

【在 P*****a 的大作中提到】

: sigh
: 我最近2周亏了那么多
: 岂不是要考虑绝食了

w*s2010-05-21 07:05

32 楼

You wanted to compute the cross-correlation sequence between two time series
? Or normalized cross-correlation sequence? This should be easily done but
you'd better show exactly how you compute the correlation originally ...

【在 s********k 的大作中提到】

: 采样不完全的意思是本来我这个时间序列需要采样比如10000个点，但是我现在想开始
: 采样第10个点的
: 时候就计算correlation，然后每次再采样一组数据update一次，就是相当于一个实时的
: correlation计算，而不是等到所有数据点都采样之后再计算。

P*a2010-05-21 07:05

33 楼

55555
你发个包子安慰下我吧

【在 t**o 的大作中提到】

: 你咋亏了啊

s*k2010-05-21 07:05

34 楼

但是只采集部分数据的correlation会不会和采集完所有时间点的数据之后的
correlation相差很大？或者说时间序列需要满足什么条件，利用部分采集数据的
correlation才能大概代表最后的真实correlation？stationary或者是self similar?

【在 r****d 的大作中提到】

: 不知道你的online算法是什么意思，不然如果你能每一时刻把数据传到EXCEL里用
: CORREL不就能算correlation了么？

l*l2010-05-21 07:05

35 楼

同情下... 有包子不?

s*k2010-05-21 07:05

36 楼

应该是normalized cross-correlation。

series

【在 w********s 的大作中提到】

: You wanted to compute the cross-correlation sequence between two time series
: ? Or normalized cross-correlation sequence? This should be easily done but
: you'd better show exactly how you compute the correlation originally ...

Y*i2010-05-21 07:05

37 楼

房车都卖掉，买海鲜吃

【在 l*****g 的大作中提到】

: too yellow

r*d2010-05-21 07:05

38 楼

random data很难有你说的可能性。
举个例子：amazon 的BETA 值。选不同数量的月份得到不同的值。
# of mon Beta
5 1.43
10 1.11
15 0.78
20 0.81
25 0.91
30 1.02
35 1.00
40 1.19

【在 s********k 的大作中提到】

: 但是只采集部分数据的correlation会不会和采集完所有时间点的数据之后的
: correlation相差很大？或者说时间序列需要满足什么条件，利用部分采集数据的
: correlation才能大概代表最后的真实correlation？stationary或者是self similar?

i*t2010-05-21 07:05

39 楼

没有h-mart， assi？

t*t2010-05-21 07:05

40 楼

如果已知这两个时间序列都各自由某个process/model来产生，那correlation理论上也
是知道的，
具体取决于underlying models。
如果你就想通过测量实时的样本数据来动态测量correlation，那只有用expanding
window或者
rolling window去动态测量correlaton。当然怎么测量取决于你的选择，sample corr,
robust corr, 或者要不要考虑time varying volatility，等等。
correlation是一个抽象概念，并不存在一个准确值。当然你可以用forward realized
corr作为
benchmark来衡量你的算法的优略。

【在 s********k 的大作中提到】

: 应该是normalized cross-correlation。
:
: series

l*32010-05-21 07:05

41 楼

现金买了60万的房子。。。。当然拮据了

【在 l*****g 的大作中提到】

: too yellow

J*n2010-05-21 07:05

42 楼

不假
典型房奴

【在 z****i 的大作中提到】

: 太假了
: 哈哈