公司一直想开发出能预测股市的软件 - 未名空间MITBBS历史存档

公司一直想开发出能预测股市的软件# Stock

S*t2013-06-01 07:06

1 楼

2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
machine learning的solution company. 现在一个主要的项目是用从blumberg 和
reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
或大跌。呈请高手评论这个business model 的前景。

s*t2013-06-01 07:06

2 楼

Old idea. Doesn't work well.

g*22013-06-01 07:06

3 楼

如果真能预测，直接做股票挣钱就行了，卖给hedge fund做什么？

r*e2013-06-01 07:06

4 楼

楼上说的很对
你要是能预测出股市涨跌，干嘛还要卖model赚钱呢

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

g*a2013-06-01 07:06

5 楼

安全的方法收益相对较小，只对大资金有用。这样的话，卖给fund比自己折腾要挣钱。
问题在于，validation会很困难。然后，公关会很更困难。

w*22013-06-01 07:06

6 楼

15年前我听过类似这方面的提案，到如今这种主意已经烂大街了。

P*t2013-06-01 07:06

7 楼

干这种事的大小公司/个人不要太多。

S*t2013-06-01 07:06

8 楼

在历史数据上的validation结果非常好，portfolio经常有100%以上的年回报。你说的
公关是sales吗? 现在公司迟迟没有自己先试一下。如果没有实战的话是不是人家funds
很难相信？

s*82013-06-01 07:06

9 楼

這個東西賣給散戶有人要。hedge fund 會傻到認為這個有用嗎

g*w2013-06-01 07:06

10 楼

打个比方，民科说我开发了一套软件，专门针对数学证明。有了它，输入数据，数学证
明至少可以给出思路，希望卖给数学家。有数学家会买吗？

a*e2013-06-01 07:06

11 楼

如果能每年100%，加大杠杆投入，没多久就比巴菲特有钱了。

S*t2013-06-01 07:06

12 楼

头说卖给散户不赚钱，必须面向institutions。要求无论是市场涨还是跌都要能赚钱。
市场跌的时候要能准确short。而且为了增加卖点。程序要在hadoop上运行。

w*72013-06-01 07:06

13 楼

好坑

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

g*a2013-06-01 07:06

14 楼

这个就有点扯淡了。大资金100%的年回报。靠，the king of wall street.

funds

【在 S**********t 的大作中提到】

: 在历史数据上的validation结果非常好，portfolio经常有100%以上的年回报。你说的
: 公关是sales吗? 现在公司迟迟没有自己先试一下。如果没有实战的话是不是人家funds
: 很难相信？

r*e2013-06-01 07:06

15 楼

街上本来不就这样，赚不赚钱2说，先把系统忽悠出去，把钱赚到手再说，你能不能赚
钱就是你的问题了。
希望楼主去把这个牛重新圆一下，然后找几个犹太sales,把东西忽悠出去还是有戏的。

S*t2013-06-01 07:06

16 楼

问题是两年多快三年了都没有任何卖出去的迹象。
还有。头有一个idea是让很多不同的人建feature variables.比如说用各种方法从十几
个基本变量建出上千个变量甚至几千个变量，然后从众多变量中选出好的变量作回归。
但问题是如何选出“好”变量。曾经做过一个实验表明随机产生的上千个变量中总会有
所谓“好”的变量。还有，如果真有神奇的选变量的方法的话，那很多经典的feature
selection 技术岂不是多被推翻了？这样的话好像也用不着去花钱订购数据了。
comment please.

a*k2013-06-01 07:06

17 楼

过去的图和消息都是大庄家调出来的，你现在要做大庄家，居然又要依据别的庄家正在
做出的图和消息，不是笑话是什么？小散跟着图和消息可以跟随大庄家吃点，一旦上量
，大庄家马上就换手法了。现在HFT横行，经常100股的小单子都会被庄家认出来，上一
堆algo围剿。

【在 S**********t 的大作中提到】

: 头说卖给散户不赚钱，必须面向institutions。要求无论是市场涨还是跌都要能赚钱。
: 市场跌的时候要能准确short。而且为了增加卖点。程序要在hadoop上运行。

a*k2013-06-01 07:06

18 楼

算法好的话，就自用赚点小钱。
机构自有自己的数据和策略，你这个拿出去恐怕要被人嘲笑。

feature

【在 S**********t 的大作中提到】

: 问题是两年多快三年了都没有任何卖出去的迹象。
: 还有。头有一个idea是让很多不同的人建feature variables.比如说用各种方法从十几
: 个基本变量建出上千个变量甚至几千个变量，然后从众多变量中选出好的变量作回归。
: 但问题是如何选出“好”变量。曾经做过一个实验表明随机产生的上千个变量中总会有
: 所谓“好”的变量。还有，如果真有神奇的选变量的方法的话，那很多经典的feature
: selection 技术岂不是多被推翻了？这样的话好像也用不着去花钱订购数据了。
: comment please.

r*e2013-06-01 07:06

19 楼

大哥，你是逗我们？！你没办法解释你的model,谁会买你？
你这玩意，作正经事不靠铺，要做些什么正经事那big data做些别的不是更好，nyc
building inspection 前几天不久有个例子。
在金融上发财的大部分都是靠忽悠的，你得练忽悠。

r*e2013-06-01 07:06

20 楼

也不至于吧，就像sp500很少会被manipulated,要是能搞好，每天上个杠杆来个1% 2%，
很不错了。
不果我和其他同学一样对predictable power很怀疑

【在 a***k 的大作中提到】

: 过去的图和消息都是大庄家调出来的，你现在要做大庄家，居然又要依据别的庄家正在
: 做出的图和消息，不是笑话是什么？小散跟着图和消息可以跟随大庄家吃点，一旦上量
: ，大庄家马上就换手法了。现在HFT横行，经常100股的小单子都会被庄家认出来，上一
: 堆algo围剿。

a*k2013-06-01 07:06

21 楼

平时俺不知道，但是大跌/大涨的时候可以明显看出庄家在定价。
最常见的就是盘尾大跌，小散狂抛，庄家把货吃下来，第二天就来个大高开慢慢出货。

【在 r***e 的大作中提到】

: 也不至于吧，就像sp500很少会被manipulated,要是能搞好，每天上个杠杆来个1% 2%，
: 很不错了。
: 不果我和其他同学一样对predictable power很怀疑

S*t2013-06-01 07:06

22 楼

照这态度恐怕会被头开了。。。

【在 r***e 的大作中提到】

: 大哥，你是逗我们？！你没办法解释你的model,谁会买你？
: 你这玩意，作正经事不靠铺，要做些什么正经事那big data做些别的不是更好，nyc
: building inspection 前几天不久有个例子。
: 在金融上发财的大部分都是靠忽悠的，你得练忽悠。

p*e2013-06-01 07:06

23 楼

ID是Stephenfirst啊，大家还这么认真讨论

s*o2013-06-01 07:06

24 楼

我敢说针对历史数据用ML的方法低频交易死的要多惨有多惨，还不如跟版上大牛合作做
expert system人机交互，或者干脆分析海量话题数据迭代……
不过更可能的是懂股票的写不出代码，写的出代码的不懂股票，哈哈~

s*y2013-06-01 07:06

25 楼

back testing has little value here.

funds

【在 S**********t 的大作中提到】

: 在历史数据上的validation结果非常好，portfolio经常有100%以上的年回报。你说的
: 公关是sales吗? 现在公司迟迟没有自己先试一下。如果没有实战的话是不是人家funds
: 很难相信？

m*e2013-06-01 07:06

26 楼

(1)你们公司的这些想法不够新，网上有很多这些想法的研究文献，free of charge.我
相信但凡走技术路线的多半都读过，也试过。
(2)深层次一点，你们的数据别人都有，都在看。机构投资者都知别人没有的数据才值
钱，如果你们用的数据只是bloomberg,rt,感兴趣的人不会太多。华尔街不太缺聪明人
，但是很缺稀有数据。

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

c*o2013-06-01 07:06

27 楼

别整虚的，你就用MODEL预测一下下周一二的走势，来几个MQP，大家自然知道有前
途没有了。 LOL

fund
★ 发自iPhone App: ChineseWeb 7.8

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

h*72013-06-01 07:06

28 楼

“公司对自己的machine learning 实力很有信心”
这小孩过家家的东西还能出信心？
machine learning不是一门学科，只是几个统计模型的简单应用(SVM算例外，可人家
Vapnik也是搞数学出身的)，东西太少，掌握起来太容易，很难build specialty。华尔
街哪家投行没几个统计phd甚至top university tenured professor？人都在这上面工
作十几年了
当然如果你们公司有三个以上mit,ucla或者berkley应用数学系毕业的,或者stanford的
Efron的学生，并拿到top 20大学professor的牛人全职搞，那还是有希望的。
看过一篇博客，金融业最不缺的就是coder with phd degree，trader和inside news才
是最重要的

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

w*a2013-06-01 07:06

29 楼

你也太高看统计PHD了
真正的数学人从不认为统计是数学
听过一句话
叫“这东西都知道，除了某某大学的统计PHD”
这某某大学就在你说的这几个学校当中
曾经拿一个关联矩阵的题考倒了一圈统计PHD
题是一个TRADING公司的面试题
连我这没学过统计的人几分钟之内就能解决
可见统计有多水
不过也可能统计高人我还没碰上

【在 h*****7 的大作中提到】

: “公司对自己的machine learning 实力很有信心”
: 这小孩过家家的东西还能出信心？
: machine learning不是一门学科，只是几个统计模型的简单应用(SVM算例外，可人家
: Vapnik也是搞数学出身的)，东西太少，掌握起来太容易，很难build specialty。华尔
: 街哪家投行没几个统计phd甚至top university tenured professor？人都在这上面工
: 作十几年了
: 当然如果你们公司有三个以上mit,ucla或者berkley应用数学系毕业的,或者stanford的
: Efron的学生，并拿到top 20大学professor的牛人全职搞，那还是有希望的。
: 看过一篇博客，金融业最不缺的就是coder with phd degree，trader和inside news才
: 是最重要的

q*g2013-06-01 07:06

30 楼

check this guy first:
http://www.gsb.stanford.edu/news/bmag/sbsm1005/kn-lee-main.html
check his Ph.D. dissertation if you are still interested. It should be a
good start.
before the machine-trading era, some smart guys can find some models to make
money. after that, there are still some dynamic models to make money if you
are smarter than the makers of machine-trading.

A*s2013-06-01 07:06

31 楼

方向不一样而已。我也面过ivy math PhD, 数学再牛，如果只是随手修过几门stat ，
machine learnig的课，不容易骗过面试官的。

你也太高看统计PHD了真正的数学人从不认为统计是数学听过一句话叫“这东西都知道
，除了某某大学的统计PHD”这某某大学就在你说的这几个学校当中曾经拿一个关联矩
阵的题考倒了一圈统计........

【在 w*****a 的大作中提到】

: 你也太高看统计PHD了
: 真正的数学人从不认为统计是数学
: 听过一句话
: 叫“这东西都知道，除了某某大学的统计PHD”
: 这某某大学就在你说的这几个学校当中
: 曾经拿一个关联矩阵的题考倒了一圈统计PHD
: 题是一个TRADING公司的面试题
: 连我这没学过统计的人几分钟之内就能解决
: 可见统计有多水
: 不过也可能统计高人我还没碰上

S*t2013-06-01 07:06

32 楼

I feel that statistics in nowadays is much more than years before. So is
machine learning. 公司烧钱旺盛的时候不乏牛校的math, stat, CS, ECE 的phd. 现
在大部分都被google, microsoft, linkedin, netflix, walmartlabs, qualcomm,
cisco, JP morgan chase, goldman sachs, morgan stanly, wells fargo, deutsche
bank 之类的公司挖走了。

，

【在 A*******s 的大作中提到】

: 方向不一样而已。我也面过ivy math PhD, 数学再牛，如果只是随手修过几门stat ，
: machine learnig的课，不容易骗过面试官的。
:
: 你也太高看统计PHD了真正的数学人从不认为统计是数学听过一句话叫“这东西都知道
: ，除了某某大学的统计PHD”这某某大学就在你说的这几个学校当中曾经拿一个关联矩
: 阵的题考倒了一圈统计........

t*02013-06-01 07:06

33 楼

估计得招聘一个能预知前后500年的神仙才好。。。
如果真能做软件预测，还等今天？？很多事情都是贪婪的本质决定的，而不是科学道
理。。。当然道理不是一点也没有，我以为不是主要方面。。

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

c*e2013-06-01 07:06

34 楼

If a model is proved to be working, everyone will follow, it will then
stop working.

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

h*22013-06-01 07:06

35 楼

赫赫，这母猪都能上树了啊。
哥们，你懂股票吗？

d*12013-06-01 07:06

36 楼

这样不出几年全地球的资源都不够给他家印钱的了。

【在 g**a 的大作中提到】

: 这个就有点扯淡了。大资金100%的年回报。靠，the king of wall street.
:
: funds

a*e2013-06-01 07:06

37 楼

本版真是藏龙卧虎

g*i2013-06-01 07:06

38 楼

lol, over fitting and no live test? Which sucker would buy?

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

b*n2013-06-01 07:06

39 楼

fund
前景就是雇用我来做预测模型，
而且不卖给别人，
自己交易。

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

h*72013-06-01 07:06

40 楼

没说统计phd都牛。我说了得在top20学校拿到tenure的才算
我甚至认为统计不是科学源自上世纪某大牛观点
统计两极分化很严重的你要读加洒上的优秀文章才能体会牛人
而且我主要指的是应数虽然他们也被理论数学鄙视但贡献还是秒杀我eecs的coder们

【在 w*****a 的大作中提到】

: 你也太高看统计PHD了
: 真正的数学人从不认为统计是数学
: 听过一句话
: 叫“这东西都知道，除了某某大学的统计PHD”
: 这某某大学就在你说的这几个学校当中
: 曾经拿一个关联矩阵的题考倒了一圈统计PHD
: 题是一个TRADING公司的面试题
: 连我这没学过统计的人几分钟之内就能解决
: 可见统计有多水
: 不过也可能统计高人我还没碰上

a*z2013-06-01 07:06

41 楼

hehe. 这个把戏我五六年前玩过。老板非要我建个模型，我没办法，搞了几百个变量，
几亿个combination, 几亿个待选模型中挑了十几个backtesting结果不错的，丢给老板
，老板欢喜的不行。

feature

【在 S**********t 的大作中提到】

: 问题是两年多快三年了都没有任何卖出去的迹象。
: 还有。头有一个idea是让很多不同的人建feature variables.比如说用各种方法从十几
: 个基本变量建出上千个变量甚至几千个变量，然后从众多变量中选出好的变量作回归。
: 但问题是如何选出“好”变量。曾经做过一个实验表明随机产生的上千个变量中总会有
: 所谓“好”的变量。还有，如果真有神奇的选变量的方法的话，那很多经典的feature
: selection 技术岂不是多被推翻了？这样的话好像也用不着去花钱订购数据了。
: comment please.

s*n2013-06-01 07:06

42 楼

这个太空了吧。能赚钱肯定行啊。
自己拿100万吵吵。
另外预测涨跌这个没用啊。
你们好像还没有模型吧？
初次之外，ML实力实在不算什么。外行拿R跑一下也搞定了。
估计你们连用炒股什么理论都不太了解。

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

s*n2013-06-01 07:06

43 楼

程序要在hadoop上运行
你们头想入非非。
用得着hadoop嘛？高效啊。
市场跌的时候要能准确short。这也是joke啊。新警察吧。

【在 S**********t 的大作中提到】

: 头说卖给散户不赚钱，必须面向institutions。要求无论是市场涨还是跌都要能赚钱。
: 市场跌的时候要能准确short。而且为了增加卖点。程序要在hadoop上运行。

l*g2013-06-01 07:06

44 楼

nnd,说的小蛙我心都凉了

【在 a*****e 的大作中提到】

: 如果能每年100%，加大杠杆投入，没多久就比巴菲特有钱了。

d*r2013-06-01 07:06

45 楼

高盛做不到事情，你能做到吗？

f*s2013-06-01 07:06

46 楼

本来统计和数学就不是一样，stat is a subject of science not a subject of
mathematics.
面试题这种，我随便说几个你估计也得想几天，没什么意义，你招人又不是用来做题的。

【在 w*****a 的大作中提到】

: 你也太高看统计PHD了
: 真正的数学人从不认为统计是数学
: 听过一句话
: 叫“这东西都知道，除了某某大学的统计PHD”
: 这某某大学就在你说的这几个学校当中
: 曾经拿一个关联矩阵的题考倒了一圈统计PHD
: 题是一个TRADING公司的面试题
: 连我这没学过统计的人几分钟之内就能解决
: 可见统计有多水
: 不过也可能统计高人我还没碰上

c*l2013-06-01 07:06

47 楼

就凭你将公司名字写成blumberg及Reuter, 你就省省吧。这公司成不成，都没你什么事

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

e*e2013-06-01 07:06

48 楼

那假如不是建预测模型而是策略模型呢？比如让模型去学习在不同情况下的交易策略
。理论上总有一种策略或策略组合能在一段时间里适应市场行为。

【在 a****z 的大作中提到】

: hehe. 这个把戏我五六年前玩过。老板非要我建个模型，我没办法，搞了几百个变量，
: 几亿个combination, 几亿个待选模型中挑了十几个backtesting结果不错的，丢给老板
: ，老板欢喜的不行。
:
: feature

s*e2013-06-01 07:06

49 楼

这类模型最大的问题都是overfit, 而且一旦overfit了很难查出来。一般来说，要查
overfit，你需要把你的模型放在一个完全独立的数据上再test一次，但是股市中基本
没有这样的数据。

【在 e*****e 的大作中提到】

: 那假如不是建预测模型而是策略模型呢？比如让模型去学习在不同情况下的交易策略
: 。理论上总有一种策略或策略组合能在一段时间里适应市场行为。

h*72013-06-01 07:06

50 楼

是啊，看到他拿面试题说事我就笑了。稍微高级点的职位都不会出题的，面试更像是讨
论。人不care他会不会几个特定问题，在意的是他有没有数据分析的common sense
或者specialty，能够给公司带来什么。
去NIPS，ICML会碰见一堆这种的。现在对CS的博士培养都快令人无语了。学校教授拿了
钱就想多招人，招人了只为干活捞钱，才懒得去培养学生；学生也只想再准备个GRE一
样的写代码考试进公司混口饭吃，只有少数厉害点的才会想着自学点东西将来能忽悠有
钱人。

的。

【在 f*******s 的大作中提到】

: 本来统计和数学就不是一样，stat is a subject of science not a subject of
: mathematics.
: 面试题这种，我随便说几个你估计也得想几天，没什么意义，你招人又不是用来做题的。

i*h2013-06-01 07:06

51 楼

和我看了贴后的第一个想法一模一样 :-)

么事

【在 c*****l 的大作中提到】

: 就凭你将公司名字写成blumberg及Reuter, 你就省省吧。这公司成不成，都没你什么事
:
: fund

s*a2013-06-01 07:06

52 楼

有道理

【在 s**o 的大作中提到】

: 我敢说针对历史数据用ML的方法低频交易死的要多惨有多惨，还不如跟版上大牛合作做
: expert system人机交互，或者干脆分析海量话题数据迭代……
: 不过更可能的是懂股票的写不出代码，写的出代码的不懂股票，哈哈~

s*e2013-06-01 07:06

53 楼

对实力有信心就自己炒股好了，比什么都赚钱。

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

l*s2013-06-01 07:06

54 楼

关于finance方面我不懂先不说
光谈谈text mining跟social network的故事线索分析。
当前的NLP技术还不足以搞出非常实用的sentiment analysis产品，精确度、速度、
recall等都是问题。
基本上，工业界的算法大部分还是supervised learning为主，拿常用的SVM、Bayes、
最大熵、CRF等来算一遍，这些个东西搞简单的NLP应用还不错，但是搞sentiment
analysis总是欠点火候。比如，想要train出一个好的model，就需要大量的人工标注，
成本非常高；sentiment analysis不光是判断肯定否定，很多时候还得自动探测文章里
面的topic跟entity，这玩意又增加了很多工作量和不确定因素，技术上很有挑战性。
deep learning貌似挺火的最近，号称可以克服很多传统machine learning的缺点。不
妨研究下。
贵公司对员工的machine learning能力有信心，这是好事；另一方面，搞NLP或者
sentiment analysis还需要很多linguistics跟psychology的domain knowledge，这就
不是光靠ML就能解决了的。

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

s*n2013-06-01 07:06

55 楼

很奇怪sentiment他们要算神马?
大机构直接看市场数据，散户仓位神马都就一清二楚了。
这要多学术派才去搞sentimental analysis.

【在 l*******s 的大作中提到】

: 关于finance方面我不懂先不说
: 光谈谈text mining跟social network的故事线索分析。
: 当前的NLP技术还不足以搞出非常实用的sentiment analysis产品，精确度、速度、
: recall等都是问题。
: 基本上，工业界的算法大部分还是supervised learning为主，拿常用的SVM、Bayes、
: 最大熵、CRF等来算一遍，这些个东西搞简单的NLP应用还不错，但是搞sentiment
: analysis总是欠点火候。比如，想要train出一个好的model，就需要大量的人工标注，
: 成本非常高；sentiment analysis不光是判断肯定否定，很多时候还得自动探测文章里
: 面的topic跟entity，这玩意又增加了很多工作量和不确定因素，技术上很有挑战性。
: deep learning貌似挺火的最近，号称可以克服很多传统machine learning的缺点。不

o*e2013-06-01 07:06

56 楼

我没有在金融行业呆过，只是一介股民。
直观上说，我不认为这种选变量的方法会有效。从几千变量挑选，你只能是根据历史数
据来挑选，挑选出来的变量很可能根本不能解释会产生这种结果的原因。
我认为一个好的strategy是感性直观的，也就是说不基于数据本身从直观上看是会盈利
的。统计的模型只是优化结果而已，它不能改变本身的性质（亏损或盈利）。

feature

【在 S**********t 的大作中提到】

: 问题是两年多快三年了都没有任何卖出去的迹象。
: 还有。头有一个idea是让很多不同的人建feature variables.比如说用各种方法从十几
: 个基本变量建出上千个变量甚至几千个变量，然后从众多变量中选出好的变量作回归。
: 但问题是如何选出“好”变量。曾经做过一个实验表明随机产生的上千个变量中总会有
: 所谓“好”的变量。还有，如果真有神奇的选变量的方法的话，那很多经典的feature
: selection 技术岂不是多被推翻了？这样的话好像也用不着去花钱订购数据了。
: comment please.

l*s2013-06-01 07:06

57 楼

有一些研究是基于news的sentiment analysis搞自动交易
读过这方面的几篇paper，不过他们自己也说，要是加上手续费，模型就赔钱了。。。
貌似是Tetlock的文章。

【在 s*****n 的大作中提到】

: 很奇怪sentiment他们要算神马?
: 大机构直接看市场数据，散户仓位神马都就一清二楚了。
: 这要多学术派才去搞sentimental analysis.

c*o2013-06-01 07:06

58 楼

我觉得可能每天都预测比较不靠谱，但是在某些市场环境下可以预测大盘。
比如用momentum的方法，在strong uptrend的市场中，如果前两天的大盘price没有
十分远离均线的情形，绝对可以有90%以上的几率认为大盘下一天是上升的。
用sentiment的方法和TA的方法可能不可以预测一天的升降，但是一周的话可能可以

w*a2013-06-01 07:06

59 楼

这是我见到的关于文本挖掘最全面中肯的阐述了
看来楼主才是这方面的行家

【在 l*******s 的大作中提到】

: 关于finance方面我不懂先不说
: 光谈谈text mining跟social network的故事线索分析。
: 当前的NLP技术还不足以搞出非常实用的sentiment analysis产品，精确度、速度、
: recall等都是问题。
: 基本上，工业界的算法大部分还是supervised learning为主，拿常用的SVM、Bayes、
: 最大熵、CRF等来算一遍，这些个东西搞简单的NLP应用还不错，但是搞sentiment
: analysis总是欠点火候。比如，想要train出一个好的model，就需要大量的人工标注，
: 成本非常高；sentiment analysis不光是判断肯定否定，很多时候还得自动探测文章里
: 面的topic跟entity，这玩意又增加了很多工作量和不确定因素，技术上很有挑战性。
: deep learning貌似挺火的最近，号称可以克服很多传统machine learning的缺点。不

e*e2013-06-01 07:06

60 楼

那如果加个惩罚函数来控制over fitting 高频操作对outlier敏感点或者再来电人工
干预？

【在 s*****e 的大作中提到】

: 这类模型最大的问题都是overfit, 而且一旦overfit了很难查出来。一般来说，要查
: overfit，你需要把你的模型放在一个完全独立的数据上再test一次，但是股市中基本
: 没有这样的数据。

h*e2013-06-01 07:06

61 楼

你们也太为难人家了。。
软件多少钱？20w以内的我买个试试
好的话来板上推广

S*t2013-06-01 07:06

62 楼

这个comment很精彩。。。

【在 l*******s 的大作中提到】

: 关于finance方面我不懂先不说
: 光谈谈text mining跟social network的故事线索分析。
: 当前的NLP技术还不足以搞出非常实用的sentiment analysis产品，精确度、速度、
: recall等都是问题。
: 基本上，工业界的算法大部分还是supervised learning为主，拿常用的SVM、Bayes、
: 最大熵、CRF等来算一遍，这些个东西搞简单的NLP应用还不错，但是搞sentiment
: analysis总是欠点火候。比如，想要train出一个好的model，就需要大量的人工标注，
: 成本非常高；sentiment analysis不光是判断肯定否定，很多时候还得自动探测文章里
: 面的topic跟entity，这玩意又增加了很多工作量和不确定因素，技术上很有挑战性。
: deep learning貌似挺火的最近，号称可以克服很多传统machine learning的缺点。不

S*t2013-06-01 07:06

63 楼

xixi...

么事

【在 c*****l 的大作中提到】

: 就凭你将公司名字写成blumberg及Reuter, 你就省省吧。这公司成不成，都没你什么事
:
: fund

v*k2013-06-01 07:06

64 楼

你会发现最后只剩下人工干预了。lol

【在 e*****e 的大作中提到】

: 那如果加个惩罚函数来控制over fitting 高频操作对outlier敏感点或者再来电人工
: 干预？

w*a2013-06-01 07:06

65 楼

本人坚信大量数据基础上机器学习的办法肯定会比有经验的交易员更有效
从这点讲，应该是个办法

【在 r***e 的大作中提到】

: 也不至于吧，就像sp500很少会被manipulated,要是能搞好，每天上个杠杆来个1% 2%，
: 很不错了。
: 不果我和其他同学一样对predictable power很怀疑

v*k2013-06-01 07:06

66 楼

高频做大盘可以

【在 w*****a 的大作中提到】

: 本人坚信大量数据基础上机器学习的办法肯定会比有经验的交易员更有效
: 从这点讲，应该是个办法

h*72013-06-01 07:06

67 楼

exactly

【在 v*****k 的大作中提到】

: 你会发现最后只剩下人工干预了。lol

p*u2013-06-01 07:06

68 楼

靠，街上没有这么傻买这种东西。

【在 r***e 的大作中提到】

: 街上本来不就这样，赚不赚钱2说，先把系统忽悠出去，把钱赚到手再说，你能不能赚
: 钱就是你的问题了。
: 希望楼主去把这个牛重新圆一下，然后找几个犹太sales,把东西忽悠出去还是有戏的。

p*u2013-06-01 07:06

69 楼

作为街上做股票的，我只能说你老板是个蠢货看不懂方向。
建议你换老板换公司。一个没有股票经验的公司单凭machine learning想预测股市
？真的是很可笑. 你当institution客户是傻叉？

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

a*e2013-06-01 07:06

70 楼

大牛请多来灌水发贴，请先吃个包子

【在 p****u 的大作中提到】

: 作为街上做股票的，我只能说你老板是个蠢货看不懂方向。
: 建议你换老板换公司。一个没有股票经验的公司单凭machine learning想预测股市
: ？真的是很可笑. 你当institution客户是傻叉？
:
: fund

S*t2013-06-01 07:06

71 楼

如果交易员的经验可以量化，交易员的reasoning可以用hierarchical bayesian
models模拟的话，我相信大量数据基础上的机器学习。但是至少现在的machine
learning做不到。感觉比较现实的是build一些计算functions来test各种交易员在大量
市场观测下生成的众多hypothesis。

【在 w*****a 的大作中提到】

: 本人坚信大量数据基础上机器学习的办法肯定会比有经验的交易员更有效
: 从这点讲，应该是个办法

l*s2013-06-01 07:06

72 楼

其实，基于text mining的自动交易，很多机构都在搞，貌似最卖力的就是某些Hedge
Fund.
丫们自己关起门来搞，好了自己拿来闷声发大财；不好的话也不往外公布。既不买市场
上的产品和半成品，自己开发出的东西又不往外卖。所以外界一直不知道他们搞的怎么
样了，到底赚不赚钱。不过他们在搞这玩意基本是一定的，我就见过好几个公司发过这
种职位，比如Two Sigma发过Knowledge Management Developer，看职位要求就是搞
text mining；德意志银行、高德曼萨克斯、UBS也发过这玩意；还有某个startup专门
搞基于Twitter的finance text mining；还有某个号称finance界的google的搜索引擎
startup公司也在搞。
专门做Finance data的布隆伯儿格儿和汤森如意特，据我所知，暂时没有像样的产品，
但是他们一直在招这方面的人，而且本身就有这种团队，完全具备该产品的研发实力。
只是不知道为啥一直不发布这种产品。我的猜想是：他们觉得就算开发出来，没人会买
，前面说了，投行跟fund都在搞自己的东西，这个东西要求定制性非常高；另一方面，
难度很大，如果达不到一定精度，用户很难买账。
学术界就不用说了，这两年一直很热，比如我前面提到的Tetlock，发了好几篇这个，
还是顶级finance期刊。
总的来讲，我感觉这玩意还是有前景的，毕竟大家搞自动交易可分析的数据就那么多，
digital data已经用尽了，很难在压榨出什么潜力，就剩下text、video、audio这些个
unstructured data了。其中就数text分析还算是doable，音频视频分析那基本没谱。
所以说，我个人认为，lz要搞得这个产品，前景很光明，道路那是相当相当的曲折啊。
。。

S*t2013-06-01 07:06

73 楼

街上做股票的。太好了，能评论得详细些吗。我们根本也没有任何职业股票人士交流过
。头也不可能允许这样。因为怕自己辛辛苦苦研究出来的东西被别人拿去用。只好埋头
用各种模型去fit订购来的数据。其实对股票操作的真实情况还真是不怎么懂...

【在 p****u 的大作中提到】

: 作为街上做股票的，我只能说你老板是个蠢货看不懂方向。
: 建议你换老板换公司。一个没有股票经验的公司单凭machine learning想预测股市
: ？真的是很可笑. 你当institution客户是傻叉？
:
: fund

p*u2013-06-01 07:06

74 楼

谢谢班主，荣幸荣幸.

【在 a*****e 的大作中提到】

: 大牛请多来灌水发贴，请先吃个包子

S*t2013-06-01 07:06

75 楼

既然这么有财力的companies 和 institutions 自己在搞那start-up怎么竞争，尤其是
当缺乏text-mining领域里的大牛加盟。别说大牛，小牛都缺。start-up怎么做市场定
位，到底能卖给谁？能说得具体一点吗？

【在 l*******s 的大作中提到】

: 其实，基于text mining的自动交易，很多机构都在搞，貌似最卖力的就是某些Hedge
: Fund.
: 丫们自己关起门来搞，好了自己拿来闷声发大财；不好的话也不往外公布。既不买市场
: 上的产品和半成品，自己开发出的东西又不往外卖。所以外界一直不知道他们搞的怎么
: 样了，到底赚不赚钱。不过他们在搞这玩意基本是一定的，我就见过好几个公司发过这
: 种职位，比如Two Sigma发过Knowledge Management Developer，看职位要求就是搞
: text mining；德意志银行、高德曼萨克斯、UBS也发过这玩意；还有某个startup专门
: 搞基于Twitter的finance text mining；还有某个号称finance界的google的搜索引擎
: startup公司也在搞。
: 专门做Finance data的布隆伯儿格儿和汤森如意特，据我所知，暂时没有像样的产品，

b*p2013-06-01 07:06

76 楼

大牛真牛！赞！

【在 l*******s 的大作中提到】

: 其实，基于text mining的自动交易，很多机构都在搞，貌似最卖力的就是某些Hedge
: Fund.
: 丫们自己关起门来搞，好了自己拿来闷声发大财；不好的话也不往外公布。既不买市场
: 上的产品和半成品，自己开发出的东西又不往外卖。所以外界一直不知道他们搞的怎么
: 样了，到底赚不赚钱。不过他们在搞这玩意基本是一定的，我就见过好几个公司发过这
: 种职位，比如Two Sigma发过Knowledge Management Developer，看职位要求就是搞
: text mining；德意志银行、高德曼萨克斯、UBS也发过这玩意；还有某个startup专门
: 搞基于Twitter的finance text mining；还有某个号称finance界的google的搜索引擎
: startup公司也在搞。
: 专门做Finance data的布隆伯儿格儿和汤森如意特，据我所知，暂时没有像样的产品，

a*e2013-06-01 07:06

77 楼

大牛，马克包子

【在 l*******s 的大作中提到】

: 其实，基于text mining的自动交易，很多机构都在搞，貌似最卖力的就是某些Hedge
: Fund.
: 丫们自己关起门来搞，好了自己拿来闷声发大财；不好的话也不往外公布。既不买市场
: 上的产品和半成品，自己开发出的东西又不往外卖。所以外界一直不知道他们搞的怎么
: 样了，到底赚不赚钱。不过他们在搞这玩意基本是一定的，我就见过好几个公司发过这
: 种职位，比如Two Sigma发过Knowledge Management Developer，看职位要求就是搞
: text mining；德意志银行、高德曼萨克斯、UBS也发过这玩意；还有某个startup专门
: 搞基于Twitter的finance text mining；还有某个号称finance界的google的搜索引擎
: startup公司也在搞。
: 专门做Finance data的布隆伯儿格儿和汤森如意特，据我所知，暂时没有像样的产品，

l*s2013-06-01 07:06

78 楼

thx!不过不是啥大牛，呵呵

【在 a*****e 的大作中提到】

: 大牛，马克包子

l*s2013-06-01 07:06

79 楼

我也是基于自己的一些猜测，很多信息我也不确定。
大公司和机构相对于startup，信息上有优势。比如布隆伯儿格儿和如意特儿，他们自
己就做data的，拿来用很方便，如果需要别的机构的data，直接砸钱买来；小公司就没
这个优势，自己木有data，从data feed买的话，又很贵。不过要是找对了方向，比如
就只做基于twitter的text mining，那么这个大公司的优势就不存在了。SEC前不久刚
允许公司在twitter发布报告，这个是很好的切入点。
技术上，大公司自然是人多势众，团队优势很明显；但是小公司如果能找到这个领域的
大小牛，那么几个人的团队打败大公司几十上百人的团队，并不是痴人说梦。IT界无数
例子都可以说明这个，很多产品就是几个人攒起来的。牛人不在多，有时候一个人能打
败一支团队。

【在 S**********t 的大作中提到】

: 既然这么有财力的companies 和 institutions 自己在搞那start-up怎么竞争，尤其是
: 当缺乏text-mining领域里的大牛加盟。别说大牛，小牛都缺。start-up怎么做市场定
: 位，到底能卖给谁？能说得具体一点吗？

b*u2013-06-01 07:06

80 楼

这东西每个hedg fund 雇一大把quant一直在搞。

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

s*s2013-06-01 07:06

81 楼

介个我都是外行。不过好歹模型出来了，公开run个一年
看增长吧。找一堆历史数据fit了半天，是人都能overfit出
一爆牛的模型吧。

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

p*u2013-06-01 07:06

82 楼

fit订购来的数据没有用的。overfit的模型对未来没有prediction power。你起码需要
在time horizon上做backtest. 即使这样你要推销给别人，也很少有人信你，因为
backtest照样可以overfit。人家肯定要重新run backtest，replicate不了你的结果
，肯定不会买你产品。
also, domain knowledge is much much more important than machine learning
skill.
看描述你公司你老板也什么都不懂股票。总之，你这个project很不靠谱，没有任何前
途。

【在 S**********t 的大作中提到】

: 街上做股票的。太好了，能评论得详细些吗。我们根本也没有任何职业股票人士交流过
: 。头也不可能允许这样。因为怕自己辛辛苦苦研究出来的东西被别人拿去用。只好埋头
: 用各种模型去fit订购来的数据。其实对股票操作的真实情况还真是不怎么懂...

S*t2013-06-01 07:06

83 楼

text mining 里的大小牛知道很多。可问题是公司不愿意出大价钱雇用这样的人。成本
太高。还有万一人家自己搞出东西不愿share雇用成本不就打水漂了？其实现在公司在
内部都不让不同组的来share就是怕搞出的东西被别人拿走去赚钱。

【在 l*******s 的大作中提到】

: 我也是基于自己的一些猜测，很多信息我也不确定。
: 大公司和机构相对于startup，信息上有优势。比如布隆伯儿格儿和如意特儿，他们自
: 己就做data的，拿来用很方便，如果需要别的机构的data，直接砸钱买来；小公司就没
: 这个优势，自己木有data，从data feed买的话，又很贵。不过要是找对了方向，比如
: 就只做基于twitter的text mining，那么这个大公司的优势就不存在了。SEC前不久刚
: 允许公司在twitter发布报告，这个是很好的切入点。
: 技术上，大公司自然是人多势众，团队优势很明显；但是小公司如果能找到这个领域的
: 大小牛，那么几个人的团队打败大公司几十上百人的团队，并不是痴人说梦。IT界无数
: 例子都可以说明这个，很多产品就是几个人攒起来的。牛人不在多，有时候一个人能打
: 败一支团队。

p*e2013-06-01 07:06

84 楼

看来你老板也是个明白人，知道搞出来的话，就不用被人剥削了

【在 S**********t 的大作中提到】

: text mining 里的大小牛知道很多。可问题是公司不愿意出大价钱雇用这样的人。成本
: 太高。还有万一人家自己搞出东西不愿share雇用成本不就打水漂了？其实现在公司在
: 内部都不让不同组的来share就是怕搞出的东西被别人拿走去赚钱。

S*t2013-06-01 07:06

85 楼

对呀，就是在不停地在time horizon上做backtest。因为一直没有机会实战，只能不断
接受新的时段的数据fit来fit去，backtest来backtest去。累计回报曲线总能看上去很
好。总觉得如果首次backtest结果不好的话就不应该相信这模型。但是头总愿意让试不
同的策略，结果做几次backtest也成了tuning好多parameters。头一般给CEO作
presentation都是拿好的结果。好像一般发paper都是这样的搞法。但我们也不可能发
paper，因为头怕泄密。

【在 p****u 的大作中提到】

: fit订购来的数据没有用的。overfit的模型对未来没有prediction power。你起码需要
: 在time horizon上做backtest. 即使这样你要推销给别人，也很少有人信你，因为
: backtest照样可以overfit。人家肯定要重新run backtest，replicate不了你的结果
: ，肯定不会买你产品。
: also, domain knowledge is much much more important than machine learning
: skill.
: 看描述你公司你老板也什么都不懂股票。总之，你这个project很不靠谱，没有任何前
: 途。

v*k2013-06-01 07:06

86 楼

别逗了，算法就是个屁。data值钱

【在 S**********t 的大作中提到】

: text mining 里的大小牛知道很多。可问题是公司不愿意出大价钱雇用这样的人。成本
: 太高。还有万一人家自己搞出东西不愿share雇用成本不就打水漂了？其实现在公司在
: 内部都不让不同组的来share就是怕搞出的东西被别人拿走去赚钱。

c*y2013-06-01 07:06

87 楼

give some example first.
1. some firms use machine learning. fewer to believer it does have
any edge. but to predict is a dead end.
2. text mining is very old, nothing new. I think even someone here posted
something relevant before. eg.
http://www.weiming.info/zhuti/Stock/33099835/
3. social network is old news as well. I've been to a seminar, didn't
remember it's US or Chinese Professor did such research on twitter,
and publish papers with backtest
I am pretty sure it's used by some leading firms long time ago.
In all, none of these ideas is new. will be hard to market them.

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

w*w2013-06-01 07:06

88 楼

1.如果真有这种软件，你自己搞个fund做出成绩，然后凭成绩吸收资金搞大fund，才是
可行之路。
卖软件不会work，因为你卖的对象都是市场的一份子。他们的操作本身就会影响市场的
，导致你的软件失灵。
比如你的软件预测本次跌势大盘会跌15%。到了13%大家想还差一点就到底了，那么就别
卖了吧。还有一些抄底资金在13%，14%等着哪。所以最后大盘跌到12%就再也跌不下去
。那些老老实实按你软件在15%等的人永远也买不到。
2.光用数据搞预测是不行的。再多数据都没用。
你要会设定语。比如超卖多少才是底？5-day RSI在熊市中经常跌到20以下，在牛市中
30就能止跌。所以先判断是熊市跌还是牛市跌？另外底部基本上都有大成交量，VIX和P
/C ratio和底部也很有关系。把这些定语加上，才能提高准确率。
3.市场pattern不是一层不变的。基本上几个月就会有明显变化。所以一个预测模型想
预测所有时间是行不通的。你的模型必须拥有自我学习能力。随着市场行为的变化而不
断调节。
4.光有预测对trading是起不上什么作用的。只有给出entry point 和exit point才真
正能起作用。
比如你的软件预测此次跌势跌20%的概率有80%。如果跌势超过20%，是不是就该马上撤
出呢
？如果跌到21%人家撤出，结果刚撤出就到底反弹怎么办？可能你的软件只是预测差了
一个百分点，可是人家却变赢为输。如果每一次都不撤出，你测准的那八次赢得加起来
，可能还抵不上输的那两次。
所以真正的trading比预测复杂的多。

c*y2013-06-01 07:06

89 楼

ok, now I am pretty sure it's not useful.
by the time you find your "good" regressors.
market changes.

feature

【在 S**********t 的大作中提到】

: 问题是两年多快三年了都没有任何卖出去的迹象。
: 还有。头有一个idea是让很多不同的人建feature variables.比如说用各种方法从十几
: 个基本变量建出上千个变量甚至几千个变量，然后从众多变量中选出好的变量作回归。
: 但问题是如何选出“好”变量。曾经做过一个实验表明随机产生的上千个变量中总会有
: 所谓“好”的变量。还有，如果真有神奇的选变量的方法的话，那很多经典的feature
: selection 技术岂不是多被推翻了？这样的话好像也用不着去花钱订购数据了。
: comment please.

a*t2013-06-01 07:06

90 楼

我觉得有前途。起码有50%的成功率。

fund

【在 S**********t 的大作中提到】

: 2004 年成立的start-up. 一直以consulting 为主。近两年想转型到基于big data,
: machine learning的solution company. 现在一个主要的项目是用从blumberg 和
: reuter 订购来的数据来预测股市。如果历史数据模拟可以的话就考虑卖给hedge fund
: 。公司对自己的machine learning 实力很有信心。主要着重以下几个方面来预测股市
: ：1 用传统的价，量，财报来fit股价涨跌；2用text mining的方法计算网上文章的
: sentiment 来预测股价涨跌；2，寻找social network上的故事线索来预测市场的大涨
: 或大跌。呈请高手评论这个business model 的前景。

c*y2013-06-01 07:06

91 楼

kinda of,
statistics faculty is much much easier to get than math one.
knew more than one ppl got statistics AP in an ivy school right after phd

【在 w*****a 的大作中提到】

: 你也太高看统计PHD了
: 真正的数学人从不认为统计是数学
: 听过一句话
: 叫“这东西都知道，除了某某大学的统计PHD”
: 这某某大学就在你说的这几个学校当中
: 曾经拿一个关联矩阵的题考倒了一圈统计PHD
: 题是一个TRADING公司的面试题
: 连我这没学过统计的人几分钟之内就能解决
: 可见统计有多水
: 不过也可能统计高人我还没碰上

s*n2013-06-01 07:06

92 楼

别逗了，通俗点说吧。
你的模型，参数选择就是选1024个人随机投票。
1半人第一年呀涨，1半压跌。
第二年，败者淘汰，胜者一半鸭掌，一半压碟。
10年过去，终于出一个股神，你们头拿去哄老板了。
考虑到你可以无穷选参数，参赛者可以设为1百万。过去30年就几个熊市。
大概在6个时间点变换投资策略就可以。你可以选出2万多个股神哄老板玩。
这就是所谓的 data mining。

【在 S**********t 的大作中提到】

: 对呀，就是在不停地在time horizon上做backtest。因为一直没有机会实战，只能不断
: 接受新的时段的数据fit来fit去，backtest来backtest去。累计回报曲线总能看上去很
: 好。总觉得如果首次backtest结果不好的话就不应该相信这模型。但是头总愿意让试不
: 同的策略，结果做几次backtest也成了tuning好多parameters。头一般给CEO作
: presentation都是拿好的结果。好像一般发paper都是这样的搞法。但我们也不可能发
: paper，因为头怕泄密。

e*e2013-06-01 07:06

93 楼

This is kind like what I am thinking.
Instead of predicting the market, learn the reactive strategy.
A) Find a group of most successful traders, build a model to learn their
strategies under different market states. Or
B) Build a model with N strategy parameters. Identify the most important
strategies and train the model.
The assumption is that there must be a suboptimal solution that can survive
90% of the situations.

【在 S**********t 的大作中提到】

: 如果交易员的经验可以量化，交易员的reasoning可以用hierarchical bayesian
: models模拟的话，我相信大量数据基础上的机器学习。但是至少现在的machine
: learning做不到。感觉比较现实的是build一些计算functions来test各种交易员在大量
: 市场观测下生成的众多hypothesis。

d*r2013-06-01 07:06

94 楼

backtest 有个屁用。庄家发威起来，spy都能生拉硬打。你的Model就是好好运行几年
，被庄家一个飞刀就砍到外婆。