Redian新闻
>
AWS cloud 内部做log,大家怎么设计
avatar
AWS cloud 内部做log,大家怎么设计# Programming - 葵花宝典
l*y
1
前两天在amazon上看到这边的虫草胶囊才20块不到一瓶。国内的虫草非常贵,但似乎是
野生的。这边养殖的不知道怎么样,有试过的吗?
avatar
h*u
2
Mom does not read or speak mandarin, of course no english. Worry about her
trip from Shanghai. If anybody fly from Shanghai to New York or Newark,
please contact me by mail. thanks.
avatar
u*d
3
理科硕士毕业,因为不想做原来的工作,想再读一个经济或者统计的master,但是现在
很难决定到底是读哪个,因为一方面,对这两个专业毕业后做的具体工作不是特别清楚
,不知道自己是不是很喜欢,另一方面,不知道到底哪个专业学的东西更有用,或者是
实际应用更多一些(貌似是统计)?
诚恳的希望对这两个专业或者其中之一的了解的ID,给些意见和建议,感激不尽!
avatar
b*l
4
昨日登山,登顶之时适逢大雾。一时大呼畅快,用手机卡察了几张与诸君分享。
图一为登顶之后往下眺望云遮雾掩别有一番浪漫。
avatar
g*1
5
☆─────────────────────────────────────☆
arthury (行为艺术爱好者) 于 (Tue Mar 17 02:02:08 2009) 提到:
没有?
本来觉得这本书写的还不错,不过网上调查了一下,有指出作者covey是个摩门教的
信徒。
想来问问基督教徒有看过这本书的没
☆─────────────────────────────────────☆
SpicyPotato (辣土豆) 于 (Tue Mar 17 02:40:15 2009) 提到:
没看过,读读章节标题就行了,已经是社会文化的一部分了,没什么难懂的。读读圣经
,学学耶稣,这些都在里面,更精妙得多。
☆─────────────────────────────────────☆
arsablue (真神) 于 (Tue Mar 17 07:52:41 2009) 提到:
我看過, 這本書比白布好得多, 不過從頭到尾都只是
想當然爾, 沒有實證調查。
☆─────────────────────────────────────☆
arsablue
avatar
d*r
6
最近在查看我们team的AWS上多个server里面的log,这帮人写的log都是随手在自己源
码目录下写个txt file。
这样导致在跨多个hosts上,看log追踪一些bug非常麻烦,因为各个相关的log都是分散
的。
所以我们准备写个公用的 log server, 主要就记录一些events (比如在什么时间,成
功做了啥,做什么失败了的错误码), 并且相关event,我准备用一个 task ID 一样的
东西关联起来。这样大家知道自己现在在做什么 task (有 task ID), 做的过程中,出
现任何 event,都可以调用公用的 log server 来记录一下。回头在 log server 上查
询啊,复盘什么的也方便。这个 log server 负载不需要很大。用 Cassandra 应该
overkill了,貌似用 MongoDB 最简单直接。大家怎么看?
avatar
p*a
7
现在都是烂专业了。学统计的一群一群都找不到工作
avatar
b*l
8
后面有若干同伴陆续赶来,向上的路崎岖而漫长。
avatar
z*e
9
mongodb把index全部读入内存
对于log有必要么?
是我就全部扔给cassandra去做
cassandra很简单的,不比mongodb难
我现在是aop+cassandra,轻轻松松
wwzz还有古德霸他们也都有用cassandra做log
avatar
u*d
10
但是对那些好专业,好找工作的,都不感兴趣啊,像CS,金融工程这些的,花钱学了没
兴趣肯定也学不好啊

【在 p********a 的大作中提到】
: 现在都是烂专业了。学统计的一群一群都找不到工作
avatar
b*l
11
突然一阵山风吹来,山顶顿时云雾茫茫两不见。温度也一下子低了好几度,山风夹杂着冷气迎面扑来,果然是高处不胜寒。
avatar
c*o
12
cassandra确实更适合做多写少读的log。
avatar
Z*l
13
学CS,反正你都不喜欢,捡实用的。

【在 u****d 的大作中提到】
: 理科硕士毕业,因为不想做原来的工作,想再读一个经济或者统计的master,但是现在
: 很难决定到底是读哪个,因为一方面,对这两个专业毕业后做的具体工作不是特别清楚
: ,不知道自己是不是很喜欢,另一方面,不知道到底哪个专业学的东西更有用,或者是
: 实际应用更多一些(貌似是统计)?
: 诚恳的希望对这两个专业或者其中之一的了解的ID,给些意见和建议,感激不尽!

avatar
b*l
14
太冷了,胡乱咔嚓若干张赶紧下去。下山时选了条更陡的山路,上山容易下山难啊。
avatar
z*e
15
嗯,ap系统,不是cp系统
mongo是cp系统,需要大量额外的资源消耗来保证consistency
比如内存或者时间,前者就是mongo后者是hbase

【在 c******o 的大作中提到】
: cassandra确实更适合做多写少读的log。
avatar
b*l
16
往下走不多远,回望山巅已经是云深不识真面目了。
avatar
d*r
17
其实我是用过Mongo, 没用过Cassandra, 组里有人用,说Cassandra有很多参数要调整
,要难学一点。
组里有不少人还在用 MySQL, 我想他们也能查询我做这个 log server. 不知道
Cassandra有靠谱点的白痴 client / web GUI 没有。
e.g. 不知道这种东西靠谱不
https://github.com/sebgiroux/Cassandra-Cluster-Admin
还有,HBase 现在跟 Cassandra 比起来如何,用起来能更简单可靠吗?
avatar
b*l
18
往下看同样是云烟缭绕不知归路。
avatar
z*e
19
hbase比cassandra还难搞
db用来做log就over kill了
如果你想找类似c*的,用couchdb
这个容易搞,支持python做查询
跟mongodb比较怎么说
couchdb vs mongodb
就像
cassandra vs hbase

【在 d*******r 的大作中提到】
: 其实我是用过Mongo, 没用过Cassandra, 组里有人用,说Cassandra有很多参数要调整
: ,要难学一点。
: 组里有不少人还在用 MySQL, 我想他们也能查询我做这个 log server. 不知道
: Cassandra有靠谱点的白痴 client / web GUI 没有。
: e.g. 不知道这种东西靠谱不
: https://github.com/sebgiroux/Cassandra-Cluster-Admin
: 还有,HBase 现在跟 Cassandra 比起来如何,用起来能更简单可靠吗?

avatar
b*l
20
终于,在树丛中看到了第一缕阳光。好温暖、好亲切。
avatar
e*t
21
take a look of scribe
http://en.wikipedia.org/wiki/Scribe_(log_server)

【在 z****e 的大作中提到】
: hbase比cassandra还难搞
: db用来做log就over kill了
: 如果你想找类似c*的,用couchdb
: 这个容易搞,支持python做查询
: 跟mongodb比较怎么说
: couchdb vs mongodb
: 就像
: cassandra vs hbase

avatar
b*l
22
到半山腰的时候有人累了,在路边的椅子上坐下来休息。
不知道你看到这张时作何感想,我拍照的时候心里就给它拟好了名字:
死生契阔,与子成说
avatar
b*l
24
到山脚下了,回头拍一张。神马叫妩媚,这就是妩媚。其实原照片更妩媚,但是太大,
为了符合尺寸要求像素不得不改小,可惜了。
我顿时觉得穿越了千年回到了宋朝,苏东坡写的那首《定风波》。古人诚不余欺也。
料峭春风吹酒醒,微冷,山头斜照却相迎。
回首向来萧瑟处,归去,也无风雨也无晴。
avatar
p*2
25
用mongo挺好的,针对这个应用。你觉得有啥问题吗?
avatar
b*l
26
上车前再咔嚓一张,用婉约词人的作品命题来得正好:
落日溶金,暮云合璧
不过我心情很好啊,偷了李清照的词句纯属断章取义。
avatar
g*g
27
log server does have high load, in fact, it can easily be the highest load
server among your services.

【在 d*******r 的大作中提到】
: 最近在查看我们team的AWS上多个server里面的log,这帮人写的log都是随手在自己源
: 码目录下写个txt file。
: 这样导致在跨多个hosts上,看log追踪一些bug非常麻烦,因为各个相关的log都是分散
: 的。
: 所以我们准备写个公用的 log server, 主要就记录一些events (比如在什么时间,成
: 功做了啥,做什么失败了的错误码), 并且相关event,我准备用一个 task ID 一样的
: 东西关联起来。这样大家知道自己现在在做什么 task (有 task ID), 做的过程中,出
: 现任何 event,都可以调用公用的 log server 来记录一下。回头在 log server 上查
: 询啊,复盘什么的也方便。这个 log server 负载不需要很大。用 Cassandra 应该
: overkill了,貌似用 MongoDB 最简单直接。大家怎么看?

avatar
o*6
28
云霭霭,雾飘飘,河条条伴路条条,登顶同行浪漫眺。
日隐隐,人悄悄,雨遥遥现光摇摇,回首夕阳无限好。

【在 b*********l 的大作中提到】
: 昨日登山,登顶之时适逢大雾。一时大呼畅快,用手机卡察了几张与诸君分享。
: 图一为登顶之后往下眺望云遮雾掩别有一番浪漫。

avatar
z*e
29
楼主这个心态不对
我遇到cassandra都跟打了鸡血一样
不上我都想跟人吵架
谁说上mysql,估计我都不给他什么好脸色看
有什么好怕的,不就是一工具么?
用了自然就知道顺手不顺手
面对屠龙技要迎难而上,掌握了屠龙技才能有跟人吹的资本
要不然你拿出去说的都是一些不入流的技术
多没劲,就像你去应聘一个将军级别的职位
人家问,你指挥过什么战斗啊?
你说我指挥过三元里抗英,虎门海战那种级别的我指挥不了
因为规模太大了,人家心理怎么想?
要勇于承担责任
avatar
k*u
30
zan
爬的是哪里的山啊?

【在 b*********l 的大作中提到】
: 到半山腰的时候有人累了,在路边的椅子上坐下来休息。
: 不知道你看到这张时作何感想,我拍照的时候心里就给它拟好了名字:
: 死生契阔,与子成说

avatar
f*t
31
hbase start single node很容易,不过这只是存储,你还需要自己写mapreduce job
分析数据

★ 发自iPhone App: ChineseWeb 8.1
★ 发自iPhone App: ChineseWeb 8.1
★ 发自iPhone App: ChineseWeb 8.1

【在 d*******r 的大作中提到】
: 其实我是用过Mongo, 没用过Cassandra, 组里有人用,说Cassandra有很多参数要调整
: ,要难学一点。
: 组里有不少人还在用 MySQL, 我想他们也能查询我做这个 log server. 不知道
: Cassandra有靠谱点的白痴 client / web GUI 没有。
: e.g. 不知道这种东西靠谱不
: https://github.com/sebgiroux/Cassandra-Cluster-Admin
: 还有,HBase 现在跟 Cassandra 比起来如何,用起来能更简单可靠吗?

avatar
k*e
32
是加州么?
avatar
d*r
33
那大牛的意思,也是直接上 Cassandra 比较耐用了。
我想,可能马上要遇上写程序,自动开很多 worker 虚拟机, 狂算视频解码归档的
scenario。

【在 g*****g 的大作中提到】
: log server does have high load, in fact, it can easily be the highest load
: server among your services.

avatar
a*y
34
最喜欢这张
真美

【在 b*********l 的大作中提到】
: 到山脚下了,回头拍一张。神马叫妩媚,这就是妩媚。其实原照片更妩媚,但是太大,
: 为了符合尺寸要求像素不得不改小,可惜了。
: 我顿时觉得穿越了千年回到了宋朝,苏东坡写的那首《定风波》。古人诚不余欺也。
: 料峭春风吹酒醒,微冷,山头斜照却相迎。
: 回首向来萧瑟处,归去,也无风雨也无晴。

avatar
d*r
35
其实我是很愿意学新东西的,就做出来,组里有些人不爱用,所以我不还在找
Cassandra 的 web GUI 吗

【在 z****e 的大作中提到】
: 楼主这个心态不对
: 我遇到cassandra都跟打了鸡血一样
: 不上我都想跟人吵架
: 谁说上mysql,估计我都不给他什么好脸色看
: 有什么好怕的,不就是一工具么?
: 用了自然就知道顺手不顺手
: 面对屠龙技要迎难而上,掌握了屠龙技才能有跟人吹的资本
: 要不然你拿出去说的都是一些不入流的技术
: 多没劲,就像你去应聘一个将军级别的职位
: 人家问,你指挥过什么战斗啊?

avatar
u*s
36
很高很高

【在 b*********l 的大作中提到】
: 昨日登山,登顶之时适逢大雾。一时大呼畅快,用手机卡察了几张与诸君分享。
: 图一为登顶之后往下眺望云遮雾掩别有一番浪漫。

avatar
d*r
37
目前琢磨的 API 设计是写个non blocking的 write_to_log_server(log_msg), 调用它
的模块大都是 Python, 少量PHP, 少量的 Ruby 和 Java。所以打算这个 write_to_log
_server(log_msg) 自己去开一个 sub process, 自个去写 log server. 这样设计的话
,所有语言的 API 都容易设计。如果写 log system 失败了,就只能在 local 写个
txt log 了。大家觉得这个设计如何?
avatar
Y*e
38
很有feel,配的词也好,呵呵
赞一下
仁者爱山 我也喜欢山

【在 b*********l 的大作中提到】
: 昨日登山,登顶之时适逢大雾。一时大呼畅快,用手机卡察了几张与诸君分享。
: 图一为登顶之后往下眺望云遮雾掩别有一番浪漫。

avatar
N*m
39
splunk

【在 d*******r 的大作中提到】
: 最近在查看我们team的AWS上多个server里面的log,这帮人写的log都是随手在自己源
: 码目录下写个txt file。
: 这样导致在跨多个hosts上,看log追踪一些bug非常麻烦,因为各个相关的log都是分散
: 的。
: 所以我们准备写个公用的 log server, 主要就记录一些events (比如在什么时间,成
: 功做了啥,做什么失败了的错误码), 并且相关event,我准备用一个 task ID 一样的
: 东西关联起来。这样大家知道自己现在在做什么 task (有 task ID), 做的过程中,出
: 现任何 event,都可以调用公用的 log server 来记录一下。回头在 log server 上查
: 询啊,复盘什么的也方便。这个 log server 负载不需要很大。用 Cassandra 应该
: overkill了,貌似用 MongoDB 最简单直接。大家怎么看?

avatar
b*l
40
椰子好,很久不见。“仁”字很久不见了,突然看到就生出写感慨。泡网久了人就容易
浮躁,少了仁义之心。

【在 Y*********e 的大作中提到】
: 很有feel,配的词也好,呵呵
: 赞一下
: 仁者爱山 我也喜欢山

avatar
c*e
41
Don't try to reinvent wheel. Search Flume, SumoLogic and Splunk. Pick one
with your budget.
The difficult part is not logging infrastructure. Global tracing is not
trivial. Once you have server applications with lots of async operations,
instrumentation and log analytics are not easy.
avatar
Y*e
42
没错。还是要定时结网,积累。
不过总是说说容易,做起来好难。人都有惯性。

【在 b*********l 的大作中提到】
: 椰子好,很久不见。“仁”字很久不见了,突然看到就生出写感慨。泡网久了人就容易
: 浮躁,少了仁义之心。

avatar
g*g
43
writing against Cassandra is not difficult, maintaining a Cassandra cluster
is a different story. All I can say is Cassandra is better for this job,
particularly on ec2.

【在 d*******r 的大作中提到】
: 那大牛的意思,也是直接上 Cassandra 比较耐用了。
: 我想,可能马上要遇上写程序,自动开很多 worker 虚拟机, 狂算视频解码归档的
: scenario。

avatar
V*8
44
这手机不错
avatar
g*g
45
That's the part that a custom api may be easier for this job. You can log
stuff with a list of tags and index them. log doesn't have to be
unstructured.

【在 c****e 的大作中提到】
: Don't try to reinvent wheel. Search Flume, SumoLogic and Splunk. Pick one
: with your budget.
: The difficult part is not logging infrastructure. Global tracing is not
: trivial. Once you have server applications with lots of async operations,
: instrumentation and log analytics are not easy.

avatar
w*z
46
second this.
If you have different languages writing to Cassandra, the dev cost is pretty
high. Are you going to implement the API's by yourself? Ruby, Php, Java?
How do you maintain it going forward?
If you really want to do it yourself, it's better to provide rest service to
encapsulate the access layer to C*. It's not going to be fun if you have
different clients writing to C*. What if you want to change your schema,
you need to change all the client code?
And C* doesn't have good ui too to query the data, it's has CQL and CLI,
both are command line tool.

【在 c****e 的大作中提到】
: Don't try to reinvent wheel. Search Flume, SumoLogic and Splunk. Pick one
: with your budget.
: The difficult part is not logging infrastructure. Global tracing is not
: trivial. Once you have server applications with lots of async operations,
: instrumentation and log analytics are not easy.

avatar
d*r
47
是的,我打算用一种通用格式的API(e.g. REST)包装 log server 的 service,然后
AWS内网的其他 hosts,call 这个API就是了。

pretty
to

【在 w**z 的大作中提到】
: second this.
: If you have different languages writing to Cassandra, the dev cost is pretty
: high. Are you going to implement the API's by yourself? Ruby, Php, Java?
: How do you maintain it going forward?
: If you really want to do it yourself, it's better to provide rest service to
: encapsulate the access layer to C*. It's not going to be fun if you have
: different clients writing to C*. What if you want to change your schema,
: you need to change all the client code?
: And C* doesn't have good ui too to query the data, it's has CQL and CLI,
: both are command line tool.

avatar
z*3
48
我倒
不是都有人用了么?
把那个人抓出来,让他做presentation

【在 d*******r 的大作中提到】
: 其实我是很愿意学新东西的,就做出来,组里有些人不爱用,所以我不还在找
: Cassandra 的 web GUI 吗

avatar
z*3
49
你们这个系统还真杂啊
我刚跟一个集团的cio聊了下
他跟我也有相同的观点
就是技术太杂本身就是错误的
所以他们用了一段时间groovy之后
还是丢掉了groovy,回到java上去
因为java本身普及的范围广
groovy欠缺点,会的人不多
我用aop也是不用aspectj的额外定义的语法
也只用spring的aop,这样都是java,减少各种障碍
你这种杂语言系统如果要做成web service的话
vert.x很好用啊

log

【在 d*******r 的大作中提到】
: 目前琢磨的 API 设计是写个non blocking的 write_to_log_server(log_msg), 调用它
: 的模块大都是 Python, 少量PHP, 少量的 Ruby 和 Java。所以打算这个 write_to_log
: _server(log_msg) 自己去开一个 sub process, 自个去写 log server. 这样设计的话
: ,所有语言的 API 都容易设计。如果写 log system 失败了,就只能在 local 写个
: txt log 了。大家觉得这个设计如何?

avatar
d*r
50
那小子是 part-time 的,自顾自玩型的老美,他的模块也不重要。我不指望他。

【在 z*******3 的大作中提到】
: 我倒
: 不是都有人用了么?
: 把那个人抓出来,让他做presentation

avatar
d*r
51
其实还好,基本都 Python 化了,PHP和Java是很少的老代码,一般是不用动的。
有些Ruby的module,被我一个个都删除了。为这个我还毛糙地学了下Ruby,但是看到
Ruby的各种gem的自顾自懂的那些DSL还是非常晕,基本都被我用简单好几倍的Python代
码重写了。

【在 z*******3 的大作中提到】
: 你们这个系统还真杂啊
: 我刚跟一个集团的cio聊了下
: 他跟我也有相同的观点
: 就是技术太杂本身就是错误的
: 所以他们用了一段时间groovy之后
: 还是丢掉了groovy,回到java上去
: 因为java本身普及的范围广
: groovy欠缺点,会的人不多
: 我用aop也是不用aspectj的额外定义的语法
: 也只用spring的aop,这样都是java,减少各种障碍

avatar
b*e
52
有多少node?我们大概1千多node, 用logstash+graphite凑合使,另外做个前端界面按
系统统计日志类型,应该足够应付了,不过估计再多一些性能也快完蛋了
avatar
d*r
53
现在就100多个。scale问题没你们紧迫。
多谢推荐,我看了下: https://github.com/logstash/logstash
好像是 ruby的,不过我最近都不想用ruby了

【在 b********e 的大作中提到】
: 有多少node?我们大概1千多node, 用logstash+graphite凑合使,另外做个前端界面按
: 系统统计日志类型,应该足够应付了,不过估计再多一些性能也快完蛋了

avatar
o*0
54
Cassandra 难道不要把index读入内存?

【在 z****e 的大作中提到】
: mongodb把index全部读入内存
: 对于log有必要么?
: 是我就全部扔给cassandra去做
: cassandra很简单的,不比mongodb难
: 我现在是aop+cassandra,轻轻松松
: wwzz还有古德霸他们也都有用cassandra做log

avatar
w*z
55
Cassandra uses index sampling + bloome filter.

【在 o*******0 的大作中提到】
: Cassandra 难道不要把index读入内存?
avatar
o*0
56
Cassandra 的 index 只能做点查询,支持不了范围。你怎么解决这个呢?

【在 z****e 的大作中提到】
: mongodb把index全部读入内存
: 对于log有必要么?
: 是我就全部扔给cassandra去做
: cassandra很简单的,不比mongodb难
: 我现在是aop+cassandra,轻轻松松
: wwzz还有古德霸他们也都有用cassandra做log

avatar
g*g
57
For logging, you can use simple structure like this.
log CF
TimeUUID as key, your log stuff
tag CF
tagName:tagValue as key, all log keys for this tag
So you can search by tagName:tagValue + time range. Now if you only want a
time range search.
Put all log keys in an index CF.
Range search is available on row level in column names. So you just need to
come up with your own index.

【在 o*******0 的大作中提到】
: Cassandra 的 index 只能做点查询,支持不了范围。你怎么解决这个呢?
avatar
d*e
58
不要发明轮子 上网 个 O_O_G_Ke
我知道粉蓝 Greg有家的产品不错
且看大家讨论的

【在 d*******r 的大作中提到】
: 最近在查看我们team的AWS上多个server里面的log,这帮人写的log都是随手在自己源
: 码目录下写个txt file。
: 这样导致在跨多个hosts上,看log追踪一些bug非常麻烦,因为各个相关的log都是分散
: 的。
: 所以我们准备写个公用的 log server, 主要就记录一些events (比如在什么时间,成
: 功做了啥,做什么失败了的错误码), 并且相关event,我准备用一个 task ID 一样的
: 东西关联起来。这样大家知道自己现在在做什么 task (有 task ID), 做的过程中,出
: 现任何 event,都可以调用公用的 log server 来记录一下。回头在 log server 上查
: 询啊,复盘什么的也方便。这个 log server 负载不需要很大。用 Cassandra 应该
: overkill了,貌似用 MongoDB 最简单直接。大家怎么看?

avatar
a*n
59

为什么啊。

【在 w**z 的大作中提到】
: scribe is a dying project.
avatar
w*k
60
graylog2

【在 d*******r 的大作中提到】
: 最近在查看我们team的AWS上多个server里面的log,这帮人写的log都是随手在自己源
: 码目录下写个txt file。
: 这样导致在跨多个hosts上,看log追踪一些bug非常麻烦,因为各个相关的log都是分散
: 的。
: 所以我们准备写个公用的 log server, 主要就记录一些events (比如在什么时间,成
: 功做了啥,做什么失败了的错误码), 并且相关event,我准备用一个 task ID 一样的
: 东西关联起来。这样大家知道自己现在在做什么 task (有 task ID), 做的过程中,出
: 现任何 event,都可以调用公用的 log server 来记录一下。回头在 log server 上查
: 询啊,复盘什么的也方便。这个 log server 负载不需要很大。用 Cassandra 应该
: overkill了,貌似用 MongoDB 最简单直接。大家怎么看?

avatar
j*x
62
kinesis呗,流处理,跑个daemon不停上传
avatar
r*c
63
你这是structure log还是debug log?
36楼说的不错,用log saver类似的,存到HDFS
debug的话就看文件,structure的话更简单,直接起个mr查
avatar
d*r
64
kinesis 是类似 storm 一类的东西吧,我这个是过后查看的,貌似不需要上这个。
而且 kinesis 我们组有几个人玩过,结论是刚刚出来,过于新了。

【在 j********x 的大作中提到】
: kinesis呗,流处理,跑个daemon不停上传
avatar
d*r
65
请问你可否说详细点?
我不懂 structure log 和 debug log 这种提法。
我的log是要回头编程查询的,所以 log 一条条肯定要是有一定 structure 的,不是
无结构的 text stream
比如像 JSON一样的
{'time':'01-07-2014:08:00pm', 'writer':'srv1.video.xxcom.com', 'event-type'
:'error-xx' ...}
存到 HDFS, 在起个 mr? 没太懂
抱歉 hadoop 不熟悉.

【在 r****c 的大作中提到】
: 你这是structure log还是debug log?
: 36楼说的不错,用log saver类似的,存到HDFS
: debug的话就看文件,structure的话更简单,直接起个mr查

avatar
c*l
66
没错,在阿三垄断的世界里,就必须要有魄力

【在 z****e 的大作中提到】
: 楼主这个心态不对
: 我遇到cassandra都跟打了鸡血一样
: 不上我都想跟人吵架
: 谁说上mysql,估计我都不给他什么好脸色看
: 有什么好怕的,不就是一工具么?
: 用了自然就知道顺手不顺手
: 面对屠龙技要迎难而上,掌握了屠龙技才能有跟人吹的资本
: 要不然你拿出去说的都是一些不入流的技术
: 多没劲,就像你去应聘一个将军级别的职位
: 人家问,你指挥过什么战斗啊?

avatar
j*x
67
kinesis不用processing的那个部分就可以了,本来kinesis当初的设计侧重的是传输

【在 d*******r 的大作中提到】
: kinesis 是类似 storm 一类的东西吧,我这个是过后查看的,貌似不需要上这个。
: 而且 kinesis 我们组有几个人玩过,结论是刚刚出来,过于新了。

avatar
j*x
68
嫌麻烦世界扔s3里面不就得了?
不要自己造轮子,真的不划算,你好歹是在aws里面跑。

【在 d*******r 的大作中提到】
: 最近在查看我们team的AWS上多个server里面的log,这帮人写的log都是随手在自己源
: 码目录下写个txt file。
: 这样导致在跨多个hosts上,看log追踪一些bug非常麻烦,因为各个相关的log都是分散
: 的。
: 所以我们准备写个公用的 log server, 主要就记录一些events (比如在什么时间,成
: 功做了啥,做什么失败了的错误码), 并且相关event,我准备用一个 task ID 一样的
: 东西关联起来。这样大家知道自己现在在做什么 task (有 task ID), 做的过程中,出
: 现任何 event,都可以调用公用的 log server 来记录一下。回头在 log server 上查
: 询啊,复盘什么的也方便。这个 log server 负载不需要很大。用 Cassandra 应该
: overkill了,貌似用 MongoDB 最简单直接。大家怎么看?

avatar
d*r
69
你说这些index功能都不如一个DB,比如 Cassandra 好吧。s3这种就只是能存文件吧。
而且我虽然现在在AWS上,但是我还是避免那种离开了AWS,就完全不行了的功能,比如
kinesis / s3
相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。