Redian新闻
>
关于Kafka,一个log数据处理的问题
avatar
关于Kafka,一个log数据处理的问题# Programming - 葵花宝典
h*1
1
我老婆最近想申请H4签证,她曾经在军医大当过2年老师,这个经历会影响她拿到签证
吗?有什么需要注意的事情吗?
avatar
l*l
2
我在申请H1B的同时申请了J1豁免,H1B得到批准,但从F1到H1B转换身份失败,可能是
因为豁免没有完成,还在进行中。现决定回国去使馆面签,便可实现身份自行转换。我
的问题是现在这个前提下,J1豁免已拿到no objection statement 但还卡在国务院,
没有最终完成豁免,可不可以只拿H1B的I797批准信去面签,会不会给通过?
请各位大神指点,或有过来的小伙伴留下你们的宝贵意见!
avatar
S*y
3
现在在做Marketing。Perm广告打了几次,老板倒是很耐心合作收简历和interview。但
是sb律师都说不行,强调任何符合minimum requirement的人回复都不行。又不给任何
建议应该怎么做,最近居然提到是不是transfer到其他国家公司一年再回来,以为公司
是我们家开的?另外如果真的这样,是不是可以办L1签证(现在是Manager)?同学们有
什么建议么?谢了,也祝大家好运气。
律师是Cohen&grigsby的,这家好像也有过丑闻不知道是不是也是黑名单上的。反正过
去几年的经历,不是一般的蠢。
avatar
m*h
4
我有这么一个问题拿不定主意。
在一个team/group/organization里sell这个big data最好的方式就是在不动
production或用最小的cost的前提下提供现系统不能提供的feature。譬如,我们一个
大app,一堆API,一堆server,每个API都写很多(大部分是垃圾)到本地的log files
。可以想象一个login API,当一个user login后,一个thread会产生如下的log (实
际的log各种花样没这么简单)
[2015-10-11 02:00:00] TP-123 com.xyz.api.login INFO BEGIN
[2015-10-111 02:00:00] TP-123 com.xyz.api.login INFO user abcd is in
[2015-10-11 02:00:00] TP-123 com.xyz.api.login INFO use is from IP 1.2.3
.4
[2015-10-11 02:00:00] TP-123 com.xyz.api.login INFO user has permission
X,Y,Z
[2015-10-11 02:00:00] TP-123 com.xyz.api.login INFO END
这里TP-123 是thread name,在这里我想拿到的数据就是
user abcd ip 1.2.3.4 permission x,y,z
实际中一个tomcat上只有一个app,但有很多thread在写log到file里,而且这同一个
thread以后会处理别的API。不过在同一个log file里,我可以用thread来group这些
log,因为有明确的begin和end,我可以拿出想要的数据。
我有一个cron job, 每10分钟去各个server copy log files到Hadoop,然后一个
mapred job用filename和thread来map这些lines,再抓出每个user的数据。
现在想法是想把这套搞成实时的,一个方案是用logstash或fluentd tail这些log
files,送到kafka,然后写consumer来处理。问题是这样一来一大堆log lines被分散到
不同的Kafka partition,从Kafka consumer的角度它不能保证处理同一个server
thread 的messges/log lines(上面例子)。。。。一个方案是用server name做
message tag (fluentd),同时也做partition
key,这样能保证同一个server的log到同一个partition.
我想这个问题应该是很普遍的,想知道其他公司怎么解决的。
avatar
z*g
5
可以。没有豁免就是不能在境内转为H1B而已,对出境签H1B没有影响。
avatar
L*M
6
不懂帮定,自己也是business类eb2....
avatar
m*h
7
我想怎么都得用server name做message Tag (这样server name就在message JSON里了)
,因为server, thread和timestamp是决定log的三个缺一不可的因素。用server Tag
做partition key可以保证同一个server的log被发到同一个kafka partition, 在同一
个partition里message是keep order的,然后再在同一个consumer group里,同一个
partition总是分到同一个consumer,就是说不会出现两个同样的consumer 处理同一个
partition,觉得应该是work的。
avatar
l*l
8
我在申请H1B的同时申请了J1豁免,H1B得到批准,但从F1到H1B转换身份失败,可能是
因为豁免没有完成,还在进行中。现决定回国去使馆面签,便可实现身份自行转换。我
的问题是现在这个前提下,J1豁免已拿到no objection statement 但还卡在国务院,
没有最终完成豁免,可不可以只拿H1B的I797批准信去面签,会不会给通过?
请各位大神指点,或有过来的小伙伴留下你们的宝贵意见!
avatar
S*r
9
律师提的那个建议是可行的
但是需要有HR的配合和支持
我当年有加拿大绿卡
公司律师曾经建议把我送去多伦多分部一年再L回来
因为我的H1B六年大限将至
后来是把PERM广告打到一个就业率还算高的美国国内分部所在城市才过关的
L1有L1A和L1B之分
L1A可以上EB1
L1B还得走EB2
唯一的好处是如果你有配偶
L签证的配偶可以有EAD
BOTTOM LINE IS: you need HR's nod to execute any of these.
avatar
f*x
10
说了一大堆,不知道你到底想问什么问题? collectd => Kafka => Flink or Spark
Streaming => Kafka => C* or other NoSQL可能是你需要的架构。

了)
Tag

【在 m***h 的大作中提到】
: 我想怎么都得用server name做message Tag (这样server name就在message JSON里了)
: ,因为server, thread和timestamp是决定log的三个缺一不可的因素。用server Tag
: 做partition key可以保证同一个server的log被发到同一个kafka partition, 在同一
: 个partition里message是keep order的,然后再在同一个consumer group里,同一个
: partition总是分到同一个consumer,就是说不会出现两个同样的consumer 处理同一个
: partition,觉得应该是work的。

avatar
z*g
11
可以。没有豁免就是不能在境内转为H1B而已,对出境签H1B没有影响。
avatar
t*9
12
看着你的这家律师好像不肯帮忙。
我知道很多律师所都不怎么过问这个阶段的细节,换一家吧!
找个华人的律师所?

【在 S******y 的大作中提到】
: 现在在做Marketing。Perm广告打了几次,老板倒是很耐心合作收简历和interview。但
: 是sb律师都说不行,强调任何符合minimum requirement的人回复都不行。又不给任何
: 建议应该怎么做,最近居然提到是不是transfer到其他国家公司一年再回来,以为公司
: 是我们家开的?另外如果真的这样,是不是可以办L1签证(现在是Manager)?同学们有
: 什么建议么?谢了,也祝大家好运气。
: 律师是Cohen&grigsby的,这家好像也有过丑闻不知道是不是也是黑名单上的。反正过
: 去几年的经历,不是一般的蠢。

avatar
a*n
13
为什么要先把log file collect一下。每个thread是不是应该实时向kafka发log event
avatar
d*5
14
您好,我现在也是人在国内等J-1 Waiver的USCIS最终结果。现在已经拿到DOS的
Favorable Recommandation,不知能否只拿DOS的FR去面签H4签证呢?还是必须要等到
USCIS发出waiver approved I-797A才可以去面签H4呢?

【在 z****g 的大作中提到】
: 可以。没有豁免就是不能在境内转为H1B而已,对出境签H1B没有影响。
avatar
a*x
15
都在外面工作一年了当然上l1a了。俺们这北京来的小弟们都l1a呢。。。

【在 S******y 的大作中提到】
: 现在在做Marketing。Perm广告打了几次,老板倒是很耐心合作收简历和interview。但
: 是sb律师都说不行,强调任何符合minimum requirement的人回复都不行。又不给任何
: 建议应该怎么做,最近居然提到是不是transfer到其他国家公司一年再回来,以为公司
: 是我们家开的?另外如果真的这样,是不是可以办L1签证(现在是Manager)?同学们有
: 什么建议么?谢了,也祝大家好运气。
: 律师是Cohen&grigsby的,这家好像也有过丑闻不知道是不是也是黑名单上的。反正过
: 去几年的经历,不是一般的蠢。

avatar
d*r
16
你说这个我有体会,就是采集 log 的时候,如果不加入很重要的一些 fields, 就会
information loss。后面的分析,是后面的事情, 但是开始采集的时候,该加的 field
一定要加, 不然后面分析功能再fancy,也会缺信息.
这个主要看采集的模块,logstash(Ruby, JRuby, Go), fluentd(Ruby), 还有 Heka(Go
).
大概2年以前我用过 logstash, fluentd. logstash 乱糟糟的,filter/modifier功能
多,你按照写入的 log 加点 fields 问题不大. fluentd 我感觉用着舒服很多,
filter/modifier 少一点. 但是我是2年前用的,现在 logstash 跟着 ElasticSearch
有过一次大升级,质量应该好不少.
如果我现在做log采集,应该会试 Heka. 看着还挺不错的.
你可以回来分享下,后续的经验.

了)
Tag

【在 m***h 的大作中提到】
: 我想怎么都得用server name做message Tag (这样server name就在message JSON里了)
: ,因为server, thread和timestamp是决定log的三个缺一不可的因素。用server Tag
: 做partition key可以保证同一个server的log被发到同一个kafka partition, 在同一
: 个partition里message是keep order的,然后再在同一个consumer group里,同一个
: partition总是分到同一个consumer,就是说不会出现两个同样的consumer 处理同一个
: partition,觉得应该是work的。

avatar
S*y
17
十分感谢。HR本身应该不是问题,只要business这边同意他们什么都干。问题是从
business的角度把我派到别的国家需要有合适的机会,还要考虑原来的职位是否要找人
backfill,我回来了怎么办。就不太容易操作了。我自己都觉得不make sense。你当年
如果去多伦多的话还是同样的role么?另外你最后Perm离6年期限多久交上去的?再次
感谢。

【在 S*******r 的大作中提到】
: 律师提的那个建议是可行的
: 但是需要有HR的配合和支持
: 我当年有加拿大绿卡
: 公司律师曾经建议把我送去多伦多分部一年再L回来
: 因为我的H1B六年大限将至
: 后来是把PERM广告打到一个就业率还算高的美国国内分部所在城市才过关的
: L1有L1A和L1B之分
: L1A可以上EB1
: L1B还得走EB2
: 唯一的好处是如果你有配偶

avatar
m*h
18
是的,我的问题不是关于架构,拿轮子搭积木不难。在log处理这方面,syslog,
access log之类都很简单,因为都是one liner,well defined format。application
log,或user activity log就不同,因为有用的数据往往分散在很多message里 (像我
上面的例子),不管你是用什么message broker, 在consumer这端需要从新group,经常
需要把来自同一个request乃至同一个user的message数据合在一起,这才是我需要解决
的,因为我不像想在app端大改,所以选择用server name做message tag,和kafka
partition key (我用的是fluentd),这样同一个server的message就能被同一个
consumer处理。
avatar
S*r
19
去多伦多只是一个提法
具体怎么操作都没有谈及
关键是看你自己的老板和HR有多大的支持度和配合度了

【在 S******y 的大作中提到】
: 十分感谢。HR本身应该不是问题,只要business这边同意他们什么都干。问题是从
: business的角度把我派到别的国家需要有合适的机会,还要考虑原来的职位是否要找人
: backfill,我回来了怎么办。就不太容易操作了。我自己都觉得不make sense。你当年
: 如果去多伦多的话还是同样的role么?另外你最后Perm离6年期限多久交上去的?再次
: 感谢。

avatar
c*e
20
能按照topic来group吗?

application

【在 m***h 的大作中提到】
: 是的,我的问题不是关于架构,拿轮子搭积木不难。在log处理这方面,syslog,
: access log之类都很简单,因为都是one liner,well defined format。application
: log,或user activity log就不同,因为有用的数据往往分散在很多message里 (像我
: 上面的例子),不管你是用什么message broker, 在consumer这端需要从新group,经常
: 需要把来自同一个request乃至同一个user的message数据合在一起,这才是我需要解决
: 的,因为我不像想在app端大改,所以选择用server name做message tag,和kafka
: partition key (我用的是fluentd),这样同一个server的message就能被同一个
: consumer处理。

avatar
f*m
21
如果老板真心想帮你,所有符合基本条件的人都面试,然后都可以一条条找理由拒掉。
我当初也是这么办理的,律师应该帮你做个spreadsheet,广告也应该打得比较
specific,然后一条条反复盘问,要求其他申请职位的人提供证明,然后一一拒掉。。。
L1那个不可行,有那个折腾的时间,3年都过去了,说不定这边485也current了。当年
我的律师也提了这个馊主意,耽误了我一年时间。

【在 S******y 的大作中提到】
: 现在在做Marketing。Perm广告打了几次,老板倒是很耐心合作收简历和interview。但
: 是sb律师都说不行,强调任何符合minimum requirement的人回复都不行。又不给任何
: 建议应该怎么做,最近居然提到是不是transfer到其他国家公司一年再回来,以为公司
: 是我们家开的?另外如果真的这样,是不是可以办L1签证(现在是Manager)?同学们有
: 什么建议么?谢了,也祝大家好运气。
: 律师是Cohen&grigsby的,这家好像也有过丑闻不知道是不是也是黑名单上的。反正过
: 去几年的经历,不是一般的蠢。

avatar
S*y
22
老板确实面试了不少人,也把拒绝的理由给了律师。但是律师总是说锯掉的理由不充分
,但又不说具体的。老板美国人很实在,律师说什么他就做什么。

。。

【在 f********m 的大作中提到】
: 如果老板真心想帮你,所有符合基本条件的人都面试,然后都可以一条条找理由拒掉。
: 我当初也是这么办理的,律师应该帮你做个spreadsheet,广告也应该打得比较
: specific,然后一条条反复盘问,要求其他申请职位的人提供证明,然后一一拒掉。。。
: L1那个不可行,有那个折腾的时间,3年都过去了,说不定这边485也current了。当年
: 我的律师也提了这个馊主意,耽误了我一年时间。

avatar
f*m
23
你的job description要写得特定一些,容易找理由拒人。这个和广告是不一样的。

【在 S******y 的大作中提到】
: 老板确实面试了不少人,也把拒绝的理由给了律师。但是律师总是说锯掉的理由不充分
: ,但又不说具体的。老板美国人很实在,律师说什么他就做什么。
:
: 。。

avatar
m*a
24
这个跟我律师说的恰恰相反。 我也是business的,我律师说我们这种职位不同于理工
科的,其实什么人都能做,写的时候不能写的太特定.反而job title很重要.
我的广告打出去,最后只收到3分简历,也许是因为我们这里这方面的人不多吧.
1份没身份,1份学历不够,另一份自动放弃,面世的时候她自己突然觉得背景跟我们公
司不合适。

【在 f********m 的大作中提到】
: 你的job description要写得特定一些,容易找理由拒人。这个和广告是不一样的。
avatar
f*m
25
我也是business的。收了50多份申请,只有四份符合广告上面的要求。不符合广告要求
的连面试都不用。剩下的四个以种种理由打发掉了,都是不符合job description啥的。

们公

【在 m******a 的大作中提到】
: 这个跟我律师说的恰恰相反。 我也是business的,我律师说我们这种职位不同于理工
: 科的,其实什么人都能做,写的时候不能写的太特定.反而job title很重要.
: 我的广告打出去,最后只收到3分简历,也许是因为我们这里这方面的人不多吧.
: 1份没身份,1份学历不够,另一份自动放弃,面世的时候她自己突然觉得背景跟我们公
: 司不合适。

avatar
m*a
26
这个估计要看具体职位和自身条件了, 我律师这么做,很大部分是因为我是fresh
graduate, 高中升大学,大学升硕士,没有任何工作经验

的。

【在 f********m 的大作中提到】
: 我也是business的。收了50多份申请,只有四份符合广告上面的要求。不符合广告要求
: 的连面试都不用。剩下的四个以种种理由打发掉了,都是不符合job description啥的。
:
: 们公

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。