Redian新闻
>
利用kafka 幫助不同进程见传输数据靠谱么 (转载)
avatar
利用kafka 幫助不同进程见传输数据靠谱么 (转载)# Programming - 葵花宝典
l*8
1
以前我老板的秘书就和我说过,加州layoff是要提前3个月通知的。是不是这只是对学
校正式员工或州政府雇员才这样?
对于一年一续但也工作了好几年的博士后,是不是也适用呢?和朋友密切相关!十万
火急急急
!多谢!
avatar
v*p
2
笔者按:看到篱笆在书评区发起号召,要求明日加更,那明日我若是双更,每更三
千字,怎么样?
-------------------------
“召集所有的战兵军官来议事。”现在邓名能够召集的军官是三级尉官,很快,除
去值班的军官以外,一百多名尉官就集合起来参与军事会议。
战兵人数高达八千的军队,军衔最高的只是上尉,全部尉级军官加起来不到二百人
,这就是目前部队的现状。这些军官原来都是沿海义勇兵中威望比较高的人,几乎没有
受过任何军事训练,从排兵布阵到辨识旗号,都是在从南京到奉节的一路上学到的。
在湖北作战的时候,无论是黄州府还是其它名气较小的县城,每次攻破城池后邓名
都会召开总结会议;更早在南京的时候,甚至会为了扎营、行军这样的事召开全体军官
总结会。因此所有的军官对会议的形式和流程都很熟悉,知道中军帐没有那么大的地盘
,也没有足够多的椅子,所以每个人都带了一个小马扎来;走进用帆布圈起来的会议场
所后,他们就按照军衔高低而不是亲疏关系自动排好座位,坐在自己的马扎上等着开会

当邓名出现后,会场里的军官整齐地起立,向年轻的统帅问好,当邓名走到自己的
位置上落座后,这些军官也纷纷坐下。这种反应让邓名很满意,本来是义勇军性质的浙
军不但彼此友爱,而且也远不像其他明军那样等级森严,军官们可以坦然地坐在长官的
身边。
这种战后总结会议,是邓名军事训练的一部分,若是不进行训练的话,实战经验对
士兵的益处就会非常有限。一个典型例子就是刘体纯、贺珍等人曾经迷信的阳门阵、阴
*门阵,这个时代的军队由于缺乏训练,官兵们在自行展开的经验总结中,常常把胜利
归功给一些莫名其妙的原因,比如黄道吉日,与自己的生肖、太岁相符,或是系了一条
恰到好处的红布条之类。
自发进行经验总结是一种常见现象,广泛存在于所有的军队中,军队的主管对此采
用放任自流的态度。首先,军官并不认为这是一种坏事,若是士兵的迷信思想浓厚,更
有助于军官进行控制;其次,军官同样受到这种气氛的影响,各种流言、偏方、秘笈听
得次数多了,也就信以为真了。
但邓名对此决不姑息,严厉禁止此类谬论在军队中传播,如果发现有人宣扬类似刀
枪不入之类的诀窍(绝大多数人还是出于善意,想和同伴分享经验),那么无论官兵,
一律调到辅兵队伍去,没有丝毫的通融余地。
除了迷信以外,还有其它误入歧途的思想,比如在南京城下,那批浙江兵以为野战
就是等敌人吃饭、睡觉的时候去打他们,或是化妆成敌军替他们扎营,然后火烧联营。
这个思想一旦形成就会非常顽固,邓名和李来亨费了九牛二虎之力也无法扭转——让邓
名庆幸的是,相信这个理论的几千浙江兵都被张煌言带走了,现在该张尚书去头疼怎么
改变士兵的观念了。
战前传授经验、战后总结教训,让官兵知道为何胜利、为何失败,通过实战来强化
他们的认识,这就是邓名的计划。实战尤其是胜利会让官兵更加坚信他们学习到的理论
,就好像南京城下的三次大胜,让当时的那一批浙江兵对他们自行总结出来的野战理论
深信不疑一样——这种第一印象一旦形成并和初次胜利牢牢结合在一起,几乎是无法动
摇的。
对于在军中进行的军事普及教育,最支持的人是任堂,因为舟山的义勇兵原本就缺
乏军事常识,张煌言的军事经验也没有李定国、郑成功丰富,所以在浙江明军中存在着
大量被邓名痛斥为迷信的观念。
熟知闯营和西营内幕的周开荒和赵天霸,代表明军传统的李星汉,以及当过海盗的
穆谭,都觉得邓名的这种训练是前所未有的。
李星汉表示他听说过戚继光戚少保曾经写过一些文章,有一本有训练内容的军事书
籍,不过明军的军官阶层中大多数的人都是文盲,那本书大部分将领都没有看过;而闯
营、西营和郑成功的军队都没有任何训练手册,也没有帮助军官成长的方法,大家都是
通过战场经验自行领悟,然后再去战场检验。一个人悟出来的正确成分越多,就越有机
会活下来,然后把这些含有正确成分同时又含有迷信色彩的军事思想传授给其他人——
就是李定国和郑成功自我总结出来的经验,也同样含有大量的错误理论,不过错误的比
例比较低罢了。
这种军事理论是将领的私人财物,被他们爱惜地珍藏起来,轻易不示于人。邓名在
军官群体中进行大规模的总结和沟通,可以说是前所未有,天下独一份。比如深得袁宗
第信任的周开荒吧,袁宗第教给他所有的知识,都是为了让周开荒能够妥善完成靖国公
交代的任务罢了,至于把总以下的军官更没有必要知道该如何去取胜,只要懂得服从命
令就可以了。
而邓名不仅在尉级军官中进行军事普及教育,还让这些尉官把学到的知识、训练方
法以及为何要进行各种训练的原因转告给下面的军士,并鼓励军士进一步把这些知识传
授给士兵。
今天参与军事会议的军官们情绪都很好,上午的战斗完全是一边倒,明军不费吹灰
之力杀伤了一千多清兵,剩下的一万多人都被明军俘虏了。
几个上尉先后发言,认为明军取胜的关键就是精良的装备,还有刻苦的训练,没有
人提到天命所归,或是朝廷洪福齐天之类的原因——攻破黄州府的时候,曾经有个上尉
在总结会议上称“仰仗提督洪福”是取胜的首要原因。或许他的本意并不是这样,只是
习惯性地把这句话放在了发言的最前面,当场就被邓名以“传播毫无根据、无法验证的
迷信言论”为由调到辅兵军中任职。
如果这只是偶然现象也就算了,因为在此之前类似的言论屡禁不止,眼看好好的浙
江军官们把此类套话说得越来越流利,人数也占有越来越大的比例,邓名终于忍无可忍
,下了决心予以严惩,而且无论谁说情,都绝不同意再把那个军官调回战斗部队。
前车之鉴、后事之师,从此以后军事会议上就出现了实事求是的朴素作风,大家观
察了一段时间,发现那个倒霉的家伙恢复原职的可能性微乎其微,就再也不讲奉承话了

在今天上午的战场上,两翼出现了混乱,军官们都认为是因为没有相关的训练,从
上到下都缺乏在激战中调整阵型的经验。几个最先控制住部队的少尉,也当众介绍了自
己的心得体会。
现在大家都知道,在军事会议上,你可以说“我的军队没有发生混乱是因为我没有
服从提督的愚蠢命令”,但不可以说“这是因为我昨天给菩萨烧香了”。虽然邓名不反
对有人给菩萨烧香——谁也不能反对得了——但如果谁敢以此作为经验总结,那就得拿
出令人信服的解释,说明为啥其他人烧香不管用。曾经有几个被质问的军官向邓名反复
地讲“心诚则灵”的道理,可是拿不出具体的证据,结果下场也只有一条路,就是调去
辅兵军中任职。
队列变换的训练手段是现成的,邓名没有让大家讨论,而是直接拿出了自己前世的
军训方法,不过现在能够把这个做好的只有他一个人而已。对此邓名也不着急,左右旋
转正和骑车一样,一开始都是大脑指挥身体,难免动作僵硬而且反应速度慢,不过等多
次练习后就会转入由小脑控制,那个时候就是下意识的反应了。在众人敬佩的目光中,
邓名做了几遍示范的动作,告诉大家他会把这套训练办法首先教给自己的卫队,然后一
级级地传下去。
“左右旋转,向左看齐、向右看齐,现在我知道为什么军训课上要学这个了。不过
“一、二”报数是干什么用的?邓名犹豫了一下,最后还是没有把报数这种训练方法教
给部下,这当然不是核战争时期的特殊训练,不过现在还不明白它有什么用,讲给军官
们听,他们更不知道有什么用了,还是留着以后再说吧。
除了阵型训练外,还有人提出需要进行更多的沟通训练。现在邓名的军队已经拥有
了这个时代军队的正常沟通能力,但如果想进行复杂的通讯就很困难。比如今天的两翼
调整就因此出现混乱。这个时代的军队在复杂的地形上,中军无法迅速向两翼发出内容
复杂的命令,只能通过统帅和将领之间的长期合作来改善。比如郑成功的左膀右臂甘辉
、余新二人,他们都在郑成功的手下效力十多年,跟随着延平郡王打过几十场仗,彼此
间已经相当默契熟悉,因此郑成功不需要太复杂的旗号,就能指挥他们进行复杂的军事
行动。
在这个问题上,邓名拿不出任何训练手段来强化,只能让大家讨论,但也没有讨论
出好办法。在会议的最后,邓名提出要善待俘虏,争取把他们都转化为川西的居民和劳
动力。另一个内容,就是向全军通报撤退意图。
虽然下令全军撤退,但邓名却有一种感觉,那就是敌人不会轻易地放明军撤走。
……
在明军召开全体尉官军事会议的同时,李国英在巴县召集了大批将领,研究清军的
下一步军事行动。
除了标营的甲骑外,重庆城中还有一百名满州八旗兵和近八千名甲兵。当初发现邓
名将辎重装船撤离时,李国英就考虑过追击明军的问题。川陕总督追击的第一个目标是
袁宗第,因为虁东军人数较少,据李国英观察,装备似乎也不如邓名的直属部队。最关
键的是袁宗第是李国英比较熟悉的老对手,而不是邓名这样骤然出现完全摸不清路数的
敌人——如果可以选择的话,李国英宁可与熟悉的强敌作战,也不愿意在摸清对手套路
前贸然交战。
不过李国英没有想到邓名居然和自己的想法一样,身为一军之主却留下来为部将断
后。等邓名露出撤退迹象时,袁宗第已经远离重庆,再要追也赶不及了。
这次重庆之战暴露出李国英的很多弱点,最可怕的就是从广元到重庆的慢长补给线
。之前清廷的全国战略重心一直在云贵,这次南京战后,大概清廷仍然会提高对东南的
重视。甘陕一带的战局之前就常常被清廷忽视,而李国英估计,以后甘陕地区在朝廷的
心中会变得更加无足轻重,不可能有资源改善的措施,也不会强化这条补给线上的众多
据点。
重庆的清军实力增长很快,让邓名和袁宗第忧心忡忡,明军中的不少人都担心清军
的实力会继续高速增长,时间拖得越久,明军越无法威胁重庆;但李国英则有完全相反
的担忧,他生怕清廷会因为东南和云贵的战事紧张而进一步削减对甘陕战区的支持。现
在甘陕地区的战争潜力几乎已经被李国英榨干了,如果清廷不肯增大投入的话,那么现
在重庆的兵力就是李国英能够维持的极限。
返回川西的明军一旦开始军屯,他们的实力就会继续增强,李国英觉得邓名迟早能
把对保宁的口头威胁变成现实,到那时重庆就真的无法再坚守下去。
只有一个机会能让李国英扭转危局,那就是对撤退的明军发起追击,如果能消灭邓
名的主力,李国英就能乘势夺取成都,一劳永逸地稳固四川;如果做不到的话,也要重
创邓名的军队,让他需要花很多的时间恢复元气,让明军的反攻来得越迟越好,或许到
那个时候朝廷已经解决了东南和云贵的问题,能够给李国英送来更多的资源。
虽然李国英意识到了这一点,但在得到赵良栋的消息以前,川陕总督知道自己根本
没有把梦想变成现实的能力。为了防备袁宗第的回马枪,他至少要在重庆留下一、两千
的预警部队,那样能够用来追击邓名的披甲兵就只有七、八千之数,而这个数字并不比
邓名更多。
得到赵良栋率军抵达的消息后,李国英顿时感觉这是上天赐给他的机会,四川也不
会得而复失。赶到南岸与赵良栋会面后,李国英计算了一下清军的力量,如果留下一千
名新到的兵力守卫重庆,那么除了李国英精锐的一千名标营骑兵,他还拥有一万名甘陕
绿营的披甲兵,而邓名的披甲兵估计在七、八千人左右。
“贼人的兵大都是浙江兵,还有一些湖广的新兵,对这里人生地不熟,而且成军不
过几个月,能有多少斤两?”赵良栋说道。
赵良栋对邓名实力的估算比李国英还要低,他指出在正常情况下,刚建军几个月的
新兵根本形不成战斗力,即使有盔甲也没用。而且,对于邓名能不能在短短几个月内给
部下凑出几千副盔甲,赵良栋也表示了怀疑——无论李国英还是赵良栋,都不清楚湖广
和南京清军的损失到底有多么惨重。他们觉得张长庚的报告看上去并不是非常可怕,邓
名所得有限,而且从胡全才那里得到的战利品还要与许多虁东将领分享。
至于南京一仗,李国英和赵良栋都认为邓名的缴获应该是以军粮为主,所以在管效
忠已经发动内乱拿下城门的情况下,都无法与叛军取得联系夺取南京(蒋国柱写报告妙
笔生花,把南京的平叛过程讲得惊险无比,但又因为各种原因不敢说邓名太多坏话,所
以邓名显得无所作为);后来邓名又在湖北遇到一个周举人的骚扰,邓名也无可奈何(
张长庚写奏章的本事并不在蒋国柱之下,因为同样的顾虑不敢自称击败了邓名,只好拼
命地描述周培公的兵力是如何的弱小,这样即使战平也比大捷毫不逊色)。
不管蒋国柱和张长庚如何吹嘘邓名的强大和他们平局的得之不易,落在其他人的眼
中,那就是邓名无法彻底击败弱小的敌军,这只能说明邓名的实力十分有限。
“现在总督大人新胜,我军士气高涨,兵合一处,直捣邓名大营,正是把贼人尽数
歼灭的好时机。”赵良栋急不可待地要发动进攻,尽快洗刷自己弃军潜逃的名声。
由于李国英遇敌不慌,料敌如神,现在重庆的清军军心大振,王明德等人羞愧之余
,一个个都对李国英崇拜得五体投地。因此,这次重庆系的将领没有一个反对追击邓名
,反倒人人摩拳擦掌,争着喊道:“末将敢请总督大人命令满洲大兵出阵。皇上定鼎以
来,只要满洲大兵出阵,贼人无不肝胆俱裂,而我军则人人奋勇。”
“我军的步兵大约有敌兵的两倍,骑兵超过贼人数倍,更有满洲大兵在后面督阵,
定能一举打垮贼人,肃清整个四川。”
“若是邓贼不敢一战,只是缩在营中,总督大人就亲率大军绕道其前,末将等统领
本部兵马袭击各个营寨。前面有总督大人挡住去路,后面有末将日夜袭扰,不数日其军
心必定大乱,一战可定矣。”
和两天前一样,赵良栋又一次信心十足地拿出了自己的进攻计划,然后满怀希望地
看着李国英、王明德,以及张勇、王进宝等诸将。
avatar
T*7
3
【 以下文字转载自 JobHunting 讨论区 】
发信人: taar (taar), 信区: JobHunting
标 题: 利用kafka 幫助不同进程见传输数据靠谱么
发信站: BBS 未名空间站 (Tue Jul 28 22:58:40 2015, 美东)
利用kafka 幫助不同进程见传输数据靠谱么
不同进程是不同语言实现。
卡福卡提供了java cPP的客户端。利用这些特点实现高性能IPC,这个设计有問題么
avatar
f*n
4
No.
在美国工作,随时可以以任何理由或无理由解雇你(只要不是因为种族、宗教、性别、
残废、等的歧视)。你也可以随时以任何理由或无理由离开。不必给任何notice。给
notice只是比较nice而已。
avatar
p*o
5
kafka要写硬盘, 你怎么个高性能法?

【在 T******7 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: taar (taar), 信区: JobHunting
: 标 题: 利用kafka 幫助不同进程见传输数据靠谱么
: 发信站: BBS 未名空间站 (Tue Jul 28 22:58:40 2015, 美东)
: 利用kafka 幫助不同进程见传输数据靠谱么
: 不同进程是不同语言实现。
: 卡福卡提供了java cPP的客户端。利用这些特点实现高性能IPC,这个设计有問題么

avatar
p*t
6
那是大规模裁员才适用的,如果只是雷你一个人随时都可以。
"WARN provides protection to employees, their families, and communities by
requiring employers to give affected employees and other state and local
representatives notice 60 days in advance of a plant closing or mass layoff.
"

【在 l********8 的大作中提到】
: 以前我老板的秘书就和我说过,加州layoff是要提前3个月通知的。是不是这只是对学
: 校正式员工或州政府雇员才这样?
: 对于一年一续但也工作了好几年的博士后,是不是也适用呢?和朋友密切相关!十万
: 火急急急
: !多谢!

avatar
T*7
7
只写page cache里吧,sync/flush 是异步的

【在 p***o 的大作中提到】
: kafka要写硬盘, 你怎么个高性能法?
avatar
x*a
8
是大规模裁员,整个lab 人都要走了
avatar
N*m
9
不是,直接写硬盘,保证persistence
他们引了篇文章说了sequential disk write的性能不一定比random memory write的性
能差

【在 T******7 的大作中提到】
: 只写page cache里吧,sync/flush 是异步的
avatar
N*m
10
性能还是很不错的,如果partition多的话,并行起来很快

【在 p***o 的大作中提到】
: kafka要写硬盘, 你怎么个高性能法?
avatar
p*o
11
就算你调成1秒钟fsync一次,长远来看你发消息也没法超过磁盘的带宽。
IPC不需要持久化图省事就用zmq之类的好了。

【在 T******7 的大作中提到】
: 只写page cache里吧,sync/flush 是异步的
avatar
N*m
12
是的,我在招工版说了类似的
如果系统不大,0mq就行了

【在 p***o 的大作中提到】
: 就算你调成1秒钟fsync一次,长远来看你发消息也没法超过磁盘的带宽。
: IPC不需要持久化图省事就用zmq之类的好了。

avatar
p*o
13
不知kafka什么时候能到1.0.0版...

【在 N*****m 的大作中提到】
: 是的,我在招工版说了类似的
: 如果系统不大,0mq就行了

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。