Redian新闻
>
解决点实际问题,网络拷贝硬盘
avatar
z*e
2
8月19日,上海书展期间,葛剑雄教授作客“腾讯书院”,主讲《读史与阅世》从民
国时期重要学人洪业先生与哈佛燕京学社说起,回顾东西文化交流、学术互通的经验和
传承。
[编者按:“所谓大学者,非谓有大楼之谓也,有大师之谓也。”一所大学、一个学
术机构的历程,总是与许多重要的学人名字相连结,这些学人亦经历着书斋内外的各种
选择,他们的治学、处世、经验、际遇又映射着一个时代的历史跌宕。洪业的一生,正
反映着中国近百年来知识分子所面对的各种抉择与问题,他一生的经历与故事、治学与
交游都与中国近百年来历史有着极丰富而深远的关联。葛剑雄教授,师从著名历史地理
学家谭其骧先生,而谭其骧先生毕业于燕京大学,正是洪业嫡传弟子。改革开放以后,
中国跟哈佛燕京学社恢复关系,葛剑雄于1985年到哈佛燕京学社当访问学者一年,其所
在的研究所里面包括我在内有七个人先后得到过哈佛燕京学社的资助到美国访学。葛教
授上承燕京学脉,追忆师承与学术渊源,演讲生动而深挚。]
哈佛燕京学社成立归功于美国富豪和传教士
讲到哈佛燕京学社,很多人都把它跟哈佛大学混在一起,其实它是一个独立的机构
,而非哈佛大学的一部分。我和一些学者都是带着双重身份到哈佛大学去访学,既是哈
佛大学的访问学者,更主要的是哈佛燕京的交流学者。
哈佛燕京这个机构的出现要感谢两个人,其一是资金赞助者——美国人霍尔,他是
发明了电解铝后成为美国铝业公司的老板。但是霍尔本身是穷人出身,他将所有的资产
都捐给哈佛大学,并规定,必须用其中一部分资金来研究中国文化。他提出这个规定的
原因,我曾听过两种说法:一种说法是霍尔认识两个中国留学生,他们品德高尚、学习
勤奋、智慧过人,霍尔认为中国文化对这两名留学生有大的影响,因此规定经费里面必
须有一部分用于研究中国文化。我在美国也听到另一种说法,他做这样的规定完全是出
于对中国文化的重视,但并不是文化侵略,因为去哈佛燕京访学前,我们必须签署承诺
“以后必须回国服务”。当时有些人千方百计想留在美国,哈佛燕京的管理人员很生气
地说道:“我们给你钱是让你帮助中国做研究,你们都留下来干什么呢?”最初,很多
中国学者英语不好,外文系的人因为英语好获得很多访学机会,哈佛燕京的人会抱怨外
文系的人派得太多。后来,哈佛燕京派人到中国与学者见面,有时甚至不让你讲英文,
讲中文就可以。
第二个重要的人物是司徒雷登,我们这一代人都读过毛主席的《别了,司徒雷登》
,将他作为反面人物,作为美帝国主义侵略中国的代表。毛主席写的这篇文章,实际上
是对美国侵华政策的严厉批评。我有一次到美国的一个革命后代联谊会里面去做报告,
碰到司徒雷登的外甥,他招待我到他的家里参观。他后来很感慨,说:“美国人都忘了
司徒雷登,中国人却还记得他。”我说:“我们记住他因为毛主席把他当成反面人物批
判,这是政治造成的悲哀。”
司徒雷登原来是一个传教士,因为他的父辈是在杭州传教的传教士,司徒雷登生在
杭州,会说杭州方言,他先会中文,然后再回美国学习英文,所以人家说他了解中国超
过了解美国。燕京大学是教会学校,资金不多,所以他千方百计到美国争取资金。他听
说霍尔资助中国研究的经费,想争取,但被北大捷足先登。因为哈佛大学要将钱用于研
究中国文化,必须找一所中国的大学合作,当时肯定首选北大,燕京大学那一年刚刚建
立,还是一所小学校,没有资格。
但是第二年,哈佛大学用这笔钱在上海找一个美国人帮忙搜集敦煌的资料,这个美
国人采取帝国主义卑鄙的手段,到敦煌买通了看管的人,用胶布贴在敦煌石窟的壁画上
面,把壁画揭走,美国现在有一些博物馆里面放着的就是他当初用胶布揭走的画。这个
消息传出来后引起了中国人的愤慨,一方面披露这个消息,一方面要求政府制止。正是
在这个时候,司徒雷登及时地到哈佛大学游说,称燕京大学才应该是哈佛合作的对象,
哈佛大学决定把这笔钱交给燕京大学,并建立哈佛燕京学社。
洪业主持哈佛燕京学社:中西文化交流重要基地
如果没有司徒雷登的努力,哈佛不会跟燕京大学合作,也就不会发生之后的故事。
哈佛燕京学社建立起来后到1950年的相当长一段时间,都由洪煨莲主持沟通。洪煨莲生
在海外,中文基础不好,对中国的了解也很有限,但是他到了国内以后被中国文化的魅
力所吸引,发奋学习中国文化,并且成为研究杜甫的专家,他到中国的时间不长就表现
出了对中国文化极强的研究能力。
更重要的是洪煨莲不仅自己作学问,还起了很好的沟通组织作用。那笔钱做了几件
事:
第一方面,培养人才。哈佛燕京学社资助学生去美国学习,以燕京大学为主,也包
括燕京以外的学者,专业并不限于历史,还包括人文方面。燕京大学为节约经费,缩短
留学时间,跟哈佛达成协议,凡是燕京大学合格毕业的研究生,哈佛大学承认他同时是
哈佛的硕士,然后到美国读博深造。
我的老师谭其骧先生,按照规定毕业时可以同时取得哈佛大学的硕士学位,然后赴
美留学,但他硕士还没有毕业,论文就先完成,哈佛方面就请他到哈佛去上课,他连硕
士证书都没有拿。而其他的同学,都是在中国拿到燕京大学的毕业证书后到美国读哈佛
的博士。海峡两岸一些重要的历史学家大多数都是通过这个途径成功的。另外还在美国
资助中国的留学生,他们学成归国,对国内学术发展起了很大的作用。
此外,由于中国文化与日本有很多相似之处,他资助美国的学生、学社到中国和日
本进行学术研究。其中就包括美国最重要的中国专家费正清,他不仅在学术上有所成就
,对美国的政治也有很大影响,比如中美建交前,总统尼克松等人就曾经向他做过咨询
,中美关系改善后,费正清又到中国访问,回到美国后写了很详细的报告。美国研究中
国问题的人,基本上都是他的学生。还有一位哈佛燕京资助的埃德温?赖肖尔,后来成
为美国研究日本问题的专家,曾经做过美国驻日本大使。
第二方面,哈佛大学委托燕京大学用这笔钱在中国买书,在哈佛燕京建成图书馆,
现在馆内藏有中文、日文、韩文、越南文等书籍,对于亚洲研究十分重要,其中很多中
文书的善本是我们国内所没有的。洪业还很有眼光的将当时大家当废纸一样的资料搜集
整理。我在哈佛燕京访学的大部分时间都呆在这个图书馆里面,现在去的年轻人也几乎
都泡在里面。
美国委托燕京大学买书需要付很高的手续费,燕京大学就拿这笔手续费购买图书。
最初,燕京大学里面主要是西文书,中文书籍不多,更没有中国古籍,后来,靠这笔手
续费购买的书籍文献,基本上可以满足中国历史文化研究的需要。在燕京大学我们甚至
还发现了一些稿本,其中有一本就是清朝末年汪士铎的手稿,汪士铎对中国人口有很多
独特的观点,又被称为中国的马尔萨斯。汪士铎曾提出要减少人口必须要减少妇女,所
以他鼓励一部分女孩子从小明确不许结婚,非常极端,由此也可以看出清朝末年人口矛
盾的尖锐性。这样的书以前并没有出过,燕京大学把它作为稿本书出版。一方面我们很
遗憾好多书都卖到了国外,但另一方面我们也承认,如果哈佛燕京学社没有收购这批书
,很多书后来肯定都会被毁掉。
来源: 腾讯文化2013-8-21
avatar
S*A
3
我想说的是,很多东西理论上看上去
容易,实际组合到一起就会有事先难以
预计的性能问题。
这是一个很实际的问题,我想把硬盘上
的一个磁盘image 克隆到另外一部机器上。
假设现在有两部机器 hosta, hostb,中间用
用 Gigabit 的网卡连接。现在想把 hosta:/dev/sda
复制到 hostb:/dev/sda 越快越好。硬盘可以支持
100MB 左右顺序读写,网卡可以支持 125MB 的
传输。
之所以用 /dev/sda 这种原始硬盘而不用文件是,
这样没有文件系统的 overhead.
我现在的做法是,
在 hosta 上用 nc 起一个 socket 发送文件。
# dd if=/dev/sda bs=1M | nc --send-only -l 8888
在 hostb 上用 nc 收 socket 写文件。
# nc --recv-only hosta 8888 | dd of=/dev/sda bs=1M
这样可以用差不多 30MB/s 的速度复制。
但是如果 hostb 上用
nc hosta 8888 | dd of=/dev/null
也就是不写盘,可以有接近 100MB/s 的速度。这说明
读盘和网络转的速度是可以占用大部分 gigabit 带宽。
如果 hostb 上用 dd if=/dev/zero of=/dev/sda
这个写盘速度就是同样有差不多 100MB 左右。
完全顺序写。这个也大致符合硬盘的评测。
但是组合一下,虽然 netcat 和 dd 都是不同 process,
占用不同 core, CPU 也远远没有满,同时就只有 30MB
了。谁给解释一下? 还有什么更好的方法?
avatar
s*g
4
neither

【在 J****n 的大作中提到】

avatar
e*c
5
估计也就读过洪业传吧

【在 z**********e 的大作中提到】
: 8月19日,上海书展期间,葛剑雄教授作客“腾讯书院”,主讲《读史与阅世》从民
: 国时期重要学人洪业先生与哈佛燕京学社说起,回顾东西文化交流、学术互通的经验和
: 传承。
: [编者按:“所谓大学者,非谓有大楼之谓也,有大师之谓也。”一所大学、一个学
: 术机构的历程,总是与许多重要的学人名字相连结,这些学人亦经历着书斋内外的各种
: 选择,他们的治学、处世、经验、际遇又映射着一个时代的历史跌宕。洪业的一生,正
: 反映着中国近百年来知识分子所面对的各种抉择与问题,他一生的经历与故事、治学与
: 交游都与中国近百年来历史有着极丰富而深远的关联。葛剑雄教授,师从著名历史地理
: 学家谭其骧先生,而谭其骧先生毕业于燕京大学,正是洪业嫡传弟子。改革开放以后,
: 中国跟哈佛燕京学社恢复关系,葛剑雄于1985年到哈佛燕京学社当访问学者一年,其所

avatar
d*a
6
这是因为接受端的pipe缓冲区不足
nc和dd之间的pipe缓冲区满了
然后造成TCP/IP反复启停,网络速度就降下来了
解决的办法是,在下来的命令中
nc --recv-only hosta 8888 | dd of=/dev/sda bs=1M
在|中再加一个mbuffer或buffer命令
avatar
y*n
7
none

【在 J****n 的大作中提到】

avatar
s*n
8
ah, ah, good to know```

【在 e*******c 的大作中提到】
: 估计也就读过洪业传吧
avatar
w*g
9
第一次听到 mbuffer,受教了。

【在 d***a 的大作中提到】
: 这是因为接受端的pipe缓冲区不足
: nc和dd之间的pipe缓冲区满了
: 然后造成TCP/IP反复启停,网络速度就降下来了
: 解决的办法是,在下来的命令中
: nc --recv-only hosta 8888 | dd of=/dev/sda bs=1M
: 在|中再加一个mbuffer或buffer命令

avatar
j*g
10
导演可能性大点
avatar
S*A
11
赞,这个 mbuffer 还不错,好像专门写来网络备份的。
放在 nc 和 dd 之间作用不大。
mbuffer 本身支持网络读写。
我现在这样干:
接受端
mbuffer -s 1M -m 10M -I 8888 -o /dev/sda
发送端
mbuffer -s 1M -m 10M -i /dev/sda -O hostb:8888
这样可以推送到 73MB/s 的确快多了。很爽。
多谢。
avatar
J*n
12
握手握手
我也这么觉得

【在 j****g 的大作中提到】
: 导演可能性大点
avatar
d*a
13
赞钻研!这样做更好。

【在 S*A 的大作中提到】
: 赞,这个 mbuffer 还不错,好像专门写来网络备份的。
: 放在 nc 和 dd 之间作用不大。
: mbuffer 本身支持网络读写。
: 我现在这样干:
: 接受端
: mbuffer -s 1M -m 10M -I 8888 -o /dev/sda
: 发送端
: mbuffer -s 1M -m 10M -i /dev/sda -O hostb:8888
: 这样可以推送到 73MB/s 的确快多了。很爽。
: 多谢。

avatar
a*n
14
导演肯定是前妻的啦

【在 J****n 的大作中提到】

avatar
t*t
15
不明觉厉。
我只会java, windows.

【在 d***a 的大作中提到】
: 赞钻研!这样做更好。
avatar
s*g
16
re

【在 J****n 的大作中提到】
: 握手握手
: 我也这么觉得

avatar
z*0
17
why not iSCSI, SAN protocol? like ATA over Ethernet?
avatar
f*t
18
best pic
avatar
S*A
19
没有限定协议,快就行了。你知道有
比较快的 iscsi 软件推荐,比较容易用?
mbuffer 就是一行启动,很简单。
因为73M已经接近硬盘的极限了,
所以更加快的余地不大了。

【在 z********0 的大作中提到】
: why not iSCSI, SAN protocol? like ATA over Ethernet?
avatar
P*e
20
no doubt at all

【在 a**n 的大作中提到】
: 导演肯定是前妻的啦
avatar
a*n
21
Rsync不行吗?

【在 S*A 的大作中提到】
: 没有限定协议,快就行了。你知道有
: 比较快的 iscsi 软件推荐,比较容易用?
: mbuffer 就是一行启动,很简单。
: 因为73M已经接近硬盘的极限了,
: 所以更加快的余地不大了。

avatar
J*n
22
主要影片除了特效以外
故事本身没什么特色
但是我看到avatar最佳影片获奖概率要超过最佳导演
奥斯卡就是以商业操作


【在 J****n 的大作中提到】
: 握手握手
: 我也这么觉得

avatar
z*0
23
AoE runs on layer 2, less network protocol overhead

【在 S*A 的大作中提到】
: 没有限定协议,快就行了。你知道有
: 比较快的 iscsi 软件推荐,比较容易用?
: mbuffer 就是一行启动,很简单。
: 因为73M已经接近硬盘的极限了,
: 所以更加快的余地不大了。

avatar
y*n
24
you're joking....
有希望的是最佳影片。。。
导演只可能是前妻。。。

【在 j****g 的大作中提到】
: 导演可能性大点
avatar
s*m
25


【在 S*A 的大作中提到】
: 赞,这个 mbuffer 还不错,好像专门写来网络备份的。
: 放在 nc 和 dd 之间作用不大。
: mbuffer 本身支持网络读写。
: 我现在这样干:
: 接受端
: mbuffer -s 1M -m 10M -I 8888 -o /dev/sda
: 发送端
: mbuffer -s 1M -m 10M -i /dev/sda -O hostb:8888
: 这样可以推送到 73MB/s 的确快多了。很爽。
: 多谢。

avatar
s*g
26
re

【在 a**n 的大作中提到】
: 导演肯定是前妻的啦
avatar
S*A
27
Rsync 很慢啊,能上 10MB/s 就不错了。

【在 a***n 的大作中提到】
: Rsync不行吗?
avatar
z*i
28
应该会拿最佳影片
avatar
S*A
29
前面的分析,网络不是瓶颈,只要不写盘,可以100MB的速度
传输。所以省一点点网络没有很大意义。这个关键问题网络
传输和写盘之间的调度问题。

【在 z********0 的大作中提到】
: AoE runs on layer 2, less network protocol overhead
avatar
Z*e
30
he *is* "joking", lol

【在 y****n 的大作中提到】
: you're joking....
: 有希望的是最佳影片。。。
: 导演只可能是前妻。。。

avatar
a*n
31
是不是很小的文件啊。

【在 S*A 的大作中提到】
: Rsync 很慢啊,能上 10MB/s 就不错了。
avatar
s*g
32
re

【在 P*******e 的大作中提到】
: no doubt at all
avatar
S*A
33
拷贝整个硬盘分区,动不动就是几十G 几百 G。
和文件系统里文件大小没有关系。
相当于网络 ghost image.

【在 a***n 的大作中提到】
: 是不是很小的文件啊。
avatar
v3
34
鸠金先生?

【在 Z****e 的大作中提到】
: he *is* "joking", lol
avatar
m*d
35
最好都别拿

【在 J****n 的大作中提到】

avatar
s*g
36
yes!

【在 m*d 的大作中提到】
: 最好都别拿
avatar
J*n
37
y

【在 y****n 的大作中提到】
: you're joking....
: 有希望的是最佳影片。。。
: 导演只可能是前妻。。。

avatar
h*n
38
best sound

【在 f********t 的大作中提到】
: best pic
相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。