用python urlopen 抓mitbbs页面的问题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

用python urlopen 抓mitbbs页面的问题

用python urlopen 抓mitbbs页面的问题# Programming - 葵花宝典

N*L2010-07-21 07:07

1 楼

汇报各个项目进展状况：
1．中美工作签证的对等待遇
项目主席Yun Wang介绍正式提出此项目是在5月底，最初收集到400余签名。后起草了一
封信，通过三个不同渠道递交给相关部门后没有收到反馈。7月13日左右，美国正式宣
布对中国人H1-B签证给予一年多次往返的待遇。虽然不清楚NIU的工作对此是否有直接
推进作用，但结果都是大家高兴见到的。不管怎么说，我们为此付出了努力，现在此项
目也有了一个好的结果，可以宣布结束。将来如果需要立项要求多年多次往返的话，估
计需要中国政府方面改变态度，操作上会困难一些。
2. 华盛顿请愿游行项目和提早递交485项目
项目主席Peng Wang总结当初争取到近20人出席，捐款时间虽短，但也获得不少支
持。在宣传渠道不足的情况下，收到的反响还是很热烈。如果未来能够发展更好的宣传
渠道，相信会有乐观的结果。Peng Wang 表示如有需要，愿意继续领导此项目。Jiehua
Huang认为如果再继续进行，不能再次失败，否则对大家热情会有很大打击。Yun Wang
建议应集中向DC附近大学进行宣传。Peng Wang觉得当时虽然没有成功，但也为NIU

g*e2010-07-21 07:07

2 楼

试着用python urlopen 获取mitbbs的页面
Windows下，没有再加encode, decode
遇到一个奇怪的问题，有些帖子的页面抓下来没问题，
但有些帖子的页面获取到的就是乱码，如果用chardet来检测，也检测不出
是什么编码 (返回None). 而那些能正常抓下来的页面，则chardet会正确返回
gb2312
如果加上content.encode('gb2312').encode(type)
就报错'gb2312' codec can't decode bytes in position 1-2: illegal multibyte
sequence
mitbbs所有页面应该都是gb2312编码呀,
有哪位大牛给看看问题出在哪里,谢谢，有包子答谢

f*n2010-07-21 07:07

3 楼

挺好的一篇中文报告，偏偏把人名改成英文，害怕什么呀？

【在 N*********L 的大作中提到】

: 汇报各个项目进展状况：
: 1．中美工作签证的对等待遇
: 项目主席Yun Wang介绍正式提出此项目是在5月底，最初收集到400余签名。后起草了一
: 封信，通过三个不同渠道递交给相关部门后没有收到反馈。7月13日左右，美国正式宣
: 布对中国人H1-B签证给予一年多次往返的待遇。虽然不清楚NIU的工作对此是否有直接
: 推进作用，但结果都是大家高兴见到的。不管怎么说，我们为此付出了努力，现在此项
: 目也有了一个好的结果，可以宣布结束。将来如果需要立项要求多年多次往返的话，估
: 计需要中国政府方面改变态度，操作上会困难一些。
: 2. 华盛顿请愿游行项目和提早递交485项目
: 项目主席Peng Wang总结当初争取到近20人出席，捐款时间虽短，但也获得不少支

r*t2010-07-21 07:07

4 楼

贴个有问题的例子出来，一般用 regex massage 一下就行了。

x*e2010-07-21 07:07

5 楼

估计大家工作都是用英语多，所以都是拼音人名。
支持NIU的工作，感谢你们的付出。

【在 f****n 的大作中提到】

: 挺好的一篇中文报告，偏偏把人名改成英文，害怕什么呀？

g*e2010-07-21 07:07

6 楼

code在这里，谢谢
import urllib
import urllib2
import sys
import chardet
response = urllib.urlopen('http://www.mitbbs.com/article_t/Programming/31190605.html')
content = response.read()
print content
chardet.detect(content)
type = sys.getfilesystemencoding()
print content.decode('gb2312').encode(type)

【在 r****t 的大作中提到】

: 贴个有问题的例子出来，一般用 regex massage 一下就行了。

y*y2010-07-21 07:07

7 楼

这叫做了什么工作呀?
什么都没有. 要数据?不如让P838 去要..

【在 N*********L 的大作中提到】

d*e2010-07-21 07:07

8 楼

Check out FAQ: http://chardet.feedparser.org/docs/faq.html
You should first respect the explicit encoding.The auto detection is
inaccurate and non-standard.

【在 g******e 的大作中提到】

: 试着用python urlopen 获取mitbbs的页面
: Windows下，没有再加encode, decode
: 遇到一个奇怪的问题，有些帖子的页面抓下来没问题，
: 但有些帖子的页面获取到的就是乱码，如果用chardet来检测，也检测不出
: 是什么编码 (返回None). 而那些能正常抓下来的页面，则chardet会正确返回
: gb2312
: 如果加上content.encode('gb2312').encode(type)
: 就报错'gb2312' codec can't decode bytes in position 1-2: illegal multibyte
: sequence
: mitbbs所有页面应该都是gb2312编码呀,

g*t2010-07-21 07:07

9 楼

送不超过$50的礼蓝是不是太少了?

g*e2010-07-21 07:07

10 楼

谢谢您的回复，问题其实不是在chardet上，
就算不用chardet,同样的python code, 我用urlopen抓下来的一大部分mitbbs网页就是
乱码，根本print不出来，保存到文件也是乱码，试图用gb2312解码也报错。
但是有一小部分mitbbs网页能正确print出来
想不出问题出在哪里，我的环境是python 2.6, windows xp 中文版
如果方便的话，哪位大侠可以在机器上run一下这几行
简单的code? 能正确print吗？
import urllib
import urllib2
import sys
response = urllib.urlopen('http://www.mitbbs.com/article_t/Programming/31190605.html')
content = response.read()
print content
type = sys.getfilesystemencoding()
print content.decode('gb2312').encode(type)

【在 d****e 的大作中提到】

: Check out FAQ: http://chardet.feedparser.org/docs/faq.html
: You should first respect the explicit encoding.The auto detection is
: inaccurate and non-standard.