g*a
3 楼
找到乐,呵呵
http://www.robotstxt.org/wc/exclusion.html
【在 w*****r 的大作中提到】![](/moin_static193/solenoid/img/up.png)
: robots.txt
: with
: # go away
: User-agent: *
: Disallow: /
http://www.robotstxt.org/wc/exclusion.html
【在 w*****r 的大作中提到】
![](/moin_static193/solenoid/img/up.png)
: robots.txt
: with
: # go away
: User-agent: *
: Disallow: /
相关阅读
现在ipv4 address里面的热门问题是什么丢了不少文章TVKooGeneral Q: Web Server Load Balance and DB Server这个D-LINK 524 wireless router 是什么问题?Skype expands calling options (29.95$/year)计算机网络领域现在比较热门的领域有哪些?anybody from nycplease recommend a netflow collector/analyzerRe: Venicewhat's special for Provider Backbone Transport (PBT)?知道猫ip和猫后面路由器的密码,能进网络吗?zz baidu分词算法分析之一 by 张俊林为什么无线网络信号良好,可是我就是上不了网?关于家里的无线网请教The sad state of American broadband (ZZ Link)pplive拿了1000万美金的风投如何更新斑里有没有做network consultant和solution的啊帮朋友问一下,关于主机托管