logo
Redian新闻
>未名空间
>Programming - 葵花宝典
>
小白问网页scraping 的一个问题
avatar
小白问网页scraping 的一个问题# Programming - 葵花宝典
o*g
1 楼
如果要scrape 一个网页得到一些信息，如amazon scrape 得到一些产品的信息，
reviews 这些。是必须要有这个网页的api key 吗？
不用他们的api, 也不用他们的api key 能scrape 吗？或者那样做有什么弊端？
avatar
c*n
2 楼
没有api就模仿用户行为呗
用selenium或者headless chrome
然后要挂代理 或者去他们aws自己开一堆机器换着跑
我相信马鬃自家肯定有人来防备这个的
根据你的访问模式来封你ip或者扔你假的数据

【在 o****g 的大作中提到】
: 如果要scrape 一个网页得到一些信息，如amazon scrape 得到一些产品的信息，
: reviews 这些。是必须要有这个网页的api key 吗？
: 不用他们的api, 也不用他们的api key 能scrape 吗？或者那样做有什么弊端？
相关阅读
说个我以前大学时候的赌局，我输的Server release了新年快乐java fluent api 底层是怎么实现的？这个牛掰，看看那个video真心请教,究竟怎么设计才能处理每秒100万次的写操作docker和vagrant的异同是啥，大家都用哪个版主发威了，一下删掉不少帖子。ZhaoCe or ZhaoKuo?AMT啥意思？看不懂啊都26了，goodbug的死刑啥时候执行啊？顺便说一句，改了一下代码，增加了6行作为赌约发起人和见证人，说一下赌约进程诸位数据visualization都用什么框架？抢票软件全是坑爹货！12306验证码大PK好了，赌约这件事情了结了老姜，这就是前几天我跟你说的新公司是否会知道你依旧在旧公司任职？ (转载)今晚还编程对哦，老姜，别人说的提醒了我
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。