Redian新闻
>
camelcamelcamel价格提醒是怎么做到这么大的量的
avatar
camelcamelcamel价格提醒是怎么做到这么大的量的# Programming - 葵花宝典
D*n
1
今天带老大(5岁半)去看了儿童耳鼻喉医生,因为发现他一直睡觉时呼吸有停顿现象,伴有打鼾和手脚乱动。医生说两侧扁桃体偏大,堵塞部分呼吸道,建议切除。似乎是个小手术,
也多少有些忐忑。网上科普了一下,发现有各种切除的方法,电刀和传统手术刀为主,
以流血少,愈合快为佳。大家有什么道听途说,经历过的类似案例没有?交流一下。
另附一个医生的笑话,以感谢关注:
医生问我老大(whisper in the ear): “How many girl friends do you have?"
很坚定地回答: “One."
医生说: ”At your age, you should have more because when you grow up, it will be too expensive to have more than one."
avatar
c*n
2
当然他家本身爬马鬃价格估计就要不简单 但是我大致还能猜一下怎么实现
现在比较好奇他家价格提醒是怎么做到满足这么大流量的
比如一件货物现价99,有100个不同用户设置了70个不同的价格提醒 价格低于设定阈值
就会发信给用户 这没啥技术好说
但是他现在监控的货物怕是远超过几十万件 尤其是还要监控马鬃不同地区的 us的uk的
应该不只是简单的堆硬件吧 新手求解惑
avatar
k*y
3
My 4 year old boy has the same problem. We already scheduled T&A surgery
next week. Hope he will feel better after the surgery.

,伴有打鼾和手脚乱动。医生说两侧扁桃体偏大,堵塞部分呼吸道,建议切除。似乎是
个小手术,
will be too expensive to have more than one."

【在 D*****n 的大作中提到】
: 今天带老大(5岁半)去看了儿童耳鼻喉医生,因为发现他一直睡觉时呼吸有停顿现象,伴有打鼾和手脚乱动。医生说两侧扁桃体偏大,堵塞部分呼吸道,建议切除。似乎是个小手术,
: 也多少有些忐忑。网上科普了一下,发现有各种切除的方法,电刀和传统手术刀为主,
: 以流血少,愈合快为佳。大家有什么道听途说,经历过的类似案例没有?交流一下。
: 另附一个医生的笑话,以感谢关注:
: 医生问我老大(whisper in the ear): “How many girl friends do you have?"
: 很坚定地回答: “One."
: 医生说: ”At your age, you should have more because when you grow up, it will be too expensive to have more than one."

avatar
W*o
4
也就几十万个页面而已,半小时爬一次问题不大吧?
发现价格比上一次存的价格低就触发一个reminder event

【在 c******n 的大作中提到】
: 当然他家本身爬马鬃价格估计就要不简单 但是我大致还能猜一下怎么实现
: 现在比较好奇他家价格提醒是怎么做到满足这么大流量的
: 比如一件货物现价99,有100个不同用户设置了70个不同的价格提醒 价格低于设定阈值
: 就会发信给用户 这没啥技术好说
: 但是他现在监控的货物怕是远超过几十万件 尤其是还要监控马鬃不同地区的 us的uk的
: 应该不只是简单的堆硬件吧 新手求解惑

avatar
D*n
5
谢谢回复. 祝手术顺利.

【在 k****y 的大作中提到】
: My 4 year old boy has the same problem. We already scheduled T&A surgery
: next week. Hope he will feel better after the surgery.
:
: ,伴有打鼾和手脚乱动。医生说两侧扁桃体偏大,堵塞部分呼吸道,建议切除。似乎是
: 个小手术,
: will be too expensive to have more than one."

avatar
w*m
6
camelcamelcamel还是做的不错的。
这个看玩法吧。
没有个像样程序员的公司可以搞数据库stored procedure。每次价格变化扫一遍数据库
,发现符合要求的发email。传统公司就这么干的。当然这个很慢。
估计就是pub-sub模型。搞个分布的kafka或者redis。价格变化被爬虫publish到
message queue。客户端subscribe分门别类的channel里面。只要符合逻辑就发email。
可以建上千左右的channel,十几台机器做notification就行了。当然爬虫要多多了。
avatar
f*r
7
跟普通切扁桃腺没什么大差别。直接张嘴做就可以。几个星期就可以完全恢复。而且告
诉他,手术以后什么都不能吃,只能吃冰淇淋(当然,其他流食是可以吃的)。
比大人的sleep apnea要简单,成人手术还要从下巴打孔。
赶紧做,真的因为缺氧影响智力和身体发育就不好了。
avatar
c*n
8
他家爬虫估计花费已经不少了 除非主要数据是从那个浏览器插件获取
开个脑洞 想研究下怎么最低成本达到发送提醒的功能

【在 W***o 的大作中提到】
: 也就几十万个页面而已,半小时爬一次问题不大吧?
: 发现价格比上一次存的价格低就触发一个reminder event

avatar
l*a
9

,伴有打鼾和手脚乱动。医生说两侧扁桃体偏大,堵塞部分呼吸道,建议切除。似乎是
个小手术,
will be too expensive to have more than one."
笑话很好笑啊
祝宝宝手术顺利。

【在 D*****n 的大作中提到】
: 今天带老大(5岁半)去看了儿童耳鼻喉医生,因为发现他一直睡觉时呼吸有停顿现象,伴有打鼾和手脚乱动。医生说两侧扁桃体偏大,堵塞部分呼吸道,建议切除。似乎是个小手术,
: 也多少有些忐忑。网上科普了一下,发现有各种切除的方法,电刀和传统手术刀为主,
: 以流血少,愈合快为佳。大家有什么道听途说,经历过的类似案例没有?交流一下。
: 另附一个医生的笑话,以感谢关注:
: 医生问我老大(whisper in the ear): “How many girl friends do you have?"
: 很坚定地回答: “One."
: 医生说: ”At your age, you should have more because when you grow up, it will be too expensive to have more than one."

avatar
c*n
10
kafaka是个好主意!一直在小公司 分布这块没啥经验
上午瞄了眼aws reinvent,在想用lambda配合他家新出的那个DynamoDB

【在 w********m 的大作中提到】
: camelcamelcamel还是做的不错的。
: 这个看玩法吧。
: 没有个像样程序员的公司可以搞数据库stored procedure。每次价格变化扫一遍数据库
: ,发现符合要求的发email。传统公司就这么干的。当然这个很慢。
: 估计就是pub-sub模型。搞个分布的kafka或者redis。价格变化被爬虫publish到
: message queue。客户端subscribe分门别类的channel里面。只要符合逻辑就发email。
: 可以建上千左右的channel,十几台机器做notification就行了。当然爬虫要多多了。

avatar
D*n
11
非常感谢。 喜欢冰激凌那段。

【在 f*********r 的大作中提到】
: 跟普通切扁桃腺没什么大差别。直接张嘴做就可以。几个星期就可以完全恢复。而且告
: 诉他,手术以后什么都不能吃,只能吃冰淇淋(当然,其他流食是可以吃的)。
: 比大人的sleep apnea要简单,成人手术还要从下巴打孔。
: 赶紧做,真的因为缺氧影响智力和身体发育就不好了。

avatar
l*n
12
amazon反爬虫挺厉害的,即使你用一定数量的ip来爬,即使不被封,效率也会非常低,
能爬的网页数量非常有限,作用不大。除非你有大量僵尸肉鸡。。。
或者本省就用的amazon的api做价格查询,这种方式感觉可能性比较高

【在 w********m 的大作中提到】
: camelcamelcamel还是做的不错的。
: 这个看玩法吧。
: 没有个像样程序员的公司可以搞数据库stored procedure。每次价格变化扫一遍数据库
: ,发现符合要求的发email。传统公司就这么干的。当然这个很慢。
: 估计就是pub-sub模型。搞个分布的kafka或者redis。价格变化被爬虫publish到
: message queue。客户端subscribe分门别类的channel里面。只要符合逻辑就发email。
: 可以建上千左右的channel,十几台机器做notification就行了。当然爬虫要多多了。

avatar
c*n
13
我记得上次看知乎有人说国内哪家电商后台判定你爬虫后会给你错误的价格
这个比封ip还狠

【在 l******n 的大作中提到】
: amazon反爬虫挺厉害的,即使你用一定数量的ip来爬,即使不被封,效率也会非常低,
: 能爬的网页数量非常有限,作用不大。除非你有大量僵尸肉鸡。。。
: 或者本省就用的amazon的api做价格查询,这种方式感觉可能性比较高

avatar
w*m
14
相对来说,amazon非常的爬虫友好。
国内都是爬虫黑洞,爬虫进了就是死循环出不来。
还有爬虫陷阱,给假的价格。
camelcamelcamel要爬国内的网站,分分钟关门。

【在 c******n 的大作中提到】
: 我记得上次看知乎有人说国内哪家电商后台判定你爬虫后会给你错误的价格
: 这个比封ip还狠

avatar
l*n
15
能说说你爬amazon的经验吗?
我爬了很快ip被封,然后不得不很慢的爬,更新很困难

【在 w********m 的大作中提到】
: 相对来说,amazon非常的爬虫友好。
: 国内都是爬虫黑洞,爬虫进了就是死循环出不来。
: 还有爬虫陷阱,给假的价格。
: camelcamelcamel要爬国内的网站,分分钟关门。

avatar
w*m
16
不好意思。以前做过,现在可能有变化。
既然ip很便宜,你可以考虑多用几个ip。Amz不永久封地址。

【在 l******n 的大作中提到】
: 能说说你爬amazon的经验吗?
: 我爬了很快ip被封,然后不得不很慢的爬,更新很困难

avatar
l*n
17
哪里ip便宜?
正规渠道的ip都不便宜

【在 w********m 的大作中提到】
: 不好意思。以前做过,现在可能有变化。
: 既然ip很便宜,你可以考虑多用几个ip。Amz不永久封地址。

avatar
w*m
18
linode和digitalocean每边买五块钱的vps一千个。
每个上都上ipv6。
这样就是4000个ip。
每个ip就给1QPS吧。
AMZ有12million的商品。
每个小时你可以把AMZ扫描一遍。
成本是一个月一万刀。
相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。