S*w
2 楼
F的message设计，类似hdfs
有一个Directory, 当master
有n个data nodes
我的理解是
用户被分到其中data nodes中.
这个信息存在directory中
当发信给user_id， 要做
1. 连接directory service, 查找user_id的node
2. 把信存到[email protected]的记录里
有个问题
directory service 需要内存
假设1.5B user, 每个mapping 用10 byte
15B byte = 15G 内存
但是这么多request都到了directory service,
只是读还好， 可以load balancer
但是写怎么办
这里需要一个 concurrent hashmap,
lock, etc
性能总有限制啊?
有一个Directory, 当master
有n个data nodes
我的理解是
用户被分到其中data nodes中.
这个信息存在directory中
当发信给user_id， 要做
1. 连接directory service, 查找user_id的node
2. 把信存到[email protected]的记录里
有个问题
directory service 需要内存
假设1.5B user, 每个mapping 用10 byte
15B byte = 15G 内存
但是这么多request都到了directory service,
只是读还好， 可以load balancer
但是写怎么办
这里需要一个 concurrent hashmap,
lock, etc
性能总有限制啊?
c*2
3 楼
能这样转, check I-539 processing time at your service center
p*2
4 楼
为什么不能用in memory db？
【在 S***w 的大作中提到】
: F的message设计，类似hdfs
: 有一个Directory, 当master
: 有n个data nodes
: 我的理解是
: 用户被分到其中data nodes中.
: 这个信息存在directory中
: 当发信给user_id， 要做
: 1. 连接directory service, 查找user_id的node
: 2. 把信存到[email protected]的记录里
: 有个问题
【在 S***w 的大作中提到】
: F的message设计，类似hdfs
: 有一个Directory, 当master
: 有n个data nodes
: 我的理解是
: 用户被分到其中data nodes中.
: 这个信息存在directory中
: 当发信给user_id， 要做
: 1. 连接directory service, 查找user_id的node
: 2. 把信存到[email protected]的记录里
: 有个问题
S*w
5 楼
晕 根本没想过
【在 p*****2 的大作中提到】
: 为什么不能用in memory db？
l*g
6 楼
为何mapping要占内存要lock？如果只是一个算法呢？
w*z
7 楼
你可以设计算法，(consistent hash or something like that) 从 userID 就能知道
是哪个node。For distributed system, you don't want to have a global mapping.
【在 S***w 的大作中提到】
: F的message设计，类似hdfs
: 有一个Directory, 当master
: 有n个data nodes
: 我的理解是
: 用户被分到其中data nodes中.
: 这个信息存在directory中
: 当发信给user_id， 要做
: 1. 连接directory service, 查找user_id的node
: 2. 把信存到[email protected]的记录里
: 有个问题
是哪个node。For distributed system, you don't want to have a global mapping.
【在 S***w 的大作中提到】
: F的message设计，类似hdfs
: 有一个Directory, 当master
: 有n个data nodes
: 我的理解是
: 用户被分到其中data nodes中.
: 这个信息存在directory中
: 当发信给user_id， 要做
: 1. 连接directory service, 查找user_id的node
: 2. 把信存到[email protected]的记录里
: 有个问题
g*g
8 楼
Check Cassandra, Memcached, Redis design and you'll understand. The userId
can be hashed and distributed in a cluster. And any single piece of data can
be further replicated, consistency can be reached as long as read+write >
replication factor.
【在 S***w 的大作中提到】
: F的message设计，类似hdfs
: 有一个Directory, 当master
: 有n个data nodes
: 我的理解是
: 用户被分到其中data nodes中.
: 这个信息存在directory中
: 当发信给user_id， 要做
: 1. 连接directory service, 查找user_id的node
: 2. 把信存到[email protected]的记录里
: 有个问题
can be hashed and distributed in a cluster. And any single piece of data can
be further replicated, consistency can be reached as long as read+write >
replication factor.
【在 S***w 的大作中提到】
: F的message设计，类似hdfs
: 有一个Directory, 当master
: 有n个data nodes
: 我的理解是
: 用户被分到其中data nodes中.
: 这个信息存在directory中
: 当发信给user_id， 要做
: 1. 连接directory service, 查找user_id的node
: 2. 把信存到[email protected]的记录里
: 有个问题
S*w
9 楼
这个我也想过
不过立马毙了 觉得不太好用
如何增加一个机器 岂不是要重新改算法？
需要人为干预
mapping.
【在 w**z 的大作中提到】
: 你可以设计算法，(consistent hash or something like that) 从 userID 就能知道
: 是哪个node。For distributed system, you don't want to have a global mapping.
不过立马毙了 觉得不太好用
如何增加一个机器 岂不是要重新改算法？
需要人为干预
mapping.
【在 w**z 的大作中提到】
: 你可以设计算法，(consistent hash or something like that) 从 userID 就能知道
: 是哪个node。For distributed system, you don't want to have a global mapping.
S*w
10 楼
谢谢
Cassandra 我大概知道是用consistent hashing
没有master
应该没用户global mapping
所以你的意思是 其实这里不需要存mapping
用consistenthashing方法查询use id 的shard?
多谢指点
can
【在 g*****g 的大作中提到】
: Check Cassandra, Memcached, Redis design and you'll understand. The userId
: can be hashed and distributed in a cluster. And any single piece of data can
: be further replicated, consistency can be reached as long as read+write >
: replication factor.
Cassandra 我大概知道是用consistent hashing
没有master
应该没用户global mapping
所以你的意思是 其实这里不需要存mapping
用consistenthashing方法查询use id 的shard?
多谢指点
can
【在 g*****g 的大作中提到】
: Check Cassandra, Memcached, Redis design and you'll understand. The userId
: can be hashed and distributed in a cluster. And any single piece of data can
: be further replicated, consistency can be reached as long as read+write >
: replication factor.
w*z
11 楼
That is what I was talking about.
【在 S***w 的大作中提到】
: 谢谢
: Cassandra 我大概知道是用consistent hashing
: 没有master
: 应该没用户global mapping
: 所以你的意思是 其实这里不需要存mapping
: 用consistenthashing方法查询use id 的shard?
: 多谢指点
:
: can
【在 S***w 的大作中提到】
: 谢谢
: Cassandra 我大概知道是用consistent hashing
: 没有master
: 应该没用户global mapping
: 所以你的意思是 其实这里不需要存mapping
: 用consistenthashing方法查询use id 的shard?
: 多谢指点
:
: can
g*g
12 楼
F probably uses MySQL sharding to achieve this, but the idea is the same.
【在 S***w 的大作中提到】
: 谢谢
: Cassandra 我大概知道是用consistent hashing
: 没有master
: 应该没用户global mapping
: 所以你的意思是 其实这里不需要存mapping
: 用consistenthashing方法查询use id 的shard?
: 多谢指点
:
: can
【在 S***w 的大作中提到】
: 谢谢
: Cassandra 我大概知道是用consistent hashing
: 没有master
: 应该没用户global mapping
: 所以你的意思是 其实这里不需要存mapping
: 用consistenthashing方法查询use id 的shard?
: 多谢指点
:
: can
S*w
13 楼
谢谢大牛
你们什么都懂
【在 w**z 的大作中提到】
: That is what I was talking about.
你们什么都懂
【在 w**z 的大作中提到】
: That is what I was talking about.
S*w
14 楼
谢谢 大家指点
如醍醐灌顶
如醍醐灌顶
相关阅读
Pandas问题不少啊...reactive native deploy error对人的训练就像训练神经网络AWS上做Deep learning large scale design怎样买slickedit便宜？能在mac上挖矿吗？关于刷题面试，clojure哪里找Wiki Leak希拉里Podesta邮件可视化项目学 python3 还是 2.7?为什么C语言很难?ssh tunnel加密的问题cloud vs AI 哪个方向更适合职业发展说一个国内保密单位在硬盘上装软件的故事 (转载)挖得太慢了 (转载)求详细步骤：在 Mac Sierra 上安装 Python 2.7 的 Oracle 客户下一波世界革命，是小札等科技巨头忽悠P民推翻政客 (转载)为什么苹果不对淘宝收税跨平台开发比较数据世界杯 他们怎么分钱 ？IT股票跌AI气势凶。