大数据查询,有什么更快一点的办法?# JobHunting - 待字闺中
w*s
1 楼
接手遗留项目, 简单来说, 做法是
数据放在hadoop上
对数据有索引,索引也在hadoop上
查询的时候根据条件和索引,去hdfs下载数据到本地
然后对下载的数据作本地查询
请问有没有快一点的办法?
数据放在hadoop上
对数据有索引,索引也在hadoop上
查询的时候根据条件和索引,去hdfs下载数据到本地
然后对下载的数据作本地查询
请问有没有快一点的办法?
h*0
2 楼
索引放在no sql db里面会好点吧。 hadoop的overhead太大了。
相关阅读
毕业了，职业发展求指教比尔·盖茨语言未来：机会属于人工智能、能源、生物科学（转载）阿里集团（菜鸟）招人BigData Senior Data Engineer @Endurance/ConstantContact around Boston area我还是图样图僧破Re: 《摔跤》不如《盲井》 (转载)求resume帮助或career path指导 -- 物理学位转IoT, robotics内推C++ Sr. Software Engineer川普政府拨2兆预算在未来十年做基础建设 (转载)印度也要万邦来朝，习胖遭遇强劲对手 (转载)有人需要改简历吗？f***,我还认识一个人去年年底从a家跳到乐视阿三哥很欢乐(ZZ) (转载)update:dream job, onsite之后没消息可以和hire manager有人面过Airbnb Data Scientist on-site吗？求站内聊！H1B transfer during EB1B 485 pendingImage Algorithm Development: Senior/Staff Engineer基金经理: Uber不过是另一场庞氏骗局硅谷华工人人pip不是梦 (转载)【被谋杀的民主党数据主管确认为维基解密泄密人】 (转载)