logo
Redian新闻
>未名空间
>JobHunting - 待字闺中
>
Hadoop输入文件是.gz files，一般怎么处理？
avatar
Hadoop输入文件是.gz files，一般怎么处理？# JobHunting - 待字闺中
j*v
1 楼
hadoop jar test.jar Test inputFileFolder outputFileFolder
inputFileFolder里存了5个9G左右的.gz files，想请问一下大家，用Hadoop处理这个
inputFileFolder里的文件，如果不解压缩文件一般采用什么方法？怎样配置参数比较
好？谢谢!
avatar
m*n
2 楼
http://stackoverflow.com/questions/26576985/mapreduce-in-java-g

【在 j********v 的大作中提到】
: hadoop jar test.jar Test inputFileFolder outputFileFolder
: inputFileFolder里存了5个9G左右的.gz files，想请问一下大家，用Hadoop处理这个
: inputFileFolder里的文件，如果不解压缩文件一般采用什么方法？怎样配置参数比较
: 好？谢谢!
avatar
C*e
3 楼
hadoop可以自动根据输入的后缀名来解压缩，用户什么都不用做。

【在 j********v 的大作中提到】
: hadoop jar test.jar Test inputFileFolder outputFileFolder
: inputFileFolder里存了5个9G左右的.gz files，想请问一下大家，用Hadoop处理这个
: inputFileFolder里的文件，如果不解压缩文件一般采用什么方法？怎样配置参数比较
: 好？谢谢!
相关阅读
google onsite，feedback都是positive的情况下，通过率大么 ？三藩上市公司data scientist职位内推像好虫这样的房托被房黑整的急眼了！ (转载)有没有self -sponsored H1B 成功的内推 workday说了谎，HR要你提供证据该怎么办？【工作机会】 Full Time (Senior) Software Engineer 内推亚马逊和脸家根本不能比死变态，纽约哥们上班第一天就遇男老板着女装求那啥毕业了，我选择浪一年有一年没报税Background check会有问题吗？洋老板大多苛刻，真的不如华裔老板好美国总统为什么要说中国留学生都是间谍？面试的时候，我跟HR翻脸了领导说，我就看看，谁一下班就走了！fb system design application track咋搞?实习重要还是刷题重要？刚开始出来做，就别他妈嫌工资低毕业一年，其实没啥经验，准备做亚马逊运营我愿意变回毕业生，从一张白纸开始
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。