如何快速处理大量网上xml文件？ (转载)# Java - 爪哇娇娃
g*n
1 楼
【 以下文字转载自 Programming 讨论区 】
发信人: guanjun (guanjun), 信区: Programming
标 题: 如何快速处理大量网上xml文件？
发信站: BBS 未名空间站 (Mon Aug 24 20:33:14 2015, 美东)
小弟新手，恳请各位大侠指点。万分感激！
只用单个电脑， 不用hadoop/spark这些框架
网上有大约60万个xml文件，比如下面是一个：
http://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=pub
需要解析每个文件，结果然后存在电脑上。现在的程序每次都要访问网上的文件，大约
耗时3天才能完成。
有没有更加高效的方法，快速完成?
发信人: guanjun (guanjun), 信区: Programming
标 题: 如何快速处理大量网上xml文件？
发信站: BBS 未名空间站 (Mon Aug 24 20:33:14 2015, 美东)
小弟新手，恳请各位大侠指点。万分感激！
只用单个电脑， 不用hadoop/spark这些框架
网上有大约60万个xml文件，比如下面是一个：
http://eutils.ncbi.nlm.nih.gov/entrez/eutils/efetch.fcgi?db=pub
需要解析每个文件，结果然后存在电脑上。现在的程序每次都要访问网上的文件，大约
耗时3天才能完成。
有没有更加高效的方法，快速完成?