logo
Redian新闻
>未名空间
>PhotoGear - 摄影器材
>
求助，新相机摇摇有声音
avatar
求助，新相机摇摇有声音# PhotoGear - 摄影器材
l*9
1 楼
【 以下文字转载自 Statistics 讨论区 】
发信人: light009 (light009), 信区: Statistics
标 题: 如何用R处理大文件
发信站: BBS 未名空间站 (Thu May 1 14:19:13 2014, 美东)
我有 两个 CSV 文件 (800 million rows, 3 columns)， 每个有 30GB。
我的电脑内存 8GB。
请问 ， 如何用R ，load and process／analyze 这样的文件
谢谢
avatar
n*d
2 楼
AA us airway转来的那张AA aviator收到了常见的3个月内每个月花XXX刀然后总共给
YYY mileage的offer，是个挺好的offer，准备take了，但问题是这3个月内要交年费了
，到时候是不是没法要挟关卡来免年费了啊？
avatar
P*5
3 楼
昨天半夜起来给娃喂奶，顺便看了一眼，速度很快。 就下了１０单。 如果不被cancel
就回来发包子。
avatar
s*o
4 楼
新到的k-r，
摇摇机身里面有声音
好像什么东西没有装好
是什么问题？
再问一个问题：如何检查这个机器有没有问题
比如有没有被用过，能看曾经被拍过多少照片么？
avatar
j*p
5 楼
Pretty much no way. Most R packages require the data fully loaded in memory.
You may consider sampling, or increase the memory.
avatar
b*e
6 楼
交年费给10000miles，你有点贪啊
avatar
o*1
7 楼
那排
avatar
b*s
8 楼
珍惜生命，远离pentax

【在 s*******o 的大作中提到】
: 新到的k-r，
: 摇摇机身里面有声音
: 好像什么东西没有装好
: 是什么问题？
: 再问一个问题：如何检查这个机器有没有问题
: 比如有没有被用过，能看曾经被拍过多少照片么？
avatar
d*c
9 楼
或者你有类似的bigdata database related package。
把data run到cluster上面，cluster上面会有R inst可以做。
avatar
m*p
10 楼
去年3月申的应该没有交了年费的10Kmiles

【在 b*****e 的大作中提到】
: 交年费给10000miles，你有点贪啊
avatar
o*1
11 楼
都是一个cc？
那下次我胆子大点，至少下2单来省点油费。
avatar
h*e
12 楼
佳能也有这事，是闪灯里的声音，好象是卡簧什么的。
你再听听是不是闪灯那的。
avatar
z*3
13 楼
找一个数据库
建好各种table之类的
然后全部dump到一个数据库里面去
这样就不受memory的限制了
光靠r，没戏，r本质不是一种general的编程语言
不管什么内存之类的
avatar
n*d
14 楼
没有10K miles啊，不然铁定保留啊
好像就挺老的一批卡才有每年10k 我打电话去要过都表示就是不给我

【在 b*****e 的大作中提到】
: 交年费给10000miles，你有点贪啊
avatar
e*n
15 楼
其实无所谓。最多看淡，又不会抓人。

【在 o**********1 的大作中提到】
: 都是一个cc？
: 那下次我胆子大点，至少下2单来省点油费。
avatar
c*y
16 楼
Pentax这是机身防抖的声音

【在 h*******e 的大作中提到】
: 佳能也有这事，是闪灯里的声音，好象是卡簧什么的。
: 你再听听是不是闪灯那的。
avatar
h*3
17 楼
R只是一个toy。
avatar
a*9
18 楼
傻乎乎地问： 这个Coupon哪里有？
avatar
w*s
19 楼
忘了从蜂鸟还是无忌上看到说是由于机身防抖。
avatar
l*9
20 楼
Thanks !
Although I can load data to database, I still need to load them into a data.
frame in R so that I can do analysis, right ?
So, I have to install R on the database server ?
What if I have to use R on my laptop ?
Also, R has some limits on the size of data.frame and vectors.
For example, vector size cannot be more than 2 GB (or bits, not sure).
Any help would be appreciated.

【在 z*******3 的大作中提到】
: 找一个数据库
: 建好各种table之类的
: 然后全部dump到一个数据库里面去
: 这样就不受memory的限制了
: 光靠r，没戏，r本质不是一种general的编程语言
: 不管什么内存之类的
avatar
s*m
21 楼
re!

cancel

【在 P******5 的大作中提到】
: 昨天半夜起来给娃喂奶，顺便看了一眼，速度很快。 就下了１０单。 如果不被cancel
: 就回来发包子。
avatar
m*7
22 楼
rere 今天就黑p黑到底吧.

【在 b*******s 的大作中提到】
: 珍惜生命，远离pentax
avatar
s*5
23 楼
write a perl script, process chunk by chunk.
avatar
e*w
24 楼
pai
avatar
b*s
25 楼
不是黑，虽然各个品牌的入门机质量都在下降，显然还是尼康佳能最靠谱。除了彩壳有
任何用喷太湿入门机的理由吗?

【在 m****7 的大作中提到】
: rere 今天就黑p黑到底吧.
avatar
z*3
26 楼
你需要一次性把所有数据全部读入内存么？
弄几个中间状态，然后一步一步逼近你最后的答案
每前进一步，释放掉前面的内存

data.

【在 l******9 的大作中提到】
: Thanks !
: Although I can load data to database, I still need to load them into a data.
: frame in R so that I can do analysis, right ?
: So, I have to install R on the database server ?
: What if I have to use R on my laptop ?
: Also, R has some limits on the size of data.frame and vectors.
: For example, vector size cannot be more than 2 GB (or bits, not sure).
: Any help would be appreciated.
avatar
o*1
27 楼

说的也是。。
笨死了我。

【在 e*******n 的大作中提到】
: 其实无所谓。最多看淡，又不会抓人。
avatar
h*g
28 楼
出了肩屏，没有任何功能阉割，现在连小红点也有了

【在 b*******s 的大作中提到】
: 不是黑，虽然各个品牌的入门机质量都在下降，显然还是尼康佳能最靠谱。除了彩壳有
: 任何用喷太湿入门机的理由吗?
avatar
i*4
29 楼
pai
avatar
o*6
30 楼
那个难道不是垂直检测仪的声音？
avatar
b*n
31 楼
我也排一个吧
bless不被cancel
cancel
avatar
b*b
32 楼
re
没问题的

【在 c********y 的大作中提到】
: Pentax这是机身防抖的声音
avatar
w*n
33 楼
我先排一下!~
avatar
b*b
34 楼
看来P黑的学术水平有待提高啊。。。
avatar
e*b
35 楼
pai!
avatar
h*s
36 楼
我的k10d里面就有
并且是垂直上下晃没声音
左右上下晃就有声音，咣里咣当的
比如左面上右面下换到右面上左面下的时候
就感觉有个东西掉下来
反之亦然
但是其它功能都完好
avatar
s*2
37 楼
pai
avatar
s*t
38 楼
一年前在此地问过同样的问题，然后被鄙视了。
avatar
m*n
39 楼
排
avatar
s*o
40 楼
谢谢了，恩，是防抖功能
看到说明书写了
avatar
l*7
41 楼
pai
avatar
y*e
42 楼
恭喜，你买到了有机身防抖的相机

【在 s*******o 的大作中提到】
: 新到的k-r，
: 摇摇机身里面有声音
: 好像什么东西没有装好
: 是什么问题？
: 再问一个问题：如何检查这个机器有没有问题
: 比如有没有被用过，能看曾经被拍过多少照片么？
avatar
d*d
43 楼
pai
avatar
r*6
44 楼
pai
avatar
x*l
45 楼
PAI
avatar
D*g
46 楼
pai
avatar
D*g
47 楼
already dead le

【在 a*****9 的大作中提到】
: 傻乎乎地问： 这个Coupon哪里有？
avatar
T*y
48 楼
景仰

cancel

【在 P******5 的大作中提到】
: 昨天半夜起来给娃喂奶，顺便看了一眼，速度很快。 就下了１０单。 如果不被cancel
: 就回来发包子。
avatar
k*y
49 楼
排
avatar
s*e
50 楼
re
avatar
t*e
51 楼
it cancelled mine before
cancel
avatar
A*a
52 楼
pai
avatar
s*0
53 楼
pai
avatar
d*y
54 楼
我看要被取消了，下了两单，本来有一单已经完成了，后来两单都成“process”了。
我还开了另外一个帐户，就是懒了一下，没有换信用卡，还是被他们并到一个帐户中去
了。
avatar
z*x
55 楼
一单都没下成，掩面洒泪飘过
avatar
s*g
56 楼
排

cancel

【在 P******5 的大作中提到】
: 昨天半夜起来给娃喂奶，顺便看了一眼，速度很快。 就下了１０单。 如果不被cancel
: 就回来发包子。
avatar
m*r
57 楼
我也是半夜睡不着起来下的单，那时候很快。
两个账户下了三单都发信说Order Confirmation，这样是成功了吗？
话说我也忘了换卡了。
不过还是很景仰lz！
avatar
P*5
58 楼

no. if it is "in process".

【在 m********r 的大作中提到】
: 我也是半夜睡不着起来下的单，那时候很快。
: 两个账户下了三单都发信说Order Confirmation，这样是成功了吗？
: 话说我也忘了换卡了。
: 不过还是很景仰lz！
avatar
l*a
59 楼
排
avatar
P*8
60 楼
pai
avatar
y*1
61 楼
排~~~
avatar
g*a
62 楼
pai
avatar
k*n
63 楼
我有1单也收到Order Confirmation,但去TRACK ORDER的时候,状态是CANCEL的

【在 m********r 的大作中提到】
: 我也是半夜睡不着起来下的单，那时候很快。
: 两个账户下了三单都发信说Order Confirmation，这样是成功了吗？
: 话说我也忘了换卡了。
: 不过还是很景仰lz！
avatar
p*u
64 楼
排.
avatar
w*8
65 楼
pai
avatar
f*t
66 楼
这个是abuse?它家不是经常出10off的胖子？
avatar
J*L
67 楼
re bao zi
avatar
d*y
68 楼
哈，我的二个单子做完了“completed"，等LZ好消息。
avatar
j*l
69 楼
pai
avatar
g*n
70 楼
排

【在 d****y 的大作中提到】
: 哈，我的二个单子做完了“completed"，等LZ好消息。
avatar
j*u
71 楼
真奇怪，那天一单都没下成功，结果今天早上收到Order Confirmation ，显示order时
间 1/12/2010
avatar
x*l
72 楼
re

【在 z**x 的大作中提到】
: 一单都没下成，掩面洒泪飘过
avatar
d*e
73 楼
pai
avatar
f*n
74 楼
一个账户一个卡5单都complete了，1单process，这算abuse？人家没说一个顾客只能下
一单。
avatar
s*m
75 楼
pai
avatar
t*e
76 楼
pai
avatar
r*f
77 楼
排，排，排。。。
avatar
g*y
78 楼
pai
avatar
x*0
79 楼
pai
avatar
q*6
80 楼
pai
avatar
p*0
81 楼
pai!
一单没有下！哭
avatar
f*a
82 楼
排
相关阅读
人口普查这事情怎么没有动静了？发生了什么事？carbonplay 封 xmuwise10 在 PhotoGear 版 (转载)关于这个AF MICRO ADJUSTMENT色淫版怎么啦？这么多ID105vr利用率实在太低太低了。万佛，无忌被和谐了？[FS] Black Contax G2+G28+G45+G90+TLA140+extra10-22mm的超广头要不要slim UV filter?D35后组磨损.. 卖家太mean了, 准备file case.N+ 20-35/2.8 这头怎样？为啥200/2这么大，但是180/2.8怎么小？万佛，请推荐窗式空调 （包子）尼康真是有点脑残？清舞飞洋-清华学生艺术团硅谷表演（组图） (转载)where to get a cheaper 77mm canon lens cap[photozone.de] Nikkor AF-S 200mm f/2 G ED VR (FX)who wants canon 35/2在线怎么这么多据说
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章，不代表同意其说法或描述，仅为提供更多信息，也不构成任何建议。文章信息的合法性及真实性由其作者负责，与Redian.news及其运营公司无关。欢迎投稿，如发现稿件侵权，或作者不愿在本网发表文章，请版权拥有者通知本网处理。