dataframe和SQL最大区别是什么呢 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

dataframe和SQL最大区别是什么呢

dataframe和SQL最大区别是什么呢# Programming - 葵花宝典

w*u2018-03-06 08:03

1 楼

我妈不会英语，5月底从上海来美国探亲，现在纠结机票，是买达美的底特律转机，时
间间隔1小时55分钟，还是美联航芝加哥转机，时间间隔3小时？
走底特律呢时间紧了些，但因为我以前都是走底特律，对机场比较熟悉，到时候电话指
导比较方便，也不用做小火车什么的。。。
走芝加哥虽然多一个小时，但一来我对芝加哥机场完全没有概念，二来身边好多芝加哥
转机来不及的例子，比如遇到几个国际航班一起到，或者飞机延误。。。
我这是大农村没有办法直达，只能转机，也只有这两家航空公司到。我查了这两个航班
转过来的那趟国内航班都是当天最后一班了，也就是说如果延误了都没有办法安排当天
的下一趟飞机。
另外我只做过达美的，美联航的服务怎样？大家有相关的转机经验能不能分析一下，选
哪个航班比较合适？谢谢！

g*92018-03-06 08:03

2 楼

请教一下为什么有了SQL以后现在还有R和Python的dataframe呢？如果计算需要在内存
里完成，主要优点在哪里啊？

i*t2018-03-06 08:03

3 楼

转机的话你飞去中转的地方吧。这样最方便了，以后知道了就不用了。
要不然丢了可有的着急了。

【在 w*********u 的大作中提到】

: 我妈不会英语，5月底从上海来美国探亲，现在纠结机票，是买达美的底特律转机，时
: 间间隔1小时55分钟，还是美联航芝加哥转机，时间间隔3小时？
: 走底特律呢时间紧了些，但因为我以前都是走底特律，对机场比较熟悉，到时候电话指
: 导比较方便，也不用做小火车什么的。。。
: 走芝加哥虽然多一个小时，但一来我对芝加哥机场完全没有概念，二来身边好多芝加哥
: 转机来不及的例子，比如遇到几个国际航班一起到，或者飞机延误。。。
: 我这是大农村没有办法直达，只能转机，也只有这两家航空公司到。我查了这两个航班
: 转过来的那趟国内航班都是当天最后一班了，也就是说如果延误了都没有办法安排当天
: 的下一趟飞机。
: 另外我只做过达美的，美联航的服务怎样？大家有相关的转机经验能不能分析一下，选

h*c2018-03-06 08:03

4 楼

dataframe适合码农写OOP风格的代码，SQL适合商学院高富帅分析数据成为人生赢家

d*12018-03-06 08:03

5 楼

时间当然越长越好，否则万一国内起飞晚一点点，赶不上这边的飞机，多着急呀，除非
你能去接。网上搜搜太多芝加哥机场的信息，很多人写给父母的公略！

x*u2018-03-06 08:03

6 楼

操作方便；内存里运行快。
不是每个人都会用SQL，也不是每个人都需要SQL的功能。

m*i2018-03-06 08:03

7 楼

芝加哥如果在同一航站楼还好，要是不同的航站楼，要坐小火车挺麻烦的。

l*02018-03-06 08:03

8 楼

Sql现在这么高大上了？

【在 h**c 的大作中提到】

: dataframe适合码农写OOP风格的代码，SQL适合商学院高富帅分析数据成为人生赢家

k*h2018-03-06 08:03

9 楼

当然3小时的好。2小时时间对不会讲英文的父母太紧促了。我第一次来美就是在芝加哥
转机，从下大飞机到转机的地方都用了1个半小时呢。

n*g2018-03-06 08:03

10 楼

Sql 运行速度不也是很快吗？一般数据库都是cpp 写的
[在 xyliu (一天到晚喝水的鱼) 的大作中提到：]
:操作方便；内存里运行快。
:不是每个人都会用SQL，也不是每个人都需要SQL的功能。

g*92018-03-06 08:03

11 楼

最近学Pandas，有点不适应。不知道是不是data frame是大趋势。
另外R需要在内存计算，对于20GB以上数据似乎处理起来有点麻烦，为什么现在这么火
呢？我们公司是SAS shop，实现起来很方便，解决问题快，因为很多canned procedure
都已经有了。但是现在高层都说要用Python和R逐渐替代SAS。
不知道是什么原因啊。

m*r2018-03-06 08:03

12 楼

因为贵公司肯定不是什么高端行业(金融保险医药健康)，领导层15大换届，想走人工
智能深度学习路线，废掉sas是不二选择。倒不是为了省几个钱.

w*m2018-03-06 08:03

13 楼

搞金融的sas转python，matlab转R，估计是大趋势。
对马仔来说是好事情。用开源的东西可以带走。

procedure

【在 g*****9 的大作中提到】

: 最近学Pandas，有点不适应。不知道是不是data frame是大趋势。
: 另外R需要在内存计算，对于20GB以上数据似乎处理起来有点麻烦，为什么现在这么火
: 呢？我们公司是SAS shop，实现起来很方便，解决问题快，因为很多canned procedure
: 都已经有了。但是现在高层都说要用Python和R逐渐替代SAS。
: 不知道是什么原因啊。

w*g2018-03-06 08:03

14 楼

我这两天也不得不用R写了点东西。生统方面python好像完全不行，
数据都提不出来。
不过生统是火坑专业就是了。

【在 w********m 的大作中提到】

: 搞金融的sas转python，matlab转R，估计是大趋势。
: 对马仔来说是好事情。用开源的东西可以带走。
:
: procedure

b*u2018-03-06 08:03

15 楼

SQL是基础。俺公司的DS把上百G的数据download下来用dataframe一块块搞，我都懵了。
然后我写了一个稍微复杂一点的SQL，10分钟搞定。

【在 g*****9 的大作中提到】

: 请教一下为什么有了SQL以后现在还有R和Python的dataframe呢？如果计算需要在内存
: 里完成，主要优点在哪里啊？

l*02018-03-06 08:03

16 楼

几百g十分钟太神奇，能不能说说细节，什么系统？spark？数据库？还是parquet文件？

了。

【在 b****u 的大作中提到】

: SQL是基础。俺公司的DS把上百G的数据download下来用dataframe一块块搞，我都懵了。
: 然后我写了一个稍微复杂一点的SQL，10分钟搞定。

g*92018-03-06 08:03

17 楼

请教一下为什么有了SQL以后现在还有R和Python的dataframe呢？如果计算需要在内存
里完成，主要优点在哪里啊？

h*c2018-03-06 08:03

18 楼

dataframe适合码农写OOP风格的代码，SQL适合商学院高富帅分析数据成为人生赢家

x*u2018-03-06 08:03

19 楼

操作方便；内存里运行快。
不是每个人都会用SQL，也不是每个人都需要SQL的功能。

l*02018-03-06 08:03

20 楼

Sql现在这么高大上了？

【在 h**c 的大作中提到】

: dataframe适合码农写OOP风格的代码，SQL适合商学院高富帅分析数据成为人生赢家

n*g2018-03-06 08:03

21 楼

g*92018-03-06 08:03

22 楼

m*r2018-03-06 08:03

23 楼

因为贵公司肯定不是什么高端行业(金融保险医药健康)，领导层15大换届，想走人工
智能深度学习路线，废掉sas是不二选择。倒不是为了省几个钱.

w*m2018-03-06 08:03

24 楼

搞金融的sas转python，matlab转R，估计是大趋势。
对马仔来说是好事情。用开源的东西可以带走。

procedure

【在 g*****9 的大作中提到】

w*g2018-03-06 08:03

25 楼

我这两天也不得不用R写了点东西。生统方面python好像完全不行，
数据都提不出来。
不过生统是火坑专业就是了。

【在 w********m 的大作中提到】

: 搞金融的sas转python，matlab转R，估计是大趋势。
: 对马仔来说是好事情。用开源的东西可以带走。
:
: procedure

b*u2018-03-06 08:03

26 楼

: 请教一下为什么有了SQL以后现在还有R和Python的dataframe呢？如果计算需要在内存
: 里完成，主要优点在哪里啊？

l*02018-03-06 08:03

27 楼

几百g十分钟太神奇，能不能说说细节，什么系统？spark？数据库？还是parquet文件？

了。

【在 b****u 的大作中提到】

: SQL是基础。俺公司的DS把上百G的数据download下来用dataframe一块块搞，我都懵了。
: 然后我写了一个稍微复杂一点的SQL，10分钟搞定。

g*92018-03-06 08:03

28 楼

每年在SAS上的invoice是20-30 mil，还不包括那些不干事但是发email过去回信很拽的
SAS admin的工资。。。费用实在是太高了，关键还经常down掉。踢SAS是Capital One
最先搞的。。。
SAS用hash merge还是很快的，500g数据没有sort直接merge能够在台式机上20多分钟完
成。不知道有什么代表性意义不。hash merge语法难像java，没学会。。。水平差。。。

【在 m******r 的大作中提到】

: 因为贵公司肯定不是什么高端行业(金融保险医药健康)，领导层15大换届，想走人工
: 智能深度学习路线，废掉sas是不二选择。倒不是为了省几个钱.

h*c2018-03-06 08:03

29 楼

这是locality的问题，这种最基本数据库的理论。
100G的数据如果改变怎么同步。

了。

【在 b****u 的大作中提到】

: SQL是基础。俺公司的DS把上百G的数据download下来用dataframe一块块搞，我都懵了。
: 然后我写了一个稍微复杂一点的SQL，10分钟搞定。

p*o2018-03-06 08:03

30 楼

个人感觉R的data.table比pandas好用得多。

【在 w***g 的大作中提到】

: 我这两天也不得不用R写了点东西。生统方面python好像完全不行，
: 数据都提不出来。
: 不过生统是火坑专业就是了。

p*o2018-03-06 08:03

31 楼

SAS其实不是想象的那么贵，主要是大公司都NND上些没有什么用的选项，硬件配置也是
要求高得不得了，这样才把价格拉上去的。
SAS相对R还是有很多优点，尤其是做大一点的项目。

One
。。

【在 g*****9 的大作中提到】

: 每年在SAS上的invoice是20-30 mil，还不包括那些不干事但是发email过去回信很拽的
: SAS admin的工资。。。费用实在是太高了，关键还经常down掉。踢SAS是Capital One
: 最先搞的。。。
: SAS用hash merge还是很快的，500g数据没有sort直接merge能够在台式机上20多分钟完
: 成。不知道有什么代表性意义不。hash merge语法难像java，没学会。。。水平差。。。

g*u2018-03-06 08:03

32 楼

但是据说R学起来很烦人啊
这就是为什么我一直不敢看r的原因
只能硬着头皮python

m*n2018-03-06 08:03

33 楼

用来运算数据用DataFrame
存储数据和简单财务运算用数据库
没听说哪个数据库主要工作是数学计算的

m*r2018-03-06 08:03

34 楼

has merge 具有重大意义. 因为仅这一点，同类软件就做不到。不信你用R,python试
试。
capital one踢sas 我倒是第一次听说。能给个链接吗？以前一直有人鼓吹FDA改用R
了，其实FDA研究人员一直用R，但药厂提交报告从没听说谁用R的。

One
。。

【在 g*****9 的大作中提到】

w*m2018-03-06 08:03

35 楼

R 有个bioconductor

【在 w***g 的大作中提到】

: 我这两天也不得不用R写了点东西。生统方面python好像完全不行，
: 数据都提不出来。
: 不过生统是火坑专业就是了。

w*g2018-03-06 08:03

36 楼

是滴。不过我搞了一阵，发现更好玩的东西了。
下面这个你见过么？

【在 w********m 的大作中提到】

: R 有个bioconductor

w*m2018-03-06 08:03

37 楼

这是啥？Microarray？

【在 w***g 的大作中提到】

: 是滴。不过我搞了一阵，发现更好玩的东西了。
: 下面这个你见过么？

w*g2018-03-06 08:03

38 楼

嘿嘿，对啦。这是只经过一步处理的比较原生
态的microarray -- 就是一个照片！
左上角还有字。下一步就是要对着这个照片
做deep learning啦。
可惜这东西已经过时了。

【在 w********m 的大作中提到】

: 这是啥？Microarray？

x*u2018-03-06 08:03

39 楼

这么炫的颜色倒是第一次见。
23andMe还在大量使用microarray, 不算过时。

b*u2018-03-06 08:03

40 楼

其实也还不错，dataframe比python做的更人性话，各种包也比较多。
我也经常搞一搞。
最大的问题是程序不能写大了，代码很难看，很维护。特别是我用shiny r，估计没人
能接手我的代码。

【在 g*******u 的大作中提到】

: 但是据说R学起来很烦人啊
: 这就是为什么我一直不敢看r的原因
: 只能硬着头皮python

g*92018-03-06 08:03

41 楼

踢SAS的事情是听说的，我SAS用了好久年了。
FDA应该不会换R，这是听在药厂的同学说的。他自己是R的大拿，但是他说不管药厂用
什么，最后提交上去的东西FDA会用SAS运算。这个我记得非常清楚，大概三四年前吧。
SAS的visualization确实不好，感觉很土。。。可能我没有看到高端的。

用R

【在 m******r 的大作中提到】

: has merge 具有重大意义. 因为仅这一点，同类软件就做不到。不信你用R,python试
: 试。
: capital one踢sas 我倒是第一次听说。能给个链接吗？以前一直有人鼓吹FDA改用R
: 了，其实FDA研究人员一直用R，但药厂提交报告从没听说谁用R的。
:
: One
: 。。