问个 hive的问题 - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

问个 hive的问题

问个 hive的问题# DataSciences - 数据科学

s*u2014-12-19 08:12

1 楼

最近去湖边钓鱼看到什么东西在水面平稳地移动而且绝不像鱼
后来我们跑桥上去，竖直地往下看，发现尾巴宽大，上下划水，
有人猜是江豚，我看清有4条腿子，于是就说是水獭。
然后掏出手机来google。
以前以为水獭和海獭是近亲，只不过一个生活在淡水，一个生活在海水。
查过之后才知道弱爆了。
一个是食肉目，一个是啮齿目。近亲个毛。

t*u2014-12-19 08:12

2 楼

有很多记录大概12M个
a1 b1
a1 b2
a1 b3
a2 b1
a2 b4
这样的
想法是
如果给a1, a2 就把b1, b2,b3 ,b4找出来
但是a1，a2是动态的
有什么好方法么？

a*t2014-12-19 08:12

3 楼

学习了

p*i2014-12-19 08:12

4 楼

Select Distinct B from table where A in (a1, a2)?

h*h2014-12-19 08:12

5 楼

水獭和海獭是近亲啊，图上是是河狸，那个不一样。

【在 s******u 的大作中提到】

: 最近去湖边钓鱼看到什么东西在水面平稳地移动而且绝不像鱼
: 后来我们跑桥上去，竖直地往下看，发现尾巴宽大，上下划水，
: 有人猜是江豚，我看清有4条腿子，于是就说是水獭。
: 然后掏出手机来google。
: 以前以为水獭和海獭是近亲，只不过一个生活在淡水，一个生活在海水。
: 查过之后才知道弱爆了。
: 一个是食肉目，一个是啮齿目。近亲个毛。

t*u2014-12-19 08:12

6 楼

如果重复这样的过程，但是(a1 a2)不一样，或者变成(a3 a4 a5)
有没有方法变成参数形式？

【在 p*******i 的大作中提到】

: Select Distinct B from table where A in (a1, a2)?

h*h2014-12-19 08:12

7 楼

再一看，是文物贴

s*n2014-12-19 08:12

8 楼

用 -hiveconf 在命令行传递参数？比如 hive -f hive_job.hql -hiveconf eligible
_key1=a1 -hiveconf eligible_key2=a2?
如果参数本身也是动态的 a_list = [k1 ... kn], 命令行会很长，可以用python
nKey = len(a_list)
paramlist = ["-hiveconf eligible_key%s=%s" % t for t in zip(range(nKey), a_
list)]
cmdStr = "hive -f hive_job.hql " + " ".join(paramlist)
最后用os.system(cmdStr)来kickoff。
不过这样的话hive脚本本身也需要改。

l*l2014-12-19 08:12

9 楼

终于冒头撩
闭关成果如何？ :-)

【在 a**********t 的大作中提到】

: 学习了

t*u2014-12-19 08:12

10 楼

Hive出来的结果怎么回传？
我想用jdbc链接，但是老是没法初始化链接

eligible

【在 s*****n 的大作中提到】

: 用 -hiveconf 在命令行传递参数？比如 hive -f hive_job.hql -hiveconf eligible
: _key1=a1 -hiveconf eligible_key2=a2?
: 如果参数本身也是动态的 a_list = [k1 ... kn], 命令行会很长，可以用python
: nKey = len(a_list)
: paramlist = ["-hiveconf eligible_key%s=%s" % t for t in zip(range(nKey), a_
: list)]
: cmdStr = "hive -f hive_job.hql " + " ".join(paramlist)
: 最后用os.system(cmdStr)来kickoff。
: 不过这样的话hive脚本本身也需要改。

l*l2014-12-19 08:12

11 楼

哈哈，偶也木有注意－这个挖挖党，闭馆一出来就展览文物

【在 h*h 的大作中提到】

: 再一看，是文物贴

s*n2014-12-19 08:12

12 楼

我一般都是HIVE完了直接写成csv喂给下游的程序.如果是要做成数据库供查询的话，就
用mysql的工具上传。
没用过JAVA的Hive client，是不是你的SQL的库不全？根据你的报错信息应该可以
google到吧。

【在 t*********u 的大作中提到】

: Hive出来的结果怎么回传？
: 我想用jdbc链接，但是老是没法初始化链接
:
: eligible