可以通过jdbc给hive table 进行 load data么？# DataSciences - 数据科学
t*u
1 楼
如果可以的话
jdbc的 client是在windows上，怎么写那个pathname啊
jdbc的 client是在windows上，怎么写那个pathname啊
t*u
2 楼
如果可以的话
jdbc的 client是在windows上，怎么写那个pathname啊
jdbc的 client是在windows上，怎么写那个pathname啊
w*r
3 楼
Yes, it is working properly.
Test case:
Step 1 : create a python script to generate random strings. (copied from
internet with little mod)
#!/usr/bin/env python
import sys
import random
import string
def id_generator(size=6, chars=string.ascii_uppercase + string.digits):
return ''.join(random.choice(chars) for _ in range(size))
line=int(sys.argv[1])
for x in range(1,line):
print(id_generator())
Step 2: generate test data and put into home folder:
./random_string.py 1000 | hdfs dfs -put - /user/xxxxx/thousand_strings.txt
./random_string.py 1000 | hdfs dfs -put - /user/xxxxxx/hundred_strings.txt
Step 3: create hive table
CREATE TABLE T1 (S string);
Step4: Login to hive using beeline or eclipse data tool , sample here are in
beeline. Notice that the system is kerbros enabled.
!Beeline version 0.13.1-cdh5.3.1 by Apache Hive
beeline> !run beelineconn.txt
>>> !connect jdbc:hive2://namenode1:10000/default;principal=hive/[email protected]
mydomain.com;AuthMech=1;KrbHostFQDN=namenode1;KrbServiceName=hive
scan complete in 6ms
Connecting to jdbc:hive2://namenode1:10000/default;principal=hive/[email protected]
mydomain.com;AuthMech=1;KrbHostFQDN=namenode1;KrbServiceName=hive
Enter username for jdbc:hive2://namenode1:10000/default;principal=hive/
n*******[email protected];AuthMech=1;KrbHostFQDN=namenode1;KrbServiceName=hive:
Enter password for jdbc:hive2://namenode1:10000/default;principal=hive/
n*******[email protected];AuthMech=1;KrbHostFQDN=namenode1;KrbServiceName=hive:
Connected to: Apache Hive (version 0.13.1-cdh5.3.1)
Driver: Hive JDBC (version 0.13.1-cdh5.3.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://namenode1:100> truncate table t1;
No rows affected (0.254 seconds)
0: jdbc:hive2://namenode1:100> LOAD DATA INPATH '/user/xxxxxx/hundred_
strings.txt' into table t1;
No rows affected (0.572 seconds)
0: jdbc:hive2://namenode1:100> select count(*) from t1;
+------+--+
| _c0 |
+------+--+
| 99 |
+------+--+
1 row selected (78.502 seconds)
Test case:
Step 1 : create a python script to generate random strings. (copied from
internet with little mod)
#!/usr/bin/env python
import sys
import random
import string
def id_generator(size=6, chars=string.ascii_uppercase + string.digits):
return ''.join(random.choice(chars) for _ in range(size))
line=int(sys.argv[1])
for x in range(1,line):
print(id_generator())
Step 2: generate test data and put into home folder:
./random_string.py 1000 | hdfs dfs -put - /user/xxxxx/thousand_strings.txt
./random_string.py 1000 | hdfs dfs -put - /user/xxxxxx/hundred_strings.txt
Step 3: create hive table
CREATE TABLE T1 (S string);
Step4: Login to hive using beeline or eclipse data tool , sample here are in
beeline. Notice that the system is kerbros enabled.
!Beeline version 0.13.1-cdh5.3.1 by Apache Hive
beeline> !run beelineconn.txt
>>> !connect jdbc:hive2://namenode1:10000/default;principal=hive/[email protected]
mydomain.com;AuthMech=1;KrbHostFQDN=namenode1;KrbServiceName=hive
scan complete in 6ms
Connecting to jdbc:hive2://namenode1:10000/default;principal=hive/[email protected]
mydomain.com;AuthMech=1;KrbHostFQDN=namenode1;KrbServiceName=hive
Enter username for jdbc:hive2://namenode1:10000/default;principal=hive/
n*******[email protected];AuthMech=1;KrbHostFQDN=namenode1;KrbServiceName=hive:
Enter password for jdbc:hive2://namenode1:10000/default;principal=hive/
n*******[email protected];AuthMech=1;KrbHostFQDN=namenode1;KrbServiceName=hive:
Connected to: Apache Hive (version 0.13.1-cdh5.3.1)
Driver: Hive JDBC (version 0.13.1-cdh5.3.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://namenode1:100> truncate table t1;
No rows affected (0.254 seconds)
0: jdbc:hive2://namenode1:100> LOAD DATA INPATH '/user/xxxxxx/hundred_
strings.txt' into table t1;
No rows affected (0.572 seconds)
0: jdbc:hive2://namenode1:100> select count(*) from t1;
+------+--+
| _c0 |
+------+--+
| 99 |
+------+--+
1 row selected (78.502 seconds)
w*r
4 楼
if your file is not in hdfs, it is better to copy the file to hdfs first,
the load data local command can only work if the file is visible by
hiveserver2 process, which in a lot cases you cannot touch that server.
therefore, hdfs put the file first is usually a better way.
the load data local command can only work if the file is visible by
hiveserver2 process, which in a lot cases you cannot touch that server.
therefore, hdfs put the file first is usually a better way.
t*u
5 楼
我的data文件是在jdbc client上
而且是windows的系统
。。。。。。。
【在 w*r 的大作中提到】
: Yes, it is working properly.
: Test case:
: Step 1 : create a python script to generate random strings. (copied from
: internet with little mod)
: #!/usr/bin/env python
: import sys
: import random
: import string
: def id_generator(size=6, chars=string.ascii_uppercase + string.digits):
: return ''.join(random.choice(chars) for _ in range(size))
而且是windows的系统
。。。。。。。
【在 w*r 的大作中提到】
: Yes, it is working properly.
: Test case:
: Step 1 : create a python script to generate random strings. (copied from
: internet with little mod)
: #!/usr/bin/env python
: import sys
: import random
: import string
: def id_generator(size=6, chars=string.ascii_uppercase + string.digits):
: return ''.join(random.choice(chars) for _ in range(size))
w*r
6 楼
My test in eclipse shows it works. All u need to do is to hdfs dfs put file
into cluster first
【在 t*********u 的大作中提到】
: 我的data文件是在jdbc client上
: 而且是windows的系统
: 。。。。。。。
into cluster first
【在 t*********u 的大作中提到】
: 我的data文件是在jdbc client上
: 而且是windows的系统
: 。。。。。。。
t*u
7 楼
我是想直接load到table
如果需要上传的话，直接拷到hive的table目录下不是更快？
file
【在 w*r 的大作中提到】
: My test in eclipse shows it works. All u need to do is to hdfs dfs put file
: into cluster first
如果需要上传的话，直接拷到hive的table目录下不是更快？
file
【在 w*r 的大作中提到】
: My test in eclipse shows it works. All u need to do is to hdfs dfs put file
: into cluster first
w*r
8 楼
不行，如果你要用load data local inpath 这个方法文件必须在HiveServer2执行的
server上面，这个path HiveServer2 process要能看得到，所以你的文件直接在本地的
话，只能用hdfs put或者你生成INSERT INTO TABLE VALUES(...) 用loop解决.
【在 t*********u 的大作中提到】
: 我是想直接load到table
: 如果需要上传的话，直接拷到hive的table目录下不是更快？
:
: file
server上面，这个path HiveServer2 process要能看得到，所以你的文件直接在本地的
话，只能用hdfs put或者你生成INSERT INTO TABLE VALUES(...) 用loop解决.
【在 t*********u 的大作中提到】
: 我是想直接load到table
: 如果需要上传的话，直接拷到hive的table目录下不是更快？
:
: file
t*u
9 楼
thanks
insert into value 是 hdp 2.2的？
loop + insert into value效率会不会很低？
PS
我只能在java里面开一个ssh的连接把文件直接后台上传到
hive /warehouse 里面去了
【在 w*r 的大作中提到】
: 不行，如果你要用load data local inpath 这个方法文件必须在HiveServer2执行的
: server上面，这个path HiveServer2 process要能看得到，所以你的文件直接在本地的
: 话，只能用hdfs put或者你生成INSERT INTO TABLE VALUES(...) 用loop解决.
insert into value 是 hdp 2.2的？
loop + insert into value效率会不会很低？
PS
我只能在java里面开一个ssh的连接把文件直接后台上传到
hive /warehouse 里面去了
【在 w*r 的大作中提到】
: 不行，如果你要用load data local inpath 这个方法文件必须在HiveServer2执行的
: server上面，这个path HiveServer2 process要能看得到，所以你的文件直接在本地的
: 话，只能用hdfs put或者你生成INSERT INTO TABLE VALUES(...) 用loop解决.
w*r
10 楼
好好有hdfs 的api你不用，折腾ssh .... 你这个路子我喜欢～让你从前门去天安门，
你非去通县打个转
【在 t*********u 的大作中提到】
: thanks
: insert into value 是 hdp 2.2的？
: loop + insert into value效率会不会很低？
: PS
: 我只能在java里面开一个ssh的连接把文件直接后台上传到
: hive /warehouse 里面去了
你非去通县打个转
【在 t*********u 的大作中提到】
: thanks
: insert into value 是 hdp 2.2的？
: loop + insert into value效率会不会很低？
: PS
: 我只能在java里面开一个ssh的连接把文件直接后台上传到
: hive /warehouse 里面去了
t*u
11 楼
我的程序 在windows上运行
Hdp在远程机器上，还不开放端口
你说说怎么直接api
【在 w*r 的大作中提到】
: 好好有hdfs 的api你不用，折腾ssh .... 你这个路子我喜欢～让你从前门去天安门，
: 你非去通县打个转
Hdp在远程机器上，还不开放端口
你说说怎么直接api
【在 w*r 的大作中提到】
: 好好有hdfs 的api你不用，折腾ssh .... 你这个路子我喜欢～让你从前门去天安门，
: 你非去通县打个转
w*r
12 楼
HDP 远程的端口都关掉了？？？那大伙儿都怎么玩啊？所有的traffic都去edge node?
【在 t*********u 的大作中提到】
: 我的程序 在windows上运行
: Hdp在远程机器上，还不开放端口
: 你说说怎么直接api
【在 t*********u 的大作中提到】
: 我的程序 在windows上运行
: Hdp在远程机器上，还不开放端口
: 你说说怎么直接api
t*u
13 楼
只给了一个jdbc hive 只读的访问权限
和一个linux ssh的权限
?
【在 w*r 的大作中提到】
: HDP 远程的端口都关掉了？？？那大伙儿都怎么玩啊？所有的traffic都去edge node?
和一个linux ssh的权限
?
【在 w*r 的大作中提到】
: HDP 远程的端口都关掉了？？？那大伙儿都怎么玩啊？所有的traffic都去edge node?
w*r
14 楼
这帮操蛋的家伙.........你确定hdp 的端口都关了吗？
试试看http://:50070/explorer.html#/
http://:50070/webhdfs/v1/?op=GETFILESTAT
http://:8020/
8020如果开着你就可以用api..
50070开着可以用restapi
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoo
试试看http://
http://
http://
8020如果开着你就可以用api..
50070开着可以用restapi
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoo
t*u
15 楼
只有 http://:50070/dfshealth.jsp
这个开着
其他的都不行
【在 w*r 的大作中提到】
: 这帮操蛋的家伙.........你确定hdp 的端口都关了吗？
: 试试看http://:50070/explorer.html#/
: http://:50070/webhdfs/v1/?op=GETFILESTAT
: http://:8020/
: 8020如果开着你就可以用api..
: 50070开着可以用restapi
: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoo
这个开着
其他的都不行
【在 w*r 的大作中提到】
: 这帮操蛋的家伙.........你确定hdp 的端口都关了吗？
: 试试看http://
: http://
: http://
: 8020如果开着你就可以用api..
: 50070开着可以用restapi
: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoo
相关阅读
征求大家意见，关于职业培训速成班unidentified_title洛杉矶附近有哪些好的data science camp?1010data Data ScientistIntel Dalian Sr. Data Scientist Position (转载)哪里能下到Machine-Learning-Specialization 的资料why leetcode not Hackerrand请好心人指点我哪里错了？找工作 要个什么title比较好Business Analytics Graduate Program--给大家介绍一个商务分析研究生项目贾跃亭已成魔Data Science 实习求内推（2018 Summer intern)spark上一两个million的时间序列数据请问如何完全跳到data scientist/analyst, 还有多大差距?生物千老想转行，打听online course想一块学习爆一个下三滥的培训班有人愿意一期做kaggle competition吗？PhD Offer的选择：留在密歇根还是去普林斯顿？这个训练过程看上去正常吗？