Pig UDF written in Python - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>DataSciences - 数据科学

Pig UDF written in Python

Pig UDF written in Python# DataSciences - 数据科学

r*d2014-05-20 07:05

1 楼

我又要请教大家一个问题了，，
我在试验怎么用Pig UDF in Python,
当运行：
grunt>register '/absolute_path_to/my_first_udf.py' using jython as myfuncs;
得到：
ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2999: Unexpected internal
error. null
Details at pig_1400616625260.log
我查了下log file, 里面写着：
Pig Stack Trace
---------------
ERROR 2999: Unexpected internal error. null
SyntaxError: ("mismatched input '' expecting DEDENT", ('', 5,
20, ' return decoratorn'))
我比较确定.py file没问题。
谁知道这是怎么回事？谢谢了！

k*o2014-05-20 07:05

2 楼

have you register jython.jar before registering python script?
or adding jython.jar path to your PIG_CLASSPATH environment?
same thing, and see if it works

【在 r*****d 的大作中提到】

: 我又要请教大家一个问题了，，
: 我在试验怎么用Pig UDF in Python,
: 当运行：
: grunt>register '/absolute_path_to/my_first_udf.py' using jython as myfuncs;
: 得到：
: ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2999: Unexpected internal
: error. null
: Details at pig_1400616625260.log
: 我查了下log file, 里面写着：
: Pig Stack Trace

r*d2014-05-20 07:05

3 楼

Thank you.
i did register jython.jar and did add jython.jar path to my PIG_CLASSPATH
environment.
if i did not do them, it would be a *different* error code, which would be:
Pig Stack Trace
---------------
ERROR 2998: Unhandled internal error. org/python/core/PyObject
java.lang.NoClassDefFoundError: org/python/core/PyObject
at org.apache.pig.scripting.jython.JythonScriptEngine.
registerFunctions(JythonScriptEngine.java:304)
...

【在 k****o 的大作中提到】

: have you register jython.jar before registering python script?
: or adding jython.jar path to your PIG_CLASSPATH environment?
: same thing, and see if it works

r*d2014-05-20 07:05

4 楼

could there be a compatibility issue between jython and pig?

【在 k****o 的大作中提到】

: have you register jython.jar before registering python script?
: or adding jython.jar path to your PIG_CLASSPATH environment?
: same thing, and see if it works

r*d2014-05-20 07:05

5 楼

问题终于孑孓了。。
问题出在原来的jython是老版本，2.5.1+
我下载了最新的版本，2.5.3
然后把原来的register jython.jar跟PIG_CLASSPATH都换成新的就好了
老版本可以用来单独运行python script,
但是不能放到register 'my_udf.py' using jython as myfuncs;
因为跟用的Pig版本不兼容
就酱紫

r*d2014-05-20 07:05

6 楼

又有一个问题，需要import a python module怎么办？
比如import json
执行pig script的时候得到：
ImportError: no module named json
json这个module在那里，
假设这个python script的名字是test.py
执行python test.py没问题
但是执行jython test.py就也得到ImportError: no module named json
非常感谢！

【在 r*****d 的大作中提到】

j*g2014-05-20 07:05

7 楼

UDF里面的package必须要是implemented by Jyphon才可以, 有些Cython编译的就不行

【在 r*****d 的大作中提到】

: 又有一个问题，需要import a python module怎么办？
: 比如import json
: 执行pig script的时候得到：
: ImportError: no module named json
: json这个module在那里，
: 假设这个python script的名字是test.py
: 执行python test.py没问题
: 但是执行jython test.py就也得到ImportError: no module named json
: 非常感谢！

l*m2014-05-20 07:05

8 楼

need to test in jython.
BTW, using java is much much better with hadoop. Json parsing in java is 10-
time faster compared to python.

【在 r*****d 的大作中提到】

r*d2014-05-20 07:05

9 楼

More details please? Thank you very much.

【在 j*******g 的大作中提到】

: UDF里面的package必须要是implemented by Jyphon才可以, 有些Cython编译的就不行

r*d2014-05-20 07:05

10 楼

i don't know how to code in java..
yeah i was convinced today that UDFs should be coded in java

10-

【在 l*******m 的大作中提到】

: need to test in jython.
: BTW, using java is much much better with hadoop. Json parsing in java is 10-
: time faster compared to python.

r*d2014-05-20 07:05

11 楼

update:
如果python udf 不 import any module, 没问题，
但是，奇葩的是
一个python script(里面有import ast), say test.py
执行python test.py没问题
执行jython test.py也没问题
但是，，
如果在Pig script里register test.py using jython
得到ImportError: No module named ast

【在 r*****d 的大作中提到】

l*m2014-05-20 07:05

12 楼

如果你就是在pig读json. 用elephant bird的json loader就好，不用java coding
download如下jar(google 他们的jar下载，不要编译整个repositery, 不容易）
register /path/to/json-simple.jar;
register /path/to/elephant-bird-core.jar;
register /path/to/elephant-bird-pig.jar;
一个完整的example
https://github.com/kevinweil/elephant-bird/blob/master/examples/src/main/pig
/nested_json_get_distinct_items_from_nested_array.pig

【在 r*****d 的大作中提到】

: i don't know how to code in java..
: yeah i was convinced today that UDFs should be coded in java
:
: 10-

j*g2014-05-20 07:05

13 楼

another thing I can think of is you probably should make sure all data nodes
has this package installed, did you test on every data node you gonna use?

【在 r*****d 的大作中提到】

: update:
: 如果python udf 不 import any module, 没问题，
: 但是，奇葩的是
: 一个python script(里面有import ast), say test.py
: 执行python test.py没问题
: 执行jython test.py也没问题
: 但是，，
: 如果在Pig script里register test.py using jython
: 得到ImportError: No module named ast

r*d2014-05-20 07:05

14 楼

嗯，是某一个field是json而不是整个table所以不是load function这边。
anyway, 我在学java coding, 目标就是写写udf酱紫

pig

【在 l*******m 的大作中提到】

: 如果你就是在pig读json. 用elephant bird的json loader就好，不用java coding
: download如下jar(google 他们的jar下载，不要编译整个repositery, 不容易）
: register /path/to/json-simple.jar;
: register /path/to/elephant-bird-core.jar;
: register /path/to/elephant-bird-pig.jar;
: 一个完整的example
: https://github.com/kevinweil/elephant-bird/blob/master/examples/src/main/pig
: /nested_json_get_distinct_items_from_nested_array.pig

r*d2014-05-20 07:05

15 楼

hopefully it is not this complicated.. i treat data nodes as encapsulation..

nodes

【在 j*******g 的大作中提到】

: another thing I can think of is you probably should make sure all data nodes
: has this package installed, did you test on every data node you gonna use?

l*m2014-05-20 07:05

16 楼

elephant bird有jsonStringToMap的UDF. 当然自己写，也没几行

【在 r*****d 的大作中提到】

: 嗯，是某一个field是json而不是整个table所以不是load function这边。
: anyway, 我在学java coding, 目标就是写写udf酱紫
:
: pig

j*g2014-05-20 07:05

17 楼

data node might be inaccurate, but look at this
http://stackoverflow.com/questions/7831649/how-do-i-make-hadoop

..

【在 r*****d 的大作中提到】

: hopefully it is not this complicated.. i treat data nodes as encapsulation..
:
: nodes