[Perl]谁给个好点的Stemmer模块？ - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

[Perl]谁给个好点的Stemmer模块？

[Perl]谁给个好点的Stemmer模块？# Programming - 葵花宝典

f*u2008-01-21 08:01

1 楼

So this is Christmas
And what have you done
Another year over
And a new one just begun
Ans so this is Christmas
I hope you have fun
The near and the dear one
The old and the young
A very merry Christmas
And a happy New Year
Let's hope it's a good one
Without any fear
And so this is Christmas
For weak and for strong
For rich and the poor ones
The world is so wrong
And so happy Christmas
For black and for white
For yellow and red ones
Let's stop all the fight
A very merry Christmas
And a happy New Year
Let's hope it's a good one
Without any fear
And so this is Christmas
And what have we done
Another year over
And a new one just begun
Ans so this is Christmas
I hope you have fun
The near and the dear one
The old and the young
A very merry Christmas
And a happy New Year
Let's hope it's a good one
Without any fear
War is over over
If you want it
War is over
Now...

n*62008-01-21 08:01

2 楼

背景：
记录一个家庭说的多种语言。
Table:
HouseholdID
Language
Webpage:
chkbox1. English
chkbox2. Russian
...
chkbox20. Arabic
chkbox21. Other Specify __________
问题：
1。有没有直接在网页点击submit这一个transaction里面，作多次insert，写入table?
2。有没有每个语言一个column的做法？何种条件下需要这样做？

x*52008-01-21 08:01

3 楼

【以下文字转载自 Programming 讨论区】
发信人: xiaobo1985 (xiaobo1985), 信区: Programming
标题: ［有偿］想请人写一个app
发信站: BBS 未名空间站 (Wed Apr 27 00:07:42 2016, 美东)
不知道发这里合适不合适。
我想找人有偿写一个手机app，功能不复杂。
这种工作一般去哪里找人做？有什么公司专门做这个吗？

L*r2008-01-21 08:01

4 楼

安装了Lingua::Stem，觉得效果很差
properties的原型都弄不对，给了properti；
goes==>goe.

i*a2008-01-21 08:01

5 楼

normal "normalized" table design is to have a LKLanguage table, with
LanguageID, Language
your user table would have
UserID, user info
your data table would have
ID, UserID, LanguageID
if you want to do it de-normalized for DW purpose, then each language
would have a column.

【在 n********6 的大作中提到】

: 背景：
: 记录一个家庭说的多种语言。
: Table:
: HouseholdID
: Language
: Webpage:
: chkbox1. English
: chkbox2. Russian
: ...
: chkbox20. Arabic

l*u2008-01-21 08:01

6 楼

可以去 https://www.freelancer.com 上找找看

t*g2008-01-21 08:01

7 楼

试试Martin Porter的？feet，foot好像不灵不过。

【在 L******r 的大作中提到】

: 安装了Lingua::Stem，觉得效果很差
: properties的原型都弄不对，给了properti；
: goes==>goe.

n*62008-01-21 08:01

8 楼

谢谢答复。
老大，我知道normal "normalized" table。
这就要求插入多条record，每个record一种语言。
在一个transaction中插入n个record，每个代表一种语言，似乎挺麻烦。
有没有简单的办法？

【在 i****a 的大作中提到】

: normal "normalized" table design is to have a LKLanguage table, with
: LanguageID, Language
: your user table would have
: UserID, user info
: your data table would have
: ID, UserID, LanguageID
: if you want to do it de-normalized for DW purpose, then each language
: would have a column.

m*s2008-01-21 08:01

9 楼

$1000开始。

【在 x********5 的大作中提到】

: 【以下文字转载自 Programming 讨论区】
: 发信人: xiaobo1985 (xiaobo1985), 信区: Programming
: 标题: ［有偿］想请人写一个app
: 发信站: BBS 未名空间站 (Wed Apr 27 00:07:42 2016, 美东)
: 不知道发这里合适不合适。
: 我想找人有偿写一个手机app，功能不复杂。
: 这种工作一般去哪里找人做？有什么公司专门做这个吗？

b*h2008-01-21 08:01

10 楼

我刚刚做了stemming。可以发信给我。 h****[email protected]

【在 L******r 的大作中提到】

: 安装了Lingua::Stem，觉得效果很差
: properties的原型都弄不对，给了properti；
: goes==>goe.

i*a2008-01-21 08:01

11 楼

if you really want, you can come up with some smart work around like
masking
0001 english
0010 chinese
0100 spanish
1000 russian
so if somebody has 0011, he speaks english and chinese.
something like the unix/linux chmod
but what you save on database transaction needs to be spent on
"decoding" this record

【在 n********6 的大作中提到】

: 谢谢答复。
: 老大，我知道normal "normalized" table。
: 这就要求插入多条record，每个record一种语言。
: 在一个transaction中插入n个record，每个代表一种语言，似乎挺麻烦。
: 有没有简单的办法？

B*g2008-01-21 08:01

12 楼

有什么麻烦的？除非你的language是limited，也就是说不能生成新的语言。否则你每次
有个新语言就要加一个column。
或者你可以用自定义类型的column，不过现在的不太流行

【在 n********6 的大作中提到】

a92008-01-21 08:01

13 楼

比起多次插入，增加列显然要麻烦的多。

每次

【在 B*****g 的大作中提到】

: 有什么麻烦的？除非你的language是limited，也就是说不能生成新的语言。否则你每次
: 有个新语言就要加一个column。
: 或者你可以用自定义类型的column，不过现在的不太流行

B*g2008-01-21 08:01

14 楼

回到问题，其实没有什么是绝对的。根据不同的要求，数据库的设计可能是不同的。
比如说我们只关心２０中常用语言，其它就是个参考，或者使用其它语言的非常少，下
面设计也可以考虑。
Tab1
ID, L1,......, L20, LOTHERS
L１到Lothers都只存１或０。
Tab2
ID Language
只存other language。
或者干脆把LOTHERS改成复杂类的coulmn，比如XML，把所有other的信息都存下，一个
table就够了。

每次

【在 B*****g 的大作中提到】