SQL fast search in a 10 million records table (转载)# Database - 数据库
o*p
1 楼
请问美国药店有没有金霉素或者红霉素之类的药卖，是不是需要处方呢？
a*a
2 楼
rt
c*z
3 楼
看到板上有人在问用mac看P2P的中文电视, 就把两个我平常用的介绍一下.
1: TVU.
TVU基本是Win平台上的, 但现在也要Mac版了, 虽然是B版, 但我觉得很不错, 稳定, 中
文频道多.
下载: http://pages.tvunetworks.com/labs/macosx.html
2: Livestation
这个在Mac上做的很好, 界面很酷. 不过中文频道不太多. 据说, 他们的基于iPhone的
app马上就会出来了. 到时就可以在iPhone上看直播的电视了.
下载:http://www.livestation.com/downloads?tracker=home_download
1: TVU.
TVU基本是Win平台上的, 但现在也要Mac版了, 虽然是B版, 但我觉得很不错, 稳定, 中
文频道多.
下载: http://pages.tvunetworks.com/labs/macosx.html
2: Livestation
这个在Mac上做的很好, 界面很酷. 不过中文频道不太多. 据说, 他们的基于iPhone的
app马上就会出来了. 到时就可以在iPhone上看直播的电视了.
下载:http://www.livestation.com/downloads?tracker=home_download
d*e
4 楼
【 以下文字转载自 Statistics 讨论区 】
发信人: littlebirds (dreamer), 信区: Statistics
标 题: Re: 看来公司是想把我们全开掉了
发信站: BBS 未名空间站 (Tue Aug 17 21:06:26 2010, 美东)
编程没什么难的，大部分也就是熟练工，十年前网络泡泡还没破的时候文科mm转CS的多了去。
发信人: littlebirds (dreamer), 信区: Statistics
标 题: Re: 看来公司是想把我们全开掉了
发信站: BBS 未名空间站 (Tue Aug 17 21:06:26 2010, 美东)
编程没什么难的，大部分也就是熟练工，十年前网络泡泡还没破的时候文科mm转CS的多了去。
l*9
5 楼
【 以下文字转载自 JobHunting 讨论区 】
发信人: light009 (light009), 信区: JobHunting
标 题: SQL fast search in a 10 million records table
发信站: BBS 未名空间站 (Thu Jul 24 23:26:56 2014, 美东)
I need to do a fast search in a column with floating point numbers in a
table of SQL server 2008 R2 on Win 7.
the table has 10 million records.
e.g.
Id value
532 937598.32421
873 501223.3452
741 9797327.231
ID is primary key, I need o do a search on "value" column for a given value
such that I can find the 5 closest points to the given point in the table.
The closeness is defined as the absolute value of the difference between the
given value and column value.
The smaller value, the closer.
I would like to use binary search.
I want to set an unique index on the value column.
But, I am not sure whether the table will be sorted every time when I search
the given value in the column ?
Or, it only sorts the table one time because I have set the value column as
unique index ?
Are there better ways to do this search ?
Any help would be appreciated.
thanks
发信人: light009 (light009), 信区: JobHunting
标 题: SQL fast search in a 10 million records table
发信站: BBS 未名空间站 (Thu Jul 24 23:26:56 2014, 美东)
I need to do a fast search in a column with floating point numbers in a
table of SQL server 2008 R2 on Win 7.
the table has 10 million records.
e.g.
Id value
532 937598.32421
873 501223.3452
741 9797327.231
ID is primary key, I need o do a search on "value" column for a given value
such that I can find the 5 closest points to the given point in the table.
The closeness is defined as the absolute value of the difference between the
given value and column value.
The smaller value, the closer.
I would like to use binary search.
I want to set an unique index on the value column.
But, I am not sure whether the table will be sorted every time when I search
the given value in the column ?
Or, it only sorts the table one time because I have set the value column as
unique index ?
Are there better ways to do this search ?
Any help would be appreciated.
thanks
l*r
6 楼
P2P，真萎缩，我们真正的苹果人拒绝盗版
S*w
7 楼
据说这是真的
会写个“hello world” 就能找到工作
多了去。
【在 d******e 的大作中提到】
: 【 以下文字转载自 Statistics 讨论区 】
: 发信人: littlebirds (dreamer), 信区: Statistics
: 标 题: Re: 看来公司是想把我们全开掉了
: 发信站: BBS 未名空间站 (Tue Aug 17 21:06:26 2010, 美东)
: 编程没什么难的，大部分也就是熟练工，十年前网络泡泡还没破的时候文科mm转CS的多了去。
会写个“hello world” 就能找到工作
多了去。
【在 d******e 的大作中提到】
: 【 以下文字转载自 Statistics 讨论区 】
: 发信人: littlebirds (dreamer), 信区: Statistics
: 标 题: Re: 看来公司是想把我们全开掉了
: 发信站: BBS 未名空间站 (Tue Aug 17 21:06:26 2010, 美东)
: 编程没什么难的，大部分也就是熟练工，十年前网络泡泡还没破的时候文科mm转CS的多了去。
B*g
8 楼
这个值其实就是
比你输入值大的最小值 和 比你输入值小的最大值
中的一个
【在 l******9 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: light009 (light009), 信区: JobHunting
: 标 题: SQL fast search in a 10 million records table
: 发信站: BBS 未名空间站 (Thu Jul 24 23:26:56 2014, 美东)
: I need to do a fast search in a column with floating point numbers in a
: table of SQL server 2008 R2 on Win 7.
: the table has 10 million records.
: e.g.
: Id value
: 532 937598.32421
比你输入值大的最小值 和 比你输入值小的最大值
中的一个
【在 l******9 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: light009 (light009), 信区: JobHunting
: 标 题: SQL fast search in a 10 million records table
: 发信站: BBS 未名空间站 (Thu Jul 24 23:26:56 2014, 美东)
: I need to do a fast search in a column with floating point numbers in a
: table of SQL server 2008 R2 on Win 7.
: the table has 10 million records.
: e.g.
: Id value
: 532 937598.32421
j*e
9 楼
Just run pps on a virtual machine
【在 c***z 的大作中提到】
: 看到板上有人在问用mac看P2P的中文电视, 就把两个我平常用的介绍一下.
: 1: TVU.
: TVU基本是Win平台上的, 但现在也要Mac版了, 虽然是B版, 但我觉得很不错, 稳定, 中
: 文频道多.
: 下载: http://pages.tvunetworks.com/labs/macosx.html
: 2: Livestation
: 这个在Mac上做的很好, 界面很酷. 不过中文频道不太多. 据说, 他们的基于iPhone的
: app马上就会出来了. 到时就可以在iPhone上看直播的电视了.
: 下载:http://www.livestation.com/downloads?tracker=home_download
【在 c***z 的大作中提到】
: 看到板上有人在问用mac看P2P的中文电视, 就把两个我平常用的介绍一下.
: 1: TVU.
: TVU基本是Win平台上的, 但现在也要Mac版了, 虽然是B版, 但我觉得很不错, 稳定, 中
: 文频道多.
: 下载: http://pages.tvunetworks.com/labs/macosx.html
: 2: Livestation
: 这个在Mac上做的很好, 界面很酷. 不过中文频道不太多. 据说, 他们的基于iPhone的
: app马上就会出来了. 到时就可以在iPhone上看直播的电视了.
: 下载:http://www.livestation.com/downloads?tracker=home_download
d*1
10 楼
99 年我在法拉盛街上溜达， 有个广东大叔拦住我说， 看你戴个眼镜， 肯定懂C++把
， 这有个position, 麻烦你去面试一下去把。
【在 S*******w 的大作中提到】
: 据说这是真的
: 会写个“hello world” 就能找到工作
:
: 多了去。
， 这有个position, 麻烦你去面试一下去把。
【在 S*******w 的大作中提到】
: 据说这是真的
: 会写个“hello world” 就能找到工作
:
: 多了去。
o*a
11 楼
进来学习。
Binary search是说用B tree index?
ID是primary key的话，在这个search key上的index通常是clustered and ordered.
可以在value上建secondary nonclustered index，怎么order应该可以自己指定吧？
另外，value是不是一个nonunique search key。
能不能考虑用composite search key?
【在 l******9 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: light009 (light009), 信区: JobHunting
: 标 题: SQL fast search in a 10 million records table
: 发信站: BBS 未名空间站 (Thu Jul 24 23:26:56 2014, 美东)
: I need to do a fast search in a column with floating point numbers in a
: table of SQL server 2008 R2 on Win 7.
: the table has 10 million records.
: e.g.
: Id value
: 532 937598.32421
Binary search是说用B tree index?
ID是primary key的话，在这个search key上的index通常是clustered and ordered.
可以在value上建secondary nonclustered index，怎么order应该可以自己指定吧？
另外，value是不是一个nonunique search key。
能不能考虑用composite search key?
【在 l******9 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: light009 (light009), 信区: JobHunting
: 标 题: SQL fast search in a 10 million records table
: 发信站: BBS 未名空间站 (Thu Jul 24 23:26:56 2014, 美东)
: I need to do a fast search in a column with floating point numbers in a
: table of SQL server 2008 R2 on Win 7.
: the table has 10 million records.
: e.g.
: Id value
: 532 937598.32421
k*t
12 楼
LZ推荐的精神很好.但是这两个节目太少了,太烂.
z*n
13 楼
我听到的版本是：
会不会excel？什么不会？
那会不会word？会的话跟我走。
【在 d*******1 的大作中提到】
: 99 年我在法拉盛街上溜达， 有个广东大叔拦住我说， 看你戴个眼镜， 肯定懂C++把
: ， 这有个position, 麻烦你去面试一下去把。
会不会excel？什么不会？
那会不会word？会的话跟我走。
【在 d*******1 的大作中提到】
: 99 年我在法拉盛街上溜达， 有个广东大叔拦住我说， 看你戴个眼镜， 肯定懂C++把
: ， 这有个position, 麻烦你去面试一下去把。
B*A
14 楼
这不是数据库的思路。
你可以认为所有的数据都是有序的，可是数据库并不能快速的找到第五百万个数据，以
及第二百五十万，等等。
利用数据库功能的做法似乎是
Select top 5
From (select id, abs(value-your number ) from table
Order by abs(value-your number ))
★ 发自iPhone App: ChineseWeb 8.1
【在 l******9 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: light009 (light009), 信区: JobHunting
: 标 题: SQL fast search in a 10 million records table
: 发信站: BBS 未名空间站 (Thu Jul 24 23:26:56 2014, 美东)
: I need to do a fast search in a column with floating point numbers in a
: table of SQL server 2008 R2 on Win 7.
: the table has 10 million records.
: e.g.
: Id value
: 532 937598.32421
你可以认为所有的数据都是有序的，可是数据库并不能快速的找到第五百万个数据，以
及第二百五十万，等等。
利用数据库功能的做法似乎是
Select top 5
From (select id, abs(value-your number ) from table
Order by abs(value-your number ))
★ 发自iPhone App: ChineseWeb 8.1
【在 l******9 的大作中提到】
: 【 以下文字转载自 JobHunting 讨论区 】
: 发信人: light009 (light009), 信区: JobHunting
: 标 题: SQL fast search in a 10 million records table
: 发信站: BBS 未名空间站 (Thu Jul 24 23:26:56 2014, 美东)
: I need to do a fast search in a column with floating point numbers in a
: table of SQL server 2008 R2 on Win 7.
: the table has 10 million records.
: e.g.
: Id value
: 532 937598.32421
m*a
15 楼
virtual machine是不是需要windows系统安装盘啊？
有没有人用wine看pps的？
【在 j******e 的大作中提到】
: Just run pps on a virtual machine
有没有人用wine看pps的？
【在 j******e 的大作中提到】
: Just run pps on a virtual machine
K*n
16 楼
那个大叔是招小蜜吧
【在 z*****n 的大作中提到】
: 我听到的版本是：
: 会不会excel？什么不会？
: 那会不会word？会的话跟我走。
【在 z*****n 的大作中提到】
: 我听到的版本是：
: 会不会excel？什么不会？
: 那会不会word？会的话跟我走。
o*a
17 楼
数据库中的记录以文件形式存储在磁盘上，physically其很少是sequentially stored
的，所以才用index来给其logically组织一下，增加random access的效率，是这样吧。
【在 B*A 的大作中提到】
: 这不是数据库的思路。
: 你可以认为所有的数据都是有序的，可是数据库并不能快速的找到第五百万个数据，以
: 及第二百五十万，等等。
: 利用数据库功能的做法似乎是
: Select top 5
: From (select id, abs(value-your number ) from table
: Order by abs(value-your number ))
:
: ★ 发自iPhone App: ChineseWeb 8.1
的，所以才用index来给其logically组织一下，增加random access的效率，是这样吧。
【在 B*A 的大作中提到】
: 这不是数据库的思路。
: 你可以认为所有的数据都是有序的，可是数据库并不能快速的找到第五百万个数据，以
: 及第二百五十万，等等。
: 利用数据库功能的做法似乎是
: Select top 5
: From (select id, abs(value-your number ) from table
: Order by abs(value-your number ))
:
: ★ 发自iPhone App: ChineseWeb 8.1
z*n
18 楼
IT业务员，哈哈。
【在 K****n 的大作中提到】
: 那个大叔是招小蜜吧
【在 K****n 的大作中提到】
: 那个大叔是招小蜜吧
B*A
19 楼
你是对的。我是针对他的提问：如果有Index的话，是不是每次仍要再sort。如果要做
select
order By index column 数据库可不需
要做sort. 直接顺着index往下读就好了
stored
吧。
★ 发自iPhone App: ChineseWeb 8.1
★ 发自iPhone App: ChineseWeb 8.1
★ 发自iPhone App: ChineseWeb 8.1
★ 发自iPhone App: ChineseWeb 8.1
【在 o**a 的大作中提到】
: 数据库中的记录以文件形式存储在磁盘上，physically其很少是sequentially stored
: 的，所以才用index来给其logically组织一下，增加random access的效率，是这样吧。
select
order By index column 数据库可不需
要做sort. 直接顺着index往下读就好了
stored
吧。
★ 发自iPhone App: ChineseWeb 8.1
★ 发自iPhone App: ChineseWeb 8.1
★ 发自iPhone App: ChineseWeb 8.1
★ 发自iPhone App: ChineseWeb 8.1
【在 o**a 的大作中提到】
: 数据库中的记录以文件形式存储在磁盘上，physically其很少是sequentially stored
: 的，所以才用index来给其logically组织一下，增加random access的效率，是这样吧。
M*u
20 楼
靠，这两还真不会
+把
【在 z*****n 的大作中提到】
: 我听到的版本是：
: 会不会excel？什么不会？
: 那会不会word？会的话跟我走。
+把
【在 z*****n 的大作中提到】
: 我听到的版本是：
: 会不会excel？什么不会？
: 那会不会word？会的话跟我走。
D*a
21 楼
我老板说当年在bangalore，街上有infosys的interview bus，前门进去，后门出来就
是infosys的人了。所以你看现在it的都是老印。
【在 d*******1 的大作中提到】
: 99 年我在法拉盛街上溜达， 有个广东大叔拦住我说， 看你戴个眼镜， 肯定懂C++把
: ， 这有个position, 麻烦你去面试一下去把。
是infosys的人了。所以你看现在it的都是老印。
【在 d*******1 的大作中提到】
: 99 年我在法拉盛街上溜达， 有个广东大叔拦住我说， 看你戴个眼镜， 肯定懂C++把
: ， 这有个position, 麻烦你去面试一下去把。
相关阅读
how to open .db file?Oracle8i, JDBC 中文配置求助急：为何ACCESS中数据export为.txt文件后格式丢失？a simple question about T-SQLdb2 default passwordquestion关于hash function求救:为什么Run mysql Under Win98时出错??Help! about Access2000 and VB6找到一个偷懒的办法，不知道是不是可行help on store procedure of db2[转载] problem with chinese characterHow I choose from WebDB and Oracle8iHow to access NT base Oracle from Unix Workstation,how to programm it?Re: 求救!!! 一个oracle的问题! 在procedure中所涉及的表名可以用变量从参数中传入吗SQL Server 2000: When?讨论:在SELECT中限制TOP N条纪录 ORACLE 底下有什么好的加密包？How to change INTERNAL's password in Oracle8i?One question on SQL Server