avatar
数据库表太大?# Programming - 葵花宝典
L*a
1
想咨询一些事情,如何联系纽约大使馆的老师或者华盛顿教育组的老师?网站上提供的
电话,拨打好多次,打不通。谢谢各位了!
avatar
c*d
2
刚回国,回来后H1b visa 的PED 是今年7月,我的I797上面2015年才过期。怎么办?难
道只能在美国待3个月?
avatar
b*l
3
《大学》说,要慎独,独处无人时,最要谨小慎微,要小心自己的心,心里卧的虎,藏的龙,心中的霓霞飞舞,心念的恣意放旷。
那梦中岂不更要小心?
经常梦见在高速上失控,梦见横着滑过一条条的 lanes,高速撞上护栏或者翻下山坡,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
想起那个老笑话了:做梦,梦见在开车时睡觉,就吓醒了,发现果然在开车。
在想,会不会有一天,又梦见失控出轨,突然吓醒,发现一切都是真的?
是不是连这样的梦都不要去惹?是不是连梦中都要谨小慎微,如履薄冰?
张潮在《幽梦影》中说:庄周梦为蝴蝶,庄周之幸也;蝴蝶梦为庄周,蝴蝶之不幸也。真是可以笑出眼泪的妙语。
那谁,你看,你看。
avatar
C*g
4
我K在网上采集了大约2500部小说,所有的内容都存在一个mysql table里面,每章一条
记录,总共才70K的记录,1.3G大小,但一个简单的查询竟然需要15秒。我用的AWS EC2
最基本的那个服务器,免费一年的那个。最终的数据库大小会在10GB左右。请问有什么
优化的方法可以让我继续使用mysql?如果没有,不知道MongoDB可不可以?或者必须采
用文件系统?
avatar
m*i
5
不会有人理的,没见他们理过谁。
avatar
I*d
6
that's normal, just based on 797 expiration date

【在 c****d 的大作中提到】
: 刚回国,回来后H1b visa 的PED 是今年7月,我的I797上面2015年才过期。怎么办?难
: 道只能在美国待3个月?

avatar
A*e
7
赞出轨 :D

藏的龙,心中的霓霞飞舞,心念的恣意放旷。
,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
。真是可以笑出眼泪的妙语。

【在 b*****l 的大作中提到】
: 《大学》说,要慎独,独处无人时,最要谨小慎微,要小心自己的心,心里卧的虎,藏的龙,心中的霓霞飞舞,心念的恣意放旷。
: 那梦中岂不更要小心?
: 经常梦见在高速上失控,梦见横着滑过一条条的 lanes,高速撞上护栏或者翻下山坡,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
: 想起那个老笑话了:做梦,梦见在开车时睡觉,就吓醒了,发现果然在开车。
: 在想,会不会有一天,又梦见失控出轨,突然吓醒,发现一切都是真的?
: 是不是连这样的梦都不要去惹?是不是连梦中都要谨小慎微,如履薄冰?
: 张潮在《幽梦影》中说:庄周梦为蝴蝶,庄周之幸也;蝴蝶梦为庄周,蝴蝶之不幸也。真是可以笑出眼泪的妙语。
: 那谁,你看,你看。

avatar
g*g
8
什么查询,建索引了没有?

EC2

【在 C********g 的大作中提到】
: 我K在网上采集了大约2500部小说,所有的内容都存在一个mysql table里面,每章一条
: 记录,总共才70K的记录,1.3G大小,但一个简单的查询竟然需要15秒。我用的AWS EC2
: 最基本的那个服务器,免费一年的那个。最终的数据库大小会在10GB左右。请问有什么
: 优化的方法可以让我继续使用mysql?如果没有,不知道MongoDB可不可以?或者必须采
: 用文件系统?

avatar
wh
9
是啊我也一眼看到“梦见出轨”……
让谁看?看啥?

【在 A*********e 的大作中提到】
: 赞出轨 :D
:
: 藏的龙,心中的霓霞飞舞,心念的恣意放旷。
: ,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
: 。真是可以笑出眼泪的妙语。

avatar
l*n
10
文本查询还是es快吧。

EC2

【在 C********g 的大作中提到】
: 我K在网上采集了大约2500部小说,所有的内容都存在一个mysql table里面,每章一条
: 记录,总共才70K的记录,1.3G大小,但一个简单的查询竟然需要15秒。我用的AWS EC2
: 最基本的那个服务器,免费一年的那个。最终的数据库大小会在10GB左右。请问有什么
: 优化的方法可以让我继续使用mysql?如果没有,不知道MongoDB可不可以?或者必须采
: 用文件系统?

avatar
p*e
11
那谁,快来看,河马意欲与你共会周公,于梦中恣意放纵

藏的龙,心中的霓霞飞舞,心念的恣意放旷。
,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
。真是可以笑出眼泪的妙语。

【在 b*****l 的大作中提到】
: 《大学》说,要慎独,独处无人时,最要谨小慎微,要小心自己的心,心里卧的虎,藏的龙,心中的霓霞飞舞,心念的恣意放旷。
: 那梦中岂不更要小心?
: 经常梦见在高速上失控,梦见横着滑过一条条的 lanes,高速撞上护栏或者翻下山坡,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
: 想起那个老笑话了:做梦,梦见在开车时睡觉,就吓醒了,发现果然在开车。
: 在想,会不会有一天,又梦见失控出轨,突然吓醒,发现一切都是真的?
: 是不是连这样的梦都不要去惹?是不是连梦中都要谨小慎微,如履薄冰?
: 张潮在《幽梦影》中说:庄周梦为蝴蝶,庄周之幸也;蝴蝶梦为庄周,蝴蝶之不幸也。真是可以笑出眼泪的妙语。
: 那谁,你看,你看。

avatar
T*9
12
用elastic search吧

EC2

【在 C********g 的大作中提到】
: 我K在网上采集了大约2500部小说,所有的内容都存在一个mysql table里面,每章一条
: 记录,总共才70K的记录,1.3G大小,但一个简单的查询竟然需要15秒。我用的AWS EC2
: 最基本的那个服务器,免费一年的那个。最终的数据库大小会在10GB左右。请问有什么
: 优化的方法可以让我继续使用mysql?如果没有,不知道MongoDB可不可以?或者必须采
: 用文件系统?

avatar
b*l
13
~~~>_都什么人啊,这是。。。
另,想起了周公之礼。。。

【在 p*****e 的大作中提到】
: 那谁,快来看,河马意欲与你共会周公,于梦中恣意放纵
:
: 藏的龙,心中的霓霞飞舞,心念的恣意放旷。
: ,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
: 。真是可以笑出眼泪的妙语。

avatar
C*g
14
有chapterid和bookid作为索引。下面是一个查询例子:
BBC_Chapter是保存chapter基本信息的表
BBC_Content是保存chapter内容的表
select BBC_Chapter.chapterid, BBC_Chapter.bookid, title, chaptertype,
content from BBC_Chapter left join BBC_Content on BBC_Chapter.chapterid =
BBC_Content.chapterid where chapterstatus = 0 and BBC_Chapter.bookid = '
1004';

【在 g*****g 的大作中提到】
: 什么查询,建索引了没有?
:
: EC2

avatar
p*e
15
娃哈哈,这可是你自己说的

【在 b*****l 的大作中提到】
: ~~~>_: 都什么人啊,这是。。。
: 另,想起了周公之礼。。。

avatar
n*t
16
chapterstatus 加个索引试试,不过应该是物理硬盘的问题,content 需要读出来,你
需要检查一下 output data size,或者 select 里去掉 content 比较一下。
另外,为什么是 LEFT JOIN?

【在 C********g 的大作中提到】
: 有chapterid和bookid作为索引。下面是一个查询例子:
: BBC_Chapter是保存chapter基本信息的表
: BBC_Content是保存chapter内容的表
: select BBC_Chapter.chapterid, BBC_Chapter.bookid, title, chaptertype,
: content from BBC_Chapter left join BBC_Content on BBC_Chapter.chapterid =
: BBC_Content.chapterid where chapterstatus = 0 and BBC_Chapter.bookid = '
: 1004';

avatar
S*f
17
那谁是谁

藏的龙,心中的霓霞飞舞,心念的恣意放旷。
,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
。真是可以笑出眼泪的妙语。

【在 b*****l 的大作中提到】
: 《大学》说,要慎独,独处无人时,最要谨小慎微,要小心自己的心,心里卧的虎,藏的龙,心中的霓霞飞舞,心念的恣意放旷。
: 那梦中岂不更要小心?
: 经常梦见在高速上失控,梦见横着滑过一条条的 lanes,高速撞上护栏或者翻下山坡,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
: 想起那个老笑话了:做梦,梦见在开车时睡觉,就吓醒了,发现果然在开车。
: 在想,会不会有一天,又梦见失控出轨,突然吓醒,发现一切都是真的?
: 是不是连这样的梦都不要去惹?是不是连梦中都要谨小慎微,如履薄冰?
: 张潮在《幽梦影》中说:庄周梦为蝴蝶,庄周之幸也;蝴蝶梦为庄周,蝴蝶之不幸也。真是可以笑出眼泪的妙语。
: 那谁,你看,你看。

avatar
g*g
18
where里把 id提到第一个,把 结果里的 content去掉,如果快就是 IO问题,得升
instance.

【在 C********g 的大作中提到】
: 有chapterid和bookid作为索引。下面是一个查询例子:
: BBC_Chapter是保存chapter基本信息的表
: BBC_Content是保存chapter内容的表
: select BBC_Chapter.chapterid, BBC_Chapter.bookid, title, chaptertype,
: content from BBC_Chapter left join BBC_Content on BBC_Chapter.chapterid =
: BBC_Content.chapterid where chapterstatus = 0 and BBC_Chapter.bookid = '
: 1004';

avatar
l*r
19
imaginary friend

【在 S*********f 的大作中提到】
: 那谁是谁
:
: 藏的龙,心中的霓霞飞舞,心念的恣意放旷。
: ,好在总能及时控制住梦中的情节,说:不算,再来。然后重新梦起。
: 。真是可以笑出眼泪的妙语。

avatar
n*t
20
他这个 where clause order 根本没关系,只跟 index 有关,不懂别瞎说

【在 g*****g 的大作中提到】
: where里把 id提到第一个,把 结果里的 content去掉,如果快就是 IO问题,得升
: instance.

avatar
n*w
21
execution plan?
这个query不瞬间拿到结果肯定有问题。index 或 vm。

【在 C********g 的大作中提到】
: 有chapterid和bookid作为索引。下面是一个查询例子:
: BBC_Chapter是保存chapter基本信息的表
: BBC_Content是保存chapter内容的表
: select BBC_Chapter.chapterid, BBC_Chapter.bookid, title, chaptertype,
: content from BBC_Chapter left join BBC_Content on BBC_Chapter.chapterid =
: BBC_Content.chapterid where chapterstatus = 0 and BBC_Chapter.bookid = '
: 1004';

avatar
e*2
22
用lucene,luke。

EC2

【在 C********g 的大作中提到】
: 我K在网上采集了大约2500部小说,所有的内容都存在一个mysql table里面,每章一条
: 记录,总共才70K的记录,1.3G大小,但一个简单的查询竟然需要15秒。我用的AWS EC2
: 最基本的那个服务器,免费一年的那个。最终的数据库大小会在10GB左右。请问有什么
: 优化的方法可以让我继续使用mysql?如果没有,不知道MongoDB可不可以?或者必须采
: 用文件系统?

avatar
g*t
23
chapterstatus加索引,where里的字段都加index,
google搜索快,是全文索引,网页里每个word都索引,狗狗的特长就是这些索引数据的
存储,读取,
就是今天大数据的起源,
avatar
i*i
24
只查 BBC_Chapter 需要多长时间?
select * from BBC_Chapter where chapterstatus = 0 and BBC_Chapter.bookid
= '
1004';
avatar
k*3
25
mysql 有 index hint
avatar
C*g
26
0.00 sec

bookid

【在 i**i 的大作中提到】
: 只查 BBC_Chapter 需要多长时间?
: select * from BBC_Chapter where chapterstatus = 0 and BBC_Chapter.bookid
: = '
: 1004';

avatar
B*g
27
tuning SQL 不贴execution plan神仙也没辙呀
avatar
i*i
28
select a.chapterid from BBC_Chapter as a, BBC_Content where BBC_Chapter.
chapterid =
BBC_Content.chapterid and BBC_Chapter.bookid = '1004';
需要多长时间?
avatar
C*g
29
15.88 sec.

【在 i**i 的大作中提到】
: select a.chapterid from BBC_Chapter as a, BBC_Content where BBC_Chapter.
: chapterid =
: BBC_Content.chapterid and BBC_Chapter.bookid = '1004';
: 需要多长时间?

avatar
i*i
30
你确定content的那个id有index?

【在 C********g 的大作中提到】
: 15.88 sec.
avatar
C*g
31
是这个吗?
+----+-------------+-------------+--------+----------------+---------+------
---+---------------------------+-------+----------+-------------+
| id | select_type | table | type | possible_keys | key | key_
len | ref | rows | filtered | Extra |
+----+-------------+-------------+--------+----------------+---------+------
---+---------------------------+-------+----------+-------------+
| 1 | SIMPLE | BBC_Content | ALL | NULL | NULL | NULL
| NULL | 70254 | 100.00 | |
| 1 | SIMPLE | a | eq_ref | PRIMARY,bookid | PRIMARY | 4
| BBC.BBC_Content.chapterid | 1 | 100.00 | Using where |
+----+-------------+-------------+--------+----------------+---------+------
---+---------------------------+-------+----------+-------------+
2 rows in set, 1 warning (0.01 sec)

【在 B*****g 的大作中提到】
: tuning SQL 不贴execution plan神仙也没辙呀
avatar
C*g
32
谢谢你的提醒。犯了个低级错误,把index搞混淆了。

【在 i**i 的大作中提到】
: 你确定content的那个id有index?
avatar
d*n
33
瞎说一下啊,鄙人根本没经验。
除了content 以外的查询用rdbms,
content search 再另建一个nosql 用mapreduce 专门干这个。
这个非常适合read 多于write情况。
不好的地方就是额外的存储开销和save content 时候要建立 nosql delay
keyWords occur rdbms-indexId?
黄容 100 idx0
郭靖 85 idx17
避血剑 50 index 55
然后对 sentence 展开,我估计肯定有专门干这个的轮子,不用自己造
avatar
i*i
34
说好的每人一个包子呢?

【在 C********g 的大作中提到】
: 谢谢你的提醒。犯了个低级错误,把index搞混淆了。
avatar
i*i
35
谢谢包子

【在 i**i 的大作中提到】
: 说好的每人一个包子呢?
avatar
w*g
36
我这里最大的表是259G,而且每条记录就几十个字节,ID都是64位的。几乎每秒钟都在
增删查改,也没啥性能问题。不要对mysql的速度有任何怀疑。如果mysql不够快了,
mongodb和文件系统都救不了你。

EC2

【在 C********g 的大作中提到】
: 我K在网上采集了大约2500部小说,所有的内容都存在一个mysql table里面,每章一条
: 记录,总共才70K的记录,1.3G大小,但一个简单的查询竟然需要15秒。我用的AWS EC2
: 最基本的那个服务器,免费一年的那个。最终的数据库大小会在10GB左右。请问有什么
: 优化的方法可以让我继续使用mysql?如果没有,不知道MongoDB可不可以?或者必须采
: 用文件系统?

avatar
C*g
37
就一个mysql server instance?

【在 w***g 的大作中提到】
: 我这里最大的表是259G,而且每条记录就几十个字节,ID都是64位的。几乎每秒钟都在
: 增删查改,也没啥性能问题。不要对mysql的速度有任何怀疑。如果mysql不够快了,
: mongodb和文件系统都救不了你。
:
: EC2

avatar
d*n
38
同问

【在 C********g 的大作中提到】
: 就一个mysql server instance?
avatar
w*g
39
就一个server instance,给40G内存。 挂一个远程slave做HA,不过主服务器超稳定,
存储是拿两个3T硬盘搭的soft raid1, 硬盘坏过,raid抗下来了。HA从来就没有发挥
过作用。当然我的应用不一样,优化得比较好。做了分表,每个操作可以确保落在一
两个分表上。每个分表30G的样子,上面有各种索引。CPU负载不到10%。
你那个索引文本的可能是用错轮子了。

【在 C********g 的大作中提到】
: 就一个mysql server instance?
avatar
d*n
40
你这是vertical scale up 了?

【在 w***g 的大作中提到】
: 就一个server instance,给40G内存。 挂一个远程slave做HA,不过主服务器超稳定,
: 存储是拿两个3T硬盘搭的soft raid1, 硬盘坏过,raid抗下来了。HA从来就没有发挥
: 过作用。当然我的应用不一样,优化得比较好。做了分表,每个操作可以确保落在一
: 两个分表上。每个分表30G的样子,上面有各种索引。CPU负载不到10%。
: 你那个索引文本的可能是用错轮子了。

avatar
w*z
41
一秒几次操作?

【在 w***g 的大作中提到】
: 就一个server instance,给40G内存。 挂一个远程slave做HA,不过主服务器超稳定,
: 存储是拿两个3T硬盘搭的soft raid1, 硬盘坏过,raid抗下来了。HA从来就没有发挥
: 过作用。当然我的应用不一样,优化得比较好。做了分表,每个操作可以确保落在一
: 两个分表上。每个分表30G的样子,上面有各种索引。CPU负载不到10%。
: 你那个索引文本的可能是用错轮子了。

avatar
w*g
42
一两秒钟一次吧。有时候一秒一两次。不是很频繁。

【在 w**z 的大作中提到】
: 一秒几次操作?
avatar
g*g
43
难怪了。我们在RDS里大约5K/s操作还行,再往上就开始timeout了。

【在 w***g 的大作中提到】
: 一两秒钟一次吧。有时候一秒一两次。不是很频繁。
avatar
N*m
44
试过aurora没?

【在 g*****g 的大作中提到】
: 难怪了。我们在RDS里大约5K/s操作还行,再往上就开始timeout了。
avatar
w*g
45
震撼你一下
http://www.tpc.org/tpcc/results/tpcc_perf_results.asp
SPARC-T5-8 Server, tpmC 8,552,523. 每秒14w个transaction。
我们那种行业应用比不得你们做consumer market的,每秒5k个。

【在 g*****g 的大作中提到】
: 难怪了。我们在RDS里大约5K/s操作还行,再往上就开始timeout了。
avatar
g*g
46
我们有的应用处理的是每秒百万次写,只不过不往 RDBMS上放。

【在 w***g 的大作中提到】
: 震撼你一下
: http://www.tpc.org/tpcc/results/tpcc_perf_results.asp
: SPARC-T5-8 Server, tpmC 8,552,523. 每秒14w个transaction。
: 我们那种行业应用比不得你们做consumer market的,每秒5k个。

avatar
w*z
47
我们最忙的mysql 是4K/ seconds, cpu 还不到10%。 当然我们自己的DB server 比较
强劲, 24core, 128G memory.

【在 g*****g 的大作中提到】
: 难怪了。我们在RDS里大约5K/s操作还行,再往上就开始timeout了。
avatar
g*g
48
我们在 AWS上没用最贵的 instance,还有空间。

【在 w**z 的大作中提到】
: 我们最忙的mysql 是4K/ seconds, cpu 还不到10%。 当然我们自己的DB server 比较
: 强劲, 24core, 128G memory.

相关阅读
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。