需求建议，关于NOSQL - 未名空间MITBBS历史存档

a*t2013-08-27 07:08

1 楼

SQL 2005, servers are on different domains
I am having an issue with Distrubutor to Subscriber connection:
Error messages:
The process could not connect to Subscriber 'myDB'. (Source: MSSQL_REPL,
Error number: MSSQL_REPL0)
Named Pipes Provider: Could not open a connection to SQL Server [53]. (
Source: MSSQLServer, Error number: 53)
An error has occurred while establishing a connection to the server. When
connecting to SQL Server 2005, this failure may be caused by the fact that
under the defaul

p*22013-08-27 07:08

2 楼

我需要query，并且需要比较频繁的update数据，什么样的NOSQL比较好呢？
Mongo的query支持很好，但是write lock影响有多大呀？我这里写操作比较多，但是可
以控制到只是一个process写，但是不知道对其他process读影响有多大。

z*y2013-08-27 07:08

3 楼

这可能是因为当distributor连接subscriber 没有配置正确。你可以查一下是用哪个
账户从distributor连接subscriber的。
你可以查一下subscriber server 的log,看是不是有login failure。
然后我们可以从这里入手。

g*e2013-08-27 07:08

4 楼

HBase?

【在 p*****2 的大作中提到】

: 我需要query，并且需要比较频繁的update数据，什么样的NOSQL比较好呢？
: Mongo的query支持很好，但是write lock影响有多大呀？我这里写操作比较多，但是可
: 以控制到只是一个process写，但是不知道对其他process读影响有多大。

a*t2013-08-27 07:08

5 楼

I've set it up to use a SQL account on that connection. but I'll check
tomorrow.
thanks for the suggestion

【在 z***y 的大作中提到】

: 这可能是因为当distributor连接subscriber 没有配置正确。你可以查一下是用哪个
: 账户从distributor连接subscriber的。
: 你可以查一下subscriber server 的log,看是不是有login failure。
: 然后我们可以从这里入手。

e*t2013-08-27 07:08

6 楼

写多，但是需不需要上multi nodes?如果需要，上cassandra.

【在 p*****2 的大作中提到】

: 我需要query，并且需要比较频繁的update数据，什么样的NOSQL比较好呢？
: Mongo的query支持很好，但是write lock影响有多大呀？我这里写操作比较多，但是可
: 以控制到只是一个process写，但是不知道对其他process读影响有多大。

a*t2013-08-27 07:08

7 楼

nothing in subscriber server log
in the distributor, I've re confirmed the subscriber connection is using Database Authentication

【在 z***y 的大作中提到】

: 这可能是因为当distributor连接subscriber 没有配置正确。你可以查一下是用哪个
: 账户从distributor连接subscriber的。
: 你可以查一下subscriber server 的log,看是不是有login failure。
: 然后我们可以从这里入手。

p*22013-08-27 07:08

8 楼

query怎么样呀？

【在 g**e 的大作中提到】

: HBase?

z*y2013-08-27 07:08

9 楼

那就是distributer 或者 Subscriber 不对。
你中间有没有生成代码，可以给我寄一份。

p*22013-08-27 07:08

10 楼

cassandra query是不是支持的不行？
目前一个node就够了，以后可能加node。

【在 e*****t 的大作中提到】

: 写多，但是需不需要上multi nodes?如果需要，上cassandra.

a*t2013-08-27 07:08

11 楼

Called MS support
they say we need to open firewall port 1434 for SQL Browser.
and they also recommend a 2-way trust between the two domains

【在 z***y 的大作中提到】

: 那就是distributer 或者 Subscriber 不对。
: 你中间有没有生成代码，可以给我寄一份。

g*g2013-08-27 07:08

12 楼

NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
may want to make sure SQL is not good enough for you. Most RDMBS can handle
frequent write, to the upward of 10K writes per second on a good box
without too much hassle, good enough for most applications. Of course if you
have very high availability requirement, that may be a different story.

【在 p*****2 的大作中提到】

: 我需要query，并且需要比较频繁的update数据，什么样的NOSQL比较好呢？
: Mongo的query支持很好，但是write lock影响有多大呀？我这里写操作比较多，但是可
: 以控制到只是一个process写，但是不知道对其他process读影响有多大。

z*y2013-08-27 07:08

13 楼

Is that running on windows server 2008?
next time you can do firewall testing yourself if you suspect it was
firewall setting issue:
netsh diag connect iphost
example:
netsh diag connect iphost myserver.mydomain.com 1434
If it's open you will get message like : Server appears to be running on
port 1434
You cannot run netsh on windows server 2000.

【在 a*******t 的大作中提到】

: Called MS support
: they say we need to open firewall port 1434 for SQL Browser.
: and they also recommend a 2-way trust between the two domains

w*z2013-08-27 07:08

14 楼

这个说的在你在理。我们用Cassandra 是因为数据量大，MySQL shard 不好扩容量。
request 也就1k /sec

you
handle
you

【在 g*****g 的大作中提到】

: NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
: may want to make sure SQL is not good enough for you. Most RDMBS can handle
: frequent write, to the upward of 10K writes per second on a good box
: without too much hassle, good enough for most applications. Of course if you
: have very high availability requirement, that may be a different story.

a*t2013-08-27 07:08

15 楼

windows 2003
we opened the ports for the SQL server ports already, didn't know we had to
opened for sql browser ports and it needs to be both in and out bound.
network team doesn't like the idea of opening port for inbound... still
dicussing

【在 z***y 的大作中提到】

: Is that running on windows server 2008?
: next time you can do firewall testing yourself if you suspect it was
: firewall setting issue:
: netsh diag connect iphost
: example:
: netsh diag connect iphost myserver.mydomain.com 1434
: If it's open you will get message like : Server appears to be running on
: port 1434
: You cannot run netsh on windows server 2000.

e*t2013-08-27 07:08

16 楼

当然还有一种可能是人家要做RDD: Resume Driven Development. haha

you
handle
you

【在 g*****g 的大作中提到】

: NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
: may want to make sure SQL is not good enough for you. Most RDMBS can handle
: frequent write, to the upward of 10K writes per second on a good box
: without too much hassle, good enough for most applications. Of course if you
: have very high availability requirement, that may be a different story.

g*g2013-08-27 07:08

17 楼

Out of box sharding, Multi-DC support, schemeless are all reasons Cassandra
is attractive. But it does suck on query and makes developer's life
difficult for even basic queries. You have to weight the pros and cons. A
hybrid approach is also more common than a pure NoSQL one.

【在 w**z 的大作中提到】

: 这个说的在你在理。我们用Cassandra 是因为数据量大，MySQL shard 不好扩容量。
: request 也就1k /sec
:
: you
: handle
: you

t*e2013-08-27 07:08

18 楼

MongoDB is not for write-intensive jobs, since the write lock is global.

【在 p*****2 的大作中提到】

: 我需要query，并且需要比较频繁的update数据，什么样的NOSQL比较好呢？
: Mongo的query支持很好，但是write lock影响有多大呀？我这里写操作比较多，但是可
: 以控制到只是一个process写，但是不知道对其他process读影响有多大。

p*22013-08-27 07:08

19 楼

you
handle
you
多谢大牛。我们的数据是schemaless, 而且不需要join，所以上来就没考虑SQL。我昨
天做了一个试验，发现mongo的写基本上也是10K／sec。看来还不错。

【在 g*****g 的大作中提到】

: NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
: may want to make sure SQL is not good enough for you. Most RDMBS can handle
: frequent write, to the upward of 10K writes per second on a good box
: without too much hassle, good enough for most applications. Of course if you
: have very high availability requirement, that may be a different story.

p*22013-08-27 07:08

20 楼

貌似2.2已经不是了。

【在 t*******e 的大作中提到】

: MongoDB is not for write-intensive jobs, since the write lock is global.

t*e2013-08-27 07:08

21 楼

Not sure. If you are looking for extreme speed and ad-hoc query, mongodb may
be your choice.

【在 p*****2 的大作中提到】

:
: 貌似2.2已经不是了。

u*s2013-08-27 07:08

22 楼

this is true.
我们的系统在用mongoDB，感觉还行。
我们跟10gen的contract里含几个free的下mongodb essential training.准备去更系统
的学一下。training is half for developer,half for DBA.

【在 p*****2 的大作中提到】

:
: 貌似2.2已经不是了。

P*i2013-08-27 07:08

23 楼

db level lock, still bad

【在 p*****2 的大作中提到】

:
: 貌似2.2已经不是了。

p*22013-08-27 07:08

24 楼

昨天测试，写操作，每秒10K，貌似还好吧？同一个db。

【在 P****i 的大作中提到】

: db level lock, still bad

h*a2013-08-27 07:08

25 楼

Mongo数据量大了performance下降很快

【在 p*****2 的大作中提到】

:
: 昨天测试，写操作，每秒10K，貌似还好吧？同一个db。

w*z2013-08-27 07:08

26 楼

the whole data set needs to fit in the memory.

【在 h*****a 的大作中提到】

: Mongo数据量大了performance下降很快

w*z2013-08-27 07:08

27 楼

C* is better with write heavy use case.

【在 p*****2 的大作中提到】

:
: 昨天测试，写操作，每秒10K，貌似还好吧？同一个db。

p*22013-08-27 07:08

28 楼

大牛有什么好推荐的吗？我感觉我的数据量不会太大。应该最多1M个纪录。而且可以
sharding吧？

【在 h*****a 的大作中提到】

: Mongo数据量大了performance下降很快

p*22013-08-27 07:08

29 楼

query呢？

【在 w**z 的大作中提到】

: C* is better with write heavy use case.

p*22013-08-27 07:08

30 楼

嗯。我的想法就是要内存装的下。不行就做partition

【在 w**z 的大作中提到】

: the whole data set needs to fit in the memory.

g*g2013-08-27 07:08

31 楼

If you don't have real time requirement, you may use elastic search for
query.

【在 p*****2 的大作中提到】

:
: 嗯。我的想法就是要内存装的下。不行就做partition

p*22013-08-27 07:08

32 楼

ES跟cassandra integration怎么样呢？
我其实还真比较了ES跟mongo，发现ES的write比mongo慢10倍。直接用不适合我的
scenario。看了一些ES的river，貌似没有官方支持cassandra的driver。

【在 g*****g 的大作中提到】

: If you don't have real time requirement, you may use elastic search for
: query.

W*n2013-08-27 07:08

33 楼

mongodb到目前为止不支持full text search. 你需要用其他的index server.

p*22013-08-27 07:08

34 楼

嗯。不过我们倒是没有这个需求。

【在 W********n 的大作中提到】

: mongodb到目前为止不支持full text search. 你需要用其他的index server.

w*z2013-08-27 07:08

35 楼

这里讨论过了。有具体问题吗？
http://www.mitbbs.com/article_t/Java/31141555.html

【在 p*****2 的大作中提到】

:
: 嗯。不过我们倒是没有这个需求。

p*22013-08-27 07:08

36 楼

就是说query最好的办法是什么，效率如何

【在 w**z 的大作中提到】

: 这里讨论过了。有具体问题吗？
: http://www.mitbbs.com/article_t/Java/31141555.html

w*z2013-08-27 07:08

37 楼

Look at
https://github.com/Netflix/astyanax/wiki
You need to have a use case, then work on query, then schema.

【在 p*****2 的大作中提到】

:
: 就是说query最好的办法是什么，效率如何

p*22013-08-27 07:08

38 楼

多谢大牛。先上M，看以后有没有机会上C

【在 w**z 的大作中提到】

: Look at
: https://github.com/Netflix/astyanax/wiki
: You need to have a use case, then work on query, then schema.

c*e2013-08-27 07:08

39 楼

2.4就有了。数据量不大的话，DB level lock影响不大。

【在 p*****2 的大作中提到】

:
: 多谢大牛。先上M，看以后有没有机会上C

P*i2013-08-27 07:08

40 楼

C*跟mongo不是一个路子，一个是column store，一个doc store
如果你用mongo是因为数据比较复杂，比如有很多层嵌套，C*就不合适了，虽然它有sup
ercolumn

【在 p*****2 的大作中提到】

:
: 多谢大牛。先上M，看以后有没有机会上C

p*22013-08-27 07:08

41 楼

sup
是。我的数据量不大。不过我们这里有比较大的数据量也是往mongo里扔，感觉就不是
很合适了。可能cassandra更合适。

【在 P****i 的大作中提到】

: C*跟mongo不是一个路子，一个是column store，一个doc store
: 如果你用mongo是因为数据比较复杂，比如有很多层嵌套，C*就不合适了，虽然它有sup
: ercolumn

p*22013-08-27 07:08

42 楼

you
handle
you
大牛说说mysql到底有啥优势呀？
1. transaction
2. join
3. mature?

【在 g*****g 的大作中提到】

: NoSQL means not only SQL. Before you jump on what NoSQL is best for you, you
: may want to make sure SQL is not good enough for you. Most RDMBS can handle
: frequent write, to the upward of 10K writes per second on a good box
: without too much hassle, good enough for most applications. Of course if you
: have very high availability requirement, that may be a different story.

g*e2013-08-27 07:08

43 楼

我觉得还有index

【在 p*****2 的大作中提到】

:
: you
: handle
: you
: 大牛说说mysql到底有啥优势呀？
: 1. transaction
: 2. join
: 3. mature?

w*z2013-08-27 07:08

44 楼

transaction + query ability.

【在 g**e 的大作中提到】

: 我觉得还有index

p*22013-08-27 07:08

45 楼

index跟mongo的index比优势大在哪里呀？省内存吗？

【在 g**e 的大作中提到】

: 我觉得还有index

p*22013-08-27 07:08

46 楼

如果一个表的话，query主要比mongo强大在哪里呢？貌似mongo的query也跟SQL差不多
呀。

【在 w**z 的大作中提到】

: transaction + query ability.

w*z2013-08-27 07:08

47 楼

不是很熟Mongo，就不乱说.
两年前参加一个Mongo conference好像它刚开始有 Aggregation Framework,
http://docs.mongodb.org/manual/core/aggregation/
不知道performance 如何，但应该比不上 RDMS.

【在 p*****2 的大作中提到】

:
: 如果一个表的话，query主要比mongo强大在哪里呢？貌似mongo的query也跟SQL差不多
: 呀。