请教一下各位马工怎么多数据库的备份 (转载) - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

请教一下各位马工怎么多数据库的备份 (转载)

请教一下各位马工怎么多数据库的备份 (转载)# Programming - 葵花宝典

h*m2018-08-18 07:08

1 楼

那个牛舌，要怎么吃？
看到网上有说用卤的。
版上哪位mm做过的么？
还没见到，不晓得长啥样，也不清楚要怎么处理。
就是之前自己杀牛的朋友的，说还有个牛舌，被我要来了。还没见到实物，估计是冻上
了的。
nnd那个牛尾竟然被韩国人和冰岛人搞走了=_=。。。。。。

l*h2018-08-18 07:08

2 楼

你迟到过吗？记得上学的时候，班里的同学因为各种原因而迟到，老师就会进
行体罚比如说面墙站着，再比如说罚抄单词100遍，或者说严重的就直接是请家长。
现在不用去上学了，上班以后会不会改掉迟到的毛病呢？有些人总会有这样的
毛病，他希望自己能早点儿，但是自己是怎么也早不了，比如和你的好朋友一起去约会
购物，总是让人家等着，而每次迟到了以后就会诚恳极力的道歉，说下次一定会按时到
。可是下次呢，又会迟到，对于这样的人来讲真的是应该来个血的教训，才能改掉这种
毛病。
如果说你要乘坐一架飞机，去某个地方旅游如果你迟到了，飞机才不会等你呢
！早就飞走了，你那时候造成的不仅仅是经济上的损失，你也会和同行的朋友会失去联
络，人家不会因为你一个人而耽误航班的起飞。
在比如说你坐邮轮如果没有按时的登船，那么船开了，绝对不会因为你一个人
而掉头返回岸上接你，最后损失的不是还是自己吗？看来迟到，造成的后果很严重，并
不是一个道歉就能解决问题的。

c*k2018-08-18 07:08

3 楼

啊呜

c*i2018-08-18 07:08

4 楼

哈哈， used. 自己用过的。
上次300的 deal, 从 Hp.com 买的。
周五白天想说给退了，下午就drop 到 fedex kinko了，结果晚去几分钟，说周一
才会pickup.
然后deal 一出来，折腾了两天，一台也没搞到，只好打电话给 Hp, 说不退了，给
我PM吧，结果他们一算说 $95, 我也不知道怎么算的。
然后就赶紧去 kinko 把包裹给截回来了。。。

q*n2018-08-18 07:08

5 楼

【以下文字转载自 JobHunting 讨论区】
发信人: qiongren (WSN大叔一名, 还需要说明?), 信区: JobHunting
标题: 请教一下各位马工怎么多数据库的备份
发信站: BBS 未名空间站 (Sat Aug 18 20:14:08 2018, 美东)
我在那不入流的公司有一产品，竟然用了以下数据库， PostgreSQL, Mongo,
ElasticSearch, Minio. 码工当然有很好的理由，不过实际就几个码工想自己RESUME
上多些东西所以多折腾。说回主题，这备份给如何弄呢？现在有两方案：
1. OFFLINE BACKUP，发个EMAIL，让产品下线，想怎么折腾就怎折腾。问题是客人
不满意，切，我们要24/7，怎么能下线，没门。
2. HOTBACKUP，通过API，把各数据库一个一个的备份。产品不用下线，不过各数
据库的数据不IN SYNC啊。例如用了1分钟备份PostgreSQL，然后弄Mongo，不过
Mongo的DATA已经比PostgreSQL的多了一分钟，到最后的Minio窟窿就更大了。一般这
情况，大家怎么弄？

d*e2018-08-18 07:08

6 楼

###此帖已应当事人要求删除###

【在 h*****m 的大作中提到】

: 那个牛舌，要怎么吃？
: 看到网上有说用卤的。
: 版上哪位mm做过的么？
: 还没见到，不晓得长啥样，也不清楚要怎么处理。
: 就是之前自己杀牛的朋友的，说还有个牛舌，被我要来了。还没见到实物，估计是冻上
: 了的。
: nnd那个牛尾竟然被韩国人和冰岛人搞走了=_=。。。。。。

S*f2018-08-18 07:08

7 楼

一人来句打动你的王菲的歌词

【在 c***k 的大作中提到】

: 啊呜

e*a2018-08-18 07:08

8 楼

你赚到了～

【在 c****i 的大作中提到】

: 哈哈， used. 自己用过的。
: 上次300的 deal, 从 Hp.com 买的。
: 周五白天想说给退了，下午就drop 到 fedex kinko了，结果晚去几分钟，说周一
: 才会pickup.
: 然后deal 一出来，折腾了两天，一台也没搞到，只好打电话给 Hp, 说不退了，给
: 我PM吧，结果他们一算说 $95, 我也不知道怎么算的。
: 然后就赶紧去 kinko 把包裹给截回来了。。。

w*m2018-08-18 07:08

9 楼

你说的这些都可以热备份。

k*u2018-08-18 07:08

10 楼

牛舌超好吃！以前在家我爸爸经常卤。。。
卤了以后切片，直接吃也可以，凉拌也可以，用青椒洋葱什么的回锅再炒一下也超好吃
的~~~
不过我记得我爸爸卤牛舌之前都焯了水，然后把表面那一层皮撕了得~~~

n*n2018-08-18 07:08

11 楼

只为在人群中看了你一眼，再也不能忘记你容颜

【在 S*********f 的大作中提到】

: 一人来句打动你的王菲的歌词

c*l2018-08-18 07:08

12 楼

你亮了

【在 c****i 的大作中提到】

w*z2018-08-18 07:08

13 楼

那么多数据库，哪个是 source of truth?
你就每个都 backup, 有冲突的情况，要在你的recovery logic 里解决。
backup 本身就是一个 snapshot, 从 backup 里 restore, 一定会有 data loss, 你要
尽量降低损失。

：【以下文字转载自 JobHunting 讨论区】
：发信人: qiongren (WSN大叔一名, 还需要说明?), 信区: JobHunting

l*32018-08-18 07:08

14 楼

黄师傅好。。。我就来打个招呼。。。咔咔

w*g2018-08-18 07:08

15 楼

等到风景都看透
也许你会陪我看细水长流

i*a2018-08-18 07:08

16 楼

Baozi.

q*n2018-08-18 07:08

17 楼

都是 source of truth，例如以USER可以有ACTION A（以文件可以生成并存到Minio）
， B（某些DATA生成并存到PostgreSQL）， C（某些DATA生成并存到ElasticSearch）
。基本就是所有DB都有自己的用途。

【在 w**z 的大作中提到】

: 那么多数据库，哪个是 source of truth?
: 你就每个都 backup, 有冲突的情况，要在你的recovery logic 里解决。
: backup 本身就是一个 snapshot, 从 backup 里 restore, 一定会有 data loss, 你要
: 尽量降低损失。
:
: ：【以下文字转载自 JobHunting 讨论区】
: ：发信人: qiongren (WSN大叔一名, 还需要说明?), 信区: JobHunting

p*e2018-08-18 07:08

18 楼

没要牛下水？
肚子好啊

【在 h*****m 的大作中提到】

h*j2018-08-18 07:08

19 楼

什么都愿意我什么都愿意为你

【在 S*********f 的大作中提到】

: 一人来句打动你的王菲的歌词

l*t2018-08-18 07:08

20 楼

baozi

m*n2018-08-18 07:08

21 楼

数据管的时间越长，数据的重要性就越高
因此首先保存低频数据。

【在 q******n 的大作中提到】

: 都是 source of truth，例如以USER可以有ACTION A（以文件可以生成并存到Minio）
: ， B（某些DATA生成并存到PostgreSQL）， C（某些DATA生成并存到ElasticSearch）
: 。基本就是所有DB都有自己的用途。

F*t2018-08-18 07:08

22 楼

没做过
但看到过别人帖子做
要过水把牛舌外面一层很厚的壳剥掉的
然后卤、炒随便了

b*l2018-08-18 07:08

23 楼

谁能告诉我
要有多坚强
才敢念念不忘

【在 S*********f 的大作中提到】

: 一人来句打动你的王菲的歌词

s*s2018-08-18 07:08

24 楼

就是两个DB，如果完全互相独立，我觉得也不太可能有完全SYNC 得BACKUP 方案。所
以，技术上来讲，是不会有完美得解决方法得。
可以从以下两个方面IMPROVE.
1) 既然都可以HOT BACK，那么就SCHEDULE HOT BACKUP 尽量一起TAKE SNAPSHOT/
CHECK POINT。
2）既然是数据源是你自己公司可控得产品，那么最好在产品里加参数，让不同得
STORAGE 知道这个属于同一TRANSACTION 之类。然后再相应调整BACKUP 得LOGIC。总
之就是写APPLICATION 得时候，就要考虑cross component backup。

RESUME

【在 q******n 的大作中提到】

h*m2018-08-18 07:08

25 楼

got you~~~

【在 k******u 的大作中提到】

: 牛舌超好吃！以前在家我爸爸经常卤。。。
: 卤了以后切片，直接吃也可以，凉拌也可以，用青椒洋葱什么的回锅再炒一下也超好吃
: 的~~~
: 不过我记得我爸爸卤牛舌之前都焯了水，然后把表面那一层皮撕了得~~~

d*o2018-08-18 07:08

26 楼

我从来不曾抗拒你的魅力虽然你从来不曾对我著迷

【在 S*********f 的大作中提到】

: 一人来句打动你的王菲的歌词

q*n2018-08-18 07:08

27 楼

>>1) 既然都可以HOT BACK，那么就SCHEDULE HOT BACKUP 尽量一起TAKE SNAPSHOT/
CHECK POINT。
不敢全部一起，担心IO太大。
>>2）既然是数据源是你自己公司可控得产品，那么最好在产品里加参数，让不同得
STORAGE 知道这个属于同一TRANSACTION 之类。然后再相应调整BACKUP 得LOGIC。总
之就是写APPLICATION 得时候，就要考虑cross component backup。
没有去到这么细分的程度。一般就是DAILY给各DB弄BACKUP。从APPLICATION来说，
无法分辨在某时刻某DB应该有多少DATA。事实上到了现在再来说cross component
backup已经太晚了。
虽然知道有这问题，幸运的是暂时还没有客户投诉，先自己做备案咯。
谢谢各位的帮忙。

h*m2018-08-18 07:08

28 楼

It;s all gone when I came back from home trip...
But I told my friend, I wanna all the wield things next time she has steer
slaughtered...
seems she has more coming in October, hahaha

【在 p*****e 的大作中提到】

: 没要牛下水？
: 肚子好啊

q*r2018-08-18 07:08

29 楼

每只蚂蚁都有眼睛鼻子它美不美丽偏差有没有一毫厘有何关系

【在 S*********f 的大作中提到】

: 一人来句打动你的王菲的歌词

s*s2018-08-18 07:08

30 楼

SNAPSHOT 一般是和INGEST DATA 可以分开得。（理论). 所以争取一起TAKE SNAPSHOT
，然后还是可以一个一个INGEST DATA.

，

【在 q******n 的大作中提到】

: >>1) 既然都可以HOT BACK，那么就SCHEDULE HOT BACKUP 尽量一起TAKE SNAPSHOT/
: CHECK POINT。
: 不敢全部一起，担心IO太大。
: >>2）既然是数据源是你自己公司可控得产品，那么最好在产品里加参数，让不同得
: STORAGE 知道这个属于同一TRANSACTION 之类。然后再相应调整BACKUP 得LOGIC。总
: 之就是写APPLICATION 得时候，就要考虑cross component backup。
: 没有去到这么细分的程度。一般就是DAILY给各DB弄BACKUP。从APPLICATION来说，
: 无法分辨在某时刻某DB应该有多少DATA。事实上到了现在再来说cross component
: backup已经太晚了。
: 虽然知道有这问题，幸运的是暂时还没有客户投诉，先自己做备案咯。

h*m2018-08-18 07:08

31 楼

hello back, kaka^^

【在 l********3 的大作中提到】

: 黄师傅好。。。我就来打个招呼。。。咔咔

p*e2018-08-18 07:08

32 楼

只要你真心拿爱与我回应我什么都愿意为你

【在 S*********f 的大作中提到】

: 一人来句打动你的王菲的歌词