更好整合 kubernete 和 airflow - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>PDA - 掌中宝

更好整合 kubernete 和 airflow

更好整合 kubernete 和 airflow# PDA - 掌中宝

w*h2019-11-26 08:11

1 楼

eb1b pp, NSC , 上周三水过,
现在开始准备485, 有个疑问:
如果同时提交485/131/765的话, 申请费怎么写? 是开个 $1070的支票(485+指纹的fee)
, 还是开个 $1810 的支票阿 (485+131+765+指纹)? 我看了一下485填表指南, 上面有
这句话: Note: you may file form i-765, application for EAD, and/or a form
I131, application for Travel Document, without fee, if u file form I485 and
you pay its required fee.
在线等, 谢谢
包子感谢

A*U2019-11-26 08:11

2 楼

【以下文字转载自 WaterWorld 讨论区】
发信人: tenbank (pine), 信区: WaterWorld
标题: 黄石公园，一名游客刚把车子靠在路边想拍几张照片，突然听见身后传来奔跑声
发信站: BBS 未名空间站 (Sun Nov 7 23:40:34 2010, 美东)
黄石公园，一名游客刚把车子靠在路边想拍几张照片，突然听见身后传来奔跑声

v*z2019-11-26 08:11

3 楼

almost 90% done.
in progress inspection pass!!
better than those contractor work.
good enough to pass.
next week will get final inspection.

l*e2019-11-26 08:11

4 楼

最近组里有一个project，跑spark sql， input就是SQL读取snowflake，output是
dataframe存到 AWS s3
有趣的地方在于每个sql跑的时候要考虑dependencies，因为有些sql depends on 其他
sql job产生的dataframe，不能全部乱序一起跑。所以搞了个dag用拓扑排序解决了。
再后来发现AWS 的account同时最多用300个EC2，现在跑的时候是用那些EC2来构造EMR
。每次月初跑的时候，别的team也在share这个AWS account，所以真正跑的时候，不够
EC2。每个月现在需要大约跑50个sql
现在的解决方案是用一台memory足够大的EMR来按拓扑排序来跑那50个spark sql job。
问题是，能不能做到用kubernete做cluster management管理整个AWS SHARED ACCOUNT
下那300个EC2，然后用airflow或者KUBEFLOW来把50多个job schedule上不止一个EMR上
呢？
希望能做到多个EMR同时跑多个没有dependencies的spark sql job，而不是一个EMR按
顺序来跑50个job。目前已经有纯java code自己写resource manager和scheduler的方
案，想知道能不能在kubernete + {kubeflow | airflow}上做得更好

f*n2019-11-26 08:11

5 楼

$1070的支票

C*i2019-11-26 08:11

6 楼

从受伤位置来看
牛被按倒在地上至少三次以上
熊一看就是处儿

v*z2019-11-26 08:11

7 楼

【在 v*****z 的大作中提到】

: almost 90% done.
: in progress inspection pass!!
: better than those contractor work.
: good enough to pass.
: next week will get final inspection.

j*m2019-11-26 08:11

8 楼

没看太明白，你为什么要用EC2来trigger EMR？直接用个lambda之类不行吗？
最上层用step function或者simple workflow之类来做整个process的orchestration有
什么问题吗？
直接用AWS自己那些service就好。

h*n2019-11-26 08:11

9 楼

我咋没看懂你的1870是怎么算的？

fee)
and

【在 w****h 的大作中提到】

: eb1b pp, NSC , 上周三水过,
: 现在开始准备485, 有个疑问:
: 如果同时提交485/131/765的话, 申请费怎么写? 是开个 $1070的支票(485+指纹的fee)
: , 还是开个 $1810 的支票阿 (485+131+765+指纹)? 我看了一下485填表指南, 上面有
: 这句话: Note: you may file form i-765, application for EAD, and/or a form
: I131, application for Travel Document, without fee, if u file form I485 and
: you pay its required fee.
: 在线等, 谢谢
: 包子感谢

m*02019-11-26 08:11

10 楼

想要这样的海底房，和这样大的鱼鱼

【在 C*******i 的大作中提到】

: 从受伤位置来看
: 牛被按倒在地上至少三次以上
: 熊一看就是处儿

e*32019-11-26 08:11

11 楼

崇拜啊。
请教一个问题。
图中ROOF　VALLEY里的FLASHING没换掉，BUILDING　CODE允许吗？
另外ROOF　VALLEY里有的房子用的是FLASHING，有的直接用的SHINGLE　（我猜大该是
折一个角度），有啥区别？

【在 v*****z 的大作中提到】

w*h2019-11-26 08:11

12 楼

我原来是这样算的
485+biometric = $1070
131 = $360
EAD (765)= $380
后来放狗搜了一下发现485就是一个大package, 131/EAD都包括进去了,不用另外交钱了.

【在 h*******n 的大作中提到】

: 我咋没看懂你的1870是怎么算的？
:
: fee)
: and

C*i2019-11-26 08:11

13 楼

我的Dream House里应该有一个大的水族馆
里面养一两条这么大的鱼

q*j2019-11-26 08:11

14 楼

huge cow!

w*h2019-11-26 08:11

15 楼

楼上2位包子已发, 欧虽然是穷人, 不过说话算数攒rp.

t*n2019-11-26 08:11

16 楼

牛熊斗

跑声
682_634x327.jpg
823_634x353.jpg
181_634x434.jpg
84_634x381.jpg

【在 A**U 的大作中提到】

: 【以下文字转载自 WaterWorld 讨论区】
: 发信人: tenbank (pine), 信区: WaterWorld
: 标题: 黄石公园，一名游客刚把车子靠在路边想拍几张照片，突然听见身后传来奔跑声
: 发信站: BBS 未名空间站 (Sun Nov 7 23:40:34 2010, 美东)
: 黄石公园，一名游客刚把车子靠在路边想拍几张照片，突然听见身后传来奔跑声

c*n2019-11-26 08:11

17 楼

do u need to hire some helpers to do this?

【在 v*****z 的大作中提到】

: almost 90% done.
: in progress inspection pass!!
: better than those contractor work.
: good enough to pass.
: next week will get final inspection.

H*02019-11-26 08:11

18 楼

直接开$1070!

fee)
and

【在 w****h 的大作中提到】

v*z2019-11-26 08:11

19 楼

when the inspector as me the samething.
I told him I want to keep that old one. he say ok.
I just need to paint that into color.
Just buy the flashing in Low's or HD.
you can not used shingle in valley area anymore in sunnyvale.

【在 e*****3 的大作中提到】

: 崇拜啊。
: 请教一个问题。
: 图中ROOF　VALLEY里的FLASHING没换掉，BUILDING　CODE允许吗？
: 另外ROOF　VALLEY里有的房子用的是FLASHING，有的直接用的SHINGLE　（我猜大该是
: 折一个角度），有啥区别？

v*z2019-11-26 08:11

20 楼

I did that all by myself.
since I don't want to see anybody fall down from the roof.

【在 c******n 的大作中提到】

: do u need to hire some helpers to do this?

c*n2019-11-26 08:11

21 楼

how much did you save by DIY instead of having contractors do it?
if DIY, is it possible to do tiles instead? anyway material cost is low

【在 v*****z 的大作中提到】

: I did that all by myself.
: since I don't want to see anybody fall down from the roof.

v*z2019-11-26 08:11

22 楼

around 12k or more depend on what you are going to add later, some feature such as dome
in the garage and skylight.
I will do it later.

x*12019-11-26 08:11

23 楼

今天看了个房子屋顶可能有点漏要换
agent说用什么最便宜的油毛毡全部加人工要1w多。能给介绍介绍大概有几种材料，人
工各是多少吗？

v*z2019-11-26 08:11

24 楼

1w多?
he charge you for the entire roofing replacement.
never used a cheapest material for roof.
I only spend 4k for all material.
my roof cost 15k for contractor to do the job.
we got into the detail with them.
I figure out they try to short on everything.
So I do some HW and DIY.
Actually, it is not that difficult.just need a strong arm
material I used.
88 pieces 7/16 OSB board
20 rolls of 30 pound black paper.
110 bundles of 40 yrs shingles
All from HD.

S*y2019-11-26 08:11

25 楼

太能干了！
请问采取了什么安全措施？是否要腰上绑绳子？
谢谢！
（可能今年夏天也要换房顶）

v*z2019-11-26 08:11

26 楼

I don't use any 安全措施. my roof is 2:14 slope(every 14 inch and 2 inch
high)
it is better to have couple people to help.if in sunnyvale area, I may give
you a hand.
I have some tools you can borrow. (you can save few dollars)
later I will post some major tools for roofing.

f*s2019-11-26 08:11

27 楼

这么能干的都要介绍一下背景，不然人人都以为可以DIY，其实不是那么回事：）

give

【在 v*****z 的大作中提到】

: I don't use any 安全措施. my roof is 2:14 slope(every 14 inch and 2 inch
: high)
: it is better to have couple people to help.if in sunnyvale area, I may give
: you a hand.
: I have some tools you can borrow. (you can save few dollars)
: later I will post some major tools for roofing.

v*z2019-11-26 08:11

28 楼

My 背景 is little different than anybody.
you are right, not everybody can DIY.
I think you are pretty 能干 too.

【在 f*******s 的大作中提到】

: 这么能干的都要介绍一下背景，不然人人都以为可以DIY，其实不是那么回事：）
:
: give

A*n2019-11-26 08:11

29 楼

你Gutter and down spouse也自己装吗？这个不好弄吧？

v*z2019-11-26 08:11

30 楼

I keep the old one.

【在 A**n 的大作中提到】

: 你Gutter and down spouse也自己装吗？这个不好弄吧？

e*32019-11-26 08:11

31 楼

rise 2 inches for every 14 inches?
我听说SHINGLE的MINIMUM　SLOPE是3/12，一般都是4/12或者5/12的。而且3/12的SLOPE
UNDERLAYMENT要求不一样，一般要放双层或者用ADHESIVE的加一般的UNDERLAYMENT。
你的ROOF可以用SHINGLE吗？
好象低于3/12的厂家的WARRANTY就自动VOID。

give

【在 v*****z 的大作中提到】

b*p2019-11-26 08:11

32 楼

nice work, you can start your side business for sure.

v*z2019-11-26 08:11

33 楼

I mean 4:12.
it is on the city roofing code.
every house have different slop. for regular low slop (2:12c or 4:12)
you have to check on your city code.
I went to the city ask the inspector 3 time of the code which I'm not sure.
My roof already pass the in progress inspection. that is a 40 years shingle.

SLOPE

【在 e*****3 的大作中提到】

: rise 2 inches for every 14 inches?
: 我听说SHINGLE的MINIMUM　SLOPE是3/12，一般都是4/12或者5/12的。而且3/12的SLOPE
: UNDERLAYMENT要求不一样，一般要放双层或者用ADHESIVE的加一般的UNDERLAYMENT。
: 你的ROOF可以用SHINGLE吗？
: 好象低于3/12的厂家的WARRANTY就自动VOID。
:
: give

k*h2019-11-26 08:11

34 楼

崇拜一下屋顶 DIY的，这个slope 说得不专业，第二个数字永远都是12.

give

【在 v*****z 的大作中提到】

v*z2019-11-26 08:11

35 楼

final part will be post on monday, which will include major tools for the
project.