怎么设计这个client - 未名空间MITBBS历史存档

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>未名空间

>Programming - 葵花宝典

怎么设计这个client

怎么设计这个client# Programming - 葵花宝典

r*n2016-12-09 08:12

1 楼

现在网红这两字严格的说是一种贬义词，是一种极度恶心的贬义词，时代变了，网红从
当年无心插柳的行为，变成了一种盈利谋生的手段，一个网红一年几十万几百万的收入
，让人们都失去了理智和底线，想尽一切办法让自己变成网红
也是，这个时代只要你能在网络上出名了，不管你用的什么手段，不管你成名的方式是
多么的恶心，多么的恶略，做了多么伤天害理的事，这都不重要，过程都不重要，你只
要在意结果就可以了，所以今天的网红，是最没有底线和最不要脸的一代
越是这样，越是让人觉得当年的网红们，是多么的纯洁和可爱，最早的网红，我心里最
早的网红应该是那个被人ps无数次的网络小胖了，当时真的惊人天人，看一次笑一次的
笑的不行
后舍男生，是后来的吧，两个男孩对口型唱歌，一下子就火的一塌糊涂，那真的不是炒
作，那真的是无意为之的事情，不过后来这两个小子也因为这个赚到钱了
芙蓉姐姐，这个人之后，所有的人都意识到网红能赚钱了，所以说芙蓉姐姐和后舍男生
是真网红和加网红额一个重要分界线

l*n2016-12-09 08:12

2 楼

C++需要设计一个client，这个client先向server发送request，server会把一套复杂的
data format给client，然后client让server开始发送数据，client收到数据然后开始
处理。
过程中需要对收到的数据做检验，也就是通过把client收到的数据写到文
件里边。这个怎么实现？现在想到的就是fork一下
比如我有个这样的service在run，现在我需要有功能
service 1481306473 > data_1481306473
这样就把1481306473时候接收的数据写到文件

g*u2016-12-09 08:12

3 楼

"通过命令把client收到命令收到的数据"
这是什么鬼?

【在 l******n 的大作中提到】

: C++需要设计一个client，这个client先向server发送request，server会把一套复杂的
: data format给client，然后client让server开始发送数据，client收到数据然后开始
: 处理。
: 过程中需要对收到的数据做检验，也就是通过把client收到的数据写到文
: 件里边。这个怎么实现？现在想到的就是fork一下
: 比如我有个这样的service在run，现在我需要有功能
: service 1481306473 > data_1481306473
: 这样就把1481306473时候接收的数据写到文件

b*s2016-12-09 08:12

4 楼

我感觉这个有点象jaxb xsd的一套，xsd定义数据结构，jaxb做marshall, unmashall

c*32016-12-09 08:12

5 楼

这和http或者ftp客户端发送和接受一个文件本质是一样的，数据就是文件，是二进制
的罢了

【在 l******n 的大作中提到】

g*t2016-12-09 08:12

6 楼

收发email可以吗？把你的client server前面都加个email，就清楚了吧？
应该有现成的收发email处理的库吧

【在 l******n 的大作中提到】

g*t2016-12-09 08:12

7 楼

In many cases, I think email is THE ONLY best way for files/data auto
transfer and processing.
(1)
All company already have a solid email server system.
(2)
ftp/ http 会跟公司防火墙乱搞,corner cases 处理不完。
我们公司的http政策，多年积累下来，已经无法理清了

【在 c****3 的大作中提到】

: 这和http或者ftp客户端发送和接受一个文件本质是一样的，数据就是文件，是二进制
: 的罢了

c*32016-12-09 08:12

8 楼

现在还有SFTP，就是SSH上的文件传输协议，只要开一个端口22就够了，防火墙友好。
可以传文件和目录，不像http没法传多个文件

【在 g****t 的大作中提到】

: In many cases, I think email is THE ONLY best way for files/data auto
: transfer and processing.
: (1)
: All company already have a solid email server system.
: (2)
: ftp/ http 会跟公司防火墙乱搞,corner cases 处理不完。
: 我们公司的http政策，多年积累下来，已经无法理清了

l*n2016-12-09 08:12

9 楼

我这个client直接把data dump到kafka，本身不保存任何的数据

【在 c****3 的大作中提到】

: 这和http或者ftp客户端发送和接受一个文件本质是一样的，数据就是文件，是二进制
: 的罢了

c*32016-12-09 08:12

10 楼

脑子别那么死，临时文件删了，不就是不保存数据。
你的要求，其实和各种文件传输协议是一样的。

【在 l******n 的大作中提到】

: 我这个client直接把data dump到kafka，本身不保存任何的数据

j*g2016-12-09 08:12

11 楼

如果用C++，性能要求不高的情况下，fork + socket，定时flush一下。
我猜测你是想要先协议出数据格式，然后再存。如果数据格式不是标准的，要转换成标
准格式。
python是不是更有好些，轮子也多。

l*n2016-12-09 08:12

12 楼

嗯，是这样的
麻烦的数据格式在传输中会发生改变，所以得到的数据可能会是junk
现在想监控一下，避免这种情况发生

【在 j********g 的大作中提到】

: 如果用C++，性能要求不高的情况下，fork + socket，定时flush一下。
: 我猜测你是想要先协议出数据格式，然后再存。如果数据格式不是标准的，要转换成标
: 准格式。
: python是不是更有好些，轮子也多。

c*32016-12-09 08:12

13 楼

用加密文件传输协议，这些协议都设计有数据校验的，自己搞这些多麻烦，你得自己设
计一套迷你文件传输协议

【在 l******n 的大作中提到】

: 嗯，是这样的
: 麻烦的数据格式在传输中会发生改变，所以得到的数据可能会是junk
: 现在想监控一下，避免这种情况发生

S*s2016-12-09 08:12

14 楼

you should ask server to send AVRO if it's expected schema evolution
this doesn't look very complicated once you solve data de/serialization
typical kafka data pipeline

【在 l******n 的大作中提到】

: 嗯，是这样的
: 麻烦的数据格式在传输中会发生改变，所以得到的数据可能会是junk
: 现在想监控一下，避免这种情况发生

l*n2016-12-09 08:12

15 楼

关键是不知道什么时候数据会发生改变，难道要不停的request data format然后再
decode?这样效率很低下。否则就只有一个client专门接收data format,收到新的数据
格式，然后传给另外一个只接受数据的client使用。

【在 S***s 的大作中提到】

: you should ask server to send AVRO if it's expected schema evolution
: this doesn't look very complicated once you solve data de/serialization
: typical kafka data pipeline

l*n2016-12-09 08:12

16 楼

protocol是直接用的IEEE的定义好的，也有crc,加密现在不考虑。

【在 c****3 的大作中提到】

: 用加密文件传输协议，这些协议都设计有数据校验的，自己搞这些多麻烦，你得自己设
: 计一套迷你文件传输协议

c*32016-12-09 08:12

17 楼

你自己得说清楚，数据改变是传输引起的，还是什么其它引起的。
传输引起的，CRC如果不够，加密协议设计就是为了防止中间人改数据，有校验的，更
可靠。
你自己搞，还得远端传原始校验数据，否则你怎么知道数据改了，这就是迷你传输协议

【在 l******n 的大作中提到】

: protocol是直接用的IEEE的定义好的，也有crc,加密现在不考虑。

l*n2016-12-09 08:12

18 楼

是数据源的变动造成的

【在 c****3 的大作中提到】

: 你自己得说清楚，数据改变是传输引起的，还是什么其它引起的。
: 传输引起的，CRC如果不够，加密协议设计就是为了防止中间人改数据，有校验的，更
: 可靠。
: 你自己搞，还得远端传原始校验数据，否则你怎么知道数据改了，这就是迷你传输协议

c*32016-12-09 08:12

19 楼

这种你得自己设计校验协议，传多少数据校验一次，服务器端的校验数据怎么传，是附
在原始数据末端，还是通过另外通道。也根本不用写文件，直接在内存校验就可以。
所谓校验，也不见得是真的校验，就是检查数据类型是不是你想要的

【在 l******n 的大作中提到】

: 是数据源的变动造成的

S*s2016-12-09 08:12

20 楼

AVRO format embed schema used to generate data
so you should have no problem parsing it on receiving end

【在 l******n 的大作中提到】

: 是数据源的变动造成的

e*o2016-12-09 08:12

21 楼

server都把数据format给你了
你要做的就是很根据format 来动态改变你的parser
难点在不再传输在于你这个format 有多变态
如果太复杂你就把server给你的format 和数据保存到一起
另一个程序负责来处理数据处理完成无误删掉这样万一新format handle不了你可以
介入手动改parser.

【在 l******n 的大作中提到】

l*n2016-12-09 08:12

22 楼

数据是device上产生的，遵守定义好的protocol，没有schema

【在 S***s 的大作中提到】

: AVRO format embed schema used to generate data
: so you should have no problem parsing it on receiving end

j*g2016-12-09 08:12

23 楼

有点儿迷惑了。如果是数据采集就有错了，定义好protocol也没有用呀。CRC这些是防
止传输出错。
难道是device上的软件错误？