求救网络大牛们，如何处理tcp短连接 - 未名空间MITBBS历史存档

求救网络大牛们，如何处理tcp短连接# Programming - 葵花宝典

s*l2016-03-14 07:03

1 楼

有一个TCP server比较old school，收一个request，计算返回然后close tcp
connection。
现在要做benchmark，客户端开10个线程，发1百万个请求来测试Req/Sec。
大概70万就connection timeout了，server side一大堆的TIME_WAIT的connection。
奇怪的是每次connect timeout客户端ssh竟然断掉了。
benchmark只是拿2个VM来做，所以实际上还有空间。
同样的实验，用udp可以完成。

w*g2016-03-14 07:03

2 楼

应该是file descriptor用完了。这个TIME_WAIT是一个经典问题，我经常碰到，
但是我也不知道正确的解决办法是什么，同问一下。
seastar+DPDK似乎没这个问题。1GB网卡背对背连能做到500K req/s。

【在 s****l 的大作中提到】

: 有一个TCP server比较old school，收一个request，计算返回然后close tcp
: connection。
: 现在要做benchmark，客户端开10个线程，发1百万个请求来测试Req/Sec。
: 大概70万就connection timeout了，server side一大堆的TIME_WAIT的connection。
: 奇怪的是每次connect timeout客户端ssh竟然断掉了。
: benchmark只是拿2个VM来做，所以实际上还有空间。
: 同样的实验，用udp可以完成。

n*t2016-03-14 07:03

3 楼

http://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux
参考一下。另外，谁先 close？

【在 s****l 的大作中提到】

: 有一个TCP server比较old school，收一个request，计算返回然后close tcp
: connection。
: 现在要做benchmark，客户端开10个线程，发1百万个请求来测试Req/Sec。
: 大概70万就connection timeout了，server side一大堆的TIME_WAIT的connection。
: 奇怪的是每次connect timeout客户端ssh竟然断掉了。
: benchmark只是拿2个VM来做，所以实际上还有空间。
: 同样的实验，用udp可以完成。

z*02016-03-14 07:03

4 楼

Linux不大清楚，记得Windows里面TCP连接关掉后系统不是马上回收，如果短时间内有
很多连接就不行了。可以用连接池吧？

【在 s****l 的大作中提到】

: 有一个TCP server比较old school，收一个request，计算返回然后close tcp
: connection。
: 现在要做benchmark，客户端开10个线程，发1百万个请求来测试Req/Sec。
: 大概70万就connection timeout了，server side一大堆的TIME_WAIT的connection。
: 奇怪的是每次connect timeout客户端ssh竟然断掉了。
: benchmark只是拿2个VM来做，所以实际上还有空间。
: 同样的实验，用udp可以完成。

a92016-03-14 07:03

5 楼

问魏老师

【在 s****l 的大作中提到】

: 有一个TCP server比较old school，收一个request，计算返回然后close tcp
: connection。
: 现在要做benchmark，客户端开10个线程，发1百万个请求来测试Req/Sec。
: 大概70万就connection timeout了，server side一大堆的TIME_WAIT的connection。
: 奇怪的是每次connect timeout客户端ssh竟然断掉了。
: benchmark只是拿2个VM来做，所以实际上还有空间。
: 同样的实验，用udp可以完成。

w*m2016-03-14 07:03

6 楼

无解。
你这是DDoS。内存耗尽了。
解决了估计能得图灵奖。
据说windows server这种情况挺的更久一点。

s*l2016-03-14 07:03

7 楼

请问为什么是内存耗尽了

【在 w********m 的大作中提到】

: 无解。
: 你这是DDoS。内存耗尽了。
: 解决了估计能得图灵奖。
: 据说windows server这种情况挺的更久一点。

p*o2016-03-14 07:03

8 楼

我觉得你说的对。我ubuntu 默认的file descriptor 上限是 780013, 跟楼主说的70万
的时候timeout 很接近。cat /proc/sys/fs/file-max
"The operating system uses file descriptors to handle file-system files as
well as pseudo files, such as connections and listener sockets." oracle doc
里的。

【在 w***g 的大作中提到】

: 应该是file descriptor用完了。这个TIME_WAIT是一个经典问题，我经常碰到，
: 但是我也不知道正确的解决办法是什么，同问一下。
: seastar+DPDK似乎没这个问题。1GB网卡背对背连能做到500K req/s。

c*e2016-03-14 07:03

9 楼

tcp server有很多种啊，multi process, multi-threading, async
你用的哪种？

【在 s****l 的大作中提到】

: 有一个TCP server比较old school，收一个request，计算返回然后close tcp
: connection。
: 现在要做benchmark，客户端开10个线程，发1百万个请求来测试Req/Sec。
: 大概70万就connection timeout了，server side一大堆的TIME_WAIT的connection。
: 奇怪的是每次connect timeout客户端ssh竟然断掉了。
: benchmark只是拿2个VM来做，所以实际上还有空间。
: 同样的实验，用udp可以完成。

H*S2016-03-14 07:03

10 楼

用tcp port multiplexer复用端口

【在 s****l 的大作中提到】

: 有一个TCP server比较old school，收一个request，计算返回然后close tcp
: connection。
: 现在要做benchmark，客户端开10个线程，发1百万个请求来测试Req/Sec。
: 大概70万就connection timeout了，server side一大堆的TIME_WAIT的connection。
: 奇怪的是每次connect timeout客户端ssh竟然断掉了。
: benchmark只是拿2个VM来做，所以实际上还有空间。
: 同样的实验，用udp可以完成。

s*e2016-03-14 07:03

11 楼

did you try 'persistent connection' ?

【在 s****l 的大作中提到】

: 有一个TCP server比较old school，收一个request，计算返回然后close tcp
: connection。
: 现在要做benchmark，客户端开10个线程，发1百万个请求来测试Req/Sec。
: 大概70万就connection timeout了，server side一大堆的TIME_WAIT的connection。
: 奇怪的是每次connect timeout客户端ssh竟然断掉了。
: benchmark只是拿2个VM来做，所以实际上还有空间。
: 同样的实验，用udp可以完成。

l*p2016-03-14 07:03

12 楼

server, 否则不会pile up TIME_WAIT
TIME_WAIT is status of actively close end

【在 n*****t 的大作中提到】

: http://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux
: 参考一下。另外，谁先 close？

l*p2016-03-14 07:03

13 楼

google SO_REUSEADDR option 允许进入time_WAIT端口重用
要么你直接更暴力一点， RST connection rather than decently close connection(
FIN): S_LINGER = 0

【在 w***g 的大作中提到】

: 应该是file descriptor用完了。这个TIME_WAIT是一个经典问题，我经常碰到，
: 但是我也不知道正确的解决办法是什么，同问一下。
: seastar+DPDK似乎没这个问题。1GB网卡背对背连能做到500K req/s。