Linux 下的资源限制

公众号新闻

2023-04-17 02:04

转自：入门小站

前言

在我们写程序的时候往往都没有注意到一些系统资源的临界值，然而这些临界值在有的时候会把我们害的很惨，比如一个忘掉关闭的文件描述符，比如 malloc 竟然会返回错误，又或者是爆栈，我们该如何解决或者说预防这些问题呢？

以下实验仅在本机的系统环境下生效：

用户层面资源限制

ulimit 命令可以查看用户层面的系统资源限制。

这是在 /etc/security/limits.conf 的描述:

该文件为通过 PAM 登录的用户设置资源限制。

它不会影响系统服务的资源限制。

还要注意 /etc/security/limits.d 目录中的配置文件，以字母顺序阅读的内容，请覆盖此设置域相同或更具体的情况下使用文件。

例如，这意味着在此处设置通配符域的限制可以使用配置文件中的通配符设置覆盖子目录，但此处的用户特定设置只能被覆盖在子目录中具有特定于用户的设置。

所以 ulimit 的确是观察用户层面的资源限制。

我们可以通过 ulimit -a 查看我们所有的资源上限：

只说其中我们比较关注的那些：

-s 栈大小: 8MB
-u 进程上限: 30000 多
-n 文件描述符上限: 1024

同时你可以用 ulimit -Ha 或 ulimit -Sa 查看硬限制和软限制，硬限制是指对资源节点和数据块的绝对限制，由 root 用户设置硬限制。虽然其他用户可以降低硬限制，但只有 root 用户可以增加硬限制。至于软限制，网上资料也没有说什么，大概就是非 root 用户不能超过软限制，但是非 root 用户可以做的是将其软限制增加到其硬限制。

我们的服务器程序可能有打开超过 1024 个文件描述符，有没有办法修改这些资源的上限呢？

E.g. ulimit -n 1024 可以修改系统对文件描述符的限制，不过是临时当前的 shell 生效的, 如果你使用 which ulimit 你会发现 ulimit 是一个 shell built-in command 的脚本。

我们应该修改 /etc/security/limits.conf 去让我们的修改永久生效。(需要重新启动, 可能有直接加载配置的方法，暂时不知道)

实验 1. 修改文件描述符上限

在 / etc/security/limits.conf 中添加以下片段：

重启后，然后查看一下资源是否真的被修改了:

说明修改成功。那么现在我们测试下我们的程序能否打开这么多个文件描述符？做个小测试，下面就是打开 10240 个临时文件，这里我们期待错误 EFILE：

接着我们看一下结果：

在修改之前是 ulimit 的默认值是 1024, 然后测试出的最大打开文件描述符的数量是 1001, 现在是修改为 10240 后可以打开 10217 个文件描述符，实验成功。然后我们能打开的总数为什么不是刚好 10240 呢？这个问题是因为程序自身打开了一些文件或是加载了一些动态库, stdin/stdout/stderr, 以及 /etc/ld.so.cache，/usr/lib/libm.so.6，/usr/lib/libstdc++.so.6...