Praefect service took too much RSS memory

故障的背景

客户工程师发现Praefect节点内存使用率非常高。

Praefect节点安装部署了：

• Consul server
• Pgbouncer
• Patroni
• Postgresql
• Praefect

进一步排查发现是praefect进程占用内存过多，具体进程：

git       1666  0.3  0.2 1199232 38692 ?       Sl   10:02   1:28 /opt/gitlab/embedded/bin/praefect -config /var/opt/gitlab/praefect/config.toml

上述仅为示例，不代表实际占用。

故障排除的结论

初步怀疑是代码Bug导致的内存泄露，需要分析一下具体原因。

changed the description

By Alex Ju on 2021-08-05T08:14:17 (imported from GitLab)

changed the description

By Alex Ju on 2021-08-05T08:14:38 (imported from GitLab)

在阿里云搭建的基于客户架构的高可用集群中进行测试，利用GPT增加读写负载，配合监控，暂时没复现出Praefect内存占用过高的问题。

节点内存：

Praefect常驻内存：

By Alex Ju on 2021-08-05T08:36:57 (imported from GitLab)

相关issue：https://gitlab.com/gitlab-org/gitaly/-/issues/3541

By Alex Ju on 2021-08-05T08:15:07 (imported from GitLab)

基本确定是Praefect的代码Bug导致内存泄露，至少有2处代码。13.11.0已修复Praefect内存泄露问题。

• 内存泄露：https://gitlab.com/gitlab-org/gitaly/-/issues/3541#note_551330981
• 修复说明：https://gitlab.com/gitlab-org/gitaly/-/issues/3541#note_552610595
• 修复MR： https://gitlab.com/gitlab-org/gitaly/-/merge_requests/3371

By Alex Ju on 2021-08-05T08:15:21 (imported from GitLab)

另外当发生内存泄露时，可以使用Go自带的pprof进行数据抓取分析。在客户下次发生内存泄漏时，可以抓取数据分析一下，Double-check是否是上述Bug导致。 gitlab-profiling.pdf

By Alex Ju on 2021-08-05T08:23:51 (imported from GitLab)

changed the description

By Alex Ju on 2021-08-05T08:16:28 (imported from GitLab)

made the issue visible to everyone

By Alex Ju on 2021-08-05T08:16:36 (imported from GitLab)

@alexju88 所以客户升级新版本就可以了是吧？

By Qian Zhang on 2021-08-05T08:35:52 (imported from GitLab)

是的，升级到13.11.x之后的版本。客户因为自身原因，暂时还不能升级。

By Alex Ju on 2021-08-05T08:35:52 (imported from GitLab)

@alexju88 那可以close掉这个issue了吗？在这个项目中创建的issue原则上是需要研发团队进行跟进修复的，貌似现在研发这边不需要做什么了吧？

By Qian Zhang on 2021-08-05T09:42:54 (imported from GitLab)

@qianzhangxa 是的，Issue已关闭。

By Alex Ju on 2021-08-05T10:47:31 (imported from GitLab)

mentioned in issue #4757