journald がログエラーで無限ループになってサーバーが応答なしになった。journald の上限を決める

サーバーの容量不足で無限ループになった

知らない間に、サーバーにDockerのキャッシュを溜めすぎて、残容量が底をついた。

気づかずに発生した

journald が無限ループ

journld は閾値をもっていて、一定量以上のログを書き込みしないはずだが、容量不足なってエラーになり、エラーログを書き込もうとしてまたエラー、そのエラーを書き込もうとして更にエラーになった

journald の設定を明示的に書いておくことにした。

自動設定ではjournald は無限ループになってしまうことがわかったので。 /etc/systemd/journald.conf に設定を明示することにした。

/etc/systemd/journald.conf

[Journal]
SyncIntervalSec=10m
RuntimeMaxUse=5G
RuntimeKeepFree=10G

こちら(https://isleofhoso.com/journald-conf/)を参考にいくつか設定を書いた。

設定を反映

sudo systemctl restart systemd-journald

docker を整理

sudo docker image prune -a 
sudo docker volume prune -a 
sudo docker container  prune

image がいい感じに消えてくれないので 明示的に消した。

docker 怖いよ。。。

2022-06-20 追記

また、エラーになった。SSDがぶっ壊れか、XFSがエラーになったかどちらかだと思う。

XFSをリペアして様子見する。