Conversation

Notices

1. sublimer@鯖缶 (sublimer@mstdn.sublimer.me)'s status on Thursday, 03-Sep-2020 21:28:12 JST sublimer@鯖缶

   ・1日のうち，どこかのタイミングでバッチ処理が走る・バッチ処理が走っている間はCPUのiowaitがほぼ100%に張り付く・これは障害ではないので，アラートは投げたくない・バッチ処理に起因するCPU100%以外は障害なのでアラートを投げたい

   これの解決策が思いつかない

   • sublimer@鯖缶 (sublimer@mstdn.sublimer.me)'s status on Thursday, 03-Sep-2020 21:34:14 JST sublimer@鯖缶

     in reply to

     あ，Prometheus使ってます

   • りんわしゅう (rinwasyu@mstdn.sublimer.me)'s status on Thursday, 03-Sep-2020 22:15:38 JST りんわしゅう

     in reply to

     @sublimer バッチ処理のCPU使用率を下げるのがいいのではないかなと思いました！環境はGNU/Linuxですよね？Linuxのcgroupsって機能を使えば、CPU使用率などを制限できるようです。（使ったことはありません・・・）

   • sublimer@鯖缶 (sublimer@mstdn.sublimer.me)'s status on Thursday, 03-Sep-2020 22:18:12 JST sublimer@鯖缶

     in reply to

     • りんわしゅう

     @Rinwasyu 前にcpulimitってやつ使ってみたけど下がらなかったんですよね…たぶん，iowaitは制限してくれないっぽいiowait下げるにはディスクアクセスの頻度を下げればいいんだろうけど，OS側でコントロールできるのかな…

   • りんわしゅう (rinwasyu@mstdn.sublimer.me)'s status on Thursday, 03-Sep-2020 22:20:54 JST りんわしゅう

     in reply to

     @sublimer なるほど・・・難しそう、

   • sublimer@鯖缶 (sublimer@mstdn.sublimer.me)'s status on Thursday, 03-Sep-2020 22:25:23 JST sublimer@鯖缶

     in reply to

     • りんわしゅう

     @Rinwasyu ストレージがHDDなので，どう頑張ってもiowait減らすのは厳しそう…とはいえ，CPU使用率に制限かければ，それに引きずられてディスクアクセスも減るってのは期待できるかもですね

   • りんわしゅう (rinwasyu@mstdn.sublimer.me)'s status on Thursday, 03-Sep-2020 22:29:23 JST りんわしゅう

     in reply to

     @sublimer cgroupsはディスクI/Oスループットも制限できるっぽいですね（それでiowaitが減るのかな？・・・ぼくはLinuxよくわかってません）

   • sublimer@鯖缶 (sublimer@mstdn.sublimer.me)'s status on Thursday, 03-Sep-2020 22:30:43 JST sublimer@鯖缶

     in reply to

     • りんわしゅう

     @Rinwasyu 恐らくプロセス単位での制限だと思うので，スループット絞れば全体としてのiowaitは下がりそうですね(私もLinux何も分からん…)