Conversation

Notices

1. Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Thursday, 08-Nov-2018 20:29:15 JST Lucida@ちり紙

   pullキューがなかなか処理できないのでsidekiqの調整をしました。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Thursday, 08-Nov-2018 20:31:21 JST Lucida@ちり紙

     in reply to

     うんこっちのが捌けやすいみたい（沸いてくるけど https://mstdn.lucida-memo.info/media/F77WIc-c0xmrCUtutPk

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Thursday, 08-Nov-2018 20:33:16 JST Lucida@ちり紙

     in reply to

     大きい声じゃ言えないけど、DB Pool=20なのにdefault、push、pull、mailersともに1ずつにしてたという...

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Thursday, 08-Nov-2018 20:38:44 JST Lucida@ちり紙

     in reply to

     sidekiq祭りついつい参加しちゃう。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Thursday, 08-Nov-2018 20:44:27 JST Lucida@ちり紙

     in reply to

     ワーカ1に対してメモリいくつ食うのかとかそのへん測定したほうがいいんだろうけどねー。ほんとは。シングルコアの環境を参考にしてるので、結構苦しいところがあったりする。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Thursday, 08-Nov-2018 20:50:17 JST Lucida@ちり紙

     in reply to

     なんかあれか。
     ワーカ数を減らすことでメモリ使用量は減らせるけど、メモリを運用する効率は落ちるでと言いたかったんだと気づいた。うんそうか。
     自己完結なので空リプになっちゃうけど。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Thursday, 08-Nov-2018 21:28:52 JST Lucida@ちり紙

     in reply to

     軽く死にそうなんだけどね。（ﾁｮﾏﾃﾖｰ https://mstdn.lucida-memo.info/media/Cu6KNFRrubRj7NU9PiA

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Thursday, 08-Nov-2018 21:57:56 JST Lucida@ちり紙

     in reply to

     不安なのでDBプールを1.5倍くらい増やしました。これでどかなー。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 16:37:23 JST Lucida@ちり紙

     in reply to

     結構悩んでる。
     セッションというかログオフが切れたり、streamが止まったりするのって再試行キューが蓄積し出すときになりやすい傾向がある。
     もしかしたらチューニングがおかしいところがまだあったりするのかもね。前はこんなことなかったし...

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 16:37:54 JST Lucida@ちり紙

     in reply to

     なので夜まで何回かリブートしたりすると思います。長く止めるときは連絡します。
     すいません? ←この顔で

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 16:39:06 JST Lucida@ちり紙

     in reply to

     ぶっちゃけ、同じ設定を使ってる（と思われる）いくつかのインスタンスさんが気になる。同じ目にあってたりしないのかな..

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 16:52:59 JST Lucida@ちり紙

     in reply to

     ?

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 17:09:43 JST Lucida@ちり紙

     in reply to

     jemallocを自前makeしたのでサービス再設定。確か前やってた時も2だった記憶。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 17:11:19 JST Lucida@ちり紙

     in reply to

     jemallocのmake、前はわからん！で済ましてたけど、結果"できた"ってことで。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 17:40:11 JST Lucida@ちり紙

     in reply to

     nginxのworker_rlimit_nofile、worker_connectionsというよくわからん値をチューニングしてみました。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 17:47:25 JST Lucida@ちり紙

     in reply to

     今の状態で1時間くらい監視してみます。 https://mstdn.lucida-memo.info/media/OUvG166hk6SkDaLhT_E

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 18:35:23 JST Lucida@ちり紙

     in reply to

     3プロセスだとメモリがひっ迫するので、2プロセスに変更した。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 18:49:44 JST Lucida@ちり紙

     in reply to

     2プロセス10スレッドを、1プロセス20スレッドにしてみた。パフォーマンスは落ちるのかなぁ、メモリは結構余るようになった。てかまた青表示になった...謎。
     #lucida_adm https://mstdn.lucida-memo.info/media/7QF4Q_nmE6aWpwufyVs

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 21:26:08 JST Lucida@ちり紙

     in reply to

     セッション切れもないのでいちおチューニング決まった感じ。1プロセス20スレッド。うちの環境だと1プロセスにすると安定するのかな、と。（しらんけど）
     #lucida_adm https://mstdn.lucida-memo.info/media/E1pY_nTVAO22wGvQvCU

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 21:29:43 JST Lucida@ちり紙

     in reply to

     複数プロセスにすると、プロセス同士でスレッドがぶつかるとかで例外になってセッション断が発生するとか勝手に予想してる。ログ見方わかんないのでわからんけど。
     今までコケてたのが複数プロセスだったねー。前は1プロセスだった。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Friday, 09-Nov-2018 21:31:07 JST Lucida@ちり紙

     in reply to

     複数プロセスにするときはdocker化しないといけない、とかあるのかな。仕様詳しく見てないのでなんともだけど。とりあえずうちは1プロセスでいいかな。（このまま変な感じにならなければ）

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Saturday, 10-Nov-2018 02:18:13 JST Lucida@ちり紙

     in reply to

     やっぱセッションぶち切れるのなぁ。
     サーバのせいなのか、クライアントのせいなのかがよくわかんないけど、一瞬sidekiqコンソールでスレッドが16個立ってたのが見えた。のでサーバサイドなのかなぁ。よくわからーん。

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Saturday, 10-Nov-2018 02:21:16 JST Lucida@ちり紙

     in reply to

     ・スマホのsafariからアクセス→PCのvivaldyのkurotodonを起動する
     ・sidekiqのキューかスレッドがたくさん蓄積する
     ・ウィルス対策ソフトが動いた
     ・宇宙線のせい（謎）
     #るしメモ

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Saturday, 10-Nov-2018 02:26:35 JST Lucida@ちり紙

     in reply to

     ファボられるときに複数のスレッドがpushキューを実行するらしい。そのタイミングでログインセッションが切れたり、streamが切れたりする。とりあえずここまで分かった。
     サーバっぽいなぁ。
     #るしメモ

   • Lucida@ちり紙 (lucida3rd@mstdn.lucida-memo.info)'s status on Saturday, 10-Nov-2018 02:36:04 JST Lucida@ちり紙

     in reply to

     寝る前にもう一回アクセスしたらこうなった。ひょっとして一回サービス落ちてないかな。とか思ったり。mastodonサービスってリスタートかける設定になってると思う。
     メモリがあかんかな。
     #るしメモ https://mstdn.lucida-memo.info/media/9w8VbAIzGaZAiGALDJg https://mstdn.lucida-memo.info/media/-Gt8fHLn5WXnT2W1WCs