Conversation

defaultキューの大幅な処理遅延が発生していることを検知したため確認したところ，昨日よりWeb::PushNotificationWorkerのTCPタイムアウトが多発していました。失敗したPushNotificationWorkerに渡っている引数をいくつかサンプル調査したところ，すべてtootleっぽいURLに対するWebPushであることが分かりました。そのため，tootleのpushサーバが落ちていることが原因と判断し， /etc/hosts で無理矢理遮断しました。
青いグラフ（右軸）がdefaultキューのレイテンシで，最大60秒近くTLが遅延していたことが想定されます。
https://github.com/tootsuite/mastodon/blob/master/app/services/notify_service.rb