Conversation

Notices

1. のえる (noellabo@fedibird.com)'s status on Tuesday, 11-Jan-2022 00:56:39 JST のえる

   #fedimovie ちと障害で止まってます。ご不便おかけします。

   この期にざっくりメンテも入れますので、今夜は停止してるぐらいのつもりでよろしくお願いします。

   • のえる (noellabo@fedibird.com)'s status on Tuesday, 11-Jan-2022 03:48:05 JST のえる

     in reply to

     #fedimovie まず、障害発生は0:33頃。恐らくこの時点でIPv4接続ができなくなったものと思われます。

     サーバはVultrの東京ですが、他のVPSには影響がでなかったため、FediMovieの機材にのみ影響があったものと思われます。Vultr内のことか、上流が絡む話なのかはよく分かりません。

     その後、添付画像のように、1:32に復旧したとの連絡が入りました。

     しかし、v6では接続できるのですが、v4で依然接続できません。障害の影響でなんらかの不具合が継続しているのではないかと思います。こちらはチケットを切って問い合わせ中です。

     サーバ内のメンテですが、セキュリティアップデートの適用を行った他、ネットワーク設定の見直し（v4でもv6でも支障がないように）などを行って、ひとまず保留です。

     ま、そのうちなおると思うので、少々お待ちくださいませ。（転記ミスがあったので再投稿）

   • のえる (noellabo@fedibird.com)'s status on Tuesday, 11-Jan-2022 05:38:09 JST のえる

     in reply to

     #fedimovie 経路を変えて、FediMovieへの接続を復帰しました（たぶん）。

   • のえる (noellabo@fedibird.com)'s status on Tuesday, 11-Jan-2022 08:27:59 JST のえる

     in reply to

     #fedimovie 現在、本体サーバには接続できるのですが、メディア再生ができない問題が発生しています。

     恐らく回避用に設定したHAProxyの設定不備だと思いますので、調べて対処します。

     障害の発生経緯については、この投稿のスレッドを遡って参照してください。

   • のえる (noellabo@fedibird.com)'s status on Tuesday, 11-Jan-2022 08:37:02 JST のえる

     in reply to

     #fedimovie これでとりあえずなおったかな。

     IPv4接続できない問題が解決していないので、恐らく投稿のアップロードで最後にオブジェクトストレージに転送するところでひっかかります。これもこのあと対処しますねー。

   • のえる (noellabo@fedibird.com)'s status on Tuesday, 11-Jan-2022 10:48:00 JST のえる

     in reply to

     #fedimovie オブジェクトストレージへのAPIコールにプロキシが効かず面倒なことに。機能追加しないとダメじゃ。

     Vultrなおしておくれー。ダメなら鯖引っ越すw

     xanac repeated this.
   • のえる (noellabo@fedibird.com)'s status on Tuesday, 11-Jan-2022 22:37:24 JST のえる

     in reply to

     #fedimovie 障害の件、復旧しました。通常通りアップロード等できるようになっている……と思いますので、よろしくお願いします。

     Vultrの収容サーバでIPv4が不通なのは実はなおっていない（！）んですが、外部にゲートウェイサーバを用意して、そちらのリバースプロキシとフォワードプロキシを通すようにし、またPeerTube本体のプロキシ対応できていないオブジェクトストレージ部分にコードを追加して対応させ、やや強引ですが、正常稼働可能にしました。

     閲覧可能にするまでは一晩で済みましたが、投稿可能にするのに22時間近くかかっちゃいましたね……。

     ご不便おかけしました。

   • のえる (noellabo@fedibird.com)'s status on Wednesday, 12-Jan-2022 08:04:56 JST のえる

     in reply to

     #fedimovie 今回発生していたFediMovieの障害の件、全面的に解決しました。

     2022年1月11日 0:33〜2022年1月12日 2:55まで、Vultr東京リージョン（おそらくベアメタルサーバの一部）のIPv4接続ができない障害が発生しました。

     添付画像は、本件に関するVultrのメンテナンス告知の通知です。

     FediMovieでは、IPv6での疎通には問題がないことを確認できたため、別のプロキシサーバを経由するルートにより11日朝に動画の閲覧まで仮復旧、夜にアップロードの最終処理であるオブジェクトストレージへのデータ転送を回復させる措置を行いました。

     ----

     なおこの間に、PeerTubeのdevelopブランチへの追従と、オブジェクトストレージへのAPIアクセスのプロキシサーバ対応をコードに反映しました。

     細かな修正の反映などありますが、一番はUIの日本語化が進んだところが一番に目に付くかと思います。