投稿

8月, 2019の投稿を表示しています

8/23〜24に発生したサービス停止についてのご報告

いつもFeedeenのご利用ありがとうございます。運営者の伊藤です。 8/23の昼頃から8/24早朝まで、Feedeenのすべてのサービスが停止する障害が発生しました。長時間にわたるサービス停止で多くの方々にご不便をおかけしてしまい、大変申し訳ございません。また、障害発生中、サービスが停止しているにも関わらずSNS等で励ましのメッセージなどたくさんいただきました。この場にて改めて御礼申し上げます。ありがとうございます。 以下、今回の障害についてご報告させていただきます。 障害の影響 まずはユーザーの皆様にとって最も重要であろう、障害の影響についてです。サービスの停止は23日の13時頃(推定)から24日の5時頃まで、およそ16時間にわたりました。フィードの取得も停止しましたので、障害発生中のフィードの更新を取りこぼしている可能性があります。重要な情報については、配信元のWebサイトを直接ご確認いただくことをお勧めいたします。 なお、Feedeenに保存されているデータに関しては障害発生時点のものが復旧できましたので、データの欠損等はございません。 障害の経過 障害の発生は、推定ですが23日の13時頃からと考えております。データベースを含む一部サーバーが通信不能となり、サービスが事実上停止しました。運営者が障害を認識したのは13:30頃で、状況の確認やAWS障害の情報収集等を行い、即時の回復が難しいと判断、14:30頃にサービスをメンテナンス表示に切り替えました。 この時点でのAWSの障害情報では通信障害とのことだったため、サーバー自体は生きていると判断し、AWS側の障害が回復するのを待つことにしました。しかし、実際にはこの判断が誤りであり、20時頃にAWSが障害回復をアナウンスした後も、Feedeenのサーバーが復帰することはありませんでした。 21時頃、障害が発生したサーバーの回復は望み薄であると判断し、代替サーバーを構築する準備をはじめました。しかし、次期バージョンの開発が進んでいたためデプロイ環境を整えるのに手間取り、実際に再構築を始めたのは23時頃となりました。日付が変わって3時頃に構築が終了、旧サーバーとの差し替え作業や動作確認等を行い、5時頃にサービスを復帰させました。以上が今回の障害の経緯となります。 障害の原因