2018年1月2日、5日、7日、9〜12日、14〜15日において不定期でストレージのアクセス時にエラーが発生しておりました。
ご利用中のお客様にはご不便、ご迷惑をおかけし大変申し訳ございませんでした。
また原因、影響などの調査に時間がかかり事後報告となってしまったことも併せてお詫び申し上げます。
＊障害はShopらんのみで、店舗maticでは発生しておりません。
現象
本サービスの添付ファイルが表示されないもしくは表示に時間がかかることがあった可能性がございます。また、業務アプリの閲覧時あるいはお知らせのコピー時、メンテナンス時にシステムエラー画面が表示されるといったことが発生していた可能性がございます。
発生日時
- 2018年1月2日（火）11:00-11:27（JST）
- 2018年1月5日（金）18:02-18:07（JST）
- 2018年1月7日（日）12:25-12:55（JST）
- 2018年1月9日（火）13:37-14:58（JST）18:15-18:44（JST）
- 2018年1月10日（水）11:08-11:26（JST）16:46-17:22（JST）20:16-21:02（JST）
- 2018年1月11日（木）14:04-15:05（JST）
- 2018年1月12日（金）17:17-19:18（JST）
- 2018年1月14日（日）21:21-22:36（JST）
- 2018年1月15日（月）11:20-12:10（JST）18:24-18:53（JST）
原因
上記発生時間に添付ファイルデータを格納するストレージアクセス負荷が高騰しストレージからのデータ取得処理に遅延が発生いたしました。通常はアクセスが集中した場合には一時的に負荷が高騰した後、直後に平常化に戻るのですが、上記の時間帯においてはストレージからのデータの取得処理の遅延が続きタイムアウトエラーとなりデータの再取得処理が大量に発生いたしました。
そのためストレージのアクセス負荷がさらに高騰する状況に至り添付ファイルのデータが読み込めない状態が連続的に発生いたしました。
対策
対策①
問題発生時にストレージへのアクセスが上限に達してしまったサーバーを環境から切り離し再起動作業を実施し、ストレージへのアクセスが可能な状態に復旧いたしました。
対策②
本サービスからのストレージへのアクセス処理を見直しし、データ取得処理が遅延しないようプログラムを修正いたしました。
この度はご迷惑をおかけし大変申し訳ございませんでした。