12/06の早朝から8:40頃まで、学内から、学内のサイトおよび学外のサイトが閲覧できない状態でした。現在は対応を実施し、復旧しております。
【原因】
- DNSコンテンツサーバーの定期自動アップデートによるデフォルト設定変更の影響により、DNSサービスが起動できず、停止していた。
- 自動アップデートはサーバー毎に日時をずらして実施しているが、ネットワーク監視システムの設定不足により各サーバーのDNSサービス停止が通知されず※、停止していることに気づけなかった。
※ サーバー自体が停止(シャットダウンやハングアップ)した場合のみ通知が行われる設定でした。 - 全てのDNSコンテンツサーバーで自動アップデートがそのまま実施されたため、最終的に全てのDNSサービスが停止した。
- そのため、学内サーバーやプロキシサーバーのIPアドレスが引けない状態となり、サイトが閲覧できなくなっていた。
【一時対応】
- 停止していた原因を一時的に回避し、サービスを起動した。
【最終対応】
- DNSサーバーに対しての設定を見直し、起動可能になるように設定変更を実施した。サーバー再起動後も正常にDNSサービスが起動することを確認した。
- ネットワーク監視システムの設定を見直し、サーバー毎にサービス単位で停止した場合も管理者へ通知が行われるように設定した。
ご迷惑をおかけし、申し訳ありませんでした。他サービスも含めて監視の強化を行いましたので、今後はこのようなことがないようにいたします。
- 参照(42)