10年前の障害が残してくれたもの

忘れられない光景がある。

ケーブルを抜いてもう一台の機器に差しなおす。
本来ならそれで動くはずだった。だが、動かない。

あっという間に全身から汗が噴き出す。

目の前で作業しているベンダーさんは顔面蒼白になっている。
おそらく自分も同じ顔をしているだろう。

東京の本部の部隊と電話でつなぎながらの作業だったが、電話越しが一気に騒がしくなった。

僕は手順書を見直した。
作業の順番はあっているのか？
とばしている手順はないか？
ケーブルを誤ったところに差していないか？

手順は全部あっていた。

目の前で僕と同じく慌てふためいているベンダーさんと一緒に原因を探るが全くわからない。
時間だけが無慈悲に過ぎていく。

やがて電話越しが怒号に変わった。

普段は温厚のマネージャーのパンダさん（仮名）もこのときはさすがに焦っていた。

——もう10年ほど前の話だ。

当時、僕は大手通信会社に属していて、社外向けのWebシステムのプロジェクトリーダーを担当していた。
社外向けにキャンペーンサイトや自社のサイトなど様々なサイトを200ほど公開しており、利用者は一日に数百万ユーザを超える大規模なシステムだ。

その日は、ネットワーク機器のソフトウェアのバージョンアップの作業をしていた。

僕はベンダーさん2名と現地のデータセンターに入り、順調に作業を進めていた。

今でこそクラウド全盛期のため、ITプロジェクトにおける現地作業というのは減ってはいるが、当時の僕の10年のキャリアの中ではもう数えきれないほど経験していることだった。

データセンターの中では、何百台と立ち並ぶサーバーとネットワーク機器が「ウィーン、ウィーン」と低い駆動音を鳴らし続けている。

少し声を張らないと、会話も難しい。

これまで何度かプロジェクトで一緒だった顔なじみのベンダーさんと軽い雑談を交わす。

ネットワーク機器を操作するためのコンソール端末を立ち上げて、ログインする。

ログイン後の実際の作業はベンダーさん2名体制で行い、僕は作業を統制する立場だ。

手元にある紙の作業手順書をざっと読みなおして、手順の最終チェックを行う。

いつも通りの淡々とした号令で作業を開始した。

リスクが大きくないといえど、本番の装置に設定変更を加えるということは毎回緊張する。

ひとつのミスが何百万人に影響を与えることになるし、事前の検証では見つからなかった事象が発生する可能性もあるからだ。

手順書に記載の作業をベンダーのAさんが読み上げて、もう一人のBさんが1つ1つ作業を進めていく。

作業は順調に進んでいた。

そして冒頭に記載した、ケーブルを抜いてもう一台の機器に差しなおすという作業を行った瞬間に、なぜかサービスが全断した。

手順間違いがなかったか、あわてながらAさん、Bさんと確認したが手順は間違っていない。

——事前検証では見つからなかった事象が起きている？？

その可能性は十分に考えられた。

なぜなら事前検証を実施した環境は、本番環境とは少し異なるからだ。

費用を安く抑えるために一部の装置を2台構成（冗長構成）ではなく、1台構成にしていた。

その関連で先ほど実施したケーブルを抜いて差すという作業は事前の検証環境では確認できていなかった。

僕は一言Bさんに伝えると、Bさんは頷き、作業に取り掛かった。
事象が発生してから20分が経過していた。

手順書に記載の切り戻しのページを見ながら、3人で手順間違いがないことを確認して、1つ1つ作業を進めていく。

この間もサービスは全断したままだ。
外の世界では何十万人もの人がサイトにつながらないという事象に遭遇しているだろう。

急ぎたい気持ちと絶対に手順ミスだけはしてはいけないという気持ちがいったりきたりして、汗が手順書に滴り落ちる。

無事に作業を終えて、切り戻しをしたことを電話越しに伝えた。

しかし、電話越しに返ってきた言葉は思いもよらないものだった。

——えっ。

一瞬、意味が理解できなかった。

聞き間違いかと思ったが、こちらの画面でも復旧できていないことを確認した。

——どういうこと・・・？

さらに心拍数が上がる。顔だけじゃなく全身から汗が噴き出す。

目の前のAさんも画面を操作しながら何が原因なのか必死に探している。

ケーブルは元の状態に戻っている、つまり物理的な構成としては正しい状態だ。

バージョンアップした装置も元のバージョンに戻している。

つまり作業前の状態に戻しているがサービスが復旧しないのだ。

頭から湯気が出るくらい脳内がフル回転していた。

もう何十回も見ている手順書に答えはなかった。

考えろ！！考えろ！！どうする！！？

心の叫び声は僕を焦らせるだけだった。

慌てている僕にBさんが声をかけた。

切り戻しをした装置とつながっている機器が正しく装置を認識できていない可能性があるとのことだった。

——なるほど。たしかにその可能性はある。再起動はこの状況でできることの一つだ。

正直、少し迷った。

再起動をすることで事象がさらに複雑化する可能性もゼロではないからだ。

でも、このまま待っていても事態が好転することはない。

僕はパンダさんに電話した。

理由も伝えてパンダさんの了承を得た。

電話を切るとすぐにBさんに再起動を依頼した。

数分後、再起動が完了した装置にログインしたBさんが遠慮がちに言った。

それと同時に電話をつないでいるパンダさんが言った。

パンダさんの後ろが騒がしい。
数十人が喜びの声を上げているだろう。

電話を切って自分の手元の端末からもサイトに接続できることを確認した。

継続して原因解析をしているAさん、Bさんに声をかけた。

2人は笑顔とまではいかなかったが、安堵の表情を浮かべていた。

切り戻し作業は終わった。
今日はここまでだ。

僕たちは荷物をまとめてデータセンターを出た。

駅まで歩く僕たち3人の背中は正直誰が見てもどんよりしていただろう。
殺風景の中、冬の凍てつく風が身に染みた。

完全なる負け試合だった。

ぽつりぽつりとなされる会話の中で、Aさんが言った。

僕は即座に頭を下げた。

今回の作業の責任者は自分だ。
作業の手順書を作ってテストをしたのは受注者であるベンダーさんではあるが、手順書とテストが問題ないと判断したのは発注者である自分だ。

責任は自分にある。

以前、別の作業でトラブルがあり、部長に報告したところこう言われた。

分かっていたことではあったが、面と向かって言われるとずしりと響いた。

その言葉以降、僕はベンダーさんと同じレベル、いやベンダーさん以上に作業内容を理解することを意識して毎回作業に臨んだ。

今回の作業もそうだった。

作業内容は完璧に理解していた。

でも失敗した。

失敗した後に切り戻しをしたが想定外のことが発生し、慌てて何もできなかった。

僕は完全に打ちのめされていた。

2人と別れた後、帰りの新幹線で窓の外を見ながら、ひとりで反省会をした。

• 事前のリハーサルでなぜ発見することができなかった？

• 切り戻し判断をするまでなぜ20分もかかってしまった？

• 切り戻しがうまくいかなかったときに、なぜすぐに再起動という対処を思いつかなかった？

高速で過ぎ去っていく外の景色のように、僕の頭はいくつもの問いで回転し続けた。

答えが出るものは多くはなかったが、ひとつだけやることがはっきりしていた。

オフィスに戻った後、すぐに部長席に行って謝ることだ。

2週間ほど前に別のプロジェクトで作業のトラブルがあり、切り戻しの判断をするまでに時間がかかっていた。

部長の叱責が同じフロアに響いていた。

部長は椅子の背もたれを目いっぱい倒した状態で、立って報告している担当者5～6人に対して、低音で重みのある言葉を放っていた。

——やってしまったな。確実に部長に怒られるだろう。

切り戻しの判断が遅れて障害時間を長引かせてしまった。

言い訳が通じない事実だ。

オフィスに到着したのは夜8時頃で部長はまだ席に座っていた。

僕はすぐさま部長の席に駆け寄って頭を下げた。

返ってきたのは意外な言葉だった。

次の言葉を待った。どんな叱責でも受けるつもりだった。

部長は目もあわせず、パソコンの画面を見つめたままそう言った。

顔も声も怒ってはいなく、平常のトーンだった。

——それだけ？？

次の言葉を数秒待ったが何もなかったので、頭を下げて自席に戻った。

——怒られなかった。なぜだ？

部長は正直めちゃくちゃ怖い人だった。

過去のMTGで何度か厳しい言葉を受けたこともあるし、取引先とのMTGでも部長が激高している姿は何度も見てきた。

僕の中では今回の障害は100%怒られると思っていた。

でも、叱責の言葉はなかった。

後になって、少しだけ分かった気がした。

部長は、失敗そのものを見ていたのではない。
失敗後に、僕がどう振る舞うかを見ていたのかもしれない。

逃げずに謝ること。
言い訳をしないこと。
自分の責任として持っていくこと。

当たり前のことだけど、当たり前にやるには痛みは伴う。

後日、ベンダーさんからの報告で事象の原因がわかった。
やはりケーブルを抜いたタイミングで対向の装置からの定期通信（ポーリング）が途切れて、作業対象のネットワーク機器がダウンしたとのことだった。

ベンダーさんの中の環境で本番環境と同じ環境を構築し、再現試験と今回の作業を行い、手順に問題がないことを確認した。

僕たち3人は再びデータセンターに向かった。

前回の工事から1か月半が経過していた。

やや緊張している面持ちのAさんに僕は元気よく声をかけた。

Aさんは笑顔でそう言った。

切り戻しをしたあとの2回目の作業というのは独特な緊張感がある。

——もう失敗は許されない。

崖っぷちに追い詰められた気持ちを抱えてスタートを切る。

データセンターの中のサーバ、ネットワーク機器たちは前回と何一つ変わらず「ウィーン、ウィーン」と低い駆動音を鳴らし続けている。

その中で熱のこもった3人が作業を粛々と進めていく。

前回の作業でサービスが全断したところまできた。

心拍数が上がるのを感じる。

バンジージャンプをやる直前の飛び込み台に立たされている感覚と近いものがあった。

Bさんから声がかかった。

僕は電話でつないでいるパンダさんに報告した後に、Bさんに言った。

Bさんはケーブルを抜いた。

Aさんと一緒に画面を見る。
特段異常は発生していない。

電話越しのパンダさんからもサービスは通常通りでエラーは発生していないと言われた。

作業は成功だ。

その後の作業も僕たちは決して油断をせず、全身全霊を注いで続けた。

作業ミスは絶対に許されない。

Aさんが手順書を読み上げ、Bさんが作業をする。
その手順が間違っていないか後ろで僕がチェックする。

トリプルチェックの盤石な体制で丁寧に作業を進めていく。

すべての作業が終わって、パンダさんに報告した。

いつもはクールなパンダさんからテンション高めの声を聞いて、僕の涙腺は少し緩んだ。

後片付けに取り掛かっているAさんに声をかけた。

今日、初めての笑顔だった。

心底、安堵した表情だった。

きっと僕も同じ顔をしていたのだと思う。

1年半後、僕が部署を異動するときにAさん、Bさん含む10名程度で飲みにいった。

帰り際に並んで歩いていた、Aさん、Bさんのプロジェクトを取りまとめていたリーダーのCさんからぽつりと言われた。

真っすぐで力強いその一言は僕の胸に深く突き刺さった。

Cさんとは6つほどのプロジェクトをともにした。

Aさん、Bさんとのプロジェクト以外でも、難易度が高くトラブルが発生したプロジェクトはいくつかあった。

深夜に電話で叩き起こされて、タクシーで現場に向かったこともあったし、原因が全然つかめずに、本番環境で1分だけ不具合を再現させて、ログ取得を行い、原因を明らかにしたということもあった。

僕はトラブルに全力で立ち向かい、Cさん含むベンダーさんと協力して、数々のトラブルを乗り越えてきた。

各プロジェクトが終わるときはプロジェクトの中でよかった点、改善点をフラットにあげてベンダーさんと一緒に毎回振り返りをした。

振り返りのMTGが終わったとき、Cさんから言われた。

僕にとっては特別なことをやっているつもりはなかったが、Cさんのキャリアの中では非常に珍しいことだったようだ。

そんなCさんから言われた「僕とまた一緒に働きたい」という言葉は、僕にとっては本当に嬉しい言葉だった。

現場でしか体感できない重圧を受け止め、一筋縄じゃいかない幾多の作業を完遂させたからこそ得られた言葉だった。

10年ほど前のことを思い出しながら、ここまで書いてきた。

実は当時の記録は僕のノートに10行程度でまとめられていて、それをベースに書き進めてきた。

Aさん、Bさん、Cさんとは最後に会ってから約9年が経つが、この記事を書きながらもう一度会って飲みに行きたいと思った。

ということで、この後名刺を探して連絡してみよう。

そして会うことができたらこの記事を読んでもらいたい。

当時の臨場感を振り返りながら飲むお酒は、きっとめちゃくちゃ美味しいのだろう。