anaunisisi
1 :海江田三郎 ★ 2016/03/31(木) 13:50:05.63 ID:CAP_USER.net
全日本空輸(ANA)は2016年3月31日、本誌の取材に対して3月22日に発生した国内旅客システムのシステム障害の件で、システムを納入した日本ユニシスへの損害賠償を検討していると明かした。日本ユニシスの広報は「正式に申し入れがあったわけではないのでコメントできない」とした。ANA広報によれば今回のシステム障害で、3億6000万円の逸失収入が発生したという。3月22日はスイッチの故障によりデータベースサーバーが停止するシステム障害が発生、ANAだけで539便、約7万2100人の足に影響した。

加えて、ANAのシステムを使う提携航空会社5社では、合計で欠航が38便、31分以上の遅延が142便発生。内訳は、AIRDOが欠航6便と遅延47便、アイベックスエアラインズが欠航9便と遅延21便、オリエンタルエアブリッジが遅延9便、スターフライヤーが欠航12便と遅延22便、ソラシドエアが欠航11便と遅延43便だった。システム障害によって提携航空会社で欠航や遅延が生じた場合の責任や賠償について、ANA広報は「個別の契約に関する内容であり、回答を控えるが、誠意を持って検討していく」と話した。

■記事引用元:ITpro
http://itpro.nikkeibp.co.jp/atcl/news/16/033100944/


3 :名刺は切らしておりまして 2016/03/31(木) 13:52:27.83 ID:j7zv2zxX.net
ダイハード2みたいな落ちを期待したのに普通


5 :名刺は切らしておりまして 2016/03/31(木) 13:55:24.72 ID:LI189sie.net
バッファローの俺高みの見物。


6 :名刺は切らしておりまして 2016/03/31(木) 13:56:08.35 ID:YSvTD3Az.net
だからエレコムにしておけとあれほど


9 :名刺は切らしておりまして 2016/03/31(木) 13:58:27.52 ID:Zv6/PzPQ.net
ANAの穴


11 :名刺は切らしておりまして 2016/03/31(木) 13:59:54.88 ID:Zv6/PzPQ.net
先輩帰っていいすか?


15 :名刺は切らしておりまして 2016/03/31(木) 14:02:22.98 ID:35vsQAyS.net
ギネス認定


16 :名刺は切らしておりまして 2016/03/31(木) 14:02:31.71 ID:wdHQh3V5.net
これは巨額賠償していい話だね


18 :名刺は切らしておりまして 2016/03/31(木) 14:05:46.55 ID:j2wtvk7d.net
>>16
ANAの1日分の営業止めたからな
ウン十億行くんじゃね?



21 :名刺は切らしておりまして 2016/03/31(木) 14:07:42.03 ID:2SVzGD4/.net
世界中のアーキテクトが頭抱えそうな原因だな
4900って低機能(ゆえにOSが余計なことしない)だけど安定してるから使うってスイッチなのに



22 :名刺は切らしておりまして 2016/03/31(木) 14:08:24.53 ID:GkJXfxIc.net
原因特定と復旧時間の早さを考えたら、逆にサーバー保守チームや出向者や技術者にボーナス加算してあげるべき事案w

冗長化したって無駄な時は無駄。完璧なんか世の中にない。事故はえ起こるもんだで対策しないとダメだw



27 :名刺は切らしておりまして 2016/03/31(木) 14:15:59.69 ID:BTh8rhs5.net
>>22
この10年間で、同様のトラブルはこれでANAは二回目だが、JAL他は0。

期間を20年にしても、範囲を広げてもANAのシステムは問題が多すぎる。

情報部門にボーナスとか、この状況では盗人に追い銭。



41 :名刺は切らしておりまして 2016/03/31(木) 14:31:01.17 ID:ea3aati3.net
>>27
ANAの前回は国際線予約を欧州系アマデウスに移管して逝った。
今回は国内線予約がシスコのルーターで逝ったようだ。
となると,次は運行系か? 



26 :名刺は切らしておりまして 2016/03/31(木) 14:12:53.01 ID:BTh8rhs5.net
ANAは以前もネットワーク系のトラブル起こしてる。

ノンストップシステムは、サブシステムが想定外で動かなくなるのが前提。

金が余りまくって、必要ないデータベースの同期でこのザマとかSIの無能ぶりが異常。



羽田空港で働く (ANAエアポートサービスのすべて)羽田空港で働く (ANAエアポートサービスのすべて)

ANAの謎とふしぎ AIR STAGE (エア ステージ) 2016年5月号 AIR STAGE (エア ステージ) 2016年4月号 ANAの本。: 舞台裏を覗けば、もっと好きになる! AIRLINE (エアライン) 2016年5月号

by G-Tools

元スレ:http://anago.2ch.sc/test/read.cgi/bizplus/1459399805/



29 :名刺は切らしておりまして 2016/03/31(木) 14:20:02.77 ID:NCT/xNT2.net
スイッチ一個壊れてサーバダウンするとか脆弱過ぎるだろw


46 :名刺は切らしておりまして 2016/03/31(木) 14:35:38.32 ID:xZl65fVH.net
>>28
滅茶苦茶重要かつ高いものじゃないのだから、二重化と半自動切替ぐらい、やっていて当然だと思いますよねぇ
やっていたけど、何らかの原因で機能しなかった
やってないのなら、システム設計ミスで、ソフトのバグとは次元の違う重篤な瑕疵かと



54 :名刺は切らしておりまして 2016/03/31(木) 14:45:08.88 ID:SDgQU592.net
>>46
故障検知をシスコスイッチ自身の診断機能に任せてたんだろ
故障がシステムに認識されなきゃ、切り替えは起こらない



31 :名刺は切らしておりまして 2016/03/31(木) 14:23:36.89 ID:w/l/wag1.net
システムのネットワーク異常は、スイッチだと決め付けて、ちがうモデルの一世代前のやつを準備しておかなかったのよ。

処理速度は遅くても、それだけエラーがフィックスされているから、一時しのぎにはなるのに。

柔軟性のないネットワークエンジニアだな。

24時間運用のシステムじゃ、そう言った考えも大切だ。


.



34 :名刺は切らしておりまして 2016/03/31(木) 14:27:39.91 ID:YVP2Dizd.net
機械が故障したのに故障したという信号が送れなくて
本体側は正常とみなして、予備に切り替えられなかった。

まあ、予備を準備していたのに切り替えが出来ないという
割とありきたりの問題だったね。



35 :名刺は切らしておりまして 2016/03/31(木) 14:27:54.66 ID:1wlEZZ+v.net
え?ちょっとまって?
予備系にフェイルオーバーできなかったんじゃなく、そもそも単機だったってこと?
ルーターとスイッチを冗長化してハートビートで監視し合って乙ったら系切替で済む話じゃ



39 :名刺は切らしておりまして 2016/03/31(木) 14:29:17.69 ID:+5TiIw1H.net
>>35
なんか2重化の設計おかしいよな



40 :名刺は切らしておりまして 2016/03/31(木) 14:30:33.90 ID:M8EStu0q.net
こんなのよく原因突き止めたね。
ここにたどり着くまで相当苦労したと思う。



71 :名刺は切らしておりまして 2016/03/31(木) 15:06:51.68 ID:/ZqUrrYY.net
>>40
スイッチが悪いのは即わかるだろ。わからない奴は無能。



44 :名刺は切らしておりまして 2016/03/31(木) 14:33:55.84 ID:N8Fm00n9.net
次は、故障を検知する機械の故障を検知する機械を作って、
その次は故障を検知する機械の故障を検知する機械の故障を検知する機械を作って・・・



45 :名刺は切らしておりまして 2016/03/31(木) 14:34:03.49 ID:Y+mpilIm.net
なんでボックス型のカタリストなんて買ったんだよ
シャーシ型のスイッチにしろよ



47 :名刺は切らしておりまして 2016/03/31(木) 14:36:09.32 ID:xN73Gxww.net
よく調べたな
この点は褒めたい



51 :名刺は切らしておりまして 2016/03/31(木) 14:42:46.39 ID:glZC8V3q.net
スカイマークは予約システムを統合しなくて正解w


52 :名刺は切らしておりまして 2016/03/31(木) 14:44:20.20 ID:UISGEYqM.net
nexus9000だね。
バッファローのハブの方が良かったね。



53 :名刺は切らしておりまして 2016/03/31(木) 14:44:27.18 ID:r69FWJK4.net
日経は世界初のバグだと言ってるが他はハードの障害とかどっちなんだよ


56 :名刺は切らしておりまして 2016/03/31(木) 14:47:46.40 ID:r69FWJK4.net
ファームウエアのバグか


57 :名刺は切らしておりまして 2016/03/31(木) 14:47:55.04 ID:+5FC4/S3.net
ここで偉そうに講釈たれてる奴がシステム設計しても、何時不測のトラブルが発生するかわからないというのに
匿名だと強気なものだ



60 :名刺は切らしておりまして 2016/03/31(木) 14:53:01.72 ID:aQuc41Q5.net
100人のIT土方たちが「俺のバグが原因だったら死ぬしか」って
不安からハゲたんじゃなかろうか。
シスコは賠償しろ。



62 :名刺は切らしておりまして 2016/03/31(木) 14:56:40.94 ID:a+SQbOdc.net
アメリカならそのメーカーに多大な損害賠償請求するぞ?


ケースで解説! 損害賠償がわかる本
ケースで解説! 損害賠償がわかる本

65 :名刺は切らしておりまして 2016/03/31(木) 14:57:35.14 ID:FmcOprMb.net
スイッチは完全に停止したわけではなく、「不安定ながらも動作していたようだ」

↑こういう状態が原因究明で一番やっかいだよな。



73 :名刺は切らしておりまして 2016/03/31(木) 15:08:08.18 ID:YgVlGWys.net
ハードと言うよりソフト設計の問題かな…


76 :名刺は切らしておりまして 2016/03/31(木) 15:19:42.68 ID:S5oSOO9f.net
Ciscoだからこの程度の被害で済んだ VS Ciscoを使わなければ良かった 


79 :名刺は切らしておりまして 2016/03/31(木) 15:25:45.29 ID:iyH9c2Xe.net
スタックぐらいくんどけよ


81 :名刺は切らしておりまして 2016/03/31(木) 15:26:08.54 ID:felWR3bt.net
自動でも手動でも系切替は可能だが
それぞれでサブからメインにいくとき各設備(自分ら含む)とのオンラインオフラインなどの異常があるかないかをチェックする
で、今回その中継がゾンビってたので誤作動起こしてシステム自体が立ち上がる前に落ちていたっていうこと
簡単に言うとだけどなー
このゾンビ状態と言うのがくっそ嫌な状態で表面的には生きて居るんだけど中身が死んでるから仕事しない
変な言い方するとシスコの絶大な信頼が招いた問題

時間かかったのはシステム屋が自分で作ったの信用できなくてそれにたどり着くまで時間かかっただけだろ
俺はシスコの別製品でもこのゾンビ状態でシステムが乙るの知ってたからネットワーク障害だと最初に思ったもんだけど
システムには保守員逆らえないからなw
よりによって大元がゾンビってたとかご愁傷様と言わざるをえない



84 :名刺は切らしておりまして 2016/03/31(木) 15:31:31.15 ID:Yj0JDUVk.net
プログラムのバグを、ハブに責任転嫁するのか?


85 :名刺は切らしておりまして 2016/03/31(木) 15:32:08.20 ID:hX5nkXcZ.net
全日空てトラブル多いよな
こんなんで飛行機大丈夫かよ



88 :名刺は切らしておりまして 2016/03/31(木) 15:40:22.96 ID:GG8xPYPC.net
この規模のネットワーク機器でシスコに対抗できるメーカーってあんの?
損害賠償とかの話しても、嫌なら他の会社の使ってね、とか言われて
何も言い返せなさそう。。



89 :名刺は切らしておりまして 2016/03/31(木) 15:46:01.30 ID:8grQPPlL.net
これ、DBのクラスタソフトにも問題あるような気もするんだけど。
まあCISCOもみとめてんだから
問題ないけど。



92 :名刺は切らしておりまして 2016/03/31(木) 15:50:31.92 ID:8grQPPlL.net
>>88
juniperとかnortelとかでなんとかなるかもな

日本メーカーの介在する余地はないw



91 :名刺は切らしておりまして 2016/03/31(木) 15:48:51.24 ID:Vr8Q7P+3.net
世界初の事態の訳がないだろバカ。
客先からクレーム入っても、うちの責任じゃないとか、対応は有料だとか言って、ちゃんと情報入れてないだけに決まっとるよ。

シスコの製品は、バグなのか仕様なのか知らんが、長いこと動かしっぱなしにするとゾンビ化しがちではないかね。
週に一度は電源落とせでも何でもええから、客に使用上の注意ぐらい出して欲しいな。

連続運用できる前提になってるから、止めるというとシステム担当者が怒られて、止められないままドツボにはまる気がする。



94 :名刺は切らしておりまして 2016/03/31(木) 16:01:01.84 ID:Cf0y+1Ix.net
SWの故障なんてよくある話。
真の問題は「何故故障したSWを切り離せなかったか」だ。

それと障害への過信が無かったか?
‘そんな故障はあり得ない’では無かったか?
福島原発事故と全く同じだ。
もう一度障害対策を見直せ!

でも障害復旧に当たったエンジニアの皆さん、お疲れさまでした。



97 :名刺は切らしておりまして 2016/03/31(木) 16:04:48.58 ID:Vr8Q7P+3.net
全く個人的な意見としては、そもそも大切な業務はオープンシステムにしたらあかんよ。

そんな切符の予約なんて、大して複雑な仕事でもないのに、毎回、複数のサーバー間の整合を一々確認したり、
不整合だったらただ止まるとか、理屈としては分かるけど、嫌らしいわ…

ちゃんと動いてる内は良いが、障害したら原因の切り分けが大変ですよ。

そういうのは大型汎用機を使うべきです。
コボルでプログラムして。



106 :名刺は切らしておりまして 2016/03/31(木) 17:20:50.54 ID:jRLYIcqg.net
>>97
引退しろジジイ



136 :名刺は切らしておりまして 2016/03/31(木) 20:06:58.44 ID:sFVLWPY0.net
>>97
メンテするエンジニアがどんどん死んでるんだよ



98 :名刺は切らしておりまして 2016/03/31(木) 16:10:30.30 ID:W5iEovBm.net
スイッチがフェールオーバーするトリガーをスイッチ自身にだけ持たせたのが悪い
使うのはDBと上位スイッチなんだからそっから異常あるかどうか判断させなきゃ
といいつつ担当者はご苦労さん・・・



107 :名刺は切らしておりまして 2016/03/31(木) 17:22:32.90 ID:va7wMoUq.net
>>98
スイッチにL7レベルでサーバを監視しろって?お前ニワカだろ



99 :名刺は切らしておりまして 2016/03/31(木) 16:14:58.33 ID:Cf0y+1Ix.net
そもそも1台のSW故障で全部の飛行機が飛ばなくなってしまうなんて、
設計担当のユニシスの責任!



100 :名刺は切らしておりまして 2016/03/31(木) 16:20:41.77 ID:YVP2Dizd.net
>>95
>>1の記事を読むと、故障したら故障信号を出して予備に切り替える。
今回は、故障しても故障信号を出さなかった場合を考えていなかった。
だから起きた。

ひょっとすると開発側は知っていたけど客から言われなかったから
黙っていたかも知れないし、納期が近いからそんなのに
構っている暇がなかったかもしれない。
ようは、詰め込みが甘かっただけ。開発側の怠慢。



103 :名刺は切らしておりまして 2016/03/31(木) 16:29:14.40 ID:YVP2Dizd.net
そもそも、日経はみずほのシステムがトラブルを起こすと
みずほに個人的な恨みでもあるのか?というぐらいに叩くのに
ANAのシステムは問題を起こしても好意的。
システム更改をさも難事業であるかのようにうたって称賛。



142 :名刺は切らしておりまして 2016/03/31(木) 21:05:35.07 ID:NdXs7qCh.net
>>141
ミズポは勘定元帳たるDBにくわえて
トランザクションログもぶっ飛ばして
復旧不可能に陥った。
勘定系としては前代未聞の不祥事だからね。

アナはトランザクション処理不可で停止半日だから
まだまし。



104 :名刺は切らしておりまして 2016/03/31(木) 16:31:52.96 ID:3n7AAzoI.net
ANAのシステム設計・保守は日本ユニシス
一方、JALは・・・。



105 :名刺は切らしておりまして 2016/03/31(木) 16:42:49.50 ID:0ii/sXCI.net
4個同じスイッチじゃなくて同等品で2個ずつとかにすればよかったのに
同じ原因では逝かなくなりゃしないかな?



109 :名刺は切らしておりまして 2016/03/31(木) 17:25:45.73 ID:N3LPZeo5.net
sw側:正常に動いているように見えるが通信できない
Linux側:NICをbondingしているがAct側のNICがリンクアップしているのでStb側に切り替わらない
こんな感じ?



110 :名刺は切らしておりまして 2016/03/31(木) 17:26:53.20 ID:Gz2m+DMC.net
DBはオラクルとかつかってるのかな
OSはLinux?としたらどこのかな

こんなん、OSとかDB側でエラー出せんのかなぁ~
すぐスイッチ交換すればいいのに代替機持ってないのがおかしい



112 :名刺は切らしておりまして 2016/03/31(木) 17:32:17.45 ID:X5Hthkjo.net
> 4台のDBサーバーはデータを同期しており、同期処理が異常終了した場合に自動停止する機能を備えていた。

異常終了したら停止じゃなくて続行したままアラートでいいんじゃね?
もしかしたら各DBがraid になってないとか?



115 :名刺は切らしておりまして 2016/03/31(木) 17:44:30.74 ID:0s2ibkGB.net
>>112
データーが間違って記録される前に止めるのが正しいという考えが一般的。



117 :名刺は切らしておりまして 2016/03/31(木) 17:58:08.03 ID:X5Hthkjo.net
>>115
うちが管理してるのはメイン、サブの2台で
普段はメインのみ運用してサブに同期をとってる。

サブに同期がとれなかったらサブだけ止めて
メインはそのまま続行してもいいんじゃね?と思った次第。
んであとからサブに取り込まれてな差分を入れてあげる。
もちろんサーバーはraid で。

ま、うちなんかと規模がそもそもじぇんじぇん違うだろうけど。



122 :名刺は切らしておりまして 2016/03/31(木) 18:16:45.30 ID:NdXs7qCh.net
>>117
同期の概念が違うと思われ
サブはメインの処理が正しいかを検証しているので
違ってたら止めなきゃおかしいことになる



114 :名刺は切らしておりまして 2016/03/31(木) 17:41:30.39 ID:TfqkdNbC.net
利用者の少ない高い製品名買ってバグを引き当てるくらいなら安い枯れた製品を複数台導入すべき
高けりゃいいってもんじゃない



124 :名刺は切らしておりまして 2016/03/31(木) 18:28:11.05 ID:Vr8Q7P+3.net
コボラーはどんどん少なくなっています。一度、汎用機からオープンに移した業務は、もう元には戻せない。
その切り替えは不可逆なので、もし移行に失敗したら、ちゃんと動くまでの間に、かなり悲惨な苦労しますよ。

しかも機械の信頼性は、ぶっちゃけ中身の複雑化と、人件費圧縮の板挟みで、下がる一方。



開発現場で役立つCOBOLプログラミング入門第2版
開発現場で役立つCOBOLプログラミング入門第2版

130 :名刺は切らしておりまして 2016/03/31(木) 18:54:53.59 ID:JLAlbB/i.net
タカタは、エアバッグで。何兆円と損害賠償。
シスコはごめんなさい止まりか。アホくさいにも、ほどがあるな。



131 :名刺は切らしておりまして 2016/03/31(木) 19:37:56.90 ID:H6RKMj5c.net
2007年も世界で4例しかない故障と言ってたな。
いちいち珍しいアピールして、被害者面したいのか?



138 :名刺は切らしておりまして 2016/03/31(木) 20:38:02.49 ID:KiWTTOQD.net
ネットワークエンジニアの書き込みは皆無だな


145 :名刺は切らしておりまして 2016/03/31(木) 21:31:26.83 ID:sZ0uafKa.net
スイッチに限らず定期的に再起動させるのはやっておいて損はないよね


152 :名刺は切らしておりまして 2016/03/31(木) 23:21:19.63 ID:0YGahJ4G.net
どういうテスト環境なのか気になる


153 :名刺は切らしておりまして 2016/03/31(木) 23:45:58.58 ID:7+5P2iWl.net
日本ユニシスは頑張ったと思う


155 :名刺は切らしておりまして 2016/04/01(金) 00:02:01.40 ID:fojJwC6z.net
すぐにヨドバシカメラに買いに走ればよかったのにな(´・ω・`)




スポンサードリンク