ソースコード管理サービスを提供するGitLab.comが1月31日、管理者の操作ミスにより本番DBのデータ300GBを誤ってディレクトリごと削除してしまい、サービス停止状態に陥った。
GitLab.comはオープンソースのソースコード/プロジェクト管理ソフトウェアGitLabを使った ホスティングサービスを提供するクラウドサービスで、GitリポジトリやWiki、Issue管理といった機能を提供している。
報告によると、同社では31日、スパムユーザーの負荷によりセカンダリDBに異常が発生したことから、セカンダリをクリーンしてからレプリケーションを復旧する作業を実施していたとのこと。しかし作業がうまくいかず、再度セカンダリをクリーンしようとして、誤って残るプライマリをクリーンしてしまったという。
同社は直ちにバックアップからの復旧を試みるも、5系統あるはずのバックアップはいずれもエラーなどで実は機能していないという事が判明、一時騒然となった。なお失われたDBはIssueやMergeリクエストのもので、Gitリポジトリ本体とWikiは無傷だという。
その後、たまたま作業の6時間前に取られていたスナップショットが思いだされ、これを元に復旧作業が進められているのだが、その様子がYouTubeでライブ配信されるという不思議なことになっている。
なおミスを起こしたYP氏は「もう今日は自分がこれ以上sudoコマンドを実行しない方がいいだろう」と語っているという。
http://www.excite.co.jp/News/it_g/20170202/Slashdot_17_02_02_0847239.htmlGitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット
http://www.publickey1.jp/blog/17/gitlabcom56.html
7:名刺は切らしておりまして 2017/02/02(木) 21:40:32.42 ID:NpQBh5c7.net
本番消して真っ青あるある
派遣Webデザイナーに直打ちさせる職場でやらかしたわ
8:名刺は切らしておりまして 2017/02/02(木) 21:43:04.90 ID:WA8Q/ah3.net
バックアップがことごとく取れてないってのは笑える
バックアップの書き出しの確認作業を怠ってたことと
書き出されたバックアップが実際に書き戻してエラーが起きないことを確認しないとな
この手のはバックアップ設定しただけで問題を終わらせた気になりがちなんだよな
9:名刺は切らしておりまして 2017/02/02(木) 21:43:29.63 ID:S8rVr0gE.net
なおミスを起こしたYP氏は「もう今日は自分がこれ以上sudoコマンドを実行しない方がいいだろう
は？生でその場で思いつきのコマンド打ってるのか？
普通なら検証されたスクリプト流すだろ
こんなレベルの低い奴がこんな有名なサイトの管理やってんの？
14:名刺は切らしておりまして 2017/02/02(木) 21:50:59.37 ID:dVz7KnBv.net
>>9
俺も記事読んでそう思った。
66:名刺は切らしておりまして 2017/02/02(木) 23:15:44.96 ID:OjX17Pu6.net
>>9
イレギュラーの自体に対応する為にコマンド入力が必要に成った。
もしくは間違ったスクリプトを走らせた。
実行先はプライマリーかセカンダリーかを聞いて来るんだろ？
139:名刺は切らしておりまして 2017/02/03(金) 10:38:03.44 ID:4Yh0cXSH.net
>>9
同感。githubでこれかとぞっとした。
まさか、コマンド手打ちを許しているとは……
142:名刺は切らしておりまして 2017/02/03(金) 12:15:34.37 ID:mtP+Dc4E.net
>>139
githubじゃないよ…
27:名刺は切らしておりまして 2017/02/02(木) 22:00:15.66 ID:8sGeZci+.net
なんだ・・・よく見たらGitHubじゃなくてGitLabじゃんｗ
61:名刺は切らしておりまして 2017/02/02(木) 23:06:33.81 ID:nO4FNaH2.net
gitlabって自分でサーバ立てるもんだと思ってたわ
クラウドに上げるんならgithubでええやん
63:名刺は切らしておりまして 2017/02/02(木) 23:10:46.97 ID:c6FFM5/I.net
>>61
Githubはプライベートリポジトリが有料なんよ...
俺もGitlabはOSSのイメージしかないなぁ
30:名刺は切らしておりまして 2017/02/02(木) 22:05:12.07 ID:mXeISmvG.net
OSSのGitLab使ってる日本企業は多く見るけどGitLab.com使ってる人に会ったことない
5:名刺は切らしておりまして 2017/02/02(木) 21:39:55.06 ID:S8rVr0gE.net
bitbucket最強
12:名刺は切らしておりまして 2017/02/02(木) 21:47:16.89 ID:J9HtBTLb.net
バックアップ取っておけよ、素人かよ
45:名刺は切らしておりまして 2017/02/02(木) 22:34:36.66 ID:T3JfJN7b.net
>>12
素人は引っ込んでろｗ
19:名刺は切らしておりまして 2017/02/02(木) 21:55:38.83 ID:AkveCfSp.net
バックアップは自動化してても結果のチェックを怠ってたのかな
まともに保守できてなさそう
18:名刺は切らしておりまして 2017/02/02(木) 21:55:09.38 ID:m+Ng5mj7.net
sudo 打ってる自分に酔ってるんかｗ
神にでもなった気分なんだろ
結果は疫病神だけどな
20:名刺は切らしておりまして 2017/02/02(木) 21:56:51.79 ID:Gyq6RK7p.net
明日は我が身
他山の石としなければw
11:名刺は切らしておりまして 2017/02/02(木) 21:44:20.93 ID:5vXxoga/.net
これは仕方ないよ。次気を付けるように
23:名刺は切らしておりまして 2017/02/02(木) 21:58:28.46 ID:E5e5RB9f.net
おーう、読んでて背中が寒くなったぞ
予定外の作業ってのは本当に危ない。
24:名刺は切らしておりまして 2017/02/02(木) 21:58:30.61 ID:RX5r4cGd.net
「本当にあった怖い話」
33:名刺は切らしておりまして 2017/02/02(木) 22:08:28.16 ID:NPKcvwR7.net
色々な不運が重なっているように見えるが、
管理がお粗末という一言に尽きてしまう。
41:名刺は切らしておりまして 2017/02/02(木) 22:23:06.32 ID:vYJH+6al.net
GitLab使ってんだよ、怖えよ
34:名刺は切らしておりまして 2017/02/02(木) 22:15:10.80 ID:WFlrAxXy.net
バカだな
gitlabてこんな低能しかいないのか
44:名刺は切らしておりまして 2017/02/02(木) 22:33:48.43 ID:MOscuYjv.net
途方もないヒューマンエラーてのは、誰にで起こり得るよ。
こんなこともあろうかと持ち出したバックアップが全滅ということも
ある時はある。
37:名刺は切らしておりまして 2017/02/02(木) 22:20:15.17 ID:l/cYMasr.net
こういう仁義ミスは よくある
54:名刺は切らしておりまして 2017/02/02(木) 22:50:53.34 ID:PinI7iPd.net
エンジニアは常に意識朦朧としながら仕事してるんだから許せ。
92:名刺は切らしておりまして 2017/02/03(金) 00:05:48.94 ID:qSp1HPaG.net
>>54
そうだよなー
俺なんて「夕食のメニュー」どころか「夕食食ったかどうか」すら忘れるほど意識飛んでた
38:名刺は切らしておりまして 2017/02/02(木) 22:20:34.17 ID:W/cR7W1z.net
>>1
ドンマイ！次から気をつけよう！
47:名刺は切らしておりまして 2017/02/02(木) 22:35:23.67 ID:hbT7B4Ae.net
寝る前にこんなニュース見たらストレスでオネションしちゃうだろ止めてくれよ
91:名刺は切らしておりまして 2017/02/03(金) 00:04:22.99 ID:OWUIC39S.net
Gitはもともと分散レポジトリだから
中央のGitLabが消えてもほとんどのレポジトリは復元できるだろう
そもそもそれこそがGitの優位性なんだから
99:名刺は切らしておりまして 2017/02/03(金) 00:29:15.32 ID:MOGWX8Wb.net
>>91
うーんこの
71:名刺は切らしておりまして 2017/02/02(木) 23:24:41.39 ID:ngBFvi4o.net
>Gitリポジトリ本体とWikiは無傷
むしろソースコードならクローンあちこちにあったろうから
被害少なかったんじゃないか
73:名刺は切らしておりまして 2017/02/02(木) 23:32:01.50 ID:KaGJtzi8.net
>>71
作った人たちが手元にも置いてるんならユーザが上げ直せばいいだけかもしれないけど
バージョン管理がややこしくなったユーザもいるかもね
85:名刺は切らしておりまして 2017/02/02(木) 23:57:22.90 ID:Hyoqo8aM.net
恐ろしい
78:名刺は切らしておりまして 2017/02/02(木) 23:40:58.60 ID:TxDMMAQw.net
バカにしてる奴ほどこういうミスをするタイプ
133:名刺は切らしておりまして 2017/02/03(金) 08:08:19.30 ID:78BcLO1q.net
うっかりさん(^-^)v
145:名刺は切らしておりまして 2017/02/03(金) 12:29:56.43 ID:aZj2B1z2.net
ワロタ
やっぱ最大の敵はヒューマンエラーだ
146:名刺は切らしておりまして 2017/02/03(金) 12:34:03.67 ID:zuZke/XW.net
だからもう人間なんか使うなって…
131:名刺は切らしておりまして 2017/02/03(金) 08:01:34.28 ID:7DsJ9N57.net
githubに逃げそうだな
元スレ: http://anago.2ch.sc/test/read.cgi/bizplus/1486038878/