Hatena::Groupptech

ぷちてく RSSフィード

Archive
 
ProfileProfile

2012-12-22

GitHubメンテナンスに見る状況と対策

13:45

どーもこんちわ。Gist用UserScript直しにかかったところ

やろうとした瞬間にGitHub死んだ。今治ったところ

ネットワーク障害

Gistおかしくなりはじめる→しばらくして公式アナウンス出た

@

https://twitter.com/github/status/282640846128545792

GitHub.comとGistはネットワークの問題調査のため、サーバメンテナンス中だタコにゃん。https://status.github.com/見て様子見ててタコにゃん。」

GitHub Enterpriseはたぶん平気

ビジネス用の https://enterprise.github.com/ は多分問題なく動いてた。ここは稼働率命なので、止まったら世界中えらいことになる

止められない人は買っておくといいかもね

割と時間かかった

さっきのツイートが出たのが「2012年12月22日 - 16:16」で今「4時間前」って出てる。本社は San Francisco, California でUTC-08:00だけど、

ツイート時刻も同じTZかはわからない。日本標準時(JST)はUTC+09:00で時差17時間。今あっちは21時前くらい。timeanddate.com で見れる

割と世界標準で使われてるから、シリコンバレーとか東海岸時間が気になるひとはブックマークしておくと結構つかえる

アメリカのTZは4つ位に分かれててかなりめんどくさい。Twitter信じるなら3時間以上は止まってる

Githubの日記

Status Messagesから

時系列に、大事そうなのだけ並べた

Yesterday, December 21, 2012

13:17 UTC We are seeing unicorns related to the scheduled maintenance. We are investigating.

...

23:20 UTC We are investigating unicorns and repo access problems.

23:43 UTC A number of repositories are currently unavailable as we diagnose some network problems.

https://status.github.com/messages

Ruby Rack Appサーバunicornちゃんが定期メンテ後におかしくなった」

「その後、いくつかリポジトリにアクセス不能になる。ネットワークヤバイ感じって判断」

unicorn

こういう妖怪。メンテなのに召喚できる。なにこれこわい

angry_unicorn

https://github.com/images/error/angry_unicorn.png

暴れるのも うなずける

Today

0:12 UTC We've disabled GitHub.com and Gists while we continue to resolve the network problems.

2:06 UTC Our network has been stable for some time, but weve chosen to remain in maintenance mode while we continue to restore internal services. We are making good progress and will post additional updates as we have more information available.

3:28 UTC Our entire team continues to work to restore internal services. We dont have an ETA at this point, but we are making very good progress. Well continue to provide periodic updates.

4:23 UTC Service is now fully restored. It may take a little while for performance to return to normal. Thanks so much for your patience.

https://status.github.com/messages

GitHub.com と Gist をネットワーク障害の調査のために落とした。世界中からのブーイング応援に胸が熱くなる」

「2時間経ってなんとかネットワーク安定したっぽいけど、オレたちはメンテナンスモードを続けることをチョイスした。世界中からのブーイング応援に胸が熱くなる」

「いい感じにサーバのサービスが復旧してきた。残り時間は少ないが、よくなってる。継続して状況報告するわ。世界中からのブーイング応援に胸が熱くなる」

「サービス復旧宣言。辛抱ありがとう!世界中からの手のひら返しな声援に胸が熱くなる」

フラグ立てながら復旧した すごい

さえずり

おもしろかった

地獄変

おかしいときはgithub:status見よう

ハートビート用のサーバは当然分かれてるので、ここでグラフが見れる

さっきキャプチャしたの貼っておく

f:id:noromanba:20121223114250p:image

https://status.github.com/

グラフ信じると、おかしくなり出してから大体4~5時間弱くらい。結構ヤバい感じだった

中の人クリスマス休暇ちゃんと取れるのかな・・泣ける

ユーザの対策

お金のかけ具合による

リッチマン

GitHub Enterprise つかう。多分滅多に落ちない(はず)

プアマン

ダウンタイム作りたくないなら、Bitbucket(バケツ)とか、Google Codeとか他のGitレポジトリ作れるホスティングサイトにもクローンしておこうね

BitbucketUI最近マシになったし、プライベートrepo作り放題、コラボレーター数多かったりして無料で秘密共同作業するなら割といい

誰かのmasterブランチ他のbareに入れて作業して、後でfetchすればOK。分散リポジトリの見せどころだYO!


全部嫌なら寝るといい

壊れ逝く様子

キャプチャとかハイクとか

08:29:30

おかしくなる直前

gistのpjax たぶん jquery-pjax

  • DOMAttrModified 使いたくない
  • MutationObsever 使いたくない

loadで動けばいいだけなんだけどなー

by のろまんば 2012/12/23 8:29:30 from web 返信

http://h.hatena.ne.jp/noromanba/299871751648659013
08:44:50

サービスやられはじめる

...

HTTP 500

f:id:noromanba:20121223083642p:image:w300

HTTP 410

f:id:noromanba:20121223083644p:image:w300

ナオスナッテコトネ(´・ω...:.;::..

☮TIPS

「Ermahgerd」 => OMG c.f. http://knowyourmeme.com/memes/ermahgerd

「Aw shucks.」 => ちくしょう、なんてこったい

べんきょうになりますね

by のろまんば 2012/12/23 8:44:50 from web 返信

http://h.hatena.ne.jp/noromanba/299854159698110064
11:23:36

しばらく離れてたら 502 bad gateway に変わってた

f:id:noromanba:20121223112602p:image

11:42:09

すぐメンテ画面になった

f:id:noromanba:20121223114248p:image


おわり

uiuhwjvayzuiuhwjvayz2014/05/08 00:19frunsqufdi, <a href="http://www.tbbirtegls.com/">fjlcplbyem</a> , [url=http://www.cpqcokimfz.com/]rktrnaugtj[/url], http://www.jselrlhuvi.com/ fjlcplbyem

トラックバック - http://ptech.g.hatena.ne.jp/noromanba/20121222

Copylight (c) noromanba 2012-2017