「勉強会に行ってみた!」第8回「クラウドクラスタの世界を知る!」
event

「勉強会に行ってみた!」第8回
「クラウドクラスタの世界を知る!」

2014.12.11

ent82_img01.jpg

このところよく開かれるIT勉強会。スキルアップのためには行った方がいいのかなと思いつつも、どんな雰囲気なのか分からなくて二の足を踏んでいるという人はいませんか? この記事は、実際に勉強会にお邪魔して「こんな雰囲気でしたよ!」と紹介するのが目的です。こんな感じなら行ってみようかな、みたいに思ってもらえたらうれしいです。(三土たつお

ent82_img02.jpg

今回お邪魔したのは、「クラウドクラスタの世界を知る!~GCP(Google Cloud Platform) BigQuery、GAE の最新動向も紹介~」という、クラウドコンピューティングについての勉強会です。

会場は東京・麹町にあるKDDIウェブコミュニケーションズのセミナールーム。こんな感じのオシャレな場所でした。

ent82_img03.jpg

KDDIウェブコミュニケーションズは会場を無料で提供しているという立場で、主催者は株式会社CRE-COの冨元さんという方。ここらへんの話は主催者の方にお聞きして、とても興味深かったのでまた後ほど。

勉強会の開始は金曜日の19時からでした。今日の話題は2点。1つは産業総合研究所の杉田さんによる、クラウドを構成するハードウェアの話題。もう1つは、Googleの佐藤さんによる Googleの提供するクラウド上のサービスの話題でした。

◎杉田さんによる「クラウドでクラスタを使え!」
まずは杉田さんのお話から始まりました。タイトルは「クラウドでクラスタを使え!」
「私はもともと強電(きょうでん)屋で……」と挨拶した杉田さん。強電というのは大電流を扱う電気の分野のことですが、そのとおりまずはクラウドを支える電力の話から始まりました。

ent82_img04.jpg

東京都内で消費する電力のうち、データセンターが使う分はなんと12%を超えるそうです。もうすでに電力の8分の1をデータセンターが占めるような時代なんですね。びっくりしました。今後もデータセンターの消費電力は増え続けるという予測があるそうです。

ent82_img05.jpg

そしてスマホの需要は伸び、高性能化しています。よく考えると、スマホで何か操作をするたびにたいていデータセンターとやりとりが発生しています。つまり、スマホが使われれば使われるほど、データセンターの消費電力も増えるということになります。

ent82_img06.jpg

これは2010年ごろの数字ですが、そうやって使われるデータセンターの消費電力のうち7割は機器の冷却やUPSなどに使われ、肝心のIT機器には約3割しか使われていませんでした。IT機器はピーク時以外は待機しているだけのようなことも多いですから、東京の電力の約8%は、待機しているIT機器をただ冷やすためだけに使われていたと言ってもいいようなことになります。

なので、データセンターでの電力消費をいかに効率化して肝心の計算資源に充てるかということがとても重要になりました。そして、たとえばグーグルは独自に設計したデータセンターやサーバーによって、2012年の時点で消費電力の約8割をIT機器に充てることができていたそうです。

ent82_img07.jpg

その秘密の一端はこの写真にもあるように、冷却を水冷にしたり、ラック間にわざと隙間をあけて熱交換の余裕を設けたりといったことがあるようです。

こんなふうにしてデータセンターの電力の効率化が行き渡ると、次はサーバーの電力効率化を進めることになります。そのためには、処理速度を上げる事です。消費電力が同じなら、処理速度を上げる事で効率を上げることができるためです。

ent82_img08.jpg

まさに「サーバーとストレージは速度が命」というわけです。そのために、まずCPUの処理速度を上げたり、コア数を増やしたりします。つぎにストレージをHDDからSSDに変えたり、さらにメモリそのものをストレージとして使うために1TBといった大容量にしたり、さらに不揮発性にしたりといったことが現在進んでいるとのことでした。

ent82_img09.jpg

◎佐藤さんによる「GCP (Google Cloud Platform) 最新動向」

次は、Googleの佐藤さんによる、Googleのクラウドサービスである、GCP(Google Cloud Platform)についての話題。

最初に紹介していたのは、Googleのクラウド技術に関する年表です。

ent82_img10.jpg

分散ファイルシステムであるGFSや、バッチ処理を行うためのMapReduce、分散データベースであるBigTableなどが、2006年までにGoogleによって実装されました。その後公開された論文によって、それらのオープンソース実装であるHadoopやHBaseが作られました。まさにグーグルがクラウド技術をリードし、オープンソースが追いかけるという時代が続いたのです。

それらの技術はGoogleにとっては第1世代にあたり、いまでは第2世代にあたる Colossus(GFSの後継)、Dremel(MapReduceの後継)、Spanner(BigTableの後継) といった技術をグーグルでは使っているそうです。

ent82_img11.jpg

なぜ第2世代に移行しているのか?それはグーグルの扱うデータがあまりにも大きくなっているためです。膨大なデータの中から、たとえばMapReduceを使ってある条件でデータを検索しようとすると、半日かかってようやく答えが返るといったこともありますが、それでは業務が回りません。

そこで、グーグル社内では2006年からDremel というシステムを使って日々の業務を行っていました。それをサービスとして一般に公開したのが BigQuery になります。BigQuery がどれだけ高速か、実際にデモを見せてくれました。

ent82_img12.jpg

BigQueryに格納されているWikipedia のデータの中から、タイトルに「あいうえお」を含むものを正規表現で検索したところ、約3TB・1000億行のデータを走査して約10秒で答えが返りました。画面の中央にSQLに似た検索条件が、画面下に結果が見えています。
BigQuery のすごいところは、インデックスを一切つかっていないというところです。ふつう、データベースの設計に際しては、いかにうまくインデックスを設計するかというようなところがあります。インデックスの効いた検索は高速に行われる一方、検索条件をちょっと変えてインデックスが効かなくなると、検索にはとても時間がかかります。

ところがBigQuery はいっさいインデックスを使わないのに高速です。だから正規表現を使った検索のような、ふつうの感覚だと避けて通りたくなるような条件でも問題なく検索できるし、経営者の思いつきでいろいろと条件を変えながら検索することもカジュアルにできるとのことでした。

BigQuery、すごいですね。さっそくチェックしようと思いました。

ent82_img13.jpg

◎冨元さんが勉強会を主催する理由

その後、会場では交流会が行われ、さらに場所を移して打ち上げの流れとなりました。私も打ち上げに参加し、主催者である株式会社CRE-COの冨元さんに話を伺いました。

ent82_img14.jpg

勉強会を主催するのは、多くの場合、技術者自身か、自社のサービスを知ってほしい企業です。しかし冨元さんはそのどちらでもありません。技術者の人材派遣を事業の一つとする会社の社長の立場で、一般の方向けに一般の題材で勉強会を主催しているのです。いったいなぜでしょう?

もともとは、自社技術者のスキル向上という目的があったそうです。ただ、いろいろと試行錯誤しているうちに、それぞれの会社内で教育を行うのは時代に合わなくなってきているのではないかと感じたそうです。技術はすぐ陳腐化し、また技術者の流動化も進んでいます。自社で教育をしても、すぐ他社へ移ってしまうかもしれません。

「オープンな勉強会をやるのが、遠回りのようでも結局早いのです。」

という冨元さんの言葉は、IT勉強会の本質を示唆しているようにも思いました。
※ちなみにCRE-COでは、スキルアップをして自分の本当にしたい仕事(他社)に移ることも奨励しているそうです。

今回参加した勉強会:
「クラウドクラスタの世界を知る!
~GCP(Google Cloud Platform) BigQuery、GAE の最新動向も紹介~」
http://learningvesper.doorkeeper.jp/events/16871

三土たつお。1976年生まれ。プログラマー、ライター。プログラマーとしてはふだんPHPを書いてます。
ライターとしてはニフティのデイリーポータルZとかで書いてます。
http://mitsuchi.net/

この記事はどうでしたか?

おすすめの記事

キャリアを考える

BACK TO TOP ∧

FOLLOW