IT 2009 14 all rights reserved by Net
ITソリューション塾 講義資料 データベースとストレージ © 2009 -14, all rights reserved by Net. Commerce & applied marketing
急激なデータの増大 これまでとは桁が違う量のデータ =ビッグデータ 情報爆発3要因 IDCの定義=「扱うデータサイズが100 TB(テラバイト)以上、ま たはストリーミングデータを利用していること、または年率60%以 上の成長率で生成されるデータ」 http: //www. idcjapan. co. jp/Press/Current/20140123 Apr. html 35 ZB SMD Smart Mobile Device Social Io. T Internet of Things 約20倍 1350 EB 150 EB 2009 © 2009 -14, all rights reserved by Net. Commerce & applied marketing 178 EB 150 EB 2010 2012 情報爆発 info. Prosion 2013〜 2020 Net. Commerce applied marketing
ITソリューション塾 講義資料 RDBMSの性能向上と ACID特性 © 2009 -14, all rights reserved by Net. Commerce & applied marketing
RDBMSの高速化への取り組み トランザクションの増加 データ量の増加 単体能力の強化 (Scale Up) 分散処理 (Scale Out) I/O分散 クラスタ キャッシング Shared Nothing インメモリ Sharding © 2009 -14, all rights reserved by Net. Commerce & applied marketing BIへの活用 集計・分析処理の 効率化 列指向 RDBMS Net. Commerce applied marketing
ITソリューション塾 講義資料 異次元の処理速度への要求 © 2009 -14, all rights reserved by Net. Commerce & applied marketing
現実のビジネスや業務で発生するデータは不定型 Copyright © 2012 Cyber. Tech Corporation. All rights reserved. © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
RDBMSで扱いづらいデータ 情報系(不定型データ) ・ドキュメント ・ナレッジ ・コンテンツ情報 基幹系(定型データ) ・会計 ・生産管理 Copyright © 2012 Cyber. Tech Corporation. All rights reserved. © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
ITソリューション塾 講義資料 CAP定理とBASE © 2009 -14, all rights reserved by Net. Commerce & applied marketing
何を重視するか? C+Aを重視する例 ネットワークの分断に弱い 整合性を保つ仕組みが必要 - ACID - Oracle My. SQLなど A+Pの例 一貫性が一時的に失われる 「いいね!」がすぐに反映されないなど - Eventually Consistent - Facebook Cassandra Amazon Dynamo など C+Pの例 可用性が失われる場合がある サービスが一時的に使えないことがあるなど - Basically Available © 2009 -14, all rights reserved by Net. Commerce & applied marketing Google Big. Table Hadoop Hbaseなど Net. Commerce applied marketing
実際のシステムは適材適所で 銀行オンライン・決済 検索・SNS RDBMS KVS 文書管理 ECショップ 商品検索 = KVS XMLDB 決済処理 = RDBMS © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
ITソリューション塾 講義資料 New. SQL © 2009 -14, all rights reserved by Net. Commerce & applied marketing
RDBMS + No. SQL = New. SQL © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
RDBMSとNo. SQLの「良いとこ取り」 RDBMS No. SQL New. SQL データの整合性確保 ◎ × ○ 分散処理 △ ◎ ◎ トランザクション処理 ◎ × ○ SQLサポート ◎ × ○ New. SQL DB Volt. DB、Scale. DB、Akiban、Translattice、Nuo. DB、 Info. Frame Relational Store RDBMS+No. SQL My. SQL Cluster with NDB、My. SQL with Handler. Socket New. SQL-as-a. Service Amazon Relational Database Service、SQL Azure、 Database. com RDBMSとNew. SQLの違いは徐々に無くなりつつある © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
ITソリューション塾 講義資料 大規模分散処理 Map. ReduceとHadoop © 2009 -14, all rights reserved by Net. Commerce & applied marketing
大規模分散処理システム Hadoop MAP Big Data Node Task Tracker ー ー タ を 分 割 デ ・・・ デ Data Node Task Tracker Name Node REDUCE タ を ま と め る Job Tracker マスターサーバー 処理が 終わらない © 2009 -14, all rights reserved by Net. Commerce & applied marketing 処理を分散・大規模なデータもData Nodeを増やし対応 Net. Commerce applied marketing
Hadoopの活用 Hadoop 分散バッチ処理 HBase 大規模分散処理 (Big. Data) © 2009 -14, all rights reserved by Net. Commerce & applied marketing Hadoop上で大規模な分 散バッチ処理を行うため のフレームワーク Net. Commerce applied marketing
Map. Reduceの今後 Hadoop 2 Google Amazon © 2009 -14, all rights reserved by Net. Commerce & applied marketing YARN (ジョブスケジューリング、リソース管理) ・ 4, 000ノードから10, 000ノードへ ・Map. Reduce以外の環境もサポート HA機能の追加 Map. ReduceをApp. Engineで提供開始 現在も継続して機能強化中 ・マルチデータセンター ・ 10万台~ 1, 000万台がゴール Amazon Elastic Map. Reduce(Amazon EMR) ・EC 2インスタンス上でHadoopをスピンアップ Net. Commerce applied marketing
特許問題 © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
- Slides: 45