IT 2009 14 all rights reserved by Net
ITソリューション塾 講義資料 データベースとストレージ © 2009 -14, all rights reserved by Net. Commerce & applied marketing
ITソリューション塾 講義資料 RDBMSの高速化と ACID特性 © 2009 -14, all rights reserved by Net. Commerce & applied marketing
RDBMSの高速化への取り組み トランザクションの増加 データ量の増加 単体能力の強化 (Scale Up) 分散処理 (Scale Out) I/O分散 クラスタ キャッシング Shared Nothing インメモリ Sharding © 2009 -14, all rights reserved by Net. Commerce & applied marketing BIへの活用 集計・分析処理の 効率化 列指向 RDBMS Net. Commerce applied marketing
ITソリューション塾 講義資料 データ分析用に進化した 列指向 (カラム型) RDBMS © 2009 -14, all rights reserved by Net. Commerce & applied marketing
ITソリューション塾 講義資料 リレーショナルモデルを使わないDB No. SQL © 2009 -14, all rights reserved by Net. Commerce & applied marketing
ITソリューション塾 講義資料 No. SQL その 1 KVS © 2009 -14, all rights reserved by Net. Commerce & applied marketing
実際のシステムは適材適所で 金融取引・決済 検索・SNS RDBMS KVS 文書管理 ECショップ 商品検索 = KVS XMLDB 決済処理 = RDBMS © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
ITソリューション塾 講義資料 No. SQL その 2 ドキュメント志向データベース © 2009 -14, all rights reserved by Net. Commerce & applied marketing
現実のビジネスや業務で発生するデータは不定型 Copyright © 2012 Cyber. Tech Corporation. All rights reserved. © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
RDBMSで扱いづらいデータ 情報系(不定型データ) ・ドキュメント ・ナレッジ ・コンテンツ情報 基幹系(定型データ) ・会計 ・生産管理 Copyright © 2012 Cyber. Tech Corporation. All rights reserved. © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
ドキュメント指向DB リレーショナルDB ドキュメント指向DB JSON/XML DB スキーマレスで、項目の追加・変更が簡単 非構造化データに対応可能 © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
ITソリューション塾 講義資料 New. SQL © 2009 -14, all rights reserved by Net. Commerce & applied marketing
RDBMS + No. SQL = New. SQL © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
RDBMSとNo. SQLの「良いとこ取り」 RDBMS No. SQL New. SQL データの整合性確保 ◎ △ ○ 分散処理 △ ◎ ◎ トランザクション処理 ◎ × ○ SQLサポート ◎ × ○ New. SQL DB Volt. DB、Scale. DB、Akiban、Translattice、Nuo. DB、 Info. Frame Relational Store RDBMS+No. SQL My. SQL Cluster with NDB、My. SQL with Handler. Socket New. SQL-as-a. Service Amazon Relational Database Service、SQL Azure、 Database. com RDBMSとNew. SQLの違いは徐々に無くなりつつある © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
ITソリューション塾 講義資料 大規模分散処理 Map. ReduceとHadoop © 2009 -14, all rights reserved by Net. Commerce & applied marketing
大規模分散処理システム Hadoop MAP Big Data Node Task Tracker ー ー タ を 分 割 デ ・・・ デ Data Node Task Tracker Name Node REDUCE タ を ま と め る Job Tracker マスターサーバー 処理が 終わらない © 2009 -14, all rights reserved by Net. Commerce & applied marketing 処理を分散・大規模なデータもData Nodeを増やし対応 Net. Commerce applied marketing
Hadoopの活用 Hadoop 分散バッチ処理 HBase 大規模分散処理 (Big. Data処理) © 2009 -14, all rights reserved by Net. Commerce & applied marketing Hadoop上で大規模な分 散バッチ処理を行うため のフレームワーク Net. Commerce applied marketing
Map. Reduceの動向 Hadoop 2 Google Amazon Facebook Apache © 2009 -14, all rights reserved by Net. Commerce & applied marketing YARN (ジョブスケジューリング、リソース管理) ・ 4, 000ノードから10, 000ノードへ ・Map. Reduce以外の環境もサポート HA機能の追加 Map. ReduceをApp. Engineで提供開始 現在も継続して機能強化中 ・マルチデータセンター対応 ・ 10万台~ 1, 000万台がゴール Amazon Elastic Map. Reduce(Amazon EMR) ・EC 2インスタンス上でHadoopをスピンアップ HIVE/Presto ・HDFS上のデータをSQLで操作 Spark ・インメモリ型Map. Reduce Net. Commerce applied marketing
ITソリューション塾 講義資料 補足資料 © 2009 -14, all rights reserved by Net. Commerce & applied marketing
何を重視するか? C+Aを重視する例 ネットワークの分断に弱い 整合性を保つ仕組みが必要 - ACID - Oracle My. SQLなど A+Pの例 一貫性が一時的に失われる 「いいね!」がすぐに反映されないなど - Eventually Consistent - Facebook Cassandra Amazon Dynamo など C+Pの例 可用性が失われる場合がある サービスが一時的に使えないことがあるなど - Basically Available © 2009 -14, all rights reserved by Net. Commerce & applied marketing Google Big. Table Hadoop Hbaseなど Net. Commerce applied marketing
特許問題 © 2009 -14, all rights reserved by Net. Commerce & applied marketing Net. Commerce applied marketing
- Slides: 45