Microsoft Azure Microsoft Microsoft Azure Microsoft Azure Microsoft

Microsoft Azure는 Microsoft의 퍼블릭 클라우드 서비스입니다. Microsoft Azure

Microsoft Azure 현재 Microsoft Azure 서비스 리전 및 향후 확대 지역입니다. * Operated by 21 Vianet North Europe Central US Iowa US Gov Ireland North Central US Illinois West Europe Netherlands China North * Beijing East US Iowa Virginia South Central US Texas Saitama Shanghai East US 2 California Japan East China South * Virginia West US India West US Gov TBD Virginia Japan West India East Osaka TBD East Asia Hong Kong SE Asia Singapore Australia East Sydney Brazil South Sao Paulo Australia West Melbourne Operational Announced

Microsoft Azure 퍼블릭 클라우드 플랫폼으로서 엔터프라이즈 기업을 위한 다양한 서비스를 제공합니다. Data Factory Batch Stream Analytics 미리보기 (Preview) Remote. App Search 정식 (GA) Express. Route Mobile Engagement Document DB Files Virtual Networks Notification Hubs Machine Learning Site Recovery Key Vault Traffic Manager API Management Cache Backup Operational Insights Cloud Services Mobile Services HDInsight Import/Export Service CDN Service Bus Multi-Factor Authentication Virtual Machines Websites SQL Database Storage Media Services Biz. Talk Services Active Directory Visual Studio Online Scheduler Compute & Networking Web & Mobile Data & Analytics Storage & Backup Media & CDN Hybrid Integration Identity & Access Mgmt. Development Management Automation

Microsoft Azure Data Management and Analytics Services Collection 이벤트 허브 데이터 흐름 Data Management 정형 데이터 Analytics Presentation 머신 러닝 대시 보드 서비스 버스 비정형 데이터 스트림 분석 엑셀 분석 데이터 팩토리 Document. DB Hadoop BI 포털

Event Hub 실시간 분석 서비스 구성도 Azure Event Hub Receivers > 1 M Producers > 1 GB/sec Aggregate Throughput Event Producers Partitions Direct Consumer Group(s) Partition. Key Hash Throughput Units: • 1 ≤ TUs ≤ Partition Count • TU: 1 MB/s writes, 2 MB/s reads Up to 32 partitions via portal, more on request AMQP 1. 0 Credit-based flow control Client-side cursors Offset by Id or Timestamp

Stream Analytics 실시간 분석 데이터를 실시간으로 처리하고 분석할 수 있는 CEP(Complex Event Processing) 플랫폼을 제공합니다. Azure Stream Analytics • • • Temporal Semantics Guaranteed delivery Guaranteed up time Event Inputs - Event Hub - Azure Blob Outputs Transform - Temporal joins Filter Aggregates Projections Windows Etc. - SQL Azure - Azure Blobs - Event Hub Enrich Correlate Reference Data - Azure Blob Azure Storage Data Source Collect Process Deliver Consume

HDInsight HDP (Hortonworks Data Platform) 기반 Managed Service 형태로 Hadoop cluster를 제공합니다. Big Data 분석

Introducing Apache Hadoop

Hadoop started out solving big problems

Hadoop is a platform with portfolio of projects 1 ° ° ° ° ° ° ° ° N

With many contributors

A Hadoop distribution is a package of projects

HDFS

Map. Reduce Input Domain // Map Reduce function in Java. Script var map = function (key, value, context) { var words = value. split(/[^a-z. A-Z]/); for (var i = 0; i < words. length; i++) { if (words[i] !== "") context. write(words[i]. to. Lower. Case(), 1); } }}; var reduce = function (key, values, context) { var sum = 0; while (values. has. Next()) { sum += parse. Int(values. next()); } context. write(key, sum); };

Hive

HBase

Storm

Mahout

YARN

HDInsight Big Data 분석 HDP (Hortonworks Data Platform) 기반 Managed Service 형태로 Hadoop cluster를 제공합니다. ● ● Windows Azure는 대용량 데이터를 저장할 수 있는 신뢰적인 Storage를 제공 데이터에 대한 고 가용성을 제공하기 위해 원본에 대한 2벌의 복제본을 기본 제공 No. SQL을 지원하는 Key, Value 테이블을 제공하여 비정형 데이터에 대한 효과적인 저장과 관리가 가능 Hadoop 클러스터에 특화된 File System으로 ASV (Azure Storage Vault)를 제공하여 다양한 장점을 제공 Windows Azure Blob Storage TABLE (No. SQL) Client HDInsight Services Map/Reduce REST API Name Node CRUD 파일 저장 Application Data Node 테이블 원본 Files System ASV 읽기 복제 Data 복제 읽기 Data

HDInsight Hands on Lab HDInsight Get started http: //azure. microsoft. com/en-us/documentation/articles/hdinsight-get-started/

3. 기계 학습 (Machine Learning)

Azure Machine Learning 고급 분석 데이터 과학자가 데이터를 다양한 모델로 실험하고, 주어진 문제에 대해 예측할 수 있는 서비스를 쉽게 배포할 수 있는 플랫폼을 제공합니다. ● Azure Machine Learning으로 과거엔 어려웠던 고급 분석과 분석 서비스 배포/게시 작업이 빠르고 쉽게 가능 함 Data to model to web services in minutes Cloud Clients Microsoft Azure Machine Learning • • HDInsight SQL Server VM SQL DB Blobs & Tables API Web Model is now a web svc Local • Desktop files Integrated development environment for Machine Learning • Excel spreadsheet • Other data files on PC Storage space Business challenge Modeling Monetize this API Deployment Devices Applications Dashboards Business value

Azure Machine Learning Demo 1. Create a new experiment 2. Train and evaluate the models 3. Publish the web service

실험 (Experiments) – 데이터 수집과 가시적 통계 그리고 관리 Machine Learning Studio 다양한 데이터 원본으로부터 데이터 수집이 가능한 인터페이스와 수집된 데이터를 분석할 수 있는 가시적인 리포트를 제공합니다. 수집 (Collect) 데이터 수집 • File (CSV, TSV, ARRF) • Web URL via HTTP (CSV, TSV, ARRF) • Hive Query • Azure SQL Database • Azure Table • Azure Blob Storage • Data Feed Provider (OData) 통계 (Statistics) 데이터의 분포 가시적 리포트 제공 • Histogram • Box. Plot 다양한 통계 정보를 제공 • Mean • Median • Min • Max • Standard Deviation • Unique Values • Missing Values 처리 (Transformation) 데이터 처리 • Filter • FIR, IIR, Median 등 • Manipulation • Add Column, Add Row, Join 등 • Sample and Split • Scale and Reduce • Apply Quantization Function • Clip Values • Normalize Data • Quantize

실험 (Experiments) – 알고리즘 테스트 및 최적의 학습 모델 발견 1 데이터 과학자는 다양한 알고리즘으로 테스트하고 최적의 학습결과를 얻어낼 수 있습니다. ● 학습을 위한 Supervised / Unsupervised 학습 알고리즘 제공 Classification • • • • Multiclass Decision Forest Multiclass Decision Jungle Multiclass Logistic Regression Multiclass Neural Network One-vs-All Multiclass Two-Class Averaged Perceptron Two-Class Bayes Point Machine Two-Class Boosted Decision Tree Two-Class Decision Forest Two-Class Decision Jungle Two-Class Locally-Deep Support Vector Machine Two-Class Logistic Regression Two-Class Neural Network Two-Class Support Vector Machine ● 텍스트 분석 알고리즘 Text Analytics • Feature Hashing • Named Entity Recognition ● R을 통한 분석 − R 스크립크 실행 가능 Clustering • K-Means Clustering Regression • • Bayesian Linear Regression Boosted Decision Tree Regression Decision Forest Regression Linear Regression Neural Network Regression Ordinal Regression Poisson Regression Machine Learning Studio

Azure ML Hands on Lab Azure Machine Learning Get started 별도 파일 Lab 3: Visualizing, Exploring, Cleaning, and Manipulating Data

© 2015 Microsoft Corporation. All rights reserved. Microsoft, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U. S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.