1. Слоны в облаках
работаем с Hadoop в Windows Azure
Владимир Юнев
Microsoft

2. Big Data и Microsoft
Как мы поддерживаем Hadoop
Agenda
Hadoop в Windows Azure
как сервис по требованию

3. Насколько
«Big Data»
биг сегодня?

4. 1 PETABYTE
данных в секунду получает Большой адронный коллайдер
CERN

6. 9000
8000
7000
6000
5000
4000
3000
2000
1000
0
2005 2008 2015

8. Интернет видео – 18 Экзабайт в месяц
Мобильный трафик – 2 Экзабайта в месяц
В 2011 году Фейсбук перенес 11 Петабайт
данных в свой Hadoop кластер
Big «Big Data» Пользователи Twitter создают более
1 терабайта сообщений в день
Cisco предполагает что к 2013 интернет
трафик достигнет величины 667 экзабайт ( в
год ), а к 2015 – превысит 1 Зеттабайт

9. Big
unstructured
data
* by Gartner

10. 4 триллиона
объектов в
Windows Azure
Microsoft
и Big Data
Bing скачивает
7 петабайт
данных в месяц

11. 500 миллионов активных
аккаунтов Microsoft Account
460 миллионов уникальных
пользователей MSN в месяц
355 миллионов пользователей почты Hotmail
Microsoft
и Big Data 5.5+ миллиардов запросов к Bing в месяц
40 миллионов активных пользователей Xbox Live
14 миллиардов показов рекламы
Microsoft Advertising в месяц
2-4 миллиарда писем в Office 365 ежедневно

12. Microsoft
и Apache Hadoop

13. Microsoft - Platinum Sponsor
Apache Software Foundation SQL Server Connector for Apache Hadoop
www.microsoft.com/download/en/details.aspx?id=27584
Open source Hadoop .NET SDK
http://hadoopsdk.codeplex.com/
Microsoft
Hive Add-in for Excel и Hive ODBC Driver
и Apache
Hadoop Microsoft HDInsight –
100% Hadoop для Windows Server
http://www.microsoft.com/bigdata
Windows Azure HDInsight
http://HadoopOnAzure.com

14. HDInsight на сервере и в облаке
100% opensource-реализация платформы Apache Hadoop
знакомые инструменты для работы с данными (Excel, BI)
HDFS, MapReduce, Pig, Hive, Zookeeper, Mahout, …
Microsoft
интеграция с SQL Server, обмен данными
HDInsight быстрое развертывание
инструменты управления Apache Ambari+System Center
интеграция и безопасность с Active Directory
доступ к сервису по требованию к облаке Windows Azure

15. SQL Server 2012 Parallel Data Warehouse
движок PolyBase для запросов между
реляционными данными и данными Hadoop
Connector for Apache Hadoop для перемещения
данных из SQL Server в HDFS и обратно
Анонс загрузка данных с SQL Server Integration Services
PASS Summit аналитика, MOLAP-кубы с SQL Server Analysis Services
и визуализация с PowerPivot for Excel
интеграция с MicroStrategy, SAP Business Objects, SAS
выход в 2013 году

16. Hadoop
cluster
Hadoop cluster
Могут ли
слоны летать
в облаках?

17. Windows
Azure

18. Кластер
по запросу
Windows Azure
HDInsight
Кластер
по запросу

19. Создание
кластера

20. Работа с Hadoop
Демо в Windows Azure

21. Microsoft вкладывает силы
и средства в Apache Hadoop
HDInsight – 100% Hadoop от Microsoft
Заключение
Hadoop как сервис по требованию
доступен в Windows Azure
Слоны могут летать в облаках!

22. Владимир Юнев
эксперт по стратегическим технологиям, Microsoft
vyunev@microsoft.com
Twitter - @XaocCPS
Всем спасибо! Facebook – facebook.com/Yunev
Ваши вопросы Blog – blogs.msdn.com/b/vyunev
http://www.microsoft.com/bigdata
http://HadoopOnAzure.com
WindowsAzure.com AzureHub.ru