Aleksey's presentation from Oday, Oct 30, 2014 about Exalogic

1. Exalogic – быстрее быстрого
Алексей Задонский Ведущий технический специалист
30.10.2014
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.

2. О чём пойдёт речь
Что такое Exalogic и из чего состоит
Консолидация приложений на Exalogic
Exalogic как «облако в коробке»
Примеры внедрений

3. Exalogic как инженерная система

4. Что такое Oracle Exalogic
Это - сверхбыстрая инженерная система для работы Java-приложений на платформах Linux или Solaris
Шина Exabus и Exalogic Elastic Cloud Software:
oИмеет сверхбыструю пропускную способность без обычных узких мест (значительно меньшие задержки, разгрузка процессоров и т.д.)
oУлучшает масштабируемость
oНа Exalogic в среднем примерно в 2-3 раза требуется в меньше вычислительных ресурсов (ядер), чем в обычных серверах
Упрощение развертывания приложений и уменьшение сложности обслуживания, облачные технологии (CDN, OpenStack)
Увеличение надежности и доступности приложений
Виртуализация, балансировка нагрузки, программно-аппаратная изолированность приложений и решение вопросов безопасности
Встроенная управляемость комплекса от диска до приложения
В итоге – высочайшая производительность, надежность, гибкость управления и невысокая общая стоимость владения системой

5. В чем смысл создания инженерных систем Помимо производительности, управляемости и стоимости владения
С приобретением Sun, Oracle получил возможность создавать комплексы HW+SW, работающее исключительно эффективно.
«Железо» и «Программное обеспечение» проектируются, тестируются, отлаживаются совместно
Можно добиться высочайшей производительности, если знаешь какое ПО будет работать на каком «железе»
Меньше вероятность сюрпризов от несовместимости компонентов
Заказчики экономят время на том, что не подгоняют компоненты систем друг к другу (у заказчика может и не быть специалистов достаточной квалификации для подгонки)
Экономия времени на развертывании
Единая точка поддержки
Самые популярные EXA-системы:
Exadata – сверхбыстрая база данных
Exalogic – сверхбыстрая платформа сервера приложений
SuperCluster

6. Конфигурация Exalogic

7. Система хранения
Дисковые накопители и диски SSD - Sun ZS3-ES Network Attached Storage (80 TB SAS disk, 6.4 TB read cache, 292 GB write cache)
Система ввода-вывода - I/O
Конвергентная сетевая инфраструктура на базе QDR InfiniBand (40 Гбит/сек, latency 1.7 0микросекунд) и Ethernet для соединения внутренних и внешних ресурсов.
Вычислительная мощность
4, 8, 16 или 30 аппаратных серверов на базе Intel Xeon Ivy Bridge 2.7 GHz.На каждом узле 256-512 Gb RAM, SSD 800 Gb, OS или множество виртуальных серверов
Мощность аппаратной платформы Exalogic X4-2

8. Масштабируемость Exalogic
Eighth Rack
Quarter Rack
Half Rack
Full Rack
Multi-rack
4 узла
96 ядер
1 ТB RAM
80 ТB SSD
8 узлов
192 ядра
2 ТB RAM
80 ТB SSD
16 узлов
386 ядер
4 TB RAM
80 ТB SSD
30 узлов
720 ядер
7.5 GB RAM
80 ТB SSD
240 узлов
5760 ядер
60 TB RAM
640 TB SSD
1/8 Rack
1/4 Rack
1/2 Rack
Full Rack
Multi-Rack

9. Надежность архитектуры Exalogic Fault Tolerance
Dual Power Distribution Units (1+1)
Dual power supplies in each component (1+1)
N+1 cooling (fan) strategy
Redundant IB switches (1+1)
Dual HCA ports in every component (bonded, 1+1)
Redundant storage heads (1+1)
All SSD and HDD RAID 1+
99.999%
Compute Nodes
InfiniBand Gateways
Management Switch
Compute Nodes
InfiniBand Spine Switch
Exalogic Rack
Storage System

10. Internet/Extranet (via Global LB)
Катастрофоустойчивость аппаратной архитектуры
Compute Nodes
InfiniBand Gateways
Storage System
Management Switch
Compute Nodes
InfiniBand Spine Switch
Exalogic Production Site
10GbE
GbE
Management Network
Exalogic DR
10GbE
GbE
DR Link A
DR Link B
Service Network

11. Программная архитектура максимальной доступности
Решение на всех уровнях от базы данных до приложений
Интегрируемость
Гибкость
Active-Active
Active-Passive
Disaster-Recovery
Доступность
Высокий уровень доступности для приложений и Middleware
Grid Federation
Active Data Guard/
GoldenGate
Storage Replication
Global Load Balancer
MW Tx Log
Local Load Balancer
Site A
WebLogic
FMW & Java Apps
WebLogic
FMW & Java Apps
Oracle RAC
Coherence
Grid
Coherence
Grid
Coherence
Grid
MW Tx Log
Local Load Balancer
Site B
WebLogic
FMW & Java Apps
WebLogic
FMW & Java Apps
Oracle RAC
Coherence
Grid
Coherence
Grid
Coherence
Grid
Цель архитектуры максимальной доступности – достичь оптимальной высокой доступности на основе WebLogic, Fusion Middleware при низкой цене с учетом уровней Middleware и базы данных

12. Exalogic – программная конфигурация

13. Exalogic Elastic Cloud System Software – Основа платформы
www.oracle.com/us/products/middleware/exalogic

14. Некоторые важные компоненты Oracle Elastic Cloud
Exabus – коммуникационная структура (драйвера, прошивки, API) на базе Oracle InfiniBand с эмуляцией Ethernet. Высочайшая производительность и оптимизация обычных узких мест.
Гипервизор Oracle VM первого типа с минимальными накладными расходами и высокой производительностью (>99%)
Traffic Director – контроллер трафика для сложных форм управления трафика. Высокая безопасность и производительность (в 3.5 быстрее и на 28% лучше утилизирует CPU, чем Apache).
Exalogic control – управление и мониторинг аппаратного обеспечения и системного ПО. Управляет ресурсами, учетными записями пользователей (GUI, командная строка, API).
Операционные системы – Oracle Linux, Solaris.
ПО для управления системой хранения. Позволяет, в частности, делать клонирование, моментальные снимки, аварийное восстановление.

15. Exabus – высокоскоростная коммуникационная шина

16. Application Buffer
Copy
TCP IP Transport
Kernel
Application Buffer
Стандартный I/O Application
Application
Exabus
20% Buffer Copies
40% Transport Processing
40 % Kernel Context Switches
Zero Buffer Copy
Direct Memory Access
Kernel Bypass Application
Application
4х выше пропускная способность, 6х ниже задержки
Exabus: Оптимизация сетевого ввода-вывода I/O

17. Exabus: Оптимизация сетевого ввода-вывода I/O
WebLogic Server
1.5K
1.5K
Standard WebLogic with standard read write IO
10Gb/s Ethernet with 1.5K Maximum Transmission (MTU)Size
WebLogic Server
Read/write collections of 4K chunks
…
4K
4K
4K
4K
64K
128K
40Gb/s Infiniband with 64K MTU for IPoIB or >=32K MTU for SDP
…
WebLogic on Exalogic withScatter/Gather IO
Read/write 4K standalone chunks
4K
4K
4K
4K
Standard WebLogic
WebLogic Server on Exalogic
Сбор пакетов в наборы (chunks) для пересылки
Увеличение размера MTU
Увеличение пропускной способности и уменьшение задержек
1.5K

18. Стандартное межпроцессорное взаимодействие (IPC)
Один мультиплексор – много блокировок
Маленькие пакеты (1.5K) требуют больше ресурсов и замедляют обмен по сети
TCP/IP over Ethernet
Single Muxer Single Muxer
Много маленький сообщений Медленная сеть
Standard Inter-process Communication

19. Exabus: Оптимизированное взаимодействие процессов по InfiniBand
Параллельный мультиплексор уменьшает количество блокировок на очереди – параллельность и быстрая передача данных
Пакеты большего размера (64K для IPoIB и >=32K для SDP) уменьшают вычислительные затраты на передачу данных
SDP over InfiniBand
Parallel Muxer Parallel Muxer
Быстрая сеть, меньше сообщений
Inter-process Communication

20. HTTP Client
Exabus: Оптимизация обработки web-запросов для Weblogic
Оптимизированный пул тредов улучшает масштабируемость приложений, делающих HTTP вызовы к другим сервисам (Web Services/SOA applications) что существенно сокращает загрузку ЦПУ (с 82% до 8%)* Client Applications
Обычный сервер
Создание нового треда на каждый запрос
Server Applications
Server Applications
HTTP Client
Client Applications
Exalogic
Пул тредов
для повторного
использования
Server Applications
Server Applications
*Для портального приложения делающего SOAP-запросы – 10 портлетов на странице
Стандартное железо
EL 2.х
2X
Web
запросов в сек

21. Exalogic/WebLogic и Exadata – специальные оптимизации
Оптимизированный Socket Direct Protocol (SDP) для JDBC и обмена данными
Для соединений JDBC/OCI – новый специальный высокоскоростной протокол Exadirect Secure
Work Manager и оптимизация ввода/вывода
oВекторный ввод/вывод
oОптимизироанный self tuning thread pool
Active GridLink для Real Application Cluster (load balancing and failover)
Примерно в 5 раз выше производительность
960 Gigabits/second
Exalogic
Exadata

22. WebLogic – лидирующий сервер приложений

23. Сервер приложений WebLogic – стратегическая платформа Oracle
Стратегическая платформа для всех приложений Oracle и Fusion Middleware
# 1 сервер в мире по доле рынка, производительности, инновациям и по скорости роста
Высочайшая производительность. Много лет возглавляет мировые рекорды производительности (в четырех категориях SPECjAppServer2004 для одно/двух/многопроцессорных серверов).
Высочайшая степень масштабируемости (близкая к линейному)
Защита от перегрузок, обработка ошибок
Встроенная балансировка нагрузки
Поддержка целостности транзакций
Rolling upgrades (обновление по узлам кластера)
Production redeployment (одновременная работа новой и старой версии приложений)
Dynamic configuration changes (изменения без рестарта)
Быстродействие, масштабируемость, надежность, управляемость

24. Внедрение: Консолидация
Самая большая eCommerce компания Японии
Быстрый рост бизнес (в 10х раз за 2010 год) привел к необходимости искать новые решения – более гибкие и масштабируемые
Использовалось >100 доменов WebLogic на 370 физических серверах
Всё было консолидировано на 2х ½ racks of Exalogic + Coherence, Enterprise Manager
o800 процессоров WebLogic
o300 процессоров Coherence
Выгоды от Enterprise Manager – лёгкое внедрение, управление и мониторинг
Годовая экономия от перехода - $160M
Увеличение масштабируемости – на 280% лучше производительность на процессорное ядро, чем предыдущая конфигурация
Лучшая гибкость – легко конвертировать разработку/тестирование в промышленную зону (особенно важно для периодов высокой нагрузки)
Case Study

25. Coherence – данные, кэширование и аналитика в оперативной памяти

26. Coherence In Memory Data Grid Зачем это нужно
Производительность приложений
Прямой доступ из оперативной памяти – информация более близка к приложениям
Масштабируемость приложений
Уменьшение нагрузки на базы за счет кеширования в памяти
Надежность работы приложений
За счет надежного распределенного кэша
Coherence
In Memory Data Grid
Приложения
Приложения

27. Примеры использования технологии Кому это нужно
Кэширование
oКлиентские приложения запрашивают и работают с данными в памяти, а не на серверах хранения
Аналитика
oКлиентские приложения запрашивают данные из памяти (есть язык CohQL похожий на SQL) и моделируют в памяти
Вычисления
oПриложения производят вычисления (бизнес-логику и транзакции) в распределенной памяти
События
oПриложения производят действия основываясь на событиях в распределенной памяти

28. Oracle Coherence Основные свойства и преимущества
Технология data fabric/grid для управления данными в распределенной сети без точки отказа (все узлы равноправны – без single points of failure) с единым представлением данных на узлах
Данные и индексы «поднимаются» в оперативную память с автоматическими транзакциями изменений в базу данных (с пониманием flash disks, SSD и обычных дисков)
Динамическое распределение данных по узлам и автоматическая балансировка нагрузки
При потере одного узла остальные перераспределяют его нагрузку
Поддержка различных запросов, которые параллельно обрабатываются узлами
Линейное масштабирование системы (внедрения до тысяч узлов)
Расширенная безопасность (авторизация, использование identity token)

29. Примеры: eCommerce на приложениях JEE
Case Study
Logical Reference Model
ZFS Storage
Exabus Network
Intel Xeon Compute
Oracle Linux / Solaris
Oracle Database
Oracle Virtual Machine
Oracle JVM
Oracle WebLogic Server
eCommerce Custom JEE Apps,
ISV Apps (Hybris, BroadVision, etc.)
Oracle Coherence
Oracle Traffic Director
Exadata
Exalogic
Amway
•10x SOA throughput, 3.5x faster response time China Unicom
•10x performance, 1/14th energy, 1/8th floor space Rakuten, Japan
•4x throughput, 11.5x consolidation (370 WLS servers to 32 Exalogic nodes) American Tire Distributors
•Goals: Streamline eCommerce systems. EBS R12 upgrade. Greater agility, scalability and processing power.
•Solution: Exalogic (2x1/8), Exadata (2x1/2). EBS R12, SOA/Coherence, Hybris + tc Servers on Exalogic. Replaced EMC, HP, Vmware.
•Benefits: Standardize on Exa*. Improve Agility and Scalability. Streamline Hybris-based eCommerce on Exalogic. Overstock.com
•Goals: Aggressive growth, overseas expansion. EBS R12 upgrade, decouple EBS and eCommerce systems. HW refresh due (aging IBM pSeries).
•Solution: Exalogic (1/8), Exadata (1/4), WLS Suite, WLS JMS, WLS Mgmt Pack
•Benefits: Scalability for international expansion. IT resources freed up for value adds. Leverage existing EBS licenses. Roadmap for eCommerce on Exa*
Примеры заказчиков

30. Tuxedo – лидер среди серверов приложений для C/C++/Cobol

31. Что такое Oracle Tuxedo
#1 сервер приложений для C/C++/COBOL (80% рынка)
Часто используется для миграции приложений с Mainframe на общепринятые технологии
Гибкая, линейно масштабируемая архитектура
Высокая производительность, низкие задержки
Интегрированное управление и мониторинг

32. Внедрение: Обработка транзакций
Global PAYplus company предлагающая ISV-приложения для массовой обработки транзакций и казначейства (от #1 банка Англии)
Имеет решения для JAVA и Tuxedo. Предлагает SaaS.
По сравнению с аналогичной платформой IBM достигнуто увеличение производительности в 6.25х раза
Конфигурация:
oJEE: ¼ rack EL + ¼ rack ED
oTuxedo: 1/8 rack EL + 1/8 rack ED
Производительность:
oJEE: достигнута производительность обработки массовых платежей 9.35 млн/час при baseline 6 млн/час
oJEE: достигнута производительность обработки отдельных платежей 5.7 млн/час при baseline 4 млн/час
oTuxedo: производительность 14.5 млн транзакций за 56 мин (baseline 240 мин)
Линейная масштабируемость при снижении полной стоимости владения
Case Study

33. Traffic Director – безопасный и производительный контроллер трафика

34. Application Application Application
Exabus
Fabric
Datacenter
Service Network
Traffic Director
Traffic Director & Virtual Firewall
 Быстрый и масштабируемый балансировщик нагрузки 7-го уровня (request & content-based routing,
quality of service tuning)
 Полная интеграция с Exabus (low latency - 3.5X выше пропускная способность и на 28% эффективнее
использование CPU чем в Apache)
 Множество декларативных правил для маршрутизации запросов, динамическая переконфигурация
 Обеспечение высокой доступности (active-passive & active-active failover, Offline Health check)
 Удобство администрирования (wizard-driven graphical interface)
 Virtual Firewall реализован непосредственно
на Exabus fabric маршрутизаторах
o Устойчив ко всем известным уязвимостям IP-уровня
o Устойчив к известным уязвимостям межсетевых экранов
 Совместно с Traffic Director: полный Virtual Firewall для Exalogic
 Traffic Director реализует:
o Reverse proxy – маскирование имен серверов
o Терминирование SSL 3.0, TLS 1.0 (VerySign, RSA,сертификаты до 4096 бит)
o Мониторинг
 Кэширует контент и сжимает трафик

35. Рекордная производительность

36. 2.3X
3.1X
Производительность Elastic Cloud Software 2.0 (для X3-2)
Стандартное железо
EL 1.х
EL 2.х
78.840
246.035
836.520
3.1X
10X
Web
3.1X
Стандартное железо
EL 1.х
EL 2.х
401.070
1.237.462
1.979.940
3.1X
5X
JMS
запросов в сек
сообщений в сек
3.1X
Стандартное железо
EL 1.х
EL 2.х
9.560
22.481
49.460
2.3X
5X
Enterprise Java
операций в сек
Для Exalogic X4-2 производительность web-приложений в 26 раз выше, чем реализация open source

37. Быстродействие приложений Oracle на Exalogic
200 ms
Высочайшая производительность, лучшее время отклика
Standard hardware
Exalogic and Exadata
E-Business Suite
Order to Cash
ATG
Web Commerce application
PeopleSoft
Self Service HRMS, FIN
Siebel UCM Customer Hub
3x better Response Time 3x better Scalability
3x better Response Time
5x better Scalability
8x better Response Time
4x better Scalability
3x better Response Time
2x better Scalability
JD Edwards
Order Management
3x better Response Time
2x better Scalability
0.51 s
0.17 s
2s
0.7s
1.18 s
0.39 s
25 ms
2.23 s
0.74 s
Время отклика

38. Управляемость, консолидация и облачная архитектура

39. Управление системой Exalogic
Единый центр управления с помощью Oracle Enterprise Manager 12c
Система включает в себя:
oРазвертывание приложений (включая прошивки, OS, Middeware, приложения)
oТестирование (функциональное, нагрузочное, управление тестированием)
oМониторинг (от диска до приложений, питание и температура, система хранения)
oУправление (диагностика, SLA-мониторинг, конфигурации и трассировка изменений, автоматизация обновлений OS, прошивки и т.д.)
oПоддержка (интеграция с MyOracleSupport, удаленное управление – по желанию заказчика, рекомендации по установке патчей)

40. EM 12с: Мониторинг и управление Exalogic из единого портала
Hardware
Monitoring
Software Monitoring
Cloud Provisioning
WebLogic Provisioning
Metering & Chargeback

41. Облачный подход вместо традиционного
Традиционный подход (выполняет администратор)
Развертывание Platform-as-a-Service (выполняет пользователь)
Выбрать и купить HW
Сконфигурировать HW
Установить и сконфигурировать ОС
Установить DB&FMW ПО
Сконфигурировать ПО и БД, патчировать
Добавить HW и все переконфигурировать при росте потребностей
Потребовать создать новую БД
Настроить увеличение конфигурации по требованию
Self-Service Provisioning
ВСЕ !!!!
Middleware
OS/Machines
Database
Портал
Пользователь не знает об инфраструктуре
Databases

42. Что мы ждем от частного облака
 Планирование и создание облачной инфраструктуры
 Создание и каталогизация в библиотеку ПО шаблонов, сборок и процедур
развертывания БД, создание пользователей сервиса
 Мониторинг и управление облаком
 Биллинг (внутренний/внешний)
Консолидация и пул
ресурсов
Самообслуживание Мониторинг и
биллинг
Доступность,
масштабируемость,
эластичность

43. Exalogic Cloud control Oracle Exalogic – «облако в коробке»
Exalogic Control
Hardened InfiniBand Virtual Network Mgmt
Nimbula
Service Manager
Compute Management
IB Networking
Storage Control
Logging, audit, and metering
Authorization
Orchestration Control
IaaS & Admin API/CLI
PaaS & Admin API/CLI
Service Registry
Service Deploy
Service Lifecycle
EM Agents
+
Datacenter Admin
Self-Service User
Application Admin
Cloud Admin
Manage/Monitor Hardware
Patch/Maintain Entire System
Deploy Service Instance
Deploy Orchestration Instance
Monitor Applications
Мониторинг от диска до приложения
Application & Orchestration Administration
Private Cloud SSA
Exalogic Hardware
Setup Cloud Polices
Manage/Monitor Cloud

44. Внедрение: Интернет-банк
Один из крупнейших частных банков в Тайване (147 филиалов в стране и 67 за рубежом, доход $1.8 млрд)
Нужен был ввод в действие интернет портала: быстро, с минимальными рисками и стоимостью
Самостоятельная разработка на WebLogic
По сравнению с конкурирующим решениям (2 x Sun T5240 – то же самое число ядер серверов баз данных и приложений, то же число WebLogic):
oВ 7х раз меньше время отклика
oВ 6х раз выше пропускная способность
Не потребовалось изменять существующий код
Увеличение общей производительности на ядро с уменьшением общей стоимости
Exalogic 1/8 Rack
CN01
CN02
CN03
CN04
Exalogic OVM Hypervisor
Apache HTTPD
Apache HTTPD
Production Servers
WebLogic Portal
WebLogic Portal
Coherence
Coherence
WebLogic Cluster
Coherence Cluster
Staging Server
Apache HTTPD / WebLogic Portal / Coherence
Архитектура решения
Время отклика (ms)
Пропускная способность (запросы в сек)
Case Study

45. Развертывание многослойных приложений Virtual Assembly Builder
Захват полной топологии приложения
Пакетирование в единую сборку
Реализация в один клик через Self-Service
Metadata
OVM
HTTP
OVM
HTTP
OVM
WLS
OVM
DB
Oracle Enterprise Manager
Загрузка в
Software Library

46. Oracle Exalogic Elastic Cloud для ЦОД 21 века
Частное облако – централизованно управляемая, эластичная, автоматизируемая, надежная, простая в обслуживании инфраструктура, организующая «ресурсы по требованию»
Exalogic Elastic Cloud позволяет объединить виртуализацию с гипервизорами (без OS), виртуальные среды и IaaS-решения
Можно запускать как крупные приложения, так и множество мелких на одной платформе с высоким уровнем безопасности
Легкость использования оптимизированных шаблонов – Oracle VM Templates
Лучшая платформа для Oracle In-Memory Applications
Интеграция Exalogic с Nimbula Director – возможность использования OpenStack- совместимых API-интерфейсов
Поддержка OpenStack на уровне операционных систем

47. Внутреннее использование в Oracle: Self-Service Private IaaS for Dev/Test
Размер проекта:
2600+ physical servers with over 10,000+ VMs
4,000+ developers submitting 45,000+ jobs
Результаты:
Время ожидания разработчиков уменьшилось с недель до <1 часа
Число обслуживающих специалистов уменьшилось с 12 до 1
Утилизация серверов стала 80+% в среднем, 90+% в пике
На 75% меньше потребление энергии и места
Case Study

48. Другие примеры успешного использования Exalogic
Case Study
100% uptime
100% virtualized
5x man hours saved
84Mx tx/min
5 months from initiation to production
3.5M savings in TCO over prior P7 systems in 3 years
3x performance improvement
20% reduction in TCO
10x response time improvement
4x reduction in FTE’s
15X increased perf.
33% reduction in development cycle
40 servers down to 1/2 rack Exalogic
Batch processing improved by 32x
3 year TCO savings of 70%
Time to value in 10 months
100% uptime
100% virtualized
5x man hours saved
10x > performance in 1/8th the space
1/14th energy
14 to 4 FTEs
9 months to 4 month upgrade of CC&B
75% reduction to market
90% reduction in development time
900 legacy systems eliminated
40% reduction in IT spend
96% faster
71% time to value
20% increased revenue
6x more users
25x response times
65% reduction in IT spend
Cloning reduced from 22 hours to 1.5 hours
3 year TCO savings of $13M - against IBM - $9M versus $22M

49. Заключение

50. Краткие выводы
Exalogic – сверхбыстрая инженерная система для работы Java-приложений на платформах Linux или Solaris для собственных разработок и промышленных приложений
Exalogic – промышленная, недорогая, высоконадежная система на основе общепринятых компонент с практически безграничной масштабируемостью
Exalogic – для организаций это – «облако в коробке», позволяющее реализовать все наилучшие возможности этой передовой парадигмы: сервисная модель предоставления услуг, эластичность, простота управления и использования, автоматизация, использование шаблонов, масштабируемость
Все компоненты системы идеально подогнаны, оптимизированы для максимальной производительности от одного поставщика
Инженерные системы Oracle – идеальная платформа для ЦОД 21 века

51. Exalogic - Выгоды для бизнеса
Оптимизация программного обеспечения
Оптимизация аппаратного обеспечения
Преднастроенная работа программно-аппаратного комплекса
 Производительность
Встроенная безопасность
Высокая доступность
Высокая производительность
Автоматизация
Высокая плотность консолидации
Затраты по мере использования
Стандартизация, автоматизация
 Затраты
Высокая доступность, качество сервиса, безопасность
Преднастроенная интеграция
Решение проблем у одного вендора
 Риски

52. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Graphic Section Divider
Copyright © 2014, Oracle and/or its affiliates. All rights reserved.