Weitere ähnliche Inhalte
Ähnlich wie Revoluce v cloudu: první autonomně řízená databáze na světě (20)
Mehr von MarketingArrowECS_CZ (20)
Revoluce v cloudu: první autonomně řízená databáze na světě
- 1. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Nová služba
Oracle Autonomous Data Warehouse Cloud
Patrik Plachý
Senior Consultant
- 2. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Agenda
Představení Autonomous Data Warehouse Cloud
Jak začít s Autonomous Data Warehouse Cloud
1
2
- 3. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Představení
Autonomous Data Warehouse Cloud
- 4. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Autonomous Data Warehouse Cloud
• Snadný
– Plně spravovaný, předkonfigurovaný a optimalizovaný pro pracovní zatěž typu DW
– Stačí načíst data a spustit
• Není třeba definovat indexy, vytvářet oddíly apod.
• Rychlý
– Využivá technologie Exadata
• Elastický
– Okamžité škálování Comptue nebo úložiště bez výpadku
- 5. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Plně spravovaný
• Oracle automatizuje správu
celého provozu datového skladu
– Poskytování nových databází
– Rostoucí či zmenšující se Storage a
Compute
– Patchování a upgrady
– Zálohování a obnovení
• Celý životní cyklus je spravován
pomocí konzole (Service Console)
– Alternativně je lze spravovat pomocí
příkazového řádku nebo API REST
- 6. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Vyladěný
• “Load and go”
– Definujte tabulky, načtěte data, spusťte
dotazy
• Žádné ladění
• Nevyžadují se speciální znalosti databáze
– Výkon "out of the box“
• Lze se dotázat pomocí jakéhokoli
analytického nástroje nebo cloudové
služby
– Vestavěný SQL worksheet a SQL Notebook
- 7. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Plně elastický
• Navrhnětě si rozměry DW na přesné zdroje Compute a Storage
– Není omezené pevnými stavebními kameny, žádné předdefinované tvary
• Škálování DW na požádání (On-Demand)
– Nezávislé škálování Compute a Storage
– Změna velikosti nastane okamžitě, plně online
• Vypněte nevyužité zdroje Compute a šetřete peníze
– Okamžitý restart
- 8. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Plná podpora DW ekosystému
• Autonomous Data Warehouse Cloud podporuje:
– Stávající nástroje běžící On-Premise nebo v Cloudu
• Nástroje BI třetích stran
• Nástroje pro integraci dat třetích stran
• Oracle BI a nástroje pro integraci dat: BIEE, ODI atd
– Cloudové služby Oracle: Analytics Cloud Service, Golden Gate Cloud Service,
Integration Cloud Service a další
– Připojení přes SQL*Net, JDBC, ODBC
- 9. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Architektura
Oracle Exadata Cloud Service
Oracle Database Cloud Service
Express Cloud Service
Data Warehouse Services
(EDWs, DW, departmental marts and sandboxes)
Autonomous Data Warehouse Cloud
Service Console
Built-in Access Tools
SQL Worksheet Oracle ML
Service Management
DW Database
SQL Developer
Developer Tools
Data Integration
Services
Oracle Data Integration
Cloud Service
3rd Party DI on
Oracle Cloud Compute
3rd Party DI
on-premises
- 10. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Provisioning databáze
- 11. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Provisioning databáze
• Provisioning vyžaduje pouze čtyři
jednoduché otázky:
– Jméno databáze?
– Datové centrum?
– Počet procesorů?
– Kapacita úložiště?
– Heslo uživatele Admin?
• Nová služba je vytvořená za méně <30
sekund (bez ohledu na velikost)
– Připraveno k připojení
- 12. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Demo
Provisioning databáze
- 18. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Připojení k databázi
- 19. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Připojení k databázi
• Bezpečné připojení používající klientský credential wallet pomocí SQL*Net,
JDBC, ODBC
– Wallet poskytuje ověřování i šifrování
• Wallet stažený ze service console
- 20. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Demo
Stažení credential wallet
- 23. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 23
- 24. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 24
- 29. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Demo
Připojení k databázi pomocí wallet s nástrojem SQL Developer
- 30. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Umístění wallet
Wallet password
Database service name
- 31. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Názvy Database Service
• 3 předem definované databázové služby
– Volba výkonu a konkurence
• HIGH
– Nejvíce zdrojů, nejnižší konkurence
– Dotazy běží paralelně
• MEDIUM
– Méně zdrojů, vyšší konkurence
– Dotazy běží paralelně
• LOW
– Nejméně zdrojů, nejvyšší konkurence
– Dotazy běží sériově
No of concurrent
queries
Max idle time CPU shares
HIGH 3 5 mins 4
MEDIUM 20 5 mins 2
LOW 32 1 hour 1
Příklad databáze s 16 OCPUs
- 32. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Vytváření uživatelů
- 33. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Zjednodušené vytváření uživatelů
• Zjednodušené vytváření uživatelů pomocí nové databázové role
– Není třeba specifikovat nic kromě hesla
– DWROLE obsahuje všechna potřebná oprávnění pro vývojáře/uživatele DW
create user sh identified by “Welcome1!”;
grant dwrole to sh;
- 34. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Načítání dat
- 35. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Možnosti načítání dat
• Načítání dat via SQL*Net
– Vhodné pro malé objemy dat
• SQL*Loader z lokálního souborového systému
• ETL skripty používající DML pro vkládání/aktualizaci dat
• Načítání dat z Oracle Object Storage
– Preferovaná technika pro velké objemy dat
• Dále umožňuje sdílení dat s dalšími cloudovými službami
– Stage v Oracle Object Storage a poté data načíst do databáze pomocí nového rozhraní
PL/SQL API nebo importem pomocí datové pumpy
- 36. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Načítání dat z Oracle Object Storage
• Zdrojová data ze souborů uložených na
Object Store:
– Oracle Object Store nebo AWS S3
– Jakýkoli podporovaný formát souboru pro
ORACLE_LOADER
– Do budoucna: jakýkoli formát Hadoop
ADWC
Object
Storage
- 37. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Nové Cloud API pro přístup k Object Stores, DBMS_CLOUD
• Nový PL/SQL package pro přístup k
object stores
• Není třeba ručně definovat externí
tabulky pro načítání souborů
– Umožňuje snadněji určit formát zdrojových
dat
- 38. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Načítání dat z Oracle Object Storage
• Nadefinujte přístupy pro object store
– Požaduje se Oracle Cloud Infrastructure Object Store username a Swift password
• Přístupy se uloží jednou ve schématu databáze a použijí se pro přístup k
Object Store pro všechny další načítání
begin
dbms_cloud.create_credential(
credential_name => 'OBJ_STORE_CRED',
username => 'tenant1',
password => ’password'
);
end;
/
- 39. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Načítání dat z Oracle Object Storage
• Vložte data přímo do cílové tabulky bez jakýchkoli mezi-kroků
• Formát dat ve zdrojovém souboru jednoduše zadaný jako JSON
begin
dbms_cloud.copy_data(
table_name =>'CHANNELS',
credential_name =>'OBJ_STORE_CRED',
file_uri_list =>'https://swiftobjectstorage.us-ashburn-
1.oraclecloud.com/v1/dwcsdemo/DEMO_DATA/chan_v3.dat',
format => json_object('ignoremissingcolumns' value 'true',
'removequotes' value 'true')
);
end;
/
- 40. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Odstraňování problémů
• Načítání je zaznamenáno pro pozdější odstraňování problémů a historické
sledování načítání
– Nové tabulky user/dba_load_operations
• Log a bad soubory jsou přístupné jako tabulky
select table_name,status,rows_loaded,logfile_table,badfile_table
from user_load_operations;
TABLE_NAME STATUS ROWS_LOADED LOGFILE_TABLE BADFILE_TABLE
-------------------- --------- ----------- -------------------- --------------------
CHANNELS FAILED COPY$1_LOG COPY$1_BAD
CHANNELS COMPLETED 5 COPY$2_LOG COPY$2_BAD
- 41. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Data Pump Import z Oracle Object Store
• Import vylepšený pro načtení z object stores
– Použijte nový parametr pro přístup v 18.1 Data Pump
begin
dbms_cloud.create_credential(
credential_name => 'OBJ_STORE_CRED',
username => 'tenant1',
password => ’password'
);
end;
/
impdp sh/sh@salesdb_low directory=data_pump_dir credential=OBJ_STORE_CRED
dumpfile=https://swiftobjectstorage.us-phoenix-
1.oraclecloud.com/v1/dwcsdev/dump/sh.dmp
- 42. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Data Pump Import z the Oracle Object Store
• Import vylepšený pro načtení z object stores
– Použijte výchozí parametry pro přístup u dřívější verze Data Pump
begin
dbms_cloud.create_credential(
credential_name => 'OBJ_STORE_CRED',
username => 'tenant1',
password => ’password'
);
end;
/
alter database property set default_credential = 'ADMIN.OBJ_STORE_CRED';
impdp sh/sh@salesdb_low directory=data_pump_dir
dumpfile=default_credential:https://swiftobjectstorage.us-phoenix-
1.oraclecloud.com/v1/dwcsdev/dump/sh.dmp
- 43. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Dotazování na data ležící na Object Store
- 44. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Dotazování na data ležící na Object Store
• Přímý dotaz na soubory uložené v object
store, aniž by bylo nutné je nejprve načíst
– Oracle Object Store nebo AWS S3
– Jakýkoli podporovaný formát souboru pro
ORACLE_LOADER
– Do budoucna: jakýkoli formát Hadoop
ADWC
Object
Storage
- 45. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Dotazování na data ležící na Object Store
• Nadefinujte přístupy pro object store
– Požaduje se Oracle Cloud Infrastructure Object Store username a Swift password
• Přístupy se uloží jednou ve schématu databáze a použijí se pro přístup k
Object Store pro všechny další načítání
• Zavolejte rozhraní API dbms_cloud pro vytvoření externí tabulky nad
zdrojovými soubory
- 46. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Dotazování na data ležící na Object Store
begin
dbms_cloud.create_external_table(
table_name =>'CHANNELS_EXT',
credential_name =>'OBJ_STORE_CRED',
file_uri_list => 'https://swiftobjectstorage.us-ashburn-
1.oraclecloud.com/v1/dwcsdemo/DEMO_DATA/chan_v3.dat',
format => json_object('ignoremissingcolumns' value 'true', 'removequotes' value
'true'),
column_list => 'CHANNEL_ID NUMBER,
CHANNEL_DESC VARCHAR2(20),
CHANNEL_CLASS VARCHAR2(20),
CHANNEL_CLASS_ID NUMBER,
CHANNEL_TOTAL VARCHAR2(13),
CHANNEL_TOTAL_ID NUMBER'
);
end;
/
select count(*) from channels_ext;
- 47. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Web-Based SQL Worksheet a Notebook
- 48. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Vestavěný SQL Worksheet a Notebook
• Lze rychle začít spouštět dotazy s
vestavěnými webovými notebooky
– Není třeba instalovat klientský
dotazovací nástroj
• Nyní podporuje SQL a PL/SQL
– Do budoucna mnohem více jazyků
• Postaveno na Apache Zeppelin
- 49. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Škálování databáze
- 50. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Škálování databáze
• Škálování databáze On-Demand bez únavných manuálních kroků
– Nezávisle škálování Compute a Storage
– Změna velikosti nastane okamžitě, plně online
– Paměť, šířka pásma IO, konkuretní přístup škáluje lineárně s CPU
• Zastavte databázi, abyste ušetřili peníze, když je nepoužíváte
– Provedení okamžitě
- 51. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Demo
Škálování databáze
- 58. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Správa a monitorování
- 59. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Automatizovaná konfigurace databáze
• init.ora parametry
– Parametry optimalizované pro DW zátěž
– Paměť, paralelismus, sessions nakonfigurované na základě počtu procesorů
– Uživatelé mohou upravit omezenou sadu parametrů, např. nastavení NLS
• Tablespace management
– Předdefinované tablespace data a temporary tablespace
– Uživatelé nemohou vytvářet/upravovat tablespace
• Komprese
– Všechny tabulky jsou komprimovány pomocí Hybrid Columnar Compression
– Uživatelé nemohou měnit metodu komprese nebo zakázat kompresi
- 60. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Automatizovaná konfigurace databáze
• Optimizer stats gathering
– Statistiky jsou shromážděné automaticky při načítání direct load
– Pokud uživatelé chtějí mohou statistiky shromažďovat ručně
• Optimizer hints
– Hinty jsou ve výchozím nastavení ignorovány
– Uživatelé je mohou povolit
• Result cache configuration
– Result cache je ve výchozím nastavení povolena pro všechny dotazy
- 61. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Monitorování
• Zjednodušené monitorování pomocí webové service console
• Historické a real-time grafy o výkonnosti
• Real-Time SQL Monitoring pro sledování běžících a historických příkazů SQL
• Historické monitorování načítání dat
- 62. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Demo
Monitorování
- 68. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Zálohování a obnova
- 69. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Zálohování a obnova
• Automatizované zálohy s retencí 60 dní
– Týdenní full a denní incremental
• Manuální zálohování
– Může být iniciováno zákazníkem z cloud console
– Zálohování do object store zákazníka
• Point-in-time recovery
– Zákazník iniciuje obnovu z cloud console
– Služba rozhodne, ze které zálohy se má obnovit
• Flashback, ruční zálohy nebo automatické zálohy
Confidential – Oracle Internal/Restricted/Highly Restricted 69
- 70. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Začínáme s
Autonomous Data Warehouse Cloud
Migrace
- 71. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Migrace do Autonomous Data Warehouse Cloud
Migrace stávajících Oracle systémů
• Data pump import pomocí nastavení ADWC-aware
– Zajišťuje kompatibilní import dat
– Porušení datových struktur bude ignorováno nebo
zkonvertováno
Migrace systémů Redshift
• Kompletní migrace pomocí migration workbench
– Převést a vytvořit schéma datového skladu
– Uložení dat z Redshift do S3
– Načtení dat do ADWC
Migrace jiných systémů
• Migration workbench assistance nebo manuální
71
- 72. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Oracle Autonomous Data Warehouse Cloud
Shrnutí
- 73. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Autonomous Data Warehouse Cloud
• Snadný
– Plně spravovaný, předkonfigurovaný a optimalizovaný pro pracovní zatěž typu DW
– Stačí načíst data a spustit
• Není třeba definovat indexy, vytvářet oddíly apod.
• Rychlý
– Využivá technologie Exadata
• Elastický
– Okamžité škálování Comptue nebo úložiště bez výpadku
- 74. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |
Exadata Cloud Service Autonomous Data Warehouse Cloud
Automatizovaný Plně spravováno
Úplná databáze:
všechny Oracle funkce
Core DW funkčnost:
zaměřené na DW a jednoduchost
Komplexní DW, které vyžaduje
přizpůsobené ladění a pokročilé funkce
Jednodušší DW bez administrace a nižší
náklady
Shrnutí - Cloudová Platforma pro Data Warehousing