Weitere ähnliche Inhalte
Ähnlich wie [B25] 【詳解】インメモリーデータベース SAP HANA:永続化の仕組みと障害/災害対応を踏まえた運用を理解しよう!by Toshihisa Hanaki (20)
Mehr von Insight Technology, Inc. (20)
Kürzlich hochgeladen (11)
[B25] 【詳解】インメモリーデータベース SAP HANA:永続化の仕組みと障害/災害対応を踏まえた運用を理解しよう!by Toshihisa Hanaki
- 2. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 2
免責条項
このプレゼンテーションに含まれる情報は機密であり、SAPの専有情報であり、SAPの許可なく開示するこ
とはできません。このプレゼンテーションは、御社とのライセンス契約やその他のサービス、SAPとのサブ
スクリプションに関する合意書とは無関係です。SAPはこの文書や関連するプレゼンテーションに記載され
た事業を遂行することについて、またそれらに記載されている機能の開発やリリースについて何ら義務を負
いません。この文書や関連するプレゼンテーション、SAPの戦略や将来的な開発、製品やプラットフォーム
の方針や機能についてはすべて、予告なく変更される場合があります。この文書に含まれる情報は、何らか
の資料、コードまたは機能の提供を確約したり、約束したりするものではなく、また法的な義務を負うもの
ではありません。この文書は、明示・黙示を問わず、また商品性、特定目的適合性、非侵害に関する暗黙の
保証等(これらに限りません)何らの保証も提供するものではありません。この文書は情報提供の目的のも
ので、契約書には含まれません。SAPは誤字・脱字や誤りなどに責任を負わず、またこの文書の使用により
生じた直接損害、間接損害、結果損害等(これらに限りません)、いかなる種類の損害にも責任を負いませ
ん。
将来に関する記述にはすべてに様々なリスクや不確定要素があり、実際の結果が期待値と大きく異なる場合
もあります。これらの将来的な記述は書かれた時点の情報にすぎませんので、過度に信頼しないようご注意
いただくとともに、購入の意思決定の根拠としないようにしてください。
- 3. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 3
SAP HANAの復習
インメモリーデータベース
- 4. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 4
Ÿ OLTP DBは通常、ロー(⾏行行)ベースのストアを利利⽤用
Ÿ SAP HANAはロー(⾏行行)に加え、カラム(列列)をサポート
Order
Country
Product
Sales
456
France
corn
1000
457
Italy
wheat
900
458
Italy
corn
600
459
Spain
rice
800
SAP HANAの復復習
カラム&ローストアの両⽅方をサポート
456
France
corn
1000
457
Italy
wheat
900
458
Italy
corn
600
459
Spain
rice
800
456
457
458
459
France
Italy
Italy
Spain
corn
wheat
corn
rice
1000
900
600
800
ローストア
カラムストア
単⼀一レコードアクセス:
SELECT * FROM SalesOrders
WHERE Order = ʻ‘457ʼ’
SQL
単⼀一スキャン・集計:
SELECT Country, SUM(sales) FROM
SalesOrders WHERE Product=ʻ‘cornʼ’ GROUP
BY Country
Σ
- 5. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 5
Order
Country
Product
Sales
456
France
corn
1000
457
Italy
wheat
900
458
Spain
rice
600
459
Italy
rice
800
460
Denmark
corn
500
461
Denmark
rice
600
462
Belgium
rice
600
463
Italy
rice
1100
…
…
…
…
SAP HANAの復復習
カラムストア→Dictionary/Value-‐‑‒ID配列列 構造
Ÿ 列列単位で辞書を作成
Ÿ データ指向の固定⻑⾧長ビットエンコーディング
Ÿ データ操作は圧縮データに直接実施(整数型を利利⽤用)
Ÿ キャッシュに格納し、メインメモリアクセスを低減
1
Belgium
2
Denmark
3
France
4
Italy
5
Spain
1
3
2
4
3
5
4
4
5
2
6
2
7
1
8
4
…
…
1
7
2
5,6
3
1
4
2,4,8
5
3
Logical Table
Dictionaryには
5件のデータ。
従って、3bitで
符号化可能
Value-ID配列
(bit fields)
Inverted
indexDictionary
Where was
order 460?
Which orders
in Italy?
- 6. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 6
SAP HANAの復習
カラムストア→圧縮
Ÿ カラムメモリ内の繰り返し値を圧縮
Ÿ ソート済カラムで有効に動作
Order
Country
Product
Sales
456
France
corn
1000
457
Italy
wheat
900
458
Spain
rice
600
459
Italy
rice
800
460
Denmark
corn
500
461
Denmark
rice
600
462
Belgium
rice
600
463
Italy
rice
1100
…
…
…
…
1
Belgium
2
Denmark
3
France
4
Italy
5
Spain
3
4
5
4
2x2
1
4
…
Logical Table Country
1
corn
2
wheat
3
rice
1
2
2x3
1
3x3
…
Product
- 7. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 7
SAP HANAの復復習
集約データ不不要
Ÿ 伝統的アプリケーションでは、分析のパ
フォーマンス向上のために、”マテリアライ
ズド集約” を利利⽤用
Ÿ こうした集約は、データ変更更時、または定期
的に再計算が必要
Ÿ HANAは⾼高速に⼤大量量データの集約をオンザフ
ライで実施するため、集約作成が不不要
Ÿ データモデルやアプリロジックをより簡素に、
より最新に、ログ記録動作を少なく
インメモリーDB
インフォメーションビュー
- 8. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 8
SAP HANAの復習
カラムストア→Insert only & デルタマージ
メインストレージ デルタストレージ
Consistent
View Manager
メモリ
" メインストレージとは
Ø データをカラムの構造で格納するエリア
Ø 読み取りに最適化
" デルタストレージとは
Ø 更更新データをInsert Onlyで格納するエリア
Ø 圧縮され書き込みに最適化されたエリア
" Consistent View Managerとは
Ø メイン/デルタストレージを隠蔽し、仮想的な
テーブルの概観を提供
q デルタマージ
Ø トランザクション処理理とは⾮非同期でデルタを
メインにマージする
ü Read Onlyのデータ
ü Read⽤用に最適化
ü 更更新データ
(Ins/Upd/Del)
ü Write⽤用に最適化
検索索
+
+
+ +
デルタマージ
- 9. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 9
1つのデータベースでOLTPとOLAPを!
Consistent
View Manager
インメモリーDB
カラムストアでOLTP
インフォメーションビュー
オンザフライで集約
レスポンス改善
バッチ処理理削減
現在のデータで分析DBサーバー削減
サマリーデータ不不要
モバイル化推進
ストレージ削減
テスト⼯工数削減
バッチロードから
リアルタイム連携へ
指標ドリブンのアプリへ
In-‐‑‒DB分析推進
システムのシンプル化
思考速度度の
分析・レポーティング
- 10. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 10
本日のアジェンダ
【詳解】インメモリーデータベース SAP HANA:
永続化の仕組みと障害/災害対応を踏まえた運用を理解しよう!
Ÿ SAP HANAのデータ永続化とテーブルローディングのメカニズム
Ÿ SAP HANAのバックアップ/リカバリー機能
Ÿ ノードフェールオーバー(スタンバイシステム)
Ÿ システムレプリケーション
– 概要
– 種類(sync,syncmem,async,fullsync)
– マルチティア設定
Ÿ ストレージレプリケーション
- 11. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 11
SAP HANAの永続化メカニズム
パーシスタンスレイヤ
パーシスタンスレイヤ
Ÿ HANAデータベースのストレージ管理、トランザクション
ログ管理、システムリスタート時のリストア管理など
Ÿ データボリューム
– データとundoログを維持するストレージ領域
Ÿ ログボリューム
– トランザクションログ(Redo)を維持するストレージ領域
– データベースの変更ログを保存するエリア
Ÿ セーブポイント
– データの変更分をデータボリュームに書き込む
– バッファー領域をログ領域に書き込む
Ÿ Commit
– ログエントリーをログボリュームに書き込む
メモリ
ストレージ
データベース
ログボリュームデータボリューム
Commitによる変更更
の書き出し
定期的な⾃自動
セーブポイント
SAP HANA
© 2012 SAP AG. All rights reserved. 11
ローストア カラムストア
Undoログ Data
Redoログ
- 12. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 12
データ書込の概要
Write(カラムストア,ローストア)、Commit
アプリケーション カラムストア ローストア
トランザクション
マネージャ
パーシスタンス
レイヤー
パーシスタンス
レイヤー(ディスク)
Write
オペレーション
Write
オペレーション
Commit
オペレーション
インメモリーオペレーション
Virtual Fileをデルタログに書く
Virtual Fileとredoログ/
undoログエントリを書く
インメモリーオペレーション
ログを書く
Commit
Commitを書く
Commitログエ
ントリーを書く
ログをディスク
に書く
- 13. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 13
データ書込の概要
デルタマージ、セーブポイント
アプリケーション カラムストア ローストア
トランザクション
マネージャ
パーシスタンス
レイヤー
パーシスタンス
レイヤー(ディスク)
デルタマージ
オペレーション
(テーブル毎)
Phase1で変更更されたページ
をコピー
リスタート情報とオープン
トランザクションを書く
コピーページを書く
他のページを書く
Phase1
Phase2
Phase3
変更更ページの永続化
永続化されていないページの取得
取得したページの永続化
セーブポイント
ディスク
- 14. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 14
テーブルロードのメカニズム
Ÿ テーブルロード
– ストレージ上のData Volumeからメ
モリー上にテーブルをロード
o ブート時、または、初回アクセス時
– 適用すべきログが存在するときは、
ログリプレイを行い、最新の状態に
メモリ
ストレージ
データベース
Data Volume
SAP HANA
© 2012 SAP AG. All rights reserved. 14
ブート時にメモリー
上にロードされる
Log
Volume
ログリプレイ
即ち、Data Volume, Log VolumeはHANAインメモリーデータベースのバックアップ
- 16. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 16
SAP HANAのバックアップ/リカバリ機能
Ÿ バックアップ
– メモリー上のデータベースを直接バックアップするものではな
い(メモリーtoディスクはパーシスタンスレイヤーの役割)
– リカバリのデータソース
o データボリューム
o ログボリューム
o オンラインredoログ
– ストレージ上のデータボリューム/ログボリュームを複製する
作業
o 常にデータ/ログボリュームの全体が対象
o HANA Boxの外部にバックアップを配置することが望まし
い
– バックアップが始まると、メモリー上の未永続化情報はスト
レージに書き込まれるので最新の状態がバックアップされる
メモリ
ストレージ
データベース
Log
Volume
Data
Volume
SAP HANA Box
© 2012 SAP AG. All rights reserved. 16
Log
Volume
Data
Volume
Log
Volume
Data
Volume
Log
Volume
Data
Volume
- 17. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 17
Requirements and Options
オプション 条件 ステップ
1 データバックアップの状態にリ
ストアする。
(データバックアップ以降の変
更は失われる)
データバックアップが存在
すること
データバックアップからセーブポイントをデータ領域にリストアする
リストアされたセーブポイントからデータベースをリスタートする
オンラインログをクリアする
2 直近のコミットされた状態にリ
ストアする
データバックアップと以降
のログが存在すること
データバックアップからセーブポイントをデータ領域にリストアする
リストアされたセーブポイントからデータベースをリスタートする
ログバックアップからログをリプレイする。(可能ならば、オンライン
ログも)
3 ポイント・イン・タイム リカバリ
– 任意の指定時間の状態にリ
ストアする
指定する時点を含むデー
タバックアップとログバッ
クアップが存在すること
データバックアップからセーブポイントをデータ領域にリストアする
リストアされたセーブポイントからデータベースをリスタートする
ログバックアップとオンラインログから、指定した時点までログをリ
プレイする
- 18. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 18
データベース
クライアント
バックアップ
マネージャ
Server1 Server2 Server3
バックアップマネージャ
にフォワード
バックアップリクエスト
Global savepointの開始
データベースのスナップショットとして保存
データバックアップの内部プロセス
変更更ページをディスク
に書く
変更更ページをディスク
に書く
変更更ページをディスク
に書く
Global savepointの開始
Phase2
Savepointのphase2
を実⾏行行
Savepointのphase2
を実⾏行行
Savepointのphase2
を実⾏行行
Global savepointの開始
Phase3
残りのデータを書く 残りのデータを書く 残りのデータを書く
Savepointに基づいた
内部スナップショットを作る
Savepointに基づいた
内部スナップショットを作る
Savepointに基づいた
内部」スナップショットを作る
データベース全体のスナップショットの作成
- 19. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 19
データバックアップの内部プロセス
データベース
クライアント
バックアップ
マネージャ
Server1 Server2 Server3
Savepointに基づいた
内部スナップショットを作る
Savepointに基づいた
内部」スナップショットを作る
Backup Executorにsavepointをファイルに
書き出すように指⽰示
スナップショットをファイルへ出⼒力力
Savepointに基づいた
内部スナップショットを作る
パーシスタンス
レイヤからのsavepoint
のページを読みこみ、
⼀一貫性チェックを⾏行行い、
バックアップファイルに
書く
パーシスタンス
レイヤからのsavepoint
のページを読みこみ、
⼀一貫性チェックを⾏行行い、
バックアップファイルに
書く
パーシスタンス
レイヤからのsavepoint
のページを読みこみ、
⼀一貫性チェックを⾏行行い、
バックアップファイルに
書く
Backup 終了了のエントリーをバックアップカタログ
に出⼒力力
- 20. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 20
SAP HANAのバックアップ/リカバリー機能
Ÿ リカバリー
– 以下の一連の作業が実行される
o バックアップからデータボリューム、ログボ
リュームをリストアする
o HANAインスタンスのリブート
o テーブルのメモリーへのロード
o ログリプレイ
– リカバリーポイント
o Data + Log → 最新状態
o Data→ ログ内容は反映されない
o ポイント・イン・タイム
SAP HANA Box
© 2012 SAP AG. All rights reserved. 20
Log
Volume
Data
Volume
Log
Volume
Data
Volume
Log
Volume
Data
Volume
メモリ
ストレージ
データベース
Data Volume
Log
Volume
メモリー上にロード
ログリプレイ
- 22. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 22
データセンター
障害対策、災害対策のための冗長化手段
スケールアウト構成(Distributed system)
Ÿ 1インスタンスを複数ノードから構成(超並列処理システム)
Ÿ スタンバイノードを設定可能
Ÿ ノード単位の障害に対応可能
システムレプリケーション
Ÿ インスタンス間のインメモリーDBレプリケーション
Ÿ 3通りのレプリケーションモード
– 距離(伝送幅)とRPOにより使い分け
インスタンス
ノード
ノード
ノード
インスタンス
ノード
ノード
ノード
データセンター
インスタンス
ノード
ノード
ノード
データセンター
インスタンス
ノード
ノード
ノード
- 23. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 23
スケールアウト構成
HANAインスタンス障害、サーバー障害時に待機
系サーバーで処理理を継続する
Ÿ 1ノードの障害まで継続可能
Ÿ 障害ノードのData/Logを待機系ノードに再マウント後、
ブート
Ÿ 検知時間+再マウント時間+ブート時間がサービス停
⽌止時間
システム条件
Ÿ スケールアウト構成(N+1、共有ストレージ)
Ÿ Data/Logが配置されるファイルシステムは、全ノード
にマウント
- 24. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 24
スケールアウト構成対応ハードウェア
- 25. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 25
スケールアウト構成対応ハードウェア
- 26. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 26
システムレプリケーション
システムレプリケーション
Ÿ HANA組込みのインメモリーDBレプリケーション機能
構成
Ÿ 最小構成は、プライマリ/セカンダリーの2サイト
Ÿ プライマリーサイト:稼働系
Ÿ セカンダリサイト:同一のデータ内容を保持する待機
– データのプリロードが必要
クラスターマネージャソフト
Ÿ HP ServiceGuard
Ÿ SUSE Cluster
Ÿ SAP Landscape Virtualization Manager
Ÿ その他~動作確認中、または、個別の導入コンサルティ
ングサービスで対応
- 27. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 27
レプリケーションモード
レプリケーショ
ンモード
同期レベル オプション 接続が失われた時の動作
Syncronous データ、ログはセカンダリーサイトに同
期転送される
ログ転送は、セカンダリーサイトでの
ディスク保存まで
FullSync プライマリのサービスを停止(同期
の崩れを防ぐため)
- プライマリのサービスを継続
Syncronous
in memory
データ、ログはセカンダリーサイトに同
期転送される
ログ転送は、セカンダリーサイトでのメ
モリー保存まで
- プライマリのサービスを継続
Asyncronous データ、ログはセカンダリーサイトに非
同期転送される
- プライマリのサービスを継続
- 28. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 28
システムレプリケーションモード
Syncronous with Full Sync option
SR_REGISTERシステムテーブルでは、
Ÿ SYNC(Full Syncオプションは設定パラメータで。)
動作
Ÿ ログバッファーの書き込みがプライマリー、セカンダリー両イン
スタンスのログボリュームに書き込まれると、ログ書き込みは
完了する。
Ÿ セカンダリーシステムが接続を失うと、プライマリーシステムは
トランザクションをサスペンドし、セカンダリーシステムへの接続
が回復するまで待ち状態になる。
設定
Ÿ global.ini/[system_replication]/enable_full_sync = true.
Ÿ hdbnsutil -sr_fullsync [--enable|--disable]
- 29. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 29
システムレプリケーションモード
Syncronous
SR_REGISTERシステムテーブルでは、
Ÿ SYNC
動作
Ÿ ログバッファーの書き込みがプライマリー、セカンダリー両イン
スタンスのログボリュームに書き込まれると、ログ書き込みは
完了する。
Ÿ セカンダリーシステムへの接続が失われると、パラメータで設定
した時間が経過(logshipping_timeout=30)後、プライマリシステ
ムはトランザクション処理を継続し、変更内容はローカルのディスクにのみ書き込む。
Ÿ セカンダリーシステムへの接続が生きている限り、データは失われない。
Ÿ セカンダリーシステムへの接続が失われた後、障害によるデータロスはあり得る。
- 30. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 30
システムレプリケーションモード
Syncronous in Memory
SR_REGISTERシステムテーブルでは、
Ÿ SYNCMEM
動作
Ÿ ログバッファーの書き込みがプライマリーシステムに行われ、
セカンダリーシステムにログが転送されメモリー上にコピーされ、
ackが返されると、ログ書き込みは完了する。
Ÿ セカンダリーシステムへの接続が失われると、パラメータで設定
した時間が経過(logshipping_timeout=30)後、プライマリシステ
ムはトランザクション処理を継続し、変更内容はローカルのディス
クにのみ書き込む。
Ÿ セカンダリーでの永続化前にプライマリーに障害が発生するとデータロスがあり得る。
- 31. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 31
システムレプリケーションモード
Asyncronous
SR_REGISTERシステムテーブルでは、
Ÿ ASYNC
動作
Ÿ ログバッファーの書き込みがプライマリーシステムに行われ、
ネットワーク経路に対してセカンダリーシステムへのログ転送が
行われると、ログ書き込みは完了する。
Ÿ セカンダリーシステムへのログ転送は、プライマリー側でバッファ
リングされ、バッファーがフルの状態の時にトランザクション処理
とログ転送を待ち状態にする事が可能。
Ÿ バッファーのサイズ設定(index serverの設定だけで十分)
– Indexserver.ini/[system_replication]/logshipping_async_buffer size = 67108864
Ÿ バッファーフル時に
– global.ini/[system_replication]/logshipping_async_wait_on_buffer_full = true
Ÿ セカンダリーシステムへの接続が失われると、データロスの可能性がある
Ÿ バッファーがフルの時に、処理を継続する設定であれば、データロスの可能性がある
- 32. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 32
SAP HANA システムレプリケーション
データセンター間の設定全体像
Campus
cluster
Metro
cluster
Geo
cluster
Cascading Systems – First 1:n relation
1:1 ASYNC
1:1 SYNC
- 33. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 33
Extended HA and DR Configurations
Cascading Systems – Chained Setups with pure System Replication
Production Local standby Remote standby systems
Planned for SAP HANA (Cascading Systems with SPS7)
Campus
cluster
Metro
cluster
Geo
cluster
Sync
Async
Sync
RPO ≠ 0
RTO < 30 min
- 35. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 35
HP Disaster Tolerant solution – Normal Operation
Step 1: log file write
(example)
Step 2: write to remote array
(Continuous Access)
Step 3: remote write
confirmed
Step 4: write complete
End State: primary and
remote databases are in
current and consistent
state
1
3
2
4
- 36. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 36
HP Disaster Tolerant Solution – Recovery Mode
Step 1: system administrator
determines that failure has
occurred and initiates failover
steps
Step 2: Storage Management
Server used to change state
of remote disk array to permit
read/write access
Step 3: StoreAll 9300
gateways are booted/
rebooted to present shared
storage to HANA nodes
Step 4: HANA nodes are
booted/rebooted to restart
database
End State: HANA database
performs scripted recovery
and begins normal
operation
1
2
3
4
- 37. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 37
小森 博之
すべてのデータをメモリー上で処理するアーキテクチャーを備えたデータベースシステムが今脚光を浴びてい
ます。独SAPの「Hana」を始め、米マイクロソフトが「SQL Server 2014」で実装し、米Oracleが次期バー
ジョンで追随します。それぞれ実装技術は異なり、何を選択したらいいのか、またその高速性ゆえ、「リアル
タイム処理」も期待され、ますます悩み多きとなりました。そんな皆様のご要望にそれぞれの製品を徹底的に
比較し、得意、不得意を明らかにします。またコンピュータシステムとの親和性も忘れてはいけません。コン
ピューターメーカーの視線も交え、事例を織り交ぜつつご紹介します。
三宅 祐典
インメモリーデータベースの時代は確実にやってきています。HPは現在の業界の動きと2020年までに実現を
目指す技術をご紹介。また、今導入できるS/W技術を最適に実装できるコンピューター、サーバーをご紹介し
ます。インメモリーテクノロジーはS/W技術と、H/W技術の双方が高度に融合して実現します。あなたも近未
来を体感してみませんか。
Software (Database System) Perspective
Hardware Perspective
Future Technology
SAP HANAに出会える次のセッションご紹介
日本ヒューレット・パッカードがインメモリーを語るセッション
Ÿ [CORE TECH] Hardware
Ÿ インメモリーデータベース徹底比較
Ÿ 6月20日 D35
Ÿ 16:00-16:50
Ÿ [CORE TECH] Hardware
Ÿ HDDからインメモリーテクノジーへ
Ÿ 6月20日 A34
Ÿ 15:00-15:50
- 38. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 38
最新のSAP HANAホワイトペーパー
最新のSAP HANA SPS08に対応したリニューアル版!
SAP Forum、Auto Forumで配布開始です。
n SAP Forurm
u 東京7⽉月11⽇日(⾦金金)グランドハイアット
u ⼤大阪7⽉月23⽇日(⽔水)リッツカールトン⼤大阪
n Auto Forum
u 名古屋7⽉月29⽇日(⽕火)