SlideShare ist ein Scribd-Unternehmen logo
1 von 25
VMware ESXi トラブルシューティング
フランちゃんウフフなシステムエンジニア
おおかわ かずひと
IIJ Global Solutions Inc.
アジェンダ
• はじめに
• 自己紹介
• IaaSにおける自社の立ち位置
• ESXiのトラブルシューティング話
• まとめ
はじめに
Casual Talkという事で軽めです。
といわけでトークメインで。
(後からスライド見る皆さんごめんなさい キャハ♪)
時間がなくてネタの仕込みはございません。
よろしくお願いします。
自己紹介
• おおかわかずひと@SatchanP (相変わらず意識低い系)
• IIJ GlobalでSE初めて半年ちょっと
• 以前はウェブ系のインフラエンジニア (前職はKauli 株式会社)
• VOYAGE GROUPに買収されたため緊急脱出
• プライベートラリースト
• 二次属性
アイマス : やよい 真美
東方 : フランちゃん 咲夜さん
艦これ : Верный 響
IaaSにおける自社の立ち位置
ストレージ
SAN/NW
サーバ
HV
OS
SAP/ERP
VM
IIJGIO利用時の
担当範囲
オンプレ構築
担当範囲
VMware ESXi によるERP基盤提供が主
要件定義、個別設計(WAN/NW/Server)、構築、運用など
エンドユーザ/アプリベンダー範囲
ESXiトラブルシューティングの必要性
• OSS当たり前で生きてきて初めてまともな商用にのった
• 金で解決できるバラ色の世界が待っているはずだった
• 現実は甘くなく…
• サポートに確実な問題個所を伝えないと調査に時間がかかる、真面目
に調べてくれない、的外れな回答が返ってくる
• サポートからの回答がだけではエンドユーザに説明がつかない場合も
• 結局高いお金払ってるのに、自前で納得いくまで調査するしかない
• 調査結果のエビデンスを得るためにサポートを追いつめる
• ProxyしているだけではSEの意味がない
トラブルの切り分け方 (NW)
各レイヤーごとに分けて切り分けが必要
Virtual Switch
OS/Kernel
vmnic
vDS/vSS
アプリケーション
物理NIC
物理スイッチ
イーサネット
トラブルの切り分け方 (Storage I/O)
vHBA
(vSCSI)
FC, Ethernet Adapter
SAN
Storage
SCSI Host
SCSI
便利なツール群
• ESXi ssh
• vSphere Client / Web Client
• IDA Debugger
• 各種SNMPツール
社内の制度上Zabbix
(中の人的は cacti + GrowthForecast + nagios が好き)
便利なツール群(CLI編 よく使う人たち)
• vmdumper
• memstats
• tcpdump-uw
pktcap-uw
• strace
• ethtool
• dmesg
• vProbe
• vsish
• esxcfg-*
• esxtop
• vscsiStats
• vmkping
• vmkbacktrace
vsishが便利!
• Linuxのprocfs/sysctrlのようなもの
• Linux使いには親和性が高い
• Vmkernelのパラメータやカウンタの参照、変更が可能
• 軽い 使いやすい わかりやすい
• ノンインタラクティブモードで、シェルから実行して
出力だけ得ることも可能 (-e : option)
vsishでNWトラブルの調査 (vDS)
esx-top -> n で調査対象のポートを特定する
vsishでNWトラブルの調査 (vDS)
仮想スイッチポートのカウンターを確認する
vsishでNWトラブルの調査 (VM Ring Buffer)
vmnicの種類を確認する
vsishでNWトラブルの調査 (VM Ring Buffer)
エラーカウンターを確認する
vsishでNWトラブルの調査 (TCPスタック)
vmkernel の TCPスタックカウンターを見てみる
vsishでNWトラブルの調査 (TCPスタック)
ブラックホールの形跡がないか確認
物理NICはethtool or vsish でも可
esxtop (memory)でNUMAの確認
NUMA Remote | NUMA Local (MB)
esxtop (memory)でNUMAの確認
アカンやつ
フリーズしたVMの情報収集
NMIを発生させてクラッシュダンプから解析
(ダンプさせる設定がゲストOS側に必要)
ダンプ解析は気合で!
(時間がなかったから省略…)
その他アプライアンス
• vCenter, RM, SRM等、ほぼJava + DB(PG, MSSQL)
• Log4Jのアレ、ログの量が多く冗長
• 上記以外のログがひっそりある場合も
• 何かあったらとにかくログの回収を光速で行う
(2,3日でlotateされてしまうログもある)
• アプライアンスは調子にのって増やさない
問題の原因が増えるし、切り分けが面倒
ご利用はご計画的に!
まとめ
• みんなVMwareを使ってサービスしているので、サ
ポートまかせでは差別化できるはずがない
• 商用でもOSSでも手間がかかるのは一緒(だった…)
• 日本の中途半端なSI/SE屋は淘汰されていきそう
• 見せ方は綺麗だけど、ESXi自体レガシーの塊になりつ
つある印象
• そんなわけでSE大変だけど楽しい!
ありがとうございました!

Weitere ähnliche Inhalte

Was ist angesagt?

Jenkinsではじめる継続的インテグレーション
Jenkinsではじめる継続的インテグレーションJenkinsではじめる継続的インテグレーション
Jenkinsではじめる継続的インテグレーションMasanori Satoh
 
【15-B-7】無意味なアラートからの脱却 ~ Datadogを使ってモダンなモニタリングを始めよう ~
【15-B-7】無意味なアラートからの脱却 ~ Datadogを使ってモダンなモニタリングを始めよう ~【15-B-7】無意味なアラートからの脱却 ~ Datadogを使ってモダンなモニタリングを始めよう ~
【15-B-7】無意味なアラートからの脱却 ~ Datadogを使ってモダンなモニタリングを始めよう ~Developers Summit
 
Azure Service Fabric 概要
Azure Service Fabric 概要Azure Service Fabric 概要
Azure Service Fabric 概要Daiyu Hatakeyama
 
Hyper-V Replica
Hyper-V ReplicaHyper-V Replica
Hyper-V ReplicaNaoki Abe
 
Intuneによるパッチ管理
Intuneによるパッチ管理Intuneによるパッチ管理
Intuneによるパッチ管理Suguru Kunii
 
Azure AD とアプリケーションを SAML 連携する際に陥る事例と対処方法について
Azure AD とアプリケーションを SAML 連携する際に陥る事例と対処方法についてAzure AD とアプリケーションを SAML 連携する際に陥る事例と対処方法について
Azure AD とアプリケーションを SAML 連携する際に陥る事例と対処方法についてShinya Yamaguchi
 
iostat await svctm の 見かた、考え方
iostat await svctm の 見かた、考え方iostat await svctm の 見かた、考え方
iostat await svctm の 見かた、考え方歩 柴田
 
kpackによるコンテナイメージのビルド
kpackによるコンテナイメージのビルドkpackによるコンテナイメージのビルド
kpackによるコンテナイメージのビルドMasanori Nara
 
Ansible tower 構築方法と使い方
Ansible tower 構築方法と使い方Ansible tower 構築方法と使い方
Ansible tower 構築方法と使い方Hiroshi Okano
 
Azure Arc Enabled Serverの活用
Azure Arc Enabled Serverの活用Azure Arc Enabled Serverの活用
Azure Arc Enabled Serverの活用Tomoya Katayama
 
Ansibleで始めるインフラ構築自動化
Ansibleで始めるインフラ構築自動化Ansibleで始めるインフラ構築自動化
Ansibleで始めるインフラ構築自動化dcubeio
 
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャーKubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャーToru Makabe
 
Hyper-V ネットワークの基本
Hyper-V ネットワークの基本Hyper-V ネットワークの基本
Hyper-V ネットワークの基本Syuichi Murashima
 
Azure AD DSドメインに仮想マシンを参加させる
Azure AD DSドメインに仮想マシンを参加させるAzure AD DSドメインに仮想マシンを参加させる
Azure AD DSドメインに仮想マシンを参加させるTetsuya Yokoyama
 
jenkinsのすゝめ - 継続的インテグレーションと継続的デリバリー
jenkinsのすゝめ - 継続的インテグレーションと継続的デリバリーjenkinsのすゝめ - 継続的インテグレーションと継続的デリバリー
jenkinsのすゝめ - 継続的インテグレーションと継続的デリバリーJunya Suzuki
 
大規模サービスを支えるネットワークインフラの全貌
大規模サービスを支えるネットワークインフラの全貌大規模サービスを支えるネットワークインフラの全貌
大規模サービスを支えるネットワークインフラの全貌LINE Corporation
 
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)Trainocate Japan, Ltd.
 
コンテナにおけるパフォーマンス調査でハマった話
コンテナにおけるパフォーマンス調査でハマった話コンテナにおけるパフォーマンス調査でハマった話
コンテナにおけるパフォーマンス調査でハマった話Yuta Shimada
 

Was ist angesagt? (20)

Jenkinsではじめる継続的インテグレーション
Jenkinsではじめる継続的インテグレーションJenkinsではじめる継続的インテグレーション
Jenkinsではじめる継続的インテグレーション
 
【15-B-7】無意味なアラートからの脱却 ~ Datadogを使ってモダンなモニタリングを始めよう ~
【15-B-7】無意味なアラートからの脱却 ~ Datadogを使ってモダンなモニタリングを始めよう ~【15-B-7】無意味なアラートからの脱却 ~ Datadogを使ってモダンなモニタリングを始めよう ~
【15-B-7】無意味なアラートからの脱却 ~ Datadogを使ってモダンなモニタリングを始めよう ~
 
Azure Service Fabric 概要
Azure Service Fabric 概要Azure Service Fabric 概要
Azure Service Fabric 概要
 
Hyper-V Replica
Hyper-V ReplicaHyper-V Replica
Hyper-V Replica
 
ゼロからはじめるKVM超入門
ゼロからはじめるKVM超入門ゼロからはじめるKVM超入門
ゼロからはじめるKVM超入門
 
Intuneによるパッチ管理
Intuneによるパッチ管理Intuneによるパッチ管理
Intuneによるパッチ管理
 
Azure AD とアプリケーションを SAML 連携する際に陥る事例と対処方法について
Azure AD とアプリケーションを SAML 連携する際に陥る事例と対処方法についてAzure AD とアプリケーションを SAML 連携する際に陥る事例と対処方法について
Azure AD とアプリケーションを SAML 連携する際に陥る事例と対処方法について
 
vSphere環境での自動化とテスト
vSphere環境での自動化とテストvSphere環境での自動化とテスト
vSphere環境での自動化とテスト
 
iostat await svctm の 見かた、考え方
iostat await svctm の 見かた、考え方iostat await svctm の 見かた、考え方
iostat await svctm の 見かた、考え方
 
kpackによるコンテナイメージのビルド
kpackによるコンテナイメージのビルドkpackによるコンテナイメージのビルド
kpackによるコンテナイメージのビルド
 
Ansible tower 構築方法と使い方
Ansible tower 構築方法と使い方Ansible tower 構築方法と使い方
Ansible tower 構築方法と使い方
 
Azure Arc Enabled Serverの活用
Azure Arc Enabled Serverの活用Azure Arc Enabled Serverの活用
Azure Arc Enabled Serverの活用
 
Ansibleで始めるインフラ構築自動化
Ansibleで始めるインフラ構築自動化Ansibleで始めるインフラ構築自動化
Ansibleで始めるインフラ構築自動化
 
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャーKubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
Kubernetesのしくみ やさしく学ぶ 内部構造とアーキテクチャー
 
Hyper-V ネットワークの基本
Hyper-V ネットワークの基本Hyper-V ネットワークの基本
Hyper-V ネットワークの基本
 
Azure AD DSドメインに仮想マシンを参加させる
Azure AD DSドメインに仮想マシンを参加させるAzure AD DSドメインに仮想マシンを参加させる
Azure AD DSドメインに仮想マシンを参加させる
 
jenkinsのすゝめ - 継続的インテグレーションと継続的デリバリー
jenkinsのすゝめ - 継続的インテグレーションと継続的デリバリーjenkinsのすゝめ - 継続的インテグレーションと継続的デリバリー
jenkinsのすゝめ - 継続的インテグレーションと継続的デリバリー
 
大規模サービスを支えるネットワークインフラの全貌
大規模サービスを支えるネットワークインフラの全貌大規模サービスを支えるネットワークインフラの全貌
大規模サービスを支えるネットワークインフラの全貌
 
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
 
コンテナにおけるパフォーマンス調査でハマった話
コンテナにおけるパフォーマンス調査でハマった話コンテナにおけるパフォーマンス調査でハマった話
コンテナにおけるパフォーマンス調査でハマった話
 

Andere mochten auch

Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)Kazuhito Ohkawa
 
Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例Kazuhito Ohkawa
 
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形Satoshi Shimazaki
 
モバイルネットワークと広告配信
モバイルネットワークと広告配信モバイルネットワークと広告配信
モバイルネットワークと広告配信Kazuhito Ohkawa
 
Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編Satoshi Shimazaki
 
AHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組みAHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組みKazuhito Ohkawa
 
密かに話題のBufferbloat
密かに話題のBufferbloat密かに話題のBufferbloat
密かに話題のBufferbloatKazuhito Ohkawa
 
Nutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/FallNutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/FallSatoshi Shimazaki
 
netfilterを利用したDSP監視
netfilterを利用したDSP監視netfilterを利用したDSP監視
netfilterを利用したDSP監視Kazuhito Ohkawa
 

Andere mochten auch (11)

Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)Nutanixを導入してみて思ったこと(仮)
Nutanixを導入してみて思ったこと(仮)
 
Nutanix 概要紹介
Nutanix 概要紹介Nutanix 概要紹介
Nutanix 概要紹介
 
Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例Kauli SSPにおけるVyOSの導入事例
Kauli SSPにおけるVyOSの導入事例
 
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
インフラエンジニアなら知っておきたい 仮想化環境とストレージの新しい形
 
Nutanixってナニ?
Nutanixってナニ?Nutanixってナニ?
Nutanixってナニ?
 
モバイルネットワークと広告配信
モバイルネットワークと広告配信モバイルネットワークと広告配信
モバイルネットワークと広告配信
 
Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編Nutanix Community Meetup #1 - Nutanix入門編
Nutanix Community Meetup #1 - Nutanix入門編
 
AHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組みAHVでみるCVM Autopathの仕組み
AHVでみるCVM Autopathの仕組み
 
密かに話題のBufferbloat
密かに話題のBufferbloat密かに話題のBufferbloat
密かに話題のBufferbloat
 
Nutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/FallNutanix@Open Source Conference 2015 Tokyo/Fall
Nutanix@Open Source Conference 2015 Tokyo/Fall
 
netfilterを利用したDSP監視
netfilterを利用したDSP監視netfilterを利用したDSP監視
netfilterを利用したDSP監視
 

VMware ESXi トラブルシューティング