性能測定道 実践編
•
50 gefällt mir•55,231 views
2014/2/1に開催された日本PostgreSQLユーザ会 第27回しくみ＋アプリケーション勉強会での講演です。 http://www.postgresql.jp/wg/shikumi/shikumi28
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie 性能測定道 実践編
Ähnlich wie 性能測定道 実践編 (20)
Mehr von Yuto Hayamizu
Kürzlich hochgeladen
Kürzlich hochgeladen (8)
性能測定道 実践編
- 1. 性能測定 道 実践編 早水 悠登 (東大) Thanks to 合田和生（東大）山田浩之（東大）喜連川優（東大、NII） 2014/02/01
- 2. $whoami • 早水 悠登（a.k.a. @hayamiz ） • 東京大学喜連川研究室 • • 普段やっていること • • データベースシステム研究 性能測定 たまにやること • 論文書き
- 4. 前回の復習
- 7. 3つの基本形
- 9. MODELING -モデル化• 科学的アプローチの原点 • 測定対象の モデル を作る • 内部の動作原理を知る • 性能に影響を与える要素を選び出す • 性能を数式化する
- 13. 実際にどうすべきか？
- 15. メモリアクセスレイテンシ
- 16. メモリアクセスレイテンシ
- 17. どうやって測定するか？
- 19. #define LOOP 1000000000 #define SIZE (1024*1024*1024) char *region = malloc(SIZE); int i, j; for (j = 0; j < LOOP; j) { for (i = 0; i < SIZE; i++) { region[i]; } } 実行時間 (LOOP SIZE) = 1回のメモリアクセスレイテンシ(?)
- 20. #define LOOP 1000000000 #define SIZE (1024*1024*1024) char *region = malloc(SIZE); int i, j; for (j = 0; j < LOOP; j) { for (i = 0; i < SIZE; i++) { region[i]; } } 実行時間 (LOOP SIZE) = 1回のメモリアクセスレイテンシ(?)
- 35. 性能測定実践の第一歩: 徹底的に調べ尽くす プロセッサ命令パイプライン 参考：坂井修一 「コンピュータアーキテクチャ」 http://www.amazon.co.jp/dp/4339018430
- 38. 性能測定実践の第一歩: 徹底的に調べ尽くす 分岐予測とパイプラインストール 参考：坂井修一 「コンピュータアーキテクチャ」 http://www.amazon.co.jp/dp/4339018430
- 40. #define LOOP 1000000000 #define SIZE (1024*1024*1024) char *region = malloc(SIZE); int i, j; for (j = 0; j < LOOP; j) { for (i = 0; i < SIZE; i++) { region[i]; } } 実行時間 (LOOP SIZE) = 1回のメモリアクセスレイテンシ(?)
- 45. 動作原理・性能モデル を元に考える • 目的：1回のメモリアクセスレイテンシを測りたい • 問題：実行時間とメモリアクセス時間が比例しないこ とがある • パイプライン実行、スーパースカラ実行
- 49. 目的から手法を導出する
- 50. 目的から手法を導出する • メモリアクセス回数が実行時間に比例するように メモリアクセスする • 解決すべき問題 • 命令のパイプライン・スーパースカラ実行 • プリフェッチ • 分岐予測ミス・ヒット
- 51. 命令パイプラインを ニート化する • 命令パイプラインのやる気を奪う方法 • 命令間データ依存 • • • CPU命令列：A, B, C, … Bの実行にAの実行結果が必要 → Aが終わるまでBは実行できない スーパースカラ実行も同時にニート化できる
- 53. 命令パイプラインを ニート化する 1つ前の命令に必ずデータ依存するCPU命令列 __asm__ volatile(“ movq (%%rax), %rax movq (%%rax), %rax movq (%%rax), %rax …"
- 55. プリフェッチャをニート化 • プリフェッチできるアクセスパターン • • 順次アクセス or ストライドアクセス ランダムアクセスすればOK __asm__ volatile(“ movq (%%rax), %rax movq (%%rax), %rax movq (%%rax), %rax …"
- 58. 目的から手法を導出する • メモリアクセス回数が実行時間に比例するように メモリアクセスする • 解決すべき問題 • ✔ 命令のパイプライン・スーパースカラ実行 • ✔ プリフェッチ • ✔ 分岐予測ミス・ヒット
- 59. あとは書くだけ
- 61. micbench A microbenchmarking toolset for Linux only ;)
- 62. micbench A microbenchmarking toolset for Linux only ;)
- 63. micbench live on AWS EC2 $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 64. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 65. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: Last login: Sat Feb 1 03:27:02 2014 from 35.69.30.125.dy.iij4u.or.jp __| __|_ ) _| ( / ___|___|___| Amazon Linux AMI https://aws.amazon.com/amazon-linux-ami/2013.09-release-notes/ $
- 66. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: Last login: Sat Feb 1 03:27:02 2014 from 35.69.30.125.dy.iij4u.or.jp __| __|_ ) _| ( / ___|___|___| Amazon Linux AMI https://aws.amazon.com/amazon-linux-ami/2013.09-release-notes/ $ micbench mem -h
- 67. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: Last login: Sat Feb 1 03:27:02 2014 from 35.69.30.125.dy.iij4u.or.jp __| __|_ ) _| ( / ___|___|___| Amazon Linux AMI https://aws.amazon.com/amazon-linux-ami/2013.09-release-notes/ $ micbench mem -h Usage: micbench mem [options] -h, --help -m, --multi NUM -t, --timeout NUM -S, --seq -R, --rand -L, --local sharing one region) -a, --affinity AFFINITY -s, --size SIZE -H, --hugetlbfile PATH -z, --hugepagesize SIZE -v, --verbose --debug Show help Multiplicity of memory access (default: ) Running time of memory access test (in sec) (default: sec) Sequential memory access mode (default mode) Random memory access mode (default: sequential access mode) Allocate separated memory region for each thread (default: CPU and memory utilization policy Size of memory region (default: 1MB) Use HugePages if specified. Give a path to file on hugetlbfs. Size of HugePage (default: 2MB)
- 68. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 69. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ cd /sys/devices/system/cpu/cpu0/cache
- 70. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ cd /sys/devices/system/cpu/cpu0/cache $ echo `cat index0/level` `cat index0/type` `cat index0/size` 1 Data 32K $ echo `cat index1/level` `cat index1/type` `cat index1/size` 1 Instruction 32K $ echo `cat index2/level` `cat index2/type` `cat index2/size` 2 Unified 256K $ echo `cat index3/level` `cat index3/type` `cat index3/size` 3 Unified 20480K
- 71. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 72. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16K --affinity 0:c0 --timeout 10
- 73. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16K --affinity 0:c0 --timeout 10 loop end: t=10.000098 access_pattern random multiplicity 1 local false page_size 4096 size 32768 use_hugepages false total_ops 2172125184 total_clk 17885453816 exec_time 10.000098 ops_per_sec 2.172104e+08 clk_per_op 8.234081e+00 total_exec_time 11.881029
- 74. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16K --affinity 0:c0 --timeout 10 loop end: t=10.000098 access_pattern random multiplicity 1 local false page_size 4096 size 32768 use_hugepages false total_ops 2172125184 total_clk 17885453816 exec_time 10.000098 ops_per_sec 2.172104e+08 clk_per_op 8.234081e+00 total_exec_time 11.881029 L1D cache アクセスレイテンシ 8.23クロック （ 5%） (Wikipedia調べ：3クロック)
- 75. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 76. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 128K --affinity 0:c0 --timeout 10
- 77. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 128K --affinity 0:c0 --timeout 10 loop end: t=10.022191 access_pattern random multiplicity 1 local false page_size 4096 size 131072 use_hugepages false total_ops 729284608 total_clk 17940879364 exec_time 10.022191 ops_per_sec 7.276698e+07 clk_per_op 2.460066e+01 total_exec_time 10.047088
- 78. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 128K --affinity 0:c0 --timeout 10 loop end: t=10.022191 access_pattern random multiplicity 1 local false page_size 4096 size 131072 use_hugepages false total_ops 729284608 total_clk 17940879364 exec_time 10.022191 ops_per_sec 7.276698e+07 clk_per_op 2.460066e+01 total_exec_time 10.047088 L2D cache アクセスレイテンシ 24.6クロック （ 5%） (Wikipedia調べ：8クロック)
- 79. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 80. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16MB --affinity 0:c0 --timeout 10
- 81. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16MB --affinity 0:c0 --timeout 10 loop end: t=10.017083 access_pattern random multiplicity 1 local false page_size 4096 size 16777216 use_hugepages false total_ops 40370176 total_clk 17984571328 exec_time 10.017083 ops_per_sec 4.030133e+06 clk_per_op 4.454915e+02 total_exec_time 10.293443
- 82. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 16MB --affinity 0:c0 --timeout 10 loop end: t=10.017083 access_pattern random multiplicity 1 local false page_size 4096 size 16777216 use_hugepages false total_ops 40370176 total_clk 17984571328 exec_time 10.017083 ops_per_sec 4.030133e+06 clk_per_op 4.454915e+02 total_exec_time 10.293443 L3 shared アクセスレイテンシ 445クロック
- 83. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 84. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 256MB --affinity 0:c0 --timeout 10
- 85. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 256MB --affinity 0:c0 --timeout 10 loop end: t=10.025490 access_pattern random multiplicity 1 local false page_size 4096 size 268435456 use_hugepages false total_ops 31719424 total_clk 18000368292 exec_time 10.025490 ops_per_sec 3.163878e+06 clk_per_op 5.674872e+02 total_exec_time 16.503597
- 86. $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ micbench mem --rand --size 256MB --affinity 0:c0 --timeout 10 loop end: t=10.025490 access_pattern random multiplicity 1 local false page_size 4096 size 268435456 use_hugepages false total_ops 31719424 total_clk 18000368292 exec_time 10.025490 ops_per_sec 3.163878e+06 clk_per_op 5.674872e+02 total_exec_time 16.503597 主記憶アクセスレイテンシ 567クロック
- 87. メモリアクセスレイテンシ測定
- 92. まとめ • 性能測定の実践 • • • 測定前の徹底調査 頭の中にモデルを作る Case study: メモリアクセスレイテンシ • 単なるメモリアクセスプログラムではダメ • • CPU内部構造・性能モデルを理解した測定計画 micbench on EC2 • メモリアクセス速度からわかる仮想マシン感
- 95. micbench A microbenchmarking toolset $ micbench -h ! Usage: micbench command [options] ! available commands: help : 'help command' explains about command io : IO benchmark on block devices and files lock : lock and sync. cost benchmark mem : memory latency and bandwidth benchmark
- 96. micbench A microbenchmarking toolset $ micbench -h ! Usage: micbench command [options] ! available commands: help : 'help command' explains about command io : IO benchmark on block devices and files lock : lock and sync. cost benchmark mem : memory latency and bandwidth benchmark
- 97. モニタリングツール • sysstat (mpstat / iostat) (…) ! avg-cpu: %user 0.00 %nice %system %iowait 0.00 1.00 99.00 %steal 0.00 %idle 0.00 ! Device: xvdap1 xvdap3 xvdf xvdg ! (…) tps 0.00 0.00 64.00 0.00 Blk_read/s 0.00 0.00 1024.00 0.00 Blk_wrtn/s 0.00 0.00 0.00 0.00 Blk_read 0 0 1024 0 Blk_wrtn 0 0 0 0
- 98. モニタリングツール • sysstat (mpstat / iostat) (…) ! avg-cpu: %user 0.00 %nice %system %iowait 0.00 1.00 99.00 ! Device: xvdap1 xvdap3 xvdf xvdg ! (…) tps 0.00 0.00 64.00 0.00 a d a e Blk_read/s 0.00 0.00 1024.00 0.00 r t o N ! le b %steal 0.00 Blk_wrtn/s 0.00 0.00 0.00 0.00 %idle 0.00 Blk_read 0 0 1024 0 Blk_wrtn 0 0 0 0
- 99. モニタリングツール • sysstat (mpstat / iostat) (…) ! avg-cpu: %user 0.00 %nice %system %iowait 0.00 1.00 99.00 ! Device: xvdap1 xvdap3 xvdf xvdg tps 0.00 0.00 64.00 0.00 a d a e Blk_read/s 0.00 0.00 1024.00 0.00 r t o N ! le b %steal 0.00 Blk_wrtn/s 0.00 0.00 0.00 0.00 %idle 0.00 Blk_read 0 0 1024 0 Blk_wrtn 0 0 0 0 ! (…) • プログラムから集計するのが面倒なフォーマット
- 100. モニタリングツール • sysstat (mpstat / iostat) (…) ! avg-cpu: ! Device: xvdap1 xvdap3 xvdf xvdg ! (…) %user 0.00 %nice %system %iowait 0.00 1.00 99.00 Not tps 0.00 0.00 64.00 0.00 real %steal 0.00 Blk_read/s 0.00 0.00 1024.00 0.00 %idle 0.00 time Blk_wrtn/s 0.00 0.00 0.00 0.00 Blk_read 0 0 1024 0 Blk_wrtn 0 0 0 0
- 101. モニタリングツール • sysstat (mpstat / iostat) (…) ! avg-cpu: ! Device: xvdap1 xvdap3 xvdf xvdg %user 0.00 %nice %system %iowait 0.00 1.00 99.00 Not tps 0.00 0.00 64.00 0.00 real %steal 0.00 Blk_read/s 0.00 0.00 1024.00 0.00 %idle 0.00 time Blk_wrtn/s 0.00 0.00 0.00 0.00 Blk_read 0 0 1024 0 ! (…) • 最短で1秒間隔でしかモニタリングできない Blk_wrtn 0 0 0 0
- 102. PerfMonger Yet another system performance monitoring & visualizing tool
- 103. PerfMonger live on AWS EC2 $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません
- 104. PerfMonger live on AWS EC2 $ ssh jpugstudy@54.201.1.14 jpugstudy@54.201.1.14's password: JPUGstudy20140201 ※現在はアクセスできません $ perfmonger record {"time": 1391233526.2996, "cpuinfo": {"nr_cpu": 1, "all": {"%usr": 0.00, "%nice": 0.00, "%sys": 0.00, "%iowait": 0.00, "%irq": 0.00, "%soft": 0.00, "%steal": 0.00, "%guest": 0.00, "%idle": 0.00}, "cpus": [{"%usr": 0.00, "%nice": 0.00, "%sys": 0.00, "%iowait": 0.00, "%irq": 0.00, "%soft": 0.00, "%steal": 0.00, "%guest": 0.00, "%idle": 100.00}]}, "ioinfo": {"devices": ["xvda1", "xvda3", "xvdf", "xvdg"], "xvda1": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "xvda3": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "xvdf": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "xvdg": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000, "avgrq-sz": 0.0000, "avgqu-sz": 0.0000}, "total": {"r/s": 0.0000, "w/s": 0.0000, "rsec/s": 0.0000, "wsec/s": 0.0000, "r_await": 0.0000, "w_await": 0.0000}}}
- 105. PerfMonger live on AWS EC2 ※現在はアクセスできません http://54.201.1.14:20202/dashboard
- 106. 性能測定 道 終