Introduction to JIT Compiler in JVM

Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
2019年12月2日
阪田浩一 / ヤフー株式会社
JVMのJITコンパイラに
ダイブする
#kanjava

自己紹介
2
• 阪田浩一 (@jyukutyo)
• ヤフー株式会社大阪拠点所属
• 第9代黒帯〜プログラミング言語(Java)〜
• JVMがとてつもなく好き
• 関西Javaエンジニアの会代表&創設者

このセッションの役割
3
JVMでの
JITコンパイラの
役割、仕組みを
知る

Javaアプリケーションの
実行までの流れを
おさらいしましょう
4

コンパイル
5
Javaコード
• コンパイル（javac）
クラスファイル

cafe babe 0000 0034 001d 0a00 0600 0f09 .......4........
0010 0011 0800 120a 0013 0014 0700 1507 ................
0016 0100 063c 696e 6974 3e01 0003 2829 .....<init>...()
5601 0004 436f 6465 0100 0f4c 696e 654e V...Code...LineN
756d 6265 7254 6162 6c65 0100 046d 6169 umberTable...mai
6e01 0016 285b 4c6a 6176 612f 6c61 6e67 n...([Ljava/lang
2f53 7472 696e 673b 2956 0100 0a53 6f75 /String;)V...Sou
7263 6546 696c 6501 000f 4865 6c6c 6f57 rceFile...HelloW
6f72 6c64 2e6a 6176 610c 0007 0008 0700 orld.java.......
クラスファイル
6

処理は、
Javaバイトコードで
表現する
7

8https://docs.oracle.com/javase/specs/jvms/se13/html/jvms-7.html

Javaでのコンパイル（javac）
9
実施タイミングアプリケーション実行前
入力 Javaコード
出力 Javaバイトコード

$ javap -c HelloWorld
class HelloWorld {
...
public static void main(java.lang.String...);
Code:
0: getstatic #2
3: ldc #3
5: invokevirtual #4
8: return
}
javap
10

JVMは、
クラスファイルを
読み込み、
アプリケーションを
実行する
11

JVMは、
処理をどのように
実行する？
12

バイトコードを
インタプリト、
つまり逐次処理する
13

今から20年以上前…
Javaの実行は、
非常に遅かった
14

その理由の1つは、
すべての処理が
インタプリタ実行
だったこと
15

Java (J2SE) 1.3で
JITコンパイルを
標準で使うように
16

このJITコンパイルが
今でもJavaの速さの
主な要因
17

JITコンパイル
18
Javaバイトコード
• JITコンパイル
機械語
プロファイル情報

JITコンパイル
19
実施タイミングアプリケーション実行中
入力
Javaバイトコード
+ プロファイル情報
出力機械語

各プラットフォーム
(主にCPU)
の機械語を
生成、キャッシュして
実行する
20

さらに、
実行時の情報を
プロファイリングし、
それを機械語生成に
活用する
21

結果、
実行パフォーマンスが
向上する
22

では全コードを
機械語にしている？
23

トレードオフ
24
JITコンパイルの
処理自体を
アプリケーション実行中に
することに注意

トレードオフ
25
JITコンパイル処理自体が
リソースを消費する

プロファイル情報から
よく実行する処理
(頻繁に呼ばれる
メソッドなど)
をコンパイル対象にする
26

よく実行する処理
=
ホットスポット
27

(おそらく今使っている) JVM
28
HotSpot VM
(OpenJDK / Oracle JDK)

さらなるトレードオフ
29
よりよい機械語を
生成するには、
より長いコンパイル時間が
必要となる

30
コンパイル時間短縮
or
速いコードの生成

31
• コンパイル時間を短縮すると
• それほど速くない機械語する
• 速いコードを生成するようにすると
• コンパイル時間が長くなる

HotSpot VMでは
32
2つのJITコンパイラを
使う

HotSpot VMでの2つのJITコンパイラ
33
• C1コンパイラ
• コンパイル時間が短い
• それほど速くない機械語する
• C2コンパイラ
• 速いコードを生成する
• コンパイル時間が長くなる

Java歴が長い人向け
34
昔、Javaを実行する際に
-server って
つけてましたよね？

HotSpot VMでの2つのJITコンパイラ
35
• C1コンパイラ (client)
• C2コンパイラ (server)

-server とは、
C2コンパイラを
使用する、
という意味です
36

Java 8からは、
この指定は不要
37

Java 8から
Tiered Compilation
(階層型コンパイル)
がデフォルトに
なったため
38

Tiered Compilation概要
39
• C1とC2の両方を使う
バイトコード C1生成機械語 C2生成機械語

デモ
40
単純な時間計測

Tiered Compilation詳細
41
C1
最適化レベル: 0
インタプリタ
一般的ケース
プロファイリング
なし
ベーシック
カウンタのみ
詳細
3 4
C2が詰まっているケース 0 2
C2
43
効果が薄いメソッドの
ケース
0 1 3

最適化レベル
42
0 インタプリタ実行
1 C1 (プロファイリングなし)
2
C1 (ベーシックカウンタのみ
プロファイリング)
3 C1 (完全なプロファイリング)
4 C2

デモ
43
JITコンパイル
実行対象を
出力する

-XX:+PrintCompilation
44
32 5 3 java.lang.String::coder (15 bytes)
...
150 235 4 java.lang.String::coder (15 bytes)
151 5 3 java.lang.String::coder (15 bytes) made not entrant
経過時間
コンパイルID
最適化レベル破棄した
コンパイルした
メソッドのバイト数

$ javap -c --module java.base java.lang.String
...
byte coder();
Code:
0: getstatic #9 // Field COMPACT_STRINGS:Z
3: ifeq 13
6: aload_0
7: getfield #4 // Field coder:B
10: goto 14
13: iconst_1
14: ireturn
メソッドのバイト数
45
0始まりで15バイト

デモ
46
メソッドの行数を
少なくする、
という意味は…

JITコンパイラが
生成コードを
見たい！
47

HSDIS
48
• HotSpot Disassembler
• JIT生成コードをアセンブリにする
• -XX:+UnlockDiagnosticVMOptions -XX:+PrintAssembly
もつける

デモ
49
JITコンパイラが
生成したコードを
アセンブラコードに
して見る

参考: HSDISの入手
50
1. OpenJDKのソースを取得する
2. hotspot/src/share/tools/hsdis ディレクトリへ
3. binutilsをここにダウンロードする
4. ビルドする
• make BINUTILS=binutils-X.XX ARCH=amd64
5. macOSの場合、hsdis-amd64.dylibをJDKに配
置する
• $JAVA_HOME/lib/server
• $JAVA_HOME/jre/lib (JDK 8まで)
https://www.sakatakoichi.com/entry/2016/06/01/180742

これで見るのは、
けっこう辛い…
51

JITWatch
52
• JITコンパイルログの解析ツール
• https://github.com/AdoptOpenJDK/jitwatch

デモ
53
JITWatch

では、
どのように
Javaバイトコードを
機械語にするのか？
54

JITコンパイルのプロセス
55
Java
バイトコード
IR (中間表現) 機械語
最適化を適用し、
IRを変更する
① ③
②

IR
56
• コードをデータ構造で表現する
• JVMでは、グラフで表現する
• プログラムの依存をグラフにする
• IRグラフ

例: x + y をグラフにする

例: getX() + getY() をグラフにする

例: メソッドの呼び出し順序を考慮
黄色が実行順序、緑色がデータフロー

JITコンパイルでの
最適化とは、
このグラフに対する
パターンマッチとなる
60

ものすごくラフな例
61
Aノード Bノード
Cノード
Dノード Dノード
Eノード
最適化パターンにマッチ！

JVMのIRグラフを
見てみよう
(ただし、C2ではなく
GraalVM JITコンパイラ)
62

デモ
63
IdealGraph
Visualizer

IdealGraphVisualizer
64
• IRグラフ可視化ツール
• ただし、GraalVM JITコンパイラ用
• -Dgraal.Dump=:1 オプションをつけて実行する
• https://www.graalvm.org/docs/reference-manual/tools/#ideal-graph-visualizer

参考: C2とGraalVM JITコンパイラ
65
• C2
• OpenJDKのデフォルト
• C++で書かれている
• GraalVM JITコンパイラ
• GraalVMのデフォルト
• Javaで書かれている
• OpenJDKにも入っている (10以降)
• JEP 317: Experimental Java-Based JIT Compiler

JITコンパイラのアーキテクチャ
66
フロントエンドバックエンド

フロントエンド
67
• ハードウェアからは独立
• バイトコードからIRを生成する
• IRに最適化をほどこす
• IRは、HIRと呼ぶ
• High-Level IR: 高水準中間表現

バックエンド
68
• ハードウェアに依存
• レジスタを割り当てる
• LIRから機械語を生成する
• Low-Level IR: 低水準中間言語

JITコンパイラのアーキテクチャ
69
クラス
ロード
バイト
コード HIR
HIR LIR
LIR
機械語
コード
フロントエンドバックエンド
HIR生成
最適化レジスタ割当
コード生成

org.graalvm.compiler.core.GraalCompiler
70
public static <T extends CompilationResult> T
compile(Request<T> r) {
...
emitFrontEnd(r.providers, r.backend, r.graph,
r.graphBuilderSuite, r.optimisticOpts,
r.profilingInfo, r.suites);
r.backend.emitBackEnd(r.graph, null,
r.installedCodeOwner, r.compilationResult,
r.factory, null, r.lirSuites);
...
}

最適化
71
• メソッドのインライン化
• ループアンロール
• デッドコード削除
• ロック粗粒化 / ロック省略
• エスケープ解析 (厳密には最適化ではない)
• など多数

デモ
72
JITWatchで
最適化を見る

ホットパスでのコンパイル
73
ノードノード
ノード
ノード
プロファイル結果から、
左ルートを前提とした
コードを生成する

実行が右ルートに行く場合は？
74
ノードノード
ノード
ノード
生成したコードにある
トラップに入る

脱最適化: Deoptimization
75
• JITコンパイラが立てた前提から
外れた実行となった場合
• if – else ifでまれな経路に入る
• クラスロードでインタフェースの実装クラス
が増える
• 機械語の実行から
インタプリタでの実行に戻る

JITコンパイルのライフサイクル
76
インタプリタ
コードキャッシュ
C1
C2
脱最適化

コードキャッシュ
77
• 機械語コードは、
CodeCache (C++オブジェクト)内に
配置する
• -XX:ReservedCodeCacheSize で指定
• デフォルトサイズは、240MB

Java HotSpot(TM) 64-Bit Server VM warning: CodeCache is
full. Compiler has been disabled.
Java HotSpot(TM) 64-Bit Server VM warning: Try increasing
the code cache size using -XX:ReservedCodeCacheSize=
CodeCache: size=2496Kb used=1980Kb max_used=1983Kb
free=515Kb
bounds [0x0000000103db8000, 0x0000000104028000,
0x0000000104028000]
total_blobs=1104 nmethods=623 adapters=288
compilation: disabled (not enough contiguous free space
left)
コードキャッシュあふれ
78

アプリケーションの
パフォーマンスが
低下する
79

今回扱っていない話題
80
• コンパイルキュー
• OSR: On Stack Replacement
• 最適化手法の詳細
• SSA: Static Single Assignment
• レジスタ割付のアルゴリズム
• Linear Scan Register Allocation

まとめ
81
• JITコンパイラ
• バイトコードを機械語に変換する
• HotSpot VMのJITコンパイラ
• C1とC2でTiered Compilation
• HSDISとJITWatch
• JIT生成コードを実際に見る

参考文献
82
• Java Magazine
• https://www.oracle.com/webfolder/technetwork/jp/javamagazine/Java-MA15-Architect-
newland.pdf
• https://www.oracle.com/webfolder/technetwork/jp/javamagazine/Java-JA14-Architect-
Evans.pdf
• Java Just-In-Timeコンパイラ
• https://www.slideshare.net/ishizaki/ppl-summer-school2004ishizaki-29661211

Introduction to JIT Compiler in JVM

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Introduction to JIT Compiler in JVM

Similar to Introduction to JIT Compiler in JVM (20)

More from Koichi Sakata

More from Koichi Sakata (20)

Recently uploaded

Recently uploaded (8)

Introduction to JIT Compiler in JVM