Java bytecode 101

1. Байткод для
любознательных
@antonarhipov
Joker 2016, СПб

2. @antonarhipov
Антон Архипов

3. Зачем?

4. Зачем?
• Знай свою платформу!

5. Зачем?
• Знай свою платформу!
• Хотите написать свой компилятор?

6. Зачем?
• Знай свою платформу!
• Хотите написать свой компилятор?
• Фреймворки (AOP, ORM)

7. Зачем?
• Знай свою платформу!
• Хотите написать свой компилятор?
• Фреймворки (AOP, ORM)
• Всевозможные инструменты (см. JRebel)

8. Зачем?
• Знай свою платформу!
• Хотите написать свой компилятор?
• Фреймворки (AOP, ORM)
• Всевозможные инструменты (см. JRebel)
• … ну или может просто скучно?

9. Основы Java-байткода
Инструментарий
ObjectWeb ASM

10. 1 + 2

11. 1 + 2
1 2 +

12. 1 + 2
1 2 +

13. 1 + 2
1 2 + PUSH 1
1

14. 1 + 2
1 2 + PUSH 1
PUSH 2
2
1

15. 1 + 2
1 2 + PUSH 1
PUSH 2
ADD
3

16. 1 + 2
1 2 + ICONST_1
ICONST_2
IADD
3

17. ? = 1 + 2

18. Таксономия

19. Работа со
стеком
Таксономия

20. Работа со
стеком
Инструкции
управления
Таксономия

21. Работа со
стеком
Инструкции
управления
Работа с
объектами
Таксономия

22. Работа со
стеком
Инструкции
управления
Арифметика
Работа с
объектами
Таксономия

23. Работа со
стеком
Инструкции
управления
Арифметика
Работа с
объектами
monitorenter
monitorexit
Таксономия

24. Байт-код

25. Байт-код
• Одно-байтные инструкции

26. Байт-код
• Одно-байтные инструкции
• 256 возможных вариантов

27. Байт-код
• Одно-байтные инструкции
• 256 возможных вариантов
• Используется 200+

28. Байт-код
• Одно-байтные инструкции
• 256 возможных вариантов
• Используется 200+
• Google: “Java bytecode instructions listings”

29. Байт-код
• Одно-байтные инструкции
• 256 возможных вариантов
• Используется 200+
• Google: “Java bytecode instructions listings”
• https://en.wikipedia.org/wiki/Java_bytecode_instruction_listings

30. ОПЕРАЦИЯТИП

31. • <тип> ::= b, s, c, i, l, f, d, a
ОПЕРАЦИЯТИП

32. • <тип> ::= b, s, c, i, l, f, d, a
• Константы (ldc, iconst_1)
ОПЕРАЦИЯТИП

33. • <тип> ::= b, s, c, i, l, f, d, a
• Константы (ldc, iconst_1)
• Локальные переменные и стек (load/store)
ОПЕРАЦИЯТИП

34. • <тип> ::= b, s, c, i, l, f, d, a
• Константы (ldc, iconst_1)
• Локальные переменные и стек (load/store)
• Операции с массивами (aaload, aastore)
ОПЕРАЦИЯТИП

35. • <тип> ::= b, s, c, i, l, f, d, a
• Константы (ldc, iconst_1)
• Локальные переменные и стек (load/store)
• Операции с массивами (aaload, aastore)
• Арифметика (add, sub, mul, div)
ОПЕРАЦИЯТИП

36. • <тип> ::= b, s, c, i, l, f, d, a
• Константы (ldc, iconst_1)
• Локальные переменные и стек (load/store)
• Операции с массивами (aaload, aastore)
• Арифметика (add, sub, mul, div)
• Булевые/битовые операции (iand, ixor)
ОПЕРАЦИЯТИП

37. • <тип> ::= b, s, c, i, l, f, d, a
• Константы (ldc, iconst_1)
• Локальные переменные и стек (load/store)
• Операции с массивами (aaload, aastore)
• Арифметика (add, sub, mul, div)
• Булевые/битовые операции (iand, ixor)
• Сравнения (cmpg, cmpl, ifne, ifeq)
ОПЕРАЦИЯТИП

38. • <тип> ::= b, s, c, i, l, f, d, a
• Константы (ldc, iconst_1)
• Локальные переменные и стек (load/store)
• Операции с массивами (aaload, aastore)
• Арифметика (add, sub, mul, div)
• Булевые/битовые операции (iand, ixor)
• Сравнения (cmpg, cmpl, ifne, ifeq)
• Преобразования (l2d, i2l)
ОПЕРАЦИЯТИП

40. JVM процесс

41. Thread
1
Thread
2
Thread
3
Thread
4

43. • JVM работает со стеком
• У каждого потока есть стек
• Стек сохраняет “фреймы”
• Новый “фрейм” создаётся при вызове метода
• “Фрейм” состоит из:
– Стек операций
– Массив локальных переменных
Стековая машина

44. Стек операций
Локальные переменные
20 1 N…
Константы
#1

45. Работа со стеком и
локальными переменными

46. A
B
dup
pop
swap
dup_x1
dup2_x1

47. A
B
dup
pop
swap
dup_x1
dup2_x1
A

48. dup
pop
swap
dup_x1
dup2_x1
A
B

49. dup
pop
swap
dup_x1
dup2_x1
A
B

50. dup
pop
swap
dup_x1
dup2_x1
A
B
B

51. dup
pop
swap
dup_x1
dup2_x1
A
B
B
B
A

52. ldc "Hello"
astore_0
iconst_1
astore_1
aload_0
глубина значение
Стек
переменная значение
Локальные переменные
0
1
2
3
4
0
1
2
3
4

53. ldc "Hello"
astore_0
iconst_1
astore_1
aload_0
"Hello"0
1
2
3
4
0
1
2
3
4
глубина значениепеременная значение
СтекЛокальные переменные

54. ldc "Hello"
astore_0
iconst_1
astore_1
aload_0
"Hello"0
1
2
3
4
0
1
2
3
4
глубина значениепеременная значение
СтекЛокальные переменные

55. ldc "Hello"
astore_0
iconst_1
astore_1
aload_0
"Hello"0
1
2
3
4
0
1
2
3
4
1
глубина значениепеременная значение
СтекЛокальные переменные

56. ldc "Hello"
astore_0
iconst_1
astore_1
aload_0
"Hello"0
1
2
3
4
0
1
2
3
4
1
глубина значениепеременная значение
СтекЛокальные переменные

57. ldc "Hello"
astore_0
iconst_1
astore_1
aload_0
"Hello"0
1
2
3
4
0
1
2
3
4
1
"Hello"
глубина значениепеременная значение
СтекЛокальные переменные

58. Стек
Таблица
локальных
переменных
store
load

59. Вызовы методов

60. invokeXXX
• invokestatic
• invokespecial
• invokevirtual
• invokeinterface
• invokedynamic

61. invokestatic
• invokestatic
• invokespecial
• invokevirtual
• invokeinterface
• invokedynamic
Integer.valueOf(“42”)

62. invokespecial
• invokestatic
• invokespecial
• invokevirtual
• invokeinterface
• invokedynamic
<init>
private void foo();
super.method();

63. • invokestatic
• invokespecial
• invokevirtual
• invokeinterface
• invokedynamic
invokevirtual
class A
class B
A/method1
A/method2
A/method1
B/method2
B/method3

64. invokeinterface
• invokestatic
• invokespecial
• invokevirtual
• invokeinterface
• invokedynamic
Efficient Implementation of Java Interfaces: Invokeinterface Considered
Harmless, Bowen Alpern, Anthony Cocchi, Stephen Fink, David Grove, and
Derek Lieber, OOPSLA’01
class A
class B impl X
A/method1
A/method2
A/method1
B/method2
B/method3
X/methodX
D impl X
D/method1
X/methodX

65. Вызов метода

66. obj.method(param1, param2);
Вызов метода

67. obj.method(param1, param2);
Вызов метода

68. obj.method(param1, param2);
push obj
push param1
push param2
call method
Вызов метода

69. obj.method(param1, param2);
push obj
push param1
push param2
call method
obj
Вызов метода

70. obj.method(param1, param2);
push obj
push param1
push param2
call method
obj
param1
Вызов метода

71. obj.method(param1, param2);
push obj
push param1
push param2
call method
obj
param1
param2
Вызов метода

72. obj.method(param1, param2);
push obj
push param1
push param2
call method
obj?
Вызов метода

73. this.add(1, 2);
0: aload_0
1: iconst_1
2: iconst_2
3: invokevirtual #2; //Method add:(II)I
Вызов метода

74. Стек
pop push

75. Стек
Таблица
локальных
переменных
store
load
pop push

76. Стек
Таблица
локальных
переменных
store
load
pop push

77. Стек
Таблица
локальных
переменных
store
load
pop push
Стек
Таблица
локальных
переменных
store
load
pop push
invoke

79. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}

80. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c Hello
Дезассемблировать Hello

81. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c Hello
javap
• Дизассемблер Java класс-файлов
• По-умолчанию показывает только структуру класса
– Методы, супер-класс, интерфейсы, итд
• -c покажет байткод методов
• -private покажет все приватные поля и методы
• -s покажет сигнатуры
• -l покажет номера строк и таблицу локальных переменных

82. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return

83. > javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
Конструктор
по-умолчанию
public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}

84. > javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
Выложить this на стек
public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}

85. > javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
Вызвать <init> для Object
public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}

86. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return

87. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
public static void main(java.lang.String[]);
Code:
0: getstatic #2; //Field java/lang/System.out:Ljava/io/PrintStream;
3: ldc #3; //String Hello, World!
5: invokevirtual #4; //Method java/io/PrintStream.println:(Ljava/lang/String;)V

88. > javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
public static void main(java.lang.String[]);
Code:
0: getstatic #2; //Field java/lang/System.out:Ljava/io/PrintStream;
3: ldc #3; //String Hello, World!
5: invokevirtual #4; //Method java/io/PrintStream.println:(Ljava/lang/String;)V
Обратиться к
статическому полю
public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}

89. > javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
public static void main(java.lang.String[]);
Code:
0: getstatic #2; //Field java/lang/System.out:Ljava/io/PrintStream;
3: ldc #3; //String Hello, World!
5: invokevirtual #4; //Method java/io/PrintStream.println:(Ljava/lang/String;)V
Загрузить строковую
константу в стек
public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}

90. > javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
public static void main(java.lang.String[]);
Code:
0: getstatic #2; //Field java/lang/System.out:Ljava/io/PrintStream;
3: ldc #3; //String Hello, World!
5: invokevirtual #4; //Method java/io/PrintStream.println:(Ljava/lang/String;)V
Вызвать метод
с параметром
public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}

91. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
public static void main(java.lang.String[]);
Code:
0: getstatic #2; //Field java/lang/System.out:Ljava/io/PrintStream;
3: ldc #3; //String Hello, World!
5: invokevirtual #4; //Method java/io/PrintStream.println:(Ljava/lang/String;)V

92. > javap -c Hello
Compiled from "Hello.java"
public class Hello extends java.lang.Object{
public Hello();
Code:
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
public static void main(java.lang.String[]);
Code:
0: getstatic #2; //Field java/lang/System.out:Ljava/io/PrintStream;
3: ldc #3; //String Hello, World!
5: invokevirtual #4; //Method java/io/PrintStream.println:(Ljava/lang/String;)V
Что такое #1,#2, итд ?
public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}

93. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c -verbose Hello

94. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c -verbose Hello
Compiled from "Hello.java“
public class Hello extends java.lang.Object
SourceFile: "Hello.java"
minor version: 0
major version: 50
Constant pool:
const #1 = Method #6.#20; // java/lang/Object."<init>":()V
const #2 = Field #21.#22; // java/lang/System.out:Ljava/io/PrintStream;
const #3 = String #23; // Hello, World!
const #4 = Method #24.#25; // java/io/PrintStream.println:(Ljava/lang/String;)V
const #5 = class #26; // Hello
const #6 = class #27; // java/lang/Object
const #7 = Asciz <init>;

95. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c -verbose Hello
Compiled from "Hello.java“
public class Hello extends java.lang.Object
SourceFile: "Hello.java"
minor version: 0
major version: 50
Constant pool:
const #1 = Method #6.#20; // java/lang/Object."<init>":()V
const #2 = Field #21.#22; // java/lang/System.out:Ljava/io/PrintStream;
const #3 = String #23; // Hello, World!
const #4 = Method #24.#25; // java/io/PrintStream.println:(Ljava/lang/String;)V
const #5 = class #26; // Hello
const #6 = class #27; // java/lang/Object
const #7 = Asciz <init>;

96. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c -verbose Hello
public class Hello extends java.lang.Object
…
public Hello();
Code:
Stack=1, Locals=1, Args_size=1
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
LineNumberTable:
line 1: 0
LocalVariableTable:
Start Length Slot Name Signature
0 5 0 this LHello;

97. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c -verbose Hello
public class Hello extends java.lang.Object
…
public Hello();
Code:
Stack=1, Locals=1, Args_size=1
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
LineNumberTable:
line 1: 0
LocalVariableTable:
Start Length Slot Name Signature
0 5 0 this LHello;

98. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c -verbose Hello
public class Hello extends java.lang.Object
…
public Hello();
Code:
Stack=1, Locals=1, Args_size=1
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
LineNumberTable:
line 1: 0
LocalVariableTable:
Start Length Slot Name Signature
0 5 0 this LHello;

99. public class Hello {
public static void main(String[] args) {
System.out.println("Hello, World!");
}
}
> javap -c -verbose Hello
public class Hello extends java.lang.Object
…
public Hello();
Code:
Stack=1, Locals=1, Args_size=1
0: aload_0
1: invokespecial #1; //Method java/lang/Object."<init>":()V
4: return
LineNumberTable:
line 1: 0
LocalVariableTable:
Start Length Slot Name Signature
0 5 0 this LHello;

101. Java Bytecode Editor — http://set.ee/jbe/

102. IntelliJ IDEA: ASM Bytecode Outline plugin

103. public java.lang.String getName();
Code:
Stack=1, Locals=1, Args_size=1
0: aload_0
1: getfield #2; //Field name:Ljava/lang/String;
4: areturn
LocalVariableTable:
Start Length Slot Name Signature
0 5 0 this LGet;
public class Get {
String name;
public String getName() {
return name;
}
}

104. aload_0 getfield 00 02 areturn
0 1 2 3 4
public java.lang.String getName();
Code:
Stack=1, Locals=1, Args_size=1
0: aload_0
1: getfield #2; //Field name:Ljava/lang/String;
4: areturn
LocalVariableTable:
Start Length Slot Name Signature
0 5 0 this LGet;

105. 2A B4
public java.lang.String getName();
Code:
Stack=1, Locals=1, Args_size=1
0: aload_0
1: getfield #2; //Field name:Ljava/lang/String;
4: areturn
LocalVariableTable:
Start Length Slot Name Signature
0 5 0 this LGet;
00 02
0 1 2 3 4
B0

106. public java.lang.String getName();
Code:
Stack=1, Locals=1, Args_size=1
0: aload_0
1: getfield #2; //Field name:Ljava/lang/String;
4: areturn
LocalVariableTable:
Start Length Slot Name Signature
0 5 0 this LGet;

108. ObjectWeb ASM
• Низкоуровневый фреймворк
для манипуляций и анализа
Java-байткода
• Стандарт de facto
• http://asm.ow2.org

110. Зачем манипулировать байткодом
(ещё раз)
• Профилировщики
• Агенты для мониторинга
• Дебаггеры
• Фреймворки
• JRebel

111. Зачем манипулировать байткодом
(ещё раз)
• Профилировщики
• Агенты для мониторинга
• Дебаггеры
• Фреймворки
• JRebel
Требуется внедрение
функциональности в
работающий код

112. ASM: общий сценарий
Создать ClassWriter
Скомпановать visitor-ы:
аннотации, поля, методы, итд
Генерировать новый байткод
1
2
3

113. Class
Reader
Class
Visitor

114. Class
Writer
Class
Visitor
Class
Visitor
Class
Reader

115. Class
Writer
Class
Visitor
Class
Visitor
Class
Reader
Class
Visitor
Class
Visitor

116. Class
Writer
Class
Visitor
Class
Visitor
Class
Reader
Class
Visitor
Class
Visitor
Class
Visitor
Class
Visitor
Class
Visitor
Class
Visitor
Class
Visitor
Class
Reader
Class
Writer

117. ClassVisitor
visit
visitSource
visitOuterClass
visitAnnotation
visitAttribute
visitInnerClass
visitField
visitMethod
visitEnd
ClassReader

118. ClassVisitor
visit
visitSource
visitOuterClass
visitAnnotation
visitAttribute
visitInnerClass
visitField
visitMethod
visitEnd
AnnotationVisitor
FieldVisitor
MethodVisitor
ClassReader

120. https://github.com/antonarhipov/asmdemo