Презентация Владимира Озерова (GridGain) с SPB .NET Meetup #11 http://spbdotnet.org

1. Архитектура
Apache Ignite.NET
Владимир Озеров
GridGain

2. План
2
• Почему
• Interop
• Native

3. Кто?
3

4. План
4
• Почему
• Interop
• Native

5. Почему: тонкие клиенты
5

6. Почему: тонкие клиенты
6
За:
• Легко сделать
Против:
• Ограниченный

7. Почему: объединить Java client и server
7

8. Почему: объединить Java client и server
8
За:
• Полноценный
Против:
• Тяжелее

9. Почему: создание с нуля
9

10. Почему: создание с нуля
10
За:
• Естественно
• Перфоманс
• Полноценный
Против:
• С нуля
• Надо менять Java
• Поддержка

11. Создание с нуля: поддержка
11

12. Создание с нуля: поддержка
12

13. 13
Создание с нуля: поддержка

14. 14
Создание с нуля: поддержка

15. Почему: переиспользование Java core
15

16. Почему: переиспользование Java core
16
За:
• Общий код
• Легко сделать
• Полноценный
Против:
• Странно!
• Медленнее
нативного

17. Переиспользование Java core
17

18. Переиспользование Java core
18
OVERHEAD!

19. План
19
• Почему
• Interop
• Native

20. Сериализация
20

21. Сериализация
21
За:
• Нет классов

22. Сериализация
22

23. Сериализация
23
За:
• Нет классов!
Против:
• Не десериализовать

24. Идентификаторы: TYPE_ID и FIELD_ID
24
1: class DotNetPerson {
2: string Name { ... }
3:
4: ...
5: }
1: class JavaPerson {
2: private String name;
3:
4: ...
5: }
TYPE_ID(DotNetPerson) == TYPE_ID(JavaPerson)
FIELD_ID(DotNetPerson.Name) == FIELD_ID(JavaPerson.name)

25. Формат сериализации
25
Header
• Type ID – тип объекта
• Hash code – для быстрого поиска в кэше
• Length – для «пропусков»
• Flags – внутренности

26. 26
GetField("name") => OK
HasField("name") => OK
Формат сериализации

27. 27
GetField("name") => OK
HasField("name") => OK
O(N)!
Формат сериализации

28. Поиск полей за O(1)
28
Header
• Schema ID – «отпечаток» полей
• Footer offset – быстрая навигация в футер
Footer
• Идентификаторы полей и их смещения

29. 29
int fieldId = GetFieldId("name");
Поиск полей за O(1)

30. 30
int fieldId = GetFieldId("name");
int order = GetOrder(schemaId, fieldId);
Поиск полей за O(1)

31. 31
int fieldId = GetFieldId("name");
int order = GetOrder(schemaId, fieldId);
int offsetPos = footerPos + [X] * order;
Поиск полей за O(1)

32. 32
int fieldId = GetFieldId("name");
int order = GetOrder(schemaId, fieldId);
int offsetPos = footerPos + [X] * order;
int offset = Read(offsetPos);
Поиск полей за O(1)

33. Interop: metadata
33

34. Interop: metadata
34

35. Interop: metadata
35

36. Interop: metadata
36

37. Interop: metadata
37

38. План
38
• Почему
• Interop
• Native

39. Embedded JVM
39

40. Embedded JVM
40

41. Embedded JVM
41

42. External JVM
42

43. Проблемы GC
43

44. Проблемы GC
44

45. Проблемы GC
45

46. .NET -> Java: полагаемся на финализацию
46
1: unsafe class UnmanagedTarget : CriticalHandle
2: {
3: public UnmanagedTarget(void* target)
4: {
5: SetHandle(new IntPtr(target));
6: }
7:
8: protected override bool ReleaseHandle() {
9: UnmanagerUtils.Release(this);
10: }
11: }

47. Java -> .NET: освобождаем явно
47
1: class PlatformListener {
2: private long ptr;
3: private boolean released;
4:
5: public void use() {
6: READ_LOCK {
7: if (!released)
8: NativeUtils.use(ptr);
9: }
10: }
11:
12: public void release() {
13: WRITE_LOCK {
14: NativeUtils.use(ptr);
15: released = true;
16: }
17: }
18: }

48. Native: unique pointers
48
1: HandleRegistry registry;
2:
3: T Get<T>(long ptr) {
4: T target = (T)registry.Get(ptr);
5:
6: if (target == null)
7: throw new ResourceReleasedException();
8:
9: return target;
10: }

49. Java -> .NET: освобождаем явно
49
1: class PlatformListener {
2: private long ptr;
3:
4: public void use() {
5: NativeUtils.use(ptr);
6: }
7:
8: public void release() {
9: NativeUtils.use(ptr);
10: }
11: }

50. Уникальные указатели
50
0 < ptr < X
• Это индекс в массиве
• Для долгоживущих объектов (cache store, listeners, etc.)
ptr >= X
• Это ключ в ConcurrentDictionary
• Для короткоживущих объектов (jobs, etc.)

51. Передаем данные
51
Особенности:
• Храним пре-аллоцированные куски в thread-local
• Флаги кодируют «природу» памяти (пул или нет, Java или .Net)

52. Передаем данные
52
1: using (long inPtr = MemoryManager.Allocate()) {
2: using (long outPtr = MemoryManager.Allocate()) {
3: Marshal(input, inPtr);
4:
5: Invoke(inPtr, outPtr);
6:
7: return Unmarshal<T>(outPtr);
8: }
9: }

53. Уменьшаем оверхед
53
Кэширование
• Если объект read-only, то сериализуем его 1 раз, а далее
передаем только «хэндл»
Coalescense
• Один большой вызов вместо нескольких мелких
Отложенная сериализация
• Если подозреваем, что сериализация не понадобиться, то
пытаемся обойтись GCHandle

54. Контакты
54
Twitter:
• https://twitter.com/devozerov
LinkedIn:
• https://www.linkedin.com/in/devozerov

55. 55
Вопросы?