Suche senden
Hochladen
高度に最適化された移植可能なメモリマネージャ
•
Als PPTX, PDF herunterladen
•
22 gefällt mir
•
8,031 views
D
DADA246
Folgen
Technologie
Diashow-Anzeige
Melden
Teilen
Diashow-Anzeige
Melden
Teilen
1 von 31
Jetzt herunterladen
Empfohlen
Glibc malloc internal
Glibc malloc internal
Motohiro KOSAKI
カスタムメモリマネージャと高速なメモリアロケータについて
カスタムメモリマネージャと高速なメモリアロケータについて
alwei
モダン PHP テクニック 12 選 ―PsalmとPHP 8.1で今はこんなこともできる!―
モダン PHP テクニック 12 選 ―PsalmとPHP 8.1で今はこんなこともできる!―
shinjiigarashi
Marp Tutorial
Marp Tutorial
Rui Watanabe
なぜなにリアルタイムレンダリング
なぜなにリアルタイムレンダリング
Satoshi Kodaira
きつねさんでもわかるLlvm読書会 第2回
きつねさんでもわかるLlvm読書会 第2回
Tomoya Kawanishi
20分くらいでわかった気分になれるC++20コルーチン
20分くらいでわかった気分になれるC++20コルーチン
yohhoy
深層学習フレームワークにおけるIntel CPU/富岳向け最適化法
深層学習フレームワークにおけるIntel CPU/富岳向け最適化法
MITSUNARI Shigeo
Empfohlen
Glibc malloc internal
Glibc malloc internal
Motohiro KOSAKI
カスタムメモリマネージャと高速なメモリアロケータについて
カスタムメモリマネージャと高速なメモリアロケータについて
alwei
モダン PHP テクニック 12 選 ―PsalmとPHP 8.1で今はこんなこともできる!―
モダン PHP テクニック 12 選 ―PsalmとPHP 8.1で今はこんなこともできる!―
shinjiigarashi
Marp Tutorial
Marp Tutorial
Rui Watanabe
なぜなにリアルタイムレンダリング
なぜなにリアルタイムレンダリング
Satoshi Kodaira
きつねさんでもわかるLlvm読書会 第2回
きつねさんでもわかるLlvm読書会 第2回
Tomoya Kawanishi
20分くらいでわかった気分になれるC++20コルーチン
20分くらいでわかった気分になれるC++20コルーチン
yohhoy
深層学習フレームワークにおけるIntel CPU/富岳向け最適化法
深層学習フレームワークにおけるIntel CPU/富岳向け最適化法
MITSUNARI Shigeo
ARM LinuxのMMUはわかりにくい
ARM LinuxのMMUはわかりにくい
wata2ki
冬のLock free祭り safe
冬のLock free祭り safe
Kumazaki Hiroki
TRICK 2022 Results
TRICK 2022 Results
mametter
Lockfree Queue
Lockfree Queue
Kumazaki Hiroki
Pythonによる黒魔術入門
Pythonによる黒魔術入門
大樹 小倉
llvm入門
llvm入門
MITSUNARI Shigeo
Dockerイメージ管理の内部構造
Dockerイメージ管理の内部構造
Etsuji Nakai
不遇の標準ライブラリ - valarray
不遇の標準ライブラリ - valarray
Ryosuke839
プログラムを高速化する話
プログラムを高速化する話
京大 マイコンクラブ
規格書で読むC++11のスレッド
規格書で読むC++11のスレッド
Kohsuke Yuasa
やはりお前らのMVCは間違っている
やはりお前らのMVCは間違っている
Koichi Tanaka
UniTask入門
UniTask入門
torisoup
GoでMinecraftっぽいの作る
GoでMinecraftっぽいの作る
京大 マイコンクラブ
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
Yoshifumi Kawai
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
京大 マイコンクラブ
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Preferred Networks
Quine・難解プログラミングについて
Quine・難解プログラミングについて
mametter
AVX-512(フォーマット)詳解
AVX-512(フォーマット)詳解
MITSUNARI Shigeo
入門 シェル実装
入門 シェル実装
Yusuke Sangenya
今日からできる!簡単 .NET 高速化 Tips
今日からできる!簡単 .NET 高速化 Tips
Takaaki Suzuki
20111028ssmjp
20111028ssmjp
Takeshi HASEGAWA
Windows azureを知ろう ロール&ストレージ編
Windows azureを知ろう ロール&ストレージ編
Chiho Otonashi
Weitere ähnliche Inhalte
Was ist angesagt?
ARM LinuxのMMUはわかりにくい
ARM LinuxのMMUはわかりにくい
wata2ki
冬のLock free祭り safe
冬のLock free祭り safe
Kumazaki Hiroki
TRICK 2022 Results
TRICK 2022 Results
mametter
Lockfree Queue
Lockfree Queue
Kumazaki Hiroki
Pythonによる黒魔術入門
Pythonによる黒魔術入門
大樹 小倉
llvm入門
llvm入門
MITSUNARI Shigeo
Dockerイメージ管理の内部構造
Dockerイメージ管理の内部構造
Etsuji Nakai
不遇の標準ライブラリ - valarray
不遇の標準ライブラリ - valarray
Ryosuke839
プログラムを高速化する話
プログラムを高速化する話
京大 マイコンクラブ
規格書で読むC++11のスレッド
規格書で読むC++11のスレッド
Kohsuke Yuasa
やはりお前らのMVCは間違っている
やはりお前らのMVCは間違っている
Koichi Tanaka
UniTask入門
UniTask入門
torisoup
GoでMinecraftっぽいの作る
GoでMinecraftっぽいの作る
京大 マイコンクラブ
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
Yoshifumi Kawai
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
京大 マイコンクラブ
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Preferred Networks
Quine・難解プログラミングについて
Quine・難解プログラミングについて
mametter
AVX-512(フォーマット)詳解
AVX-512(フォーマット)詳解
MITSUNARI Shigeo
入門 シェル実装
入門 シェル実装
Yusuke Sangenya
今日からできる!簡単 .NET 高速化 Tips
今日からできる!簡単 .NET 高速化 Tips
Takaaki Suzuki
Was ist angesagt?
(20)
ARM LinuxのMMUはわかりにくい
ARM LinuxのMMUはわかりにくい
冬のLock free祭り safe
冬のLock free祭り safe
TRICK 2022 Results
TRICK 2022 Results
Lockfree Queue
Lockfree Queue
Pythonによる黒魔術入門
Pythonによる黒魔術入門
llvm入門
llvm入門
Dockerイメージ管理の内部構造
Dockerイメージ管理の内部構造
不遇の標準ライブラリ - valarray
不遇の標準ライブラリ - valarray
プログラムを高速化する話
プログラムを高速化する話
規格書で読むC++11のスレッド
規格書で読むC++11のスレッド
やはりお前らのMVCは間違っている
やはりお前らのMVCは間違っている
UniTask入門
UniTask入門
GoでMinecraftっぽいの作る
GoでMinecraftっぽいの作る
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
C# ゲームプログラミングはホントにメモリのことに無頓着でいいの?
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Pythonの理解を試みる 〜バイトコードインタプリタを作成する〜
Quine・難解プログラミングについて
Quine・難解プログラミングについて
AVX-512(フォーマット)詳解
AVX-512(フォーマット)詳解
入門 シェル実装
入門 シェル実装
今日からできる!簡単 .NET 高速化 Tips
今日からできる!簡単 .NET 高速化 Tips
Ähnlich wie 高度に最適化された移植可能なメモリマネージャ
20111028ssmjp
20111028ssmjp
Takeshi HASEGAWA
Windows azureを知ろう ロール&ストレージ編
Windows azureを知ろう ロール&ストレージ編
Chiho Otonashi
Linux の hugepage の開発動向
Linux の hugepage の開発動向
Naoya Horiguchi
Basic of virtual memory of Linux
Basic of virtual memory of Linux
Tetsuyuki Kobayashi
ファイルの隠し方
ファイルの隠し方
mfumi
ドメイン駆動で開発する ラフスケッチから実装まで
ドメイン駆動で開発する ラフスケッチから実装まで
増田 亨
地方企業がソーシャルゲーム開発を成功させるための10のポイント
地方企業がソーシャルゲーム開発を成功させるための10のポイント
Kentaro Matsui
トランザクションの設計と進化
トランザクションの設計と進化
Kumazaki Hiroki
TechEd2010_T2-401_EffectiveHyper-V
TechEd2010_T2-401_EffectiveHyper-V
Kuninobu SaSaki
スマートフォン対応、気をつけたいトラブル
スマートフォン対応、気をつけたいトラブル
Hiroaki Wakamatsu
Windows Azureストレージ機能のまとめとWindows Server 2016(vNext)のストレージ新機能
Windows Azureストレージ機能のまとめとWindows Server 2016(vNext)のストレージ新機能
Takano Masaru
Code Reading at Security and Programming camp 2011
Code Reading at Security and Programming camp 2011
Hiro Yoshioka
論文輪読: Coordinated and Efficient Huge Page Management with Ingens
論文輪読: Coordinated and Efficient Huge Page Management with Ingens
mmisono
Memcachedの仕組みと設定
Memcachedの仕組みと設定
Tatsuya Akashi
Programming camp code reading
Programming camp code reading
Hiro Yoshioka
Lars George HBase Seminar with O'REILLY Oct.12 2012
Lars George HBase Seminar with O'REILLY Oct.12 2012
Cloudera Japan
Programming camp 2008, Codereading
Programming camp 2008, Codereading
Hiro Yoshioka
Cloud os techday_0614
Cloud os techday_0614
Takano Masaru
コンテナで作る開発環境 (20161104 CodeIgniter Night)
コンテナで作る開発環境 (20161104 CodeIgniter Night)
智之 大野
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
infinite_loop
Ähnlich wie 高度に最適化された移植可能なメモリマネージャ
(20)
20111028ssmjp
20111028ssmjp
Windows azureを知ろう ロール&ストレージ編
Windows azureを知ろう ロール&ストレージ編
Linux の hugepage の開発動向
Linux の hugepage の開発動向
Basic of virtual memory of Linux
Basic of virtual memory of Linux
ファイルの隠し方
ファイルの隠し方
ドメイン駆動で開発する ラフスケッチから実装まで
ドメイン駆動で開発する ラフスケッチから実装まで
地方企業がソーシャルゲーム開発を成功させるための10のポイント
地方企業がソーシャルゲーム開発を成功させるための10のポイント
トランザクションの設計と進化
トランザクションの設計と進化
TechEd2010_T2-401_EffectiveHyper-V
TechEd2010_T2-401_EffectiveHyper-V
スマートフォン対応、気をつけたいトラブル
スマートフォン対応、気をつけたいトラブル
Windows Azureストレージ機能のまとめとWindows Server 2016(vNext)のストレージ新機能
Windows Azureストレージ機能のまとめとWindows Server 2016(vNext)のストレージ新機能
Code Reading at Security and Programming camp 2011
Code Reading at Security and Programming camp 2011
論文輪読: Coordinated and Efficient Huge Page Management with Ingens
論文輪読: Coordinated and Efficient Huge Page Management with Ingens
Memcachedの仕組みと設定
Memcachedの仕組みと設定
Programming camp code reading
Programming camp code reading
Lars George HBase Seminar with O'REILLY Oct.12 2012
Lars George HBase Seminar with O'REILLY Oct.12 2012
Programming camp 2008, Codereading
Programming camp 2008, Codereading
Cloud os techday_0614
Cloud os techday_0614
コンテナで作る開発環境 (20161104 CodeIgniter Night)
コンテナで作る開発環境 (20161104 CodeIgniter Night)
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
大規模ソーシャルゲーム開発から学んだPHP&MySQL実践テクニック
Kürzlich hochgeladen
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Kürzlich hochgeladen
(9)
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
高度に最適化された移植可能なメモリマネージャ
1.
高度に最適化された移植可能 なメモリマネージャ
@DADA246
2.
自己紹介 • ゲームプログラマやってます • 得意分野
C++,C#,GPU,javascript,PHP • 低レベル係とか描画関係とかCIとかwebと か • Steam、Origin、iPhoneで海外ゲームを遊ん でいます
3.
はじめに • 元ネタはGame Engine
Gems2の A Highly Optimized Portable Memory Managerです • Kindle Editionが$55.92で買えます
4.
アジェンダ •
ゲームでのメモリマネージャについて • Small Block Allocator • Medium Block Allocator • Large Block Allocator
5.
メモリマネージャ • メモリマネージャは重要 • 悪いメモリマネージャは処理速度の低下
や、フラグメンテーションによるクラッ シュを引き起こす →枯れたコードを参考にする →dlmalloc
6.
dlmalloc • Doug Lea’s
malloc • http://g.oswego.edu/dl/html/malloc.html • 非常に良い実装だが、汎用的である →ゲーム用にカスタマイズする
7.
dlmalloc • 確保サイズごとにリストが用意されてい
る 確保サイズ(byte) チャンク 16 24 32 40 … 2^31
8.
ゲーム用メモリマネージャ •
キャッシュラインを意識する • 空き領域を検索しない • 高速なアロケート • デバッグの容易性 • バッファオーバーフローしても管理領域 が壊れにくい • フラグメンテーションが起きにくい
9.
管理領域 ✕
○ 確保領域A 確保領域A 管理領域A 確保領域B 確保領域B 管理領域A 管理領域B 管理領域B 確保領域Aがバッファオー 確保領域Aがバッファオー バーフローすると、管理領 バーフローしても、管理領 域を破壊してしまう 域は破壊されない →バグの追跡が困難になる
10.
フラグメンテーション • 大きなメモリアロケーションの中に小さ
なメモリアロケーションが混ざると発生 する 使用 空き alloc x2 free 空き 使用 使用 空き 空き
11.
フラグメンテーション対策 • ページングを活用する WindowsのVirtualAlloc() • VirtualAllocは処理が重いので、 多発する小さなメモリ確保には適さない →メモリ確保量によってアロケータを分 ける
12.
複数のアロケータ メモリ確保量(byte)
メモリ確保頻度 0 少ない Small Block Allocator 256 Medium Block Allocator 4096 Large Block Allocator 多い
13.
基本設計 • 各種アロケータはページ単位で動作する →x86を考えて4kbyte単位にする • ページ同士はリンクリストで管理する
14.
Small Block Allocator •
4kbyte/ページで構成 • 32byte/block • 1ページごとに 管理領域として1ブロック使用 →127ブロックの空き
15.
Small Block Allocator •
確保サイズごとにページを用意する 確保サイズ(byte) 16 24 32 40 … 256
16.
管理領域 • 32byte=1ブロック • ブロックの空き状態をビット列で管理す
る struct Header { uint32_t emptyBlockBit[4];//空きブロックのビットマスク uint32_t emptyBlockCount;//空きブロック数(ベリファイ用) uint32_t blockSize;//ブロックサイズ uint32_t* pPrePage;//前ページへのポインタ uint32_t* pNextPage; //次ページへのポインタ }
17.
alloc • 空きブロックのあるページを探す • 空きブロックがあるページが見つかったら、
空きブロックのビットマスクをスキャンして 確保アドレスを確定する → x86ならbsf命令が使える • 空きブロックが無かったらOSからページアロ ケーションする
18.
ページ管理 • 空き領域の有無でページのリンクリストを分
ける →空き領域を検索しない 空き領域無し 空き領域あり 16 16 24 24 32 32 … …
19.
free • freeするアドレスからページを算出する →管理領域を見つけられる
int32_t pageAddress=(address/4096)*4096; • 空きブロックがなくなったらOSにページ を返す
20.
パフォーマンス • x86のキャッシュラインは64byte → Small
Block Allocatorの管理領域は32byteな ので、キャッシュラインをまたがない • 1ページ 4kbyteなので、今時のL1キャッ シュに載る
21.
Medium Block Allocator •
16kbyte/ページで構成 • 128byte/block • 1ページごとに 管理領域として1ブロック使用
22.
Medium Block Allocator •
1ページで複数の確保サイズを扱う →メモリの利用効率を上げるため 確保サイズ(byte) 384 512 640 768 … 4096
23.
allocとfree • Small Block
Allocatorとほぼ同じ • allocは可変長のメモリサイズを扱っている ため、Small Block Allocatorよりは処理が重 め • freeは空きブロックがなくなったらOSに ページを返す
24.
ページ管理 • どれだけ空き領域があるかをリンクリス
トで管理する →空き領域のあるページを高速に探す 空き領域(byte) 0 128 256 384 …
25.
Large Block Allocator •
allocごとにページアロケーションする →大きなメモリ確保なので発生頻度が低い • シンプルなリンクリストで実装できる
26.
応用 • Small Block
Allocatorのアプローチで Mediumサイズのメモリ確保も行えるの では? • 1ブロックサイズをメモリ確保サイズに よって変えても良いのでは?
27.
まとめ • dlmallocなどの枯れたコードを参考にす
る • ページアロケーションでフラグメンテー ションを抑える • アロケーションサイズによってアルゴリ ズムを分けることで高速化する
28.
まとめ • メモリマネージャを扱ってみました • 良いメモリマネージャがあれば高レベル
ライブラリも使いやすくなります
29.
次のステップ • マルチスレッド化 http://www.gdcvault.com/play/1014602/Multic ore-Memory-Management-Technology-in • メモリデバッグツール
30.
Question?
31.
ご清聴ありがとうございました
Jetzt herunterladen