More Related Content Similar to 【Unite 2018 Tokyo】Unityの医療と教育への応用 ~ちょっと人を助けてみませんか?~ (20) More from UnityTechnologiesJapan002 (20) 【Unite 2018 Tokyo】Unityの医療と教育への応用 ~ちょっと人を助けてみませんか?~8. 医用画像のフォーマット DICOM
・Digital Imaging and Communications in Medicineの略
・医用画像の国際標準規格
全ての情報には個別の番号(タグ)が定められている
どのタグにどんな内容が入っているか決まっている
タグ グループ番号 エレメント番号 データ
0002 0000 200
0002 0001 …
0002 0002 1.2.840.10008.5.1.4.1.1.4
0002 0003
1.2.840.113619.2.312.3596.11861684.12073.136
98
0002 0010 1.2.840.10008.1.2.1
0002 0013 OFFIS_DCMTK_354
0002 0005 ISO_IR 100
0008 0020 20130530
0008 0030 163709
0008 0060 MR
0008 0070 GE MEDICAL SYSTEMS
0008 0060 TOKYO UNIV HOSPITAL
0008 0060 Unspecified
DOCOMのヘッダー情報(←Photoshopでも見られます!)
9. 画像への変換
画素データもタグ番号(7fe0, 0010)のデータに格納されている
画像への変換は、複数のタグ情報を組み合わせて画素を抽出し、画素に色を対応付ける
0 0 0 0 0 0 0 1 1
1 1 1 1 2 2 2 2 2
2 2 2 2 3 3 3 3 3
3 3 3 3 3 4 4 4 4
4 4 4 5 5 5 5 5 5
5 5 5 6 6 6 6 6 6
6 6 6 7 7 7 7 7 7
8 8 8 8 8 8 8 8 9
グループ番号 エレメント番号 データ
7fe0 10 0 0 0 0 0 0 0 ・・・ 8 8 8 9
グループ番号 エレメント番号 データ
0028 0004 Photometric Interpretation
0028 0010 Rows
0028 0011 Columns
0028 0030 Pixel Spacing
0028 0100 Bits Allocated
0028 0101 Bits Stored
0028 0102 High Bit
0028 0103 Pixel Representation
0028 0106 Smallest Image Pixel Value
0028 0107 Largest Image Pixel Value
0028 1050 Window Center
0028 1051 Window Width
ピクセルデータ
+
画像作成に必要なタグ情報
抽出した画素
画像作成時に参考とするタグ情報
+
11. Simple DICOM Loader (DICOMデータを表示するアセット)
株式会社Kompath (https://www.facebook.com/Kompath)
2018年5月5日リリース
12. High Speed CPU-based Marching cubes
(近日中にリリース)
(DICOMデータから3DCGを作成するアセット
株式会社Kompath (https://www.facebook.com/Kompath)
23. 課題3. 医用画像の描出能
・ 解像度
白黒 512x512x200程度(1 voxel ≒ 0.5mm)
←1mmの血管がぎりぎり描出
←脳神経外科手術で最も重要な血管は1mm前後
・ 分解能
医師の頭の中でのみ融合
→正しく3次元化できない
→情報共有ができない
→手術時のリスク↑
重要な組織は医用画像にほとんど写っていない
脳幹
Wikipediaより
27. ・5例の海綿状血管腫
・血管腫と顔面神経核の相対位置関係を予測
sup & inf colliculus
mesencephalic nucleus of V
IV
spinothalamic tract
lateral lemniscus
CST
principal sensory nucleus of V
V
motor nucleus of Vtectospinal tract
tectospinal tract
central tegmental tract
術中電気刺激で合致を確認
課題3. 医用画像の描出能
脳幹部海綿状血管腫
知識(正常解剖3DCG)と医用画像との融合
28. 高精細頭部解剖アプリ 「iRis」 App Storeにて販売中
本研究は、内閣府 総合科学技術・イノベーション会議が主導する
革新的研究開発推進プログラム(ImPACT)
「バイオニックヒューマノイドが拓く新産業革命」による成果です
Unityで開発
臨床応用できるクオリティ
脳神経外科専門医レベルの解剖
株式会社Kompath (https://www.facebook.com/Kompath)
30. Shono N, et al., Oper Neurosurg. 14(5), 2018
課題4. 診断と手術検討の違い
脳動脈瘤クリッピングシミュレーター ClipSim
・8症例の患者さんでシミュレーション
・6症例でシミュレーションで予想したクリップを実際に使用
した
Soya VIRTUAL REALITY VR 3Dグラス
Leap Motion
38. 1. 視認性向上
2. 観察者の負担軽減
3. ヒューマンエラー回避
4. 承認欲求、モチベーション向上
5. 特徴量抽出
6. 画像処理の向上・発展
1.金ら、脳神経外科ジャーナル 25(8): 622-630,
2016
2. Manabe H, et al., IWAIT2014: 585-588, 2014
脳動静脈奇形
課題7. 視覚的リアリティの追求
46. Landmark & thin-plate spline method
誤差(脳変形後)
0.64±0.88 mm (mean±SE)
n = 4
patent 2013-103562
開頭直後の脳表写真
術前画像
AR/MRの応用
仮想情報でなく、現実空間情報を歪める!
48.
1. モデルのポジション(体位)
・REZが視野の視野の中心
・開頭位置が視野の中心
・inferior nuchal lineが視野の中心
・顕微鏡術野を弱角に
2. 開頭位置
・外側端はS状静脈洞にわずかに接する
・inferior nuckal lineの上1/3、下2/3の割合で、3cmの穴を骨にあける
3. 顕微鏡術野
・開頭位置を拡大
・X神経が視野の中心
・VII, VIIIは20〜30度
・REZが視認できる角度
4. 小脳の変形
・脳ヘラによる変形(リギング、有限要素)
・脳ヘラは脳槽から挿入し、正中側へ移動
・脳ヘラの先端はREZ
・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動
5. 責任血管の移動(1本目)
・どの変形機能を実装させるかはまだ未定(リギングが候補)
・REZ部にある血管を中心として錐体骨側へ最短距離
・VII&VIII神経とX神経の間に
・血管が伸びすぎない程度の量で
・椎骨動脈の移動(2本目、必要時)アルゴリズムは同じ(移動方向がやや異な
り、尾側へ)
現時点で人間が入力するパラメータ
・REZの位置
・脳幹の向き
・inferior nuchal line
S状静脈洞
下項線上を移動しながら、メッシュの衝突判定によって、
S状静脈洞にわずかに(2mm)かかる位置に直径3cmの穴を開け
る
穴(開頭)は病変とカメラ
とを一直線につなぐ円柱上
に
自動手術シミュレーション
49.
1. モデルのポジション(体位)
・REZが視野の視野の中心
・開頭位置が視野の中心
・inferior nuchal lineが視野の中心
・顕微鏡術野を弱角に
2. 開頭位置
・外側端はS状静脈洞にわずかに接する
・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける
3. 顕微鏡術野
・開頭位置を拡大
・X神経が視野の中心
・VII, VIIIは20〜30度
・REZが視認できる角度
4. 小脳の変形
・脳ヘラによる変形(リギング、有限要素)
・脳ヘラは脳槽から挿入し、正中側へ移動
・脳ヘラの先端はREZ
・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動
5. 責任血管の移動(1本目)
・どの変形機能を実装させるかはまだ未定(リギングが候補)
・REZ部にある血管を中心として錐体骨側へ最短距離
・VII&VIII神経とX神経の間に
・血管が伸びすぎない程度の量で
・椎骨動脈の移動(2本目、必要時)アルゴリズムは同じ(移動方向がやや異なり、尾側へ)
現時点で人間が入力するパラメータ
・REZの位置
・脳幹の向き
・inferior nuchal line
変形表現範囲
・変形角度と同じ
・先端が病変部から2cmの距離
小脳全体の変形
顔面神経と90度の角度となるように設定
自動手術シミュレーション
アセット「MEGA-FIERS」を使用して脳の変形を実装
50.
1. モデルのポジション(体位)
・REZが視野の視野の中心
・開頭位置が視野の中心
・inferior nuchal lineが視野の中心
・顕微鏡術野を弱角に
2. 開頭位置
・外側端はS状静脈洞にわずかに接する
・inferior nuckal lineの上1/3、下2/3の割合で、2.5cmの穴を骨にあける
3. 顕微鏡術野
・開頭位置を拡大
・X神経が視野の中心
・VII, VIIIは20〜30度
・REZが視認できる角度
4. 小脳の変形
・脳ヘラによる変形(リギング、有限要素)
・脳ヘラは脳槽から挿入し、正中側へ移動
・脳ヘラの先端はREZ
・上記顕微鏡術野でREZが視認できるまで脳ヘラを移動
5. 責任血管の移動(1本目)
・どの変形機能を実装させるかはまだ未定(リギングが候補)
・REZ部にある血管を中心として錐体骨側へ最短距離
・VII&VIII神経とX神経の間に
・血管が伸びすぎない程度の量で
・椎骨動脈の移動(2本目、必要時)アルゴリズムは同じ(移動方向がやや異なり、尾側へ)
現時点で人間が入力するパラメータ
・REZの位置
・脳幹の向き
・inferior nuchal line
変形形状の設定
変形の表現のパラメータ
今回手術する領域
自動手術シミュレーション
アセット「MEGA-FIERS」を使用して脳の変形を実装