Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Two stage deep learning for accelerated 3 d time-of-flight mra without matched training data
Ähnlich wie Two stage deep learning for accelerated 3 d time-of-flight mra without matched training data (20)
Mehr von Chung Hyung Jin
Mehr von Chung Hyung Jin (11)
Kürzlich hochgeladen
Kürzlich hochgeladen (20)
Two stage deep learning for accelerated 3 d time-of-flight mra without matched training data
- 1. Two-stage Unsupervised Learning for 3D TOF-MRA BISPL - BioImaging, Signal Processing, and Learning lab. KAIST, Korea Chung et al, Medical Image Analysis, 2021
- 2. Introduction
- 3. • Contrast agent free Imaging method to visualize vessels • Flow-related enhancement for high contrast in fresh blood • 3D Acquisition for full volume coverage: Long scan time • Often coupled with maximum intensity projection (MIP) to visualize only the vessels Time-of-Flight Magnetic Resonance Angiography
- 4. Subsampling ℱ ℱ−1 Reconstruction 𝓕−1 𝓕 Reconstruction • Fully acquiring k-space • Time consuming • Subsampling k-space • Accelerated scan time • Aliasing artifacts • Compressed-sensing(CS) for reconstruction • Fill in missing k-space • Iterative optimization • Slow reconstruction Acceleration of MRI
- 5. Deep Learning for Accelerated MRI Supervised Learning ℱ−1 • Deep Learning (DL) reconstruction • Very fast computation • High interest in research and application • Supervised Learning • Large amount of matched training data • Restricted to certain situations • Unsupervised Learning • Without matching training data • Wider application • Generative Adversarial Networks (GAN) Unsupervised Learning
- 7. Generative Adversarial Nets (GANs) https://www.cfml.se/blog/generative_adversarial_networks/
- 9. Geometry of GAN subject to Lei, Na, arXiv:1710.05488 (2017)
- 10. CycleGAN J.-Y. Zhu, et al, CVPR, 2017
- 11. Theory & Methods
- 12. Geometry of CycleGAN Forward physics (unknown, partially known, known) inverse solution
- 13. 3D TOF-MRA http://mri-q.com/2d-vs-3d-mra.html • MOTSA multiple-slab 3D acquisition • Partial 3D volume captured in slab • Sub-sampling mask in coronal plane of each slab
- 14. Conventional cycleGAN for MR reconstruction • Two sets of generator/discriminator for each mapping • Forward measurement mapping replaceable
- 15. Two-stage cycleGAN: Step I (coronal) • Physics-informed cycleGAN for stable training • Complex multi-coil information processed in coronal plane Replace generator with MR forward operator
- 16. Two-stage cycleGAN: Step II (axial) • Further enhancement in axial plane • Multi-headed projection discriminator to capture blood activation Multi-headed Projection Discriminator
- 17. Multi-headed Projection Discriminator • Quality of MIP images equally important with source MRA • Max-pooling along depth: pseudo-MIP 𝜑𝛾(𝐱) = 𝜑𝛾1 (𝐱) + 𝜑𝛾2 max (𝐱) 3D information 2D Max-pooled information
- 18. Overall Reconstruction Flow • Coronal reconstruction in complex multi-coil domain • Axial reconstruction in SSOS image domain Step I: coronal recon. Step II: axial recon.
- 19. Results
- 20. In Vivo Results
- 21. In Vivo Results
- 22. Reconstruction of pathologic lesions
- 23. Quantitative Results Comparison study Radiological Evaluation
- 24. Summary • Unsupervised reconstruction method for TOF-MRA proposed • Two-stage multiplanar learning shown effective • Projection discriminator • Capture characteristics of 3D angiogram • Extensive experiments verify superiority & generalizability
- 25. Questions?
Hinweis der Redaktion
- 안녕하세요. 카이스트의 예종철 교수입니다. 2021년 한국뇌공학회 심포지움에 저를 초청해주셔서 대단히 감사합니다. 오늘 발표할 내용은 적대적 생성모델로 알려져 있는 GAN의 원리와 그를 이용한 비지도 학습 기법이 어떻게 의료영상 복원에 이용되는지에 대하여 저희 연구실에서 진행하는 연구를 중심으로 말씀드리겠습니다.
- 저희랩에서 개발한 이러한 general한 새로운 형태의 cycleGAN의 구조를 좀더 다양한 의료영상 복원 문제에 적용한것을 지금부터 보여드리겠습니다.
- 저희랩에서 개발한 이러한 general한 새로운 형태의 cycleGAN의 구조를 좀더 다양한 의료영상 복원 문제에 적용한것을 지금부터 보여드리겠습니다.
- 이러한 GAN이 어떻게 사실적인 얼굴을 만드냐고 물어 볼때 흔히 보여주는 비유의 그림입니다. 즉, 위지 지폐범이 진짜 돈과 구별이 안되는 돈을 만들기 위해 열심히 노력을 하면 경찰은 더 정확하게 구별하는 방식을 만들어내기 위해 연구를 합니다. 그러면 위조지폐범은 더욱 정밀은 위조 지폐를 만들고요. 이런것이 반복되다 보면 진짜 구별이 어려운 위조 지폐가 나타나는것이지요.
- 앞에서 말씀드린 위조지폐와 경찰의 비유는 실제 GAN을 설명하는 수식으로 확인할수 있는데요, 여기서 보이는 phi는 경찰에 해당하는 discriminator이고 G는 위조지폐범에 해당하는 generator입니다. 이때 discriminator의 목적은 두개의 거리를 최대한 구별이 가도록 벌리는 것이 목적이고요, generator 는 두개의 거리를 가깝게 해서 구별이 어렵게 만들려고 하는것이지요.
- 더욱이나 수학적으로 놀라운 사실은 이러한 GAN의 원리가 다음의 그림에 보이는 것과 같은 확률 분포간의 거리를 최소하는 문제의 다른 표현이라는 사실입니다. 즉 y 공간에 있는 가우신안 노이즈를 x 공간에 있는 점으로 표시되는 얼굴들로 변화시키는 수학적인 변환인 G를 찾는데 있어서 변환후이 확률 분포과 원래 얼굴들이 분포되어 있는 확률공간과의 거리를 최소하하는 문제를 풀면 이것이 GAN으로 나타날수 있다는 것이지요.
- 하지만 얼룩말을 말로 바꾼다던지 사진을 모네, 반고호, 세잔, 유키코의 그림으로 바꾸는 문제의 경우는 매칭이 되는 페어가 없는 비지도 학습의 문제인데 이 문제를 해결하기 위해 cycleGAN이라는 방법이 제안되었습니다. 이방법의 기본적인 아이디어는 얼룩말을 말로 만드는 generator와 말을 얼룩말로 만드는 generator를 동시에 학습을 하고 인푼 영상이 두개의 제너레이터를 통과를 하면 원상 복귀되는 조건을 넘으로서 pair가 필요한 지도학습의 단점을 극복한것이지요.
- 저희랩에서 개발한 이러한 general한 새로운 형태의 cycleGAN의 구조를 좀더 다양한 의료영상 복원 문제에 적용한것을 지금부터 보여드리겠습니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 저희랩에서 개발한 이러한 general한 새로운 형태의 cycleGAN의 구조를 좀더 다양한 의료영상 복원 문제에 적용한것을 지금부터 보여드리겠습니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 최근의 본 연구실의 연구에서도 이러한 cycleGAN의 수학적인 구조가 앞에 설명한 GAN의 수학적인 구조에서 확장될수 있다는것을 밝혔습니다. 즉, Y라는 측정 값의 모여있는 공간과 X라는 영상이 있는 도메인이 있고 각각의 도에인데 매칭이 되지 않는 데이타가 있을때, 하나의 저너레이터는 측정치에셔 영상으로 가는 변환을 학습하고 다른 제너레이터는 영상에서 측정치로 가는 변환을 학습하는데, 아깐 말한것 같이 변환된 확률과 실제 확룰분포와의 거리를 동시에 최소화 하면 cycleGAN이 나오단느 것입니다. 더욱 놀라운 사실은 영상에서 측정치로 가는 함수는 많은 경우 알려져 있는데 이 경우 훨씬 단순한 cycleGAN구조가 나온다는 것입니다.
- 지금까지 본 발표에서는 GAN이 의료영상 복원에서 비지도 학습기법으로 점점도 중요한 주제가 되고 있다는것을 보였고, 특히 collaGAN은 MR contrast 의 연구에 사용이 가능하다는것을 보였습니다. 경청해주셔서 감사합닏.