Exaplianable AI trong phân đoạn ảnh y khoa.pdf

Ứng dụng XAI trong
phân đoạn ảnh y khoa
Nhóm : Twelve
21C11015 Nguyễn PhươngNam
21C11026 Nguyễn Thành Thái
21C11029 Hoàng Minh Thanh
Giảng viên: PGS.TS Lý Quốc Ngọc

Contents
1. Introduction
2. Relatedwork
3. SOTA methods
4. Experiment
5. Conclusion
6. Q&A

Explainable AI
Vì sao dự đoán sai?
Dựa trên những yếu tố nào
Mô hình bị thiên kiến?
Bị bias trên đặc trưng gì, nhóm
dữ liệu nào?
Kết luận dựa trên cơ sở gì?
Liệu dự đoán đúng nhưng lại dựa trên
đặc trưng sai?

Why we needs Explainable AI (XAI)
❑ Mục tiêu của XAI là để giúp con người hiểu, có thể tin
tưởng và quản lý hiệu quả các kết quả của một hệ
thống AI.
GPT-4 ước tính có 100 Trillion tham số
Megatron-Turing Natural Language Generation model (MT-
NLG) có hơn 530 tỉ tham số

Why we needs Explainable AI (XAI)

Động lực nghiên cứu
Khoa học Ứng dụng
• Không thể lý giải khi input thay đổi
• Có thể chỉnh sửa để đạt kết quả
tốt hơn
• Lý giải được các trường hợp bị
bias (thiên kiến)
• Biết được nguyên nhân nào tác động
làm thay đổi kết quả dự đoán
• Có thể giải thích khi bị Adversarial
Attack
• Lý giải:
- Giải thích khi trường hợp
tranh chấp, kiện tụng
- Giải thích nguyên nhân gây
ra sự cố
• Ứng dụng trong các trường hợp yêu
cầu độ chính xác cao
• Có thể cải thiện được độ chính xác
cao, đảm bảo hệ thống hoạt động ổn
định.
• Tích hợp kết quả diễn giải để
phát triển các hệ thống khác
Adversarial Attack: là kỹ thuật để tìm ra một sự nhiễu loạn làm thay đổi dự đoán
của một mô hình học máy. Sự nhiễu loạn có thể rất nhỏ và mắt người không thể
nhận thấy được.

XAI in Medical Image Segmentation
(XAI in MIS)
Explainable AI
(XAI scope,
Visual/Text/number, ...)
Medical Image
(Lung, Chest, Brain, ...,
CT,MRI, X-ray)
Image
Segmentation
(Edge base, Threadhold,
Regionbase, ..)
XAI in
MIS

Medical Image
❑ Ảnh não 2D lấy từ ảnh MRI (3D)
2D (X-ray)
3D (MRI,CT)
Ảnh não Ảnh khối u

Image Segmentation
❑ Hướng tiếp cận
● Machine learning
● Deep learning

Image Segmentation
❑ U-NET(Không phải SOTA)
● Mô hình tiêu biểu nhất cho bài toán Segmentation
● Dữ liệu y khoa rất ít, chi phí gán nhãn cao
(Các mô hình Transformer cần dữ liệu cực lớn - hàng triệu tấm ảnh)
● Mô hình Unet là mô hình đơn giản nhất để dễ dàng XAI

XAI problem statement
❑ Requirement
● Lý giải cho 1 dự đoán mô
hình của 1 ảnh bất kỳ
❑ Input
● Một ảnh bất kỳ
● Mô hình phân đoạn và trọng số
❑ Output
● Sự giải thích (The Explanation)
 Image (Saliency Maps)
 Visual Image
 Văn bản (Text)
 Number
 Tree/Table/...
XAI
Model

Explainable AI
❑ XAI Method Taxonomy
● Khả năng:
 Giải thích ở nhiều model (XAI Model Agnostic)
 Chỉ những model cụ thể (XAI Model Specific)
image model weight
● Phạm vi:
 Toàn cục (Global)
 Cục bộ (Local)
● Giai đoạn nào:
 Trước khi training model
 Trong khi training model
 Sau khi training model (Post-hoc)
● Phương pháp:
 Thay thế (Surrogate)
 Trực quan hóa (Visualization)
● Output:
 Numerical
 Textual
 Rule
 Visual (Images, Graph, Chart,.)
 Model
 Mixed

XAI by scope
❑ Cục bộ (Local Explanations) vs Toàn cục (Global Explanations)
Giải thích kết quả của 1 dự đoán dựa
trên một đặc trưng cục bộ
(Explain individualpredictions)
Giải thích kết quả của 1 dự đoán dựa
trên phạm vi toàn cục
(Explain complete behavior of model)
Tìm ra được sự bias của mô hình trong
phạm vi toàn cục
(Help unearth biases in the local
neighborhoodof a given instance)
Làm rõ được những bias sẽ ảnh hưởng
đến những nhóm dữ liệu nào
(Help shed light on big picture biases affecting
larger subgroups)
Điều tra được dự đoán dựa trên
những đặc trưng đúng hay sai
(Help vet if individual predictions are being
made for the right reasons )
Điều tra dự đoán đúng có đã dựa trên
những đặc trưng đúng hay chưa
(Help vet if the model, at a high level, is
suitable for deployment)
Interpreting MachineLearning Models: State-of-the-art, Challenges, Opportunities

Explainable AI
❑ Người sử dụng XAI:
● End users (e.g., người xin vay)
● Người cần ra quyết định (e.g., bác sĩ, luật sư, judges)
● Cơ quan quản lý (e.g., người làm luật)
● Researchers và kỹ sư
❑ Chức năng của XAI:
● Debugging
● Phát hiện trong trường hợp bị bias (Bias Detection)
● Cơ sở để tin tưởng mô hình (Recourse)
● Biết được khi nào và trường hợp nào thì mô hình
đáng tin cậy
● Các mô hình phụ trở, để gỡ lỗi, giám sát, giúp hệ
thống hoạt động ổn định.

Explainable AI
❑ Output:
● Inherently Interpretable Models
Lý giải bằng mô hình đơn giản mà con người dễ dàng hiểu được
 Ưu: Lý giải dễ dàng hiểu được, dễ dàng tiếp cận với người dùng thông thường
 Nhược:
• Độ chính xác không cao
• Không bao quát hết và mô tả đầy đủ về model
● Post hoc Explanations
Hậu xử lý để cung cấp thông tin cần thiết về mô hình
 Ưu: Cung cấp các thông tin cần thiết, mô tả đầy đủ các hành vi của model
 Nhược:
• Độ phức tạp cao
• Không phải ai cũng có thể hiểu được

Explainable AI for Deep Learning
❑ Feature attribution: Làm nổi bật các đặc trưng quan
trọng ảnh hướng đến việc dự đoán của mô hình
● Pixel attribution: trường hợp đặc biệt của feature attribution
 Phương pháp Perturbation-based
• LIME, SHAP, ...
 Phương pháp Gradient-base:
Output là Saliency map
• CAM (Vanilla gradient)
• Grad-CAM
• SmoothGrad...
❑ Saliency map:
Là ảnh grayscale trong đoạn [0 , 1], kích thước cùng với ảnh gốc
Input Output
Saliency map

Saliency map giải thích điều gì?
❑ Output phương pháp Gradient-base
XAI in MIS => Saliency map.
❑ Saliency map giải thích bằng cách làm nổi bật:
● Theo vùng (region)/điểm ảnh (pixel) ảnh hưởng:
 Region/pixel nào trong ảnh tác động đến kết quả dự đoán cuối cùng
● Theo từng giai đoạn (stage)/từng lớp (layers)
 Với từng lớp thì mô hình đã tập trung học ở vùng nào
VD: stage1: học ở các tai, mắt, tóc,...; stage2: thì học toàn bộ khuôn mặt,…
● Theo từng lớp nhãn (ground truth) khác nhau
 Vùng được học với từng class khác nhau (chó/mèo/voi/..)

Lợi ích của Saliency map
❑ Nếu saliency map làm nổi bật không đúng các đặc
trưng cần học, ta có thể biết để điều chỉnh:
● Theo region/pixel:
 Tăng thêm dữ liệu có nhiều các ảnh có đặc trưng và nhãn tương ứng để
model có thể học được đúng trong trường hợp đó.
● Theo từng giai đoạn (stage)/từng lớp (layers)
 Nếu với từng stage/layers mà saliency map không học đúng thì có thể
tăng/giảm thêm layers hoặc điều chỉnh mô hình
● Theo từng lớp nhãn (ground truth) khác nhau
 Với những lớp nhãn có độ chính xác thấp hoặc saliency học không đúng với
yêu cầu thì cần tăng thêm dữ liệu để mô hinh có thể học tốt hơn

Công
trình
Nguyên lý Ưu điểm Nhược điểm
LIME
- Chỉ ra được đặc trưng
nào quan trọng cho việc
dự đoán bằng cách xáo
trộn input và quan sát
kết quả
- Làm nổi bật các phần
quan trọng
- Áp dụng cho tất cả loại mô hình
- Dùng hồi quy tuyến tính (hoặc
cây quyết định), giải thích ngắn
và dễ hiểu.
- LIME áp dụng: bảng, ảnh và văn
bản.
- Việc lựa chọn kernel hợp lý
không đơn giản.
- Dữ liệu perturbed được lấy
ngẫu nhiên, có thể có dữ liệu “kỳ
dị”.
- Lời giải thích của LIME có thể bị
thao túng/điều khiển.
SHAP
- Giải thích tầm quan
trọng/đóng góp của các
đặc trưng cho dự đoán
trung bình
- Shap tính trung bình
các hoán vị mask đặc
trưng
- Thể hiện được mối quan
hệ tầm quan trọng các thuộc tính
với kết quả
- Lời giải thích chính xác hơn
- Cung cấp khả năng lý giải toàn
cục và cục bộ
-
SHAPE áp dụng: bảng, ảnh và tex
t
- Tính toán chậm
-
Lời giải thích của SHAP có thể bị
thao
túng / điều khiển.
- Có thể có điểm dữ liệu kỳ dị
DeepShap
DeepLift
- Dựa trên SHAP và
nhanh hơn dựa trên xắp
xỉ sum
Tốc độ tính toán nhanh hơn Tính toán gần đúng (xấp xỉ)

Công trình Nguyên lý Ưu điểm Nhược điểm
CAM
- Tạo lớp GAP các node
là feature map của lớp
conv cuối cùng với lớp
Fully connected
- Visualization phản ánh
tầm quan trọng các dữ
liệu đầu vào.
- Phải thêm lớp GAP vào CNN
- Có thể chỉ lấy được thông tin ở lớp
conv cuối cùng
- Không được phép có nhiều fully
connected layer ở phía sau lớp GAP
Grad-CAM
- Tính weight dựa trên
gradient
- Không cần thay đổi kiến
trúc mạng.
- Giữ lại các spatial
information và high-level
feature.
- Grad-CAM chỉ backpropagate đến
lớp conv cuối.
- Không có thông tin về ảnh đầu
vào. Đôi khi sẽ bị mất mát thông tin
quan trọng ở ảnh đầu vào.

Ý tưởng phương pháp Gradient-base
❑ Mô hình blackbox (deep learning) học dựa trên tăng/giảm đạo hàm
● Hàm loss: với là learning rate (tỷ lệ học)
● VD: Kết quả dự đoán ảnh là con mèo là 0.6 hay 60%.
=+0.2-0.3+0.7-0.5-0.3+0.8 (layer đầu)
= +0.4-0.7+0.9 (layer cuối)
= 0.6 (output)
Đạo hàm (Gradient result) sẽ tăng hoặc giảm
 Phân dương: thành phần khớp đúng với nhãn
 Phân âm: thành phần khớp đúng với nhãn
=> Gradient dương -> vùng nào đó trong ảnh
có tác động đến kết quả cuối cùng.
0.6 (~60%) là 3

Phương pháp Gradient-base
❑ Chọn Phương pháp Gradient-base vì:
● Trực quan, dễ quan sát
● Tính toán nhanh hơn so với các phương pháp khác
● Phù hợp XAI cho bài toán Segmetation và mô hình
U-NET
CAM, Grad-CAM, Guide GradCAM, SmoothCam

Tóm tắt
❑ XAI in MIS:
● Chọn ảnh 2D não để phân đoạn khối u
● Chọn U-net là mô hình Segmentation
● Chọn Gradient-base cho phương pháp XAI
Explainable AI
(XAIscope,
Visual/Text/number,
...)
Medical
Image
(Lung,Chest, Brain, ...,
CT,MRI, X-ray)
Image
Segmentation
(Edge base,
Threadhold,Region
base,..)
XAI in
MIS
❑ Saliency map:
● Giải thích: vùng nào làm nổi
bật theo region/pixel, stage
ground truth
● Lợi ích: biết cần thay đổi gì
❑ Ý tưởng XAI Gradient-base:
● Tăng/giảm gradient ~ Khớp/không
khớp giữa dự đoán và ground truth

3. XAI trong phân đoạn khối u
từ ảnh não

Medical Image Segmentation
❑ Input:
● 1 ảnh chụp não kích thước
❑ Output:
● 1 mask chứa khối u tương ứng
❑ Nhãn (Ground Truth):
● ; pixel não không có khối u
● ; pixel não có khối u
❑ Dataset:
● Tập ảnh 2D não
● Tập mask 2D tương tương ứng

Loss Functions
Binary Cross-Entropy

XAI trong phân đoạn khối u não
❑ Input:
● Ảnh chụp 2D não
● Mô hình U-net và trọng số đã training
● Kết quả phân đoạn khối u của U-net
❑ Output:
● Explainable(Saliency map - vùng ảnh khối u được kích hoạt)
Output :
Saliency map
XAI Menthod
Input:
• 1 ảnh não bất kỳ
• trọng số model
• model

Phương pháp Gradient-based
❑ Mục tiêu:
● Visualize saliency map cho các lớp convolution cuối cùng
Saliency map
Gradient-
base method
5x5
conv1 conv2 feature map
dense layer

Pipeline of Method Framework
❑ Giải thích được các đặc trưng nào đóng góp
cho việc phân đoạn

XAI in Segmentation
Guided Grad-CAM
XAI Menthod
Input
CAM (Vanilla gradient)
Grad-CAM
SmoothGrad
CAM (Vanilla
gradient) là gì?

CAM (Class Activation Map)
❑ Vanilla gradient (CAM)
● Mục tiêu: Vùng (Region) nào trong ảnh thể hiện đặc trưng của
lớp cần phân loại
GAP : Global Average Pooling
● Ý tưởng: Gradient dương -> vùng nào đó trong ảnh có tác
động đến kết quả cuối cùng.

CAM (Class Activation Map)
❑ Vanilla gradient (Class Activation Map):
● B1: Tính feed forward của ảnh đầu vào đến lớp Conv
cuối cùng.
● B2: GAP lớp Conv cuối cùng
● B3: Training hàm linear classification theo GAP vừa
tính (Lớp dense cuối cùng được xấp xỉ bằng hàm
Linear – Theo công thức Taylor bậc nhất) để lấy w
● B3: Dùng hàm linear để tính và biểu diễn saliency map.
Vanilla gradient

Class Activation Map in CNN
❑ Vanilla gradient (Class Activation Map):
Training linear approx
Feed forward

Grad-CAM (Gradient-weighted
Class Activation Mapping)
❑ Grad-CAM:
● B1. Tính feed forward của ảnh đầu vào.
● B2. Lấy raw score của lớp cần tính, tính trung bình lớp neuron
trước khi softmax
● B3. Coi các lớp khác là 0, lớp cần tính là 1
● B4. Đạo hàm ngược đến lớp conv cuối cùng (lớp conv trước khi
đi qua lớp dense)
● B5. Tính hệ số của từng lớp feature map là trung bình đạo hàm
ngược.
● B6. Tính trung binh của feature map bằng
cách tổng hệ số nhân với từng lớp
● B7. Áp hàm RELU
● B8. Biểu diễn saliency map

Guided Grad-CAM
❑ Guided Grad-CAM
● Kết hợp GradCAM + VanillaGrad
bằng nội suy song tuyến
(bilinear interpolation)

Các công đoạn SmoothGrad
❑ Thêm nhiễu (đạo hàm dao động rất lớn ở quy
mô nhỏ)
● B1. Thêm nhiễu vào ảnh cần XAI (nhiễu theo phân
phối chuẩn)
● B2. Tính GradCAM như cho tất cả ảnh đã sinh
● B3. Tính trung bình kết quả

UNET
(ResUNet+
+)
- Sử dụng các lớp tích chập để filter các đặc
trưng.
- Các quá trình down/up sampling nhưng
vẫn giữ các giai đoạn encode
downsamplingđến cuối cho quá trình khởi
tạo lại cuối cùng.
- Trích lọc đặc trưng và tìm ra bối cảnh của
hình ảnh, tổng hợp mask đưa ra nhãn từng
pixel.
- Mô hình đơn
giản và hiệu quả
- Độ chính xác
thấp
ResNET
- Tương tự UNET
- Dùng skip-connection(redisual
learning) giải quyết vấn đề vanishing
gradient
- Tăng số lượng layer, tăng độ sâu mạng.
Tăng kích thước ảnh đầu vào xử lý hiệu quả
hơn
- Độ chính xác
cao hơn UNET
- Độ phức tạp
cao hơn
- Kiến trúc phức
tạp hơn UNET

EfficientNet
(Eff-UNet,..)
- Kết hợp căn bằng cả chiều sâu và
chiều rộng để đạt được model có
kích thước lớn, với hiệu năng
cao độ phân giải cao hơn compund
scaling.
- Độ chính xác cao hơn.
- Mạng cấu trúc lớn hơn
nhưng dễ hội tụ
- Tốn tài nguyên tính toán
hơn ResNET
Transfomer
(DPT, Swin
UNETR...)
- Chia bức ảnh cần
segmentation thành từng Patches
và position encoding.
- Tính sự quan trọng của từng
Pathes khi đi qua lớp Mask
Transfomer
- Sau đó Upsampling và lấy Argmax
để được Segmentation Map
- Độ chính xác rất cao
trên tập dữ liệu lớn
- Độ chính xác thấp trên
dữ liệu nhỏ
- Học được thứ tự và vị
trí của Patches tốt hơn
(do có position
encoding)
- Độ chính xác thấp với tập
dữ liệu nhỏ hoặc khi
training chưa đủ lâu vì
không đủ khả năng khái
quát hóa.
- Yêu cầu TFLOPS cao hơn

GradCAM in UNET
Feed forward
backpropagation

Các vấn đề còn tồn đọng
❑ Các vấn đề của XAI
● Sự đánh đổi giữa độ chính xác và khả năng giải thích?
● Mô hình thay thế có phản ánh trung thực mô hình black
box ban đầu?
● Lời giải thích không có ý nghĩa, hoặc không cung cấp đủ
chi tiết để hiểu hộp đen đang làm gì.
❑ Grad-CAM chỉ Backpropagation đến lớp Conv cuối
● Ưu: Giữ lại các spatial information và high-level feature.
● Nhược: Không có thông tin về ảnh đầu vào. Đôi khi sẽ bị
mất mát thông tin quan trọng ở ảnh đầu vào (cạnh, màu
sắc, ...)

3. XAI trong phân đoạn ảnh
y khoa

XAI trong phân đoạn ảnh khối u não
❑ Input
● Ảnh não 2D
● Model & weight
● Ảnh phân đoạn
khối u
XAI Model
❑ Output
● Saliency map

Framework pipeline
❑ Framework pipeline
● Huấn luyện mô hình Image Segmentation thông
thường
 Thu được trọng số mô hình
● Áp dụng mô hình XAI
weight

Image Segmentation
❑ Encoder-Decoder Based Models
● Encoder (Downsampling): Trích lọc đặc trưng để tìm ra bối cảnh
của hình ảnh
● Decoder (Upsampling): Tăng kích thước ảnh về ban đầu,
để từng bước phân đoạn từng pixel.

Explainable AI
Image Segmentation
❑ Input:
● Một ảnh cần giải thích
● Trọng số mô hình segmentation
● Output của segmentation
❑ Output:
● Explainable
XAI
Model

Hướng tiếp cận Hậu xử lý
❑ Có 2 hướng tiếp cận, cho bài toán pixel
attribution:
● Perturbation-based: LIME, SHAP, ...
● Gradient-base: Vanilla gradient, Grad-CAM, ..

Các công đoạn LIME & SHAP
❑ 1. Chọn 1 mẫu dữ liệu để giải thích
❑ 2. Tạo ra bộ dữ liệu xáo trộn : Thay đổi các đặc trưng
của điểm dữ liệu ban đầu
● Thay đổi các đặc trưng của điểm dữ liệu ban đầu.
❑ 3. Gán trọng số cho tất cả dữ liệu trong tập perturbed
❑ 4. Huấn luyện mô hình hồi quy tuyến tính theo tập
perturbed có trọng số
● Giải thích độ quan trọng của đặc trưng (importance of feature)
của điểm dữ liệu đang xét.

Loss function
❑ Hàm mất mát
● f: mô hình ban đầu cần được giải thích (deep neural
network)
● g: mô hình thay thế, đơn giản hơn (linear regression)
● pi: trọng số giữa x và z

Các công đoạn Grad-CAM
❑ Các bước tính:
● 1. Tính feed forward của ảnh đầu vào.
● 2. Tính gradient của đầu ra tương ứng với ảnh đầu vào.
 Thực hiện backpropagate đến lớp convolutional cuối cùng
● 3. Biểu diễn saliency map

References
❑ Zhang, Y.; Weng, Y.; Lund, J. Applications of Explainable Artificial Intelligence in
Diagnosis and Surgery. Diagnostics 2022, 12, 237. https://www.mdpi.com/2075-
4418/12/2/237/htm
❑ Tjoa E. and Guan C. (2021) A survey on explainable artificial intelligence (XAI): toward
medical XAI. IEEE Transact. Neural Networks Learning Systems 32, 4793–4813
10.1109/TNNLS.2020.3027314. https://arxiv.org/pdf/1907.07374.pdf
❑ Teixeira, L.O.; Pereira, R.M.; Bertolini, D.; Oliveira, L.S.; Nanni, L.; Cavalcanti, G.D.C.; Costa,
Y.M.G. Impact of Lung Segmentation on the Diagnosis and Explanation of COVID-19 in
Chest X-ray Images. Sensors 2021, 21, 7116. https://arxiv.org/pdf/2009.09780.pdf
❑ Costa YMG, Silva SA Jr, Teixeira LO, Pereira RM, Bertolini D, Britto AS Jr, Oliveira LS,
Cavalcanti GDC. COVID-19 Detection on Chest X-ray and CT Scan: A Review of the Top-
100 Most Cited Papers. Sensors (Basel). 2022 Sep
26;22(19):7303. https://pubmed.ncbi.nlm.nih.gov/36236402/
❑ Shamshad, F., Khan, S.H., Zamir, S.W., Khan, M.H., Hayat, M., Khan, F.S., & Fu, H. (2022).
Transformers in Medical Imaging: A Survey. ArXiv, abs/2201.09873.
❑ https://darwin.v7labs.com/v7-labs/covid-19-chest-x-ray-dataset

❑ Để biểu diễn dưới dạng toán học, ta cần các ký
hiệu:
● I: ảnh đầu vào
● Vector đầu ra gồm có C chiều
● S(I): vector đầu ra, với S(I) = [S1(I), S2(I), …, SC(I)]
● Sc(I): giá trị dự đoán (xác suất) của ảnh I với lớp dự
đoán là c

❑ Ví dụ, biến đầu vào “x” và “y” và đầu ra “f”, ta có
các hàm số:
● z = x + 2y
● f = 2*z
❑ Cách 1: Tính toán hàm số:
● f = 2*z = 2*(x + 2y) = 2x + 4y
❑ Cách 2: Tính toán đạo hàm:
● Cả hai cách, nhận xét: với cùng đầu vào x = 1 và y = 1. Ảnh
hưởng của biến y gấp đôi biến x.
● Tuy nhiên, tính “thủ công” như cách 1 không hiệu quả với DNN
với hàng triệu tham số. Và các hàm số, không phải lúc nào cũng
tuyến tính.

Explainable AI
❑ Sự đánh đổi giữa “độ chính xác” và “khả năng
giải thích”

Explainable AI
❑ Phân loại theo outputs của XAI:
● Lý giải bằng trực quan
 Hình ảnh
 Biểu đồ (plot)
● Lý giải bằng văn bản
 Từng ký tự (Cell Activation Value)
 InterpNET : tạo ra văn bản để lý giải cho hình ảnh input
 Thông tin ngữ nghĩa cho mô hình
● Lý giải bằng toán học hoặc số liệu
 Concept Activation Vectors (CAVs)
 Linear classifiers for features inspection
 Local Interpretable Model-Agnostic Explanations (LIME)

Explainable AI
● Intrinsically interpretable: Sử dụng các mô hình Machine
Learning truyền thống để lý giải mô hình Blackbox
● Post hoc interpretation methods: Sử dụng hậu xử lý để cung
cấp thêm thông tin Explainable

Framework pipeline
● Phrase 1: Segmentation (U-NET)
● Phrase 2: Classification (VGG, ResNET, Inception)
 Bị nhiễm Covid
 Không
● Phrase 3: Explainable (LIME, Grad-CAM)

Framework pipeline
● Offline (Input -> Training -> Output)

Medical Image
❑ Các loại ảnh trong ảnh y khoa
X-quang
(2D)
MRI
(3D)
CT
(3D)

Khai triển Taylor bậc nhấtnhất

 Local Explanations
• Feature Importances
• Rule Based
• Saliency Maps
• Prototypes/Example Based
• Counterfactuals
 Global Explanations
• Collection of Local Explanations
• Representation Based
• Model Distillation
• Summaries of Counterfactuals

Nhãn
●Mask
: không chứa khối u
: có chứa khối u

Exaplianable AI trong phân đoạn ảnh y khoa.pdf

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Exaplianable AI trong phân đoạn ảnh y khoa.pdf

Ähnlich wie Exaplianable AI trong phân đoạn ảnh y khoa.pdf (20)

Exaplianable AI trong phân đoạn ảnh y khoa.pdf