SlideShare ist ein Scribd-Unternehmen logo
1 von 20
Downloaden Sie, um offline zu lesen
コミック 工 学
! 増加から安定へ


! 市場を牽引しているのは「マンガ・コミック」ジャンル


! 市場の82%を占めている (2011年度)
(『電子コミックビジネス調査報告書2012』株式会社インプレスR&D)
ディジタルコミックの現状
! 現在のディジタルコミックはアナログのデジタル化状態


! 紙媒体のコミックをそのまま電⼦化(PDF化)している
アナログ媒体
PDF化
専⽤ビュワー / acrobat
紙媒体との違いが殆どない
コミック工学 Comic Computing
! 課題の面白さ
! マルチモーダルかつ ill-formed なコンテンツ
! 画像+テキスト
! rich なリソースとも、poor なリソースとも言える
! 高い潜在的ニーズ
! 様々な応用が期待される
! 現状は職人仕事の集大成
! 課題の難しさ
! 分野横断的な技術の必要性
! 目の肥えたユーザ
コミックのコード化
! コマの位置情報やコマ内の描画オブジェクトの情報を
コード化し、アクセス可能にする必要がある
! 汎用的な側面 + アプリケーションに特化した側面
! add hoc に追加できる枠組みが必要
1コマのコード化
! 枠線の抽出
! 濃度勾配を利用して分割線を同定
! 枠線が明確に記されている作品で有効
! 少女漫画は現状では難しい
コミックからの情報抽出
出典: 石井大祐, 河村圭, 渡辺裕: 分割線選択によるコミックのコマ分割に関する検討,


情報科学技術フォーラム一般講演論文集, Vol. 5, No. 3, pp. 263-264 (2006). 他
コミックからの情報抽出
! コマの順序の同定
! ヒューリスティクスによる順序決定
! 右から左へ
! 上から下へ
出典: 山田雅之, 鈴木茂樹, ラフマットブディアルト, 遠藤守, 宮崎慎也: 携帯電話を利用したコミッ
クの閲覧システムとその評価, 芸術科学会論文誌, Vol. 3, No. 2, pp. 149-158 (2004).
! 吹き出しの抽出
! OCRで台詞を特定
! その周辺領域をSVMで分類
! 通信型
! 曲線型
! 折れ線型
! 四角型
コミックからの情報抽出
出典: 田中孝昌, 外山史, 宮道壽一, 東海林健二: マンガ画像の吹き出し検出と分類,


映像情報メディア学会誌, Vol. 64, No.12, pp. 1933-1939 (2010).
コミックからの情報抽出
! キャラクター抽出
! HOG特徴量に基づいて顔候補を同定
し、予め登録したDBとマッチング
! 現状では精度が安定しない
出典: 新井俊宏, 松井佑介, 相澤清晴: 漫画画像からの顔検出,


電子情報通信学会総合大会, p. 161 (2012). 他
キャラクター抽出の難しさ
! 実在の人物の認識に比べて格段に難しい
! 線画で描かれている
! 誇張表現が多用されている
! 枠線の関係で、見切れていることが多い
=
斉藤 英二郎「ブラックジャックによろしく」
•顔検出領域 の 上部外側に検出領域高さの8分の1の領域
•顔検出領域 の 左右内側に検出領域幅の8分の1の領域
それぞれ、色の平均値を取得
斉藤 英二郎「ブラックジャックによろしく」
漫画の特徴を加味したキャラクター識別
キャラC平均
キャラA平均
検出された顔
20
30
50
キャラB平均
そのシーンまでの出現頻度で距離を補正
我々の取り組み
正解率
0%
20%
40%
60%
80%
出現補正値
0 10 20 30 40 50
宇宙兄弟 テルマエ・ロマエ 神の雫
バガボンド ブラックジャックによろしく
漫画の特徴を加味したキャラクター識別
我々の取り組み
獲得された知識の利用
コミック質問応答
出典: 福田美沙紀, 白水菜々重, 松下光範: コミックを対象とした質問応答技術のための基礎
検討, 人工知能学会ことば工学研究会資料, SIG-LSE-C003, pp. 57-62 (2012).


我々の取り組み
ドラえもん で


ジャイアン が おままごとをしているシーン は


何巻 ですか?
⼿がかりの種類 内容
①コミックタイトル ドラえもん
②キャラクター ジャイアン
③状況 (キャラクター)がまま
ごとをしている
質問タイプ
巻に関する質問
①
②
③
新しい表現:キネティックオノマトペ
! オノマトペに動きを与える
! 動きのパラメータ
! 文字サイズ
! 文字速度
! 動きの振れ幅
我々の取り組み
し
ゅ
ば
っ
出典: 今岡 夏海, 松下 光範. ディジタルコミック制作のための動的な音喩表現生成システム,
2011年度人工知能学会全国大会論文集, 1C1-OS4a-3 (2011).
理解の向上を目指したコミック表現の利用
出典:Sumi, Y., Sakamoto, R., Nakao, K. and Mase, K.:
ComicDiary : Representing Individual Experiences in a
Comics Style, Proc. UbiComp 2002, pp. 16--32 (2002).
Comic Diary
出典:藤本雄太, 宮下芳明: マンガのコマ割り表現
を用いたプレゼンテーションツール, 情報処理学
会研究報告, 2010-HCI-139, No.11, pp. 1-7 (2010).
プレゼンツール
メディアアートへの展開:
Manga Generator
出典: Nara, Y., Kunitomi, G., Koide, Y., Fujimura, W. and Shirai, A.: Manga


Generator, Laval Virtual VRIC 2013, Article No.~29-7 (2013).
Kinect でユーザの姿勢を取得し、
漫画の登場人物として取り込む
メディアアート
おわりに:コミック工学の枠組み
自然言語処理
画像処理
インタラクション
デザイン
コミック


レポジトリ
DB
サービス
分析
社会学
図書館情報学
人工知能
インタフェース
様々な研究を繋ぐ boundary object としての「コミック工学」
コミック
謝辞
本発表では佐藤秀峰先生の「ブラックジャックによろしく」を
利用させていただきました.

Weitere ähnliche Inhalte

Mehr von Matsushita Laboratory

TaketoFujikawa_10thComicComputing2023
TaketoFujikawa_10thComicComputing2023TaketoFujikawa_10thComicComputing2023
TaketoFujikawa_10thComicComputing2023Matsushita Laboratory
 
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパスMatsushita Laboratory
 
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
 ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame... ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame...
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...Matsushita Laboratory
 
Unification of Terminology for Accurate Communication among Experts --- Basic...
Unification of Terminology for Accurate Communication among Experts --- Basic...Unification of Terminology for Accurate Communication among Experts --- Basic...
Unification of Terminology for Accurate Communication among Experts --- Basic...Matsushita Laboratory
 
JSAI2023_企画セッション(仕掛学)資料
JSAI2023_企画セッション(仕掛学)資料JSAI2023_企画セッション(仕掛学)資料
JSAI2023_企画セッション(仕掛学)資料Matsushita Laboratory
 
触感に関わる共感覚的表現と基本6感情の対応関係の検証
触感に関わる共感覚的表現と基本6感情の対応関係の検証触感に関わる共感覚的表現と基本6感情の対応関係の検証
触感に関わる共感覚的表現と基本6感情の対応関係の検証Matsushita Laboratory
 
レシピの手順に着目した 複数の器特徴の推定
レシピの手順に着目した 複数の器特徴の推定レシピの手順に着目した 複数の器特徴の推定
レシピの手順に着目した 複数の器特徴の推定Matsushita Laboratory
 
複数の質感を複合的に提示可能な触覚提示デバイス
複数の質感を複合的に提示可能な触覚提示デバイス複数の質感を複合的に提示可能な触覚提示デバイス
複数の質感を複合的に提示可能な触覚提示デバイスMatsushita Laboratory
 
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究Matsushita Laboratory
 
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究Matsushita Laboratory
 
Kokogatari:実環境を介したリレー小説執筆ツール
Kokogatari:実環境を介したリレー小説執筆ツールKokogatari:実環境を介したリレー小説執筆ツール
Kokogatari:実環境を介したリレー小説執筆ツールMatsushita Laboratory
 
Visualization of the Relationship Between Lectures and Laboratories Using SSNMF
Visualization of the Relationship Between Lectures and Laboratories Using SSNMFVisualization of the Relationship Between Lectures and Laboratories Using SSNMF
Visualization of the Relationship Between Lectures and Laboratories Using SSNMFMatsushita Laboratory
 

Mehr von Matsushita Laboratory (20)

TaketoFujikawa_10thComicComputing2023
TaketoFujikawa_10thComicComputing2023TaketoFujikawa_10thComicComputing2023
TaketoFujikawa_10thComicComputing2023
 
SayakaHayashi_FIT2023
SayakaHayashi_FIT2023SayakaHayashi_FIT2023
SayakaHayashi_FIT2023
 
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
松下研究室紹介_関西大学高槻キャンパスオープンキャンパス
 
ReonHata_JSAI2023
ReonHata_JSAI2023ReonHata_JSAI2023
ReonHata_JSAI2023
 
HarukiShinkawa_FIT2023
HarukiShinkawa_FIT2023HarukiShinkawa_FIT2023
HarukiShinkawa_FIT2023
 
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
 ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame... ChinaTakahashi_Exploration cyclefinding a better dining experience:a frame...
ChinaTakahashi_Exploration cycle finding a better dining experience: a frame...
 
TaketoFujikawa_KES2023
TaketoFujikawa_KES2023TaketoFujikawa_KES2023
TaketoFujikawa_KES2023
 
Unification of Terminology for Accurate Communication among Experts --- Basic...
Unification of Terminology for Accurate Communication among Experts --- Basic...Unification of Terminology for Accurate Communication among Experts --- Basic...
Unification of Terminology for Accurate Communication among Experts --- Basic...
 
JSAI2023_企画セッション(仕掛学)資料
JSAI2023_企画セッション(仕掛学)資料JSAI2023_企画セッション(仕掛学)資料
JSAI2023_企画セッション(仕掛学)資料
 
触感に関わる共感覚的表現と基本6感情の対応関係の検証
触感に関わる共感覚的表現と基本6感情の対応関係の検証触感に関わる共感覚的表現と基本6感情の対応関係の検証
触感に関わる共感覚的表現と基本6感情の対応関係の検証
 
レシピの手順に着目した 複数の器特徴の推定
レシピの手順に着目した 複数の器特徴の推定レシピの手順に着目した 複数の器特徴の推定
レシピの手順に着目した 複数の器特徴の推定
 
TaketoFujikawa_comic2023
TaketoFujikawa_comic2023TaketoFujikawa_comic2023
TaketoFujikawa_comic2023
 
複数の質感を複合的に提示可能な触覚提示デバイス
複数の質感を複合的に提示可能な触覚提示デバイス複数の質感を複合的に提示可能な触覚提示デバイス
複数の質感を複合的に提示可能な触覚提示デバイス
 
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
効果音と抽象図形の動作の組み合わせによる印象変化に関する研究
 
RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023RyotaHiguchi_MasterThesis2023
RyotaHiguchi_MasterThesis2023
 
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
携帯端末を用いたポインティングによる室内空間でのアドホックな情報アクセス手法に関する研究
 
Kokogatari:実環境を介したリレー小説執筆ツール
Kokogatari:実環境を介したリレー小説執筆ツールKokogatari:実環境を介したリレー小説執筆ツール
Kokogatari:実環境を介したリレー小説執筆ツール
 
Visualization of the Relationship Between Lectures and Laboratories Using SSNMF
Visualization of the Relationship Between Lectures and Laboratories Using SSNMFVisualization of the Relationship Between Lectures and Laboratories Using SSNMF
Visualization of the Relationship Between Lectures and Laboratories Using SSNMF
 
iiWAS2022_Miyagawa
iiWAS2022_MiyagawaiiWAS2022_Miyagawa
iiWAS2022_Miyagawa
 
reIDR2022_takahashi.pdf
reIDR2022_takahashi.pdfreIDR2022_takahashi.pdf
reIDR2022_takahashi.pdf
 

FSS2013ComicComputing.pdf