OpenCV・NHocrを使った文字認識アプリの作り方を解説します。

1. 有限会社 来栖川電算 山口陽平
オープンソースカンファレンス名古屋２０１２

2. あじぇんだ

 自己紹介
 はじめに
 紹介するＯＳＳ
 設計
 実装
 ？？？
 まとめ
 参考文献

3. 自己紹介

山口陽平
有限会社来栖川電算

4. 山口陽平

 プログラミング言語・型理論の研究者
 世界を美しく記述することを夢見る３３歳
 名古屋工業大学大学院出身
 未踏ソフトウェア経験
 人を驚かせるのが好き
 Nativeコードより速いJavaコード
 1日でHaskellを作る
 ハードリアルタイムJavaVM
 1000台越え構成のペタバイト級分散DB
 PC上で秒間1000万クエリ処理できるKVS
※あくまでもイメージです。
実物に髪の毛はありません。

5. 有限会社来栖川電算

 概要
 名古屋工業大学発ベンチャー（2003年）
 目的
 ソフトウェアの品質・生産性向上
 スタッフ
 役員３人・正社員７人・アルバイト９人
 データ作成４人・家政婦２人
 IPA未踏ソフトウェア経験者多数
 社風
 職人・挑戦・自由
イオン千種・名大病院・名工大の間
 昼食・夕食・飲み会は無料

6. はじめに

何を作るの？
準備するもの
取り組む姿勢

7. 何を作るの？

 スマホで撮影した写真から単語を抽出するアプリ

8. 準備するもの

 スマホ  開発環境
 Android 2.3  サーバと同じソフト
 サーバ  android-sdk_r18
 Scientific Linux 6.2  Eclipse Indigo JavaEE IDE
 Java SE 7 for Web Developers.
 CDT
 Apache Tomcat 7.0
 ADT
 OpenCV-2.2.0
 O2-tools-2.00 ここを紹介するよ！
 nhocr-0.20

9. 取り組む姿勢

 考慮すること
 動くこと
 分かりやすさ
 考慮しないこと
 認識精度
 安全性
 信頼性
 可用性
 拡張性

10. 紹介するＯＳＳ

OpenCV
NHocr & O2-tools

11. OpenCV

 元はインテル製の画像処理ライブラリ
 APIが単純で割と使いやすい
 様々な画像（※GIF除く）の読み書きに便利
 様々な分野のアルゴリズムを網羅
 画像処理・特徴抽出とディスクリプタ抽出
 クラスタリング・多次元空間探索・オブジェクト検出
 ビデオ解析・カメラキャリブレーション・姿勢推定
 ステレオ・機械学習
 サイト
 【公式】http://opencv.willowgarage.com/
 【日本コミュニティ】http://opencv.jp/

12. NHocr & O2-tools

 日本語OCR・画像処理ライブラリ
 一文字認識の認識精度はわりとよい
 一応、行認識もできる
 コマンドラインツールがある
 画像ファイルの文字認識・フォントからの辞書作成
あ
 本格的に使うにはわりと改良がいる
 コード量が少ないので難しくはない
 サイト
 【後藤研究室】http://www.imglab.org/
 注意
 一部をコメントアウトしないとビルドできない場合が

13. 設計

概要（もう一度）
スマホアプリ
文字認識サービス
文字認識コマンド

14. 概要

 スマホで撮影した写真から単語を抽出するアプリ

15. スマホアプリ

 マッシュアップでシンプルに！
 主な作り込みは単語抽出（言語処理）だけ

16. 文字認識サービス

 中継するだけ！
 主な作り込みは文字認識コマンドの中

17. 文字認識コマンド

 OepnCV・NHocrのAPIはシンプルで使いやすい！
 難しいのは文字領域抽出だけ

18. 実装

画像読込
二値化
文字領域抽出
文字認識
XML出力
言語処理

19. 画像読込

 OpenCVなら画像の読み書きが簡単！
 BMP DIB JPEG JPG JPE PNG PBM PGM PPM SR RAS TIFF TIF
#include <opencv/cv.h>
#include <opencv/highgui.h>
int main() {
IplImage* tImage = cvLoadImage("input/club_adriana.jpg", CV_LOAD_IMAGE_COLOR);
cvNot(tImage, tImage);
cvSaveImage("output/not_club_adriana.png", tImage);
cvReleaseImage(&tImage);
return 0;
}

20. 二値化

 OpenCVには基本的な二値化アルゴリズムがある！
 cvThreshold：与えた閾値で二値化する。（大津の方法も）
 cvAdaptiveThreshold：近傍の平均から閾値を決める。
#include <opencv/cv.h>
#include <opencv/highgui.h>
int main() {
IplImage* tImage = cvLoadImage(
"input/club_adriana.jpg", CV_LOAD_IMAGE_GRAYSCALE); ライトが
IplImage* tBinarizedImage = cvCreateImage( 当たって
cvGetSize(tImage), tImage->depth, tImage->nChannels); いるとな
cvAdaptiveThreshold(tImage, tBinarizedImage, 256,
CV_ADAPTIVE_THRESH_MEAN_C, CV_THRESH_BINARY, 19); かなかう
cvSaveImage("output/binarized_club_adriana.png", まくいか
tBinarizedImage); ない
cvReleaseImage(&tBinarizedImage);
cvReleaseImage(&tImage);
return 0;
}

21. 文字領域抽出

 ヒストグラムで文字がある場所を見つけるぞ！
 ぐるぐるループしながら四則演算するだけ
 行の上下に余分なものが写っているとうまくいかない

22. 文字認識
 #include <opencv/cv.h>
 NHocrなら文字認識が簡単！ #include <opencv/highgui.h>
#include <siplib.h>
 ①辞書の選択・初期化など #include <nhocr.h>
int main() {
NHrec tNHrec;
 ascii+（英数字） tNHrec.setlibdir(
 jpn（日本語） (char*) "/usr/local/moji/nhocr-0.20/share/");
tNHrec.setdiccodes((char*) "ascii+");
 ユーザ辞書 tNHrec.open();
IplImage* tImage = cvLoadImage("input/Ao.png",
 ②画像形式の変換 CV_LOAD_IMAGE_GRAYSCALE);
SIPImage* tSIPImage = createSIPImage(tImage);
 OpenCV ⇒ NHocr int tCount = 10;
RecResultItem tCondidates[tCount];
 ③文字認識 tNHrec.rec_character(tSIPImage, 0, 0,
tImage->width, tImage->height, tCondidates);
 入力 for (int tIndex = 0; tIndex < tCount; tIndex++)
 文字の場所
printf("%c:%f¥n", (char)tCondidates[tIndex].id,
tCondidates[tIndex].dist);
 出力 sip_DestroyImage(tSIPImage);
cvReleaseImage(&tImage);
 {文字:距離, ..., 文字:距離} tNHrec.close();
return 0;
}

23. XML出力

 各文字領域は複数の候補を持つ
 各候補は文字と距離を持つ
<result>
<candidates>
<candidate><character>H</character><distance>1</distance></candidates>
<candidate><character>4</character><distance>2</distance></candidates>
</candidates>
<candidates>
<candidate><character>O</character><distance>1</distance></candidates>
<candidate><character>0</character><distance>2</distance></candidates>
</candidates>
<candidates>
<candidate><character>M</character><distance>1</distance></candidates>
<candidate><character>m</character><distance>2</distance></candidates>
</candidates>
<candidates>
<candidate><character>U</character><distance>1</distance></candidates>
<candidate><character>u</character><distance>2</distance></candidates>
</candidates>
</result>

24. 言語処理

 様々な言語処理
 距離の和が最も小さいパスを選ぶ。
 文字種を限定する。
 記号・数字・英字（大・小）・かな・カナ・漢字
 辞書に含まれている単語だけを選ぶ。
 文法にあうパスを選ぶ。
 正規表現・文脈自由・自然言語

25. 簡単に使えるけど
それ以外が難しい

AdaptiveThresholdもあんまり使えない
ヒストグラム使った文字領域抽出が話にならない
１位だけを採用する言語処理でも話にならない

26. まだまだ利用申請できるよ！どんどんしてね！
recognize.jp

 WebAPIで画像をPOSTするだけ
 難しいことは全部サーバでやってくれる！

27. タンゴチュウが
（前より）賢くなった！

４月のrecognize.jpのアップデートで目に見えて良くなったぞ！
１年前とくらべて・・・ ４倍 の賢さだ！

28. 情
文 景
画
 字 像
か
認 ら
識 の
サ
ー
http://tangochu.jp
ビ
説明前に宣伝させて！
ス

29. タンゴチュウとは

 写真（情景画像）から単語を抽出
 例えば メニュー チラシ お菓子のパッケージ
レシート 名刺 看板 …

30. 情景画像の文字認識とは


31. 情景画像の文字認識とは


32. 情景画像の文字認識とは

 従来のOCRとは戦場が違う
 悪環境下での文字認識
 手書き・様々な書体・かすれ・点描・きつい
パース・統一性のない並び・逆光・陰・影・グ
ラデーション・モアレなど
目指すはこんなかっこいい世界！

33. タンゴチュウ
for Twitter

 手軽に文字認識を体験できる！
@tcfox

34. タンゴチュウ
for Twitter

 手軽に文字認識を体験できる！

35. タンゴチュウ
for Evernote

 写真の検索・整理に役立つ！

36. 0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
2011年06月
2011年07月
2011年08月
2011年09月
2011年10月
 4倍の賢さ・6倍の速さ
 着実に進化している！
2011年11月
2011年12月

2012年01月
 情景画像文字認識ではトップクラス
2012年02月
性能推移
2012年03月
2012年04月

37. カスタマイズＯＫ

 棚卸し・検査・電子辞書などに
 用途を限定すると非常に高精度
 既に稼働していて、驚くほど高性能
 出版系・測量系からも引き合いがきているぞ！
Android端末
への組み込み
もやってるよ

38. とにかくアクセス！

萌えキャラたちも待ってるぞ！
 http://tangochu.jp

39. まとめ

オープンソースを活用すれば
とりあえず動くものは作れる
性能がでるかは腕次第
recognize.jpを使えば割とよい
今回のスマホアプリのソースコードは
ダウンロードできるようにしておくよ！

40. 参考文献

リンクとか

41. 参考文献①

 Scientific Linux
 http://www.scientificlinux.org/
 Jave SE
 http://www.oracle.com/technetwork/java/
 Apache Tomcat
 http://tomcat.apache.org/
 Android SDK & ADT (Eclipse Plugin)
 http://developer.android.com/index.html
 Eclipse & CDT
 http://www.eclipse.org/

42. 参考文献②

 OpenCV
 http://opencv.willowgarage.com/
 【日本コミュニティ】http://opencv.jp/
 O2-tool
 http://www.imglab.org/p/O2/
 NHocr
 http://code.google.com/p/nhocr/

43. 参考文献③

 recognize.jp（情景画像文字認識ＡＰＩ）
 http://recognize.jp/
 撮って文字入力（文字認識ＩＭＥ）
 http://www.nttdocomo.co.jp/smt/service/trial/trial_app/to
tte_moji/index.html
 タンゴチュウ（情景画像文字認識サービス）
 http://tangochu.jp/
 来栖川電算
 http://kurusugawa.jp/

44. ご清聴ありがとうございました

どんどん賢くするので応援してね