1. MmapScanner
とみたまさひろ
2011-07-18

2. 自己紹介
id:tmtms
@tmtms
日本MySQLユーザ会
長野ソフトウェア技術者グループ
(NSEG)

3. 重要
「MySQL徹底入門第三版」近日発売
画像は第二版

4. Ruby
たぶん13年くらい
バージョン 1.1 から
「Rubyをイヤイヤ使わされてる人」を
作る仕事
SIerのRubyistの悲しき紋章

5. 趣味
誰も使わないライブラリを作る
自分でも使わない

6. MySQL/Ruby
MySQL C library wrapper
割と使われてる
オワコン

7. Ruby/MySQL
pure Ruby
あまり使われてない
名前が悪い

8. OptConfig
OptionParser みたいなもの
設定ファイルから読む
自動補完する/しない
--help に出すかどうか
複数指定した時のふるまい
最後を採用/配列で全部/エラー

9. LightCsv
CSVパーサー
「うわっRubyのCSV遅すぎ」
ついカッとなって作った

10. 速度
ken_all.csv(123000行, 12MB)

11. 速度
ken_all.csv(123000行, 12MB)

12. LightCsv
103行 (コメント/空行除く)
CSV のパースをするだけなのに

13. CSVパース
物理行単位で処理できない
ほげ,"改行をrn含むカラム",ふが
固定サイズで読むと CR と LF がわ
かれたり

14. 全部読んじゃえ
メモリ食う

15. mmap(2)
ファイルをメモリにマッピング

16. read
通常は open して少しずつ read

17. mmap
ファイル全体(または一部)をメモリにマップ

18. mmap
速い
メモリを食わない
大きなファイルで有用

19. Rubyからは使いにくい
メモリを直接さわれない
Stringとして扱う時はコピーが必要

20. MmapScanner
Ruby の拡張ライブラリ
StringScanner の mmap 版
mmap 領域を正規表現で走査
取り出したものも MmapScanner

21. MmapScanner
部分的に取り出しても同じメモリを共有

22. 使い方
f = File.open("filename")
m = MmapScanner.new(f)
word = m.scan(/[a-z0-9_]+/i)
word # => MmapScanner
word.to_s # => String

23. CSVパーサー
require 'mmapscanner'
class MmapCSV
include Enumerable
def initialize(filename)
File.open(filename) do |f|
@ms = MmapScanner.new(f)
end
end
def each
rec = []
until @ms.eos?
if @ms.skip(/"((?:""|[^"])*)"(,|rn|n|z)/n)
rec.push @ms.matched_str(1).gsub(/""/,'"')
elsif @ms.skip(/([^,"rn]*)(,|rn|n|z)/n)
rec.push @ms.matched_str(1)
else
raise "invalid format: #{@ms.rest.slice(0,20).to_s}"
end
unless @ms.matched_str(2) == ','
yield rec
rec.clear
end
end
end
end

24. 速度
ken_all.csv(123000行, 12MB)

25. 課題
1.9 only
ASCII-8BIT only
明に munmap できない

26. FAQ
どうせ拡張ライブラリ作るんだったら
CSVパーサーをCで書けば良かったん
じゃね？

27. 目的と手段の正しい理解
目的: RubyでCSVパーサーを書く
手段: 拡張ライブラリ

28. 以上