9. generatorのチェーン例
def invoke(file_name, db_name):!
db = MongoClient(‘localhost’)!
db.events.insert(convert(parse(readline(file_name))))!
!
def readline(file_name):!
with gzip.open(file_name) as input:!
for line in input:!
yield line!
!
def parse(lines):!
for line in lines:!
yield json.loads(line)!
!
def convert(rows):!
for row in rows:!
yield {…(略)…}
10. メモリ使用量のチェック
$ pip install memory-profiler
$ pip install psutil
からの
@profile!
def readline(file_name):!
with gzip.open(file_name) as input:!
for line in input:!
yield line
指定したメソッドの行ごとに使用量が出せる