sqldf for pandas

1. sqldf for pandas
PyCon JP 2015
Ryoji Ishii
@airtoxin

2. 自己紹介
• 石井遼司
• 株式会社ALBERT
• twitter/github/soundcloud→airtoxin
• Python/JavaScript/Scala?

3. みなさん

4. pandas使っていますか？

5. DataFrame便利ですよね

6. プロットとか

7. グルーピング
data.groupby(func, axis=0).mean()
df.groupby('g').boxplot()

8. グルーピング
自分で用意した集約関数では…？
data.groupby(func, axis=0).mean()
df.groupby('g').boxplot()

9. apply?

10. level?

11. <pandas.core.groupby.DataFrameGroupBy object at 0x10e4684d0>

13. DataFrameの結合
http://pandas.pydata.org/pandas-docs/stable/merging.html

14. ordered_merge?

15. append?

16. merge?

17. concat?

18. conbine?

19. update?

21. もうSQLでよくね…？

22. みんなだいすきSQL

23. airtoxin / pysqldf
forked from yhat/pandasql

24. pysqldf
yhat/pandasqlが既にDataFrameにSQL発行でき
るライブラリを公開していたが、メンテされてい
なかった。
pandasqlをベースに、クエリ発行が出来るデータ
形式を増やしたり、UDFを使えるようにしたり。
SQLite3の構文をサポート。

25. $ pip install pysqldf
Install

26. How to use
from pysqldf import SQLDF, load_iris
sqldf = SQLDF(globals())
iris = load_iris()
sqldf.execute("select * from iris;")

27. union

28. union
buyer1
buyer2

29. union
buyer1
buyer2

30. union
buyer = sqldf.execute("""
select name, sex, age
from buyer1
union all
select name, sex, age
from buyer2;
""")

31. union
buyer1
buyer2
buyer

32. join

33. purchase_log
join
buyer

34. purchase_log
join
buyer

35. join
purchaser_log = sqldf.execute("""
select *
from buyer as b
inner join
purchase_log as p
on b.name = p.buyer;
""")

36. join
purchaser_log

37. User Defined Function

38. UDF
表中の値1つを受け取り、値1つを返す
関数を定義する。
SQLDFのコンストラクタに辞書形式で
関数を渡す。→定義した関数が辞書の
keyで使えるようになる。

39. UDF
def is_royal_customer(name):
if name == "alice":
return True
else:
return False
sqldf = SQLDF(globals(), udfs={
"is_royal_customer": is_royal_customer
})

40. sqldf.execute("""
select
*,
is_royal_customer(name) as royal
from (
select name, sex, age
from buyer1
union all
select name, sex, age
from buyer2
)
""")
UDF

41. UDF

42. UDF(aggregate)
集約クラスか関数を作成。
集約クラスはsqlite3のドキュメントを参照。
関数はカラムの値のリストを受け取り、値1
つを返すようにする。
UDFと同じようにSQLDFのコンストラクタに
関数またはクラスを渡すと使えるようになる。

43. UDF(aggregate)
def is_royal_bought(royals):
if 1 in royals:
return True
else:
return False
sqldf = SQLDF(globals(), udafs={
"is_royal_bought": is_royal_bought
})

44. UDF(aggregate)
sqldf.execute("""
select
item,
sum(quantity),
is_royal_bought(royal)
from purchaser_log
group by item
""")

45. UDF(aggregate)

46. まとめ

47. purchaser_log = sqldf.execute("""
select *
from (
select *, is_royal_customer(name) as royal
from (
select name, sex, age
from buyer1
union all
select name, sex, age
from buyer2
)
) as b
inner join
purchase_log as p
on b.name = p.buyer;
""")

48. purchaser_log

49. sqldf.execute("""
select
name,
item,
sum(quantity) as cnt
from purchaser_log
group by name, item
""")

51. sqldf.execute("""
select
name,
item,
sum(quantity) as cnt
from purchaser_log
group by name, item
""").pivot("name", "item", "cnt")

53. sqldf.execute("""
select
name,
item,
sum(quantity) as cnt
from purchaser_log
group by name, item
""").pivot("name", "item", "cnt").fillna(0)

55. import seaborn as sns
sns.heatmap(pivot, annot=True, linewidths=0.5)

57. DataFrame meets SQL

58. 💕

59. みんなつかってくれ！

60. おわり