2019/12/7開催のPostgreSQLアンカンファレンスでの発表内容です。 https://pgunconf.connpass.com/event/155951/

2. 2
自己紹介
● 竹内 尚也
DB(Oracle, PostgreSQL) に特化したお仕事を最近までし
ていました。今は主に PHP と MySQL で会計関連の Web
システムを作るバイトをしています。
python と PHP 要員
として来ました。
前職で DB の経験あるよね？
はい。 Oracle と PostgreSQL なら
じゃあ MySQL やって
え？

3. 3
アジェンダ
1.はじめに
2.ポスグレ 13 の新機能を検証
1.log_statement_sample_rate
2.pgbench でパーティション
3.SQL をコピペしやすくなった
3.終わりに

4. 4
1. はじめに
● 今は MySQL をやってるので PostgreSQL の最新情報
をしらない !!
・今の自分の知識だともう古いかもしれない…。
・ MySQL との比較的なので発表できないかネタ探し。
・気がついたら MySQL オンリー資料になってた。
・今更新しい検証をする時間がない。
13 のお手軽な新機能検証なら
すぐにできて、ネタ的にもよくね !?

5. 5
2. ポスグレ 13 の新機能を検証
● とりあえず気になったのを触れてみた。
 まだ β 版もないので、 Git からソースをビルドしました。
今回検証したのは次の 3 つです。
● log_statement_sample_rate
●
pgbench でパーティション
●
SQL をコピペしやすくなった

6. 6
2-1.log_statement_sample_rate
● スロークエリのログ出力を抑制
 今までは…
スロークエリが多すぎると、ログ肥大化 & 可読性の低下に繋がる。
 13 からは…
このパラメータでスロークエリの出力量を抑制できる！
※ 実は 12beta 版でも実装され、正式版で廃止されたのが 13 で蘇った。

7. 7
2-1.log_statement_sample_rate
● 関連するパラメータ
log_min_duration_statement
昔からあるパラメータ。指定した時間以上かかった SQL を記録する。
log_min_duration_sample
追加されたパラメータ。指定した時間以上かかった SQL を記録する。
出力量は「 log_statement_sample_rate 」によって抑制される。
「 log_min_duration_statement 」より優先度は低い。
log_statement_sample_rate
追加されたパラメータ。
「 log_statement_sample_rate 」の出力ログ量を割合で抑制する。
1.0 は全てを記録、 0 の場合何も記録しない。
log_min_duration_statement より
高い値にした場合、無視される。

8. 8
2-1.log_statement_sample_rate
● 検証 ～意図的にスロークエリを実行～
パラメータの設定
・ log_min_duration_statement = -1 ( 無効化 )
・ log_min_duration_sample = 500ms
・ log_statement_sample_rate = < 色々変えて試す >
実行する SQL
SELECT pg_sleep(1) AS label01;
SELECT pg_sleep(1) AS label02;
SELECT pg_sleep(1) AS label03;
SELECT pg_sleep(1) AS label04;
SELECT pg_sleep(1) AS label05;
SELECT pg_sleep(1) AS label06;
SELECT pg_sleep(1) AS label07;
SELECT pg_sleep(1) AS label08;
SELECT pg_sleep(1) AS label09;
SELECT pg_sleep(1) AS label10;
ラベルを付けて 10 個のうち
どの SQL が記録されたか確認する。

9. 9
2-1.log_statement_sample_rate
● 検証 ～意図的にスロークエリを実行～
log_statement_sample_rate = 1.0 の場合
全てのクエリが記録される。
LOG: duration: 1001.968 ms statement: SELECT pg_sleep(1) AS label01;
LOG: duration: 1001.845 ms statement: SELECT pg_sleep(1) AS label02;
…
LOG: duration: 1001.822 ms statement: SELECT pg_sleep(1) AS label09;
LOG: duration: 1002.205 ms statement: SELECT pg_sleep(1) AS label10;
log_statement_sample_rate = 0.5 の場合
試行回数が少ないせいか、 7 割ほどログが記録される。順番も不規則。
LOG: duration: 1001.541 ms statement: SELECT pg_sleep(1) AS label02;
LOG: duration: 1002.212 ms statement: SELECT pg_sleep(1) AS label03;
LOG: duration: 1001.598 ms statement: SELECT pg_sleep(1) AS label04;
LOG: duration: 1001.119 ms statement: SELECT pg_sleep(1) AS label05;
LOG: duration: 1001.363 ms statement: SELECT pg_sleep(1) AS label06;
LOG: duration: 1002.117 ms statement: SELECT pg_sleep(1) AS label08;
LOG: duration: 1001.350 ms statement: SELECT pg_sleep(1) AS label10;

10. 10
2-1.log_statement_sample_rate
● もっと試行回数を増やしたい
大量のクエリ実行の SQL ファイルを生成するバッチを作成
rm -rf sample.sql
for i in {1..1000}; do
echo "SELECT ${i}, pg_sleep(1) AS test;" >> sample.sql
done
log_statement_sample_rate = 0.5 の場合
「 test 」を含む行数をカウントする。
→509 行 (= 約半分 ) 取得されている。
$ grep -ic "test" postgresql-2019-12-06_200041.log
509
[sample.sal]
SELECT 1, pg_sleep(1) AS test;
SELECT 2, pg_sleep(1) AS test;
…
SELECT 1000, pg_sleep(1) AS test;

11. 11
2-1.log_statement_sample_rate
● 別接続の場合どうなるか
大量の psql 接続 + スロークエリを実行するバッチを作成
for i in {1..1000}; do
psql -c "SELECT ${i}, pg_sleep(1) AS test2;"
done
log_statement_sample_rate = 0.5 の場合
「 test 」を含む行数をカウントする。
→512 行 (= 約半分 ) 取得されている。
$ grep -ic "test" postgresql-2019-12-06_202546.log
512
＝全接続の SQL から指定された割合のログになるよう抑制している。
1 クエリ毎に psql 接続している。

12. 12
2-2.pg_bench でパーティション
● pg_bench でパーティションテーブルが作れる
--partitions=<NUM>
pgbench_accounts テーブルに生成するパーティション数を指定する。
デフォルトは 0 で、パーティションは生成されない。
--partition-method=<NAME>
使用するパーティションの手法を指定する。
現在は「 range 」と「 hash 」が選べる。

13. 13
2-2.pg_bench でパーティション
● さっそく作ってみた
100 万行の pgbench_accounts を 10 パーティションで区切る
$ pgbench -i -s 10 --partitions=10 --partition-method=range
スケールは「 -s 10 」なので
10 * 10 万行の 100 万行になるよ

14. 14
2-2.pg_bench でパーティション
● 結果を見てみると
=# d+ pgbench_accounts
Partitioned table "public.pgbench_accounts"
Column | Type | Collation | Nullable | Default | Storage | Stats target | Description
----------+---------------+-----------+----------+---------+----------+--------------+-------------
aid | integer | | not null | | plain | |
bid | integer | | | | plain | |
abalance | integer | | | | plain | |
filler | character(84) | | | | extended | |
Partition key: RANGE (aid)
Indexes:
"pgbench_accounts_pkey" PRIMARY KEY, btree (aid)
Partitions: pgbench_accounts_1 FOR VALUES FROM (MINVALUE) TO (100001),
pgbench_accounts_10 FOR VALUES FROM (900001) TO (MAXVALUE),
pgbench_accounts_2 FOR VALUES FROM (100001) TO (200001),
pgbench_accounts_3 FOR VALUES FROM (200001) TO (300001),
pgbench_accounts_4 FOR VALUES FROM (300001) TO (400001),
pgbench_accounts_5 FOR VALUES FROM (400001) TO (500001),
pgbench_accounts_6 FOR VALUES FROM (500001) TO (600001),
pgbench_accounts_7 FOR VALUES FROM (600001) TO (700001),
pgbench_accounts_8 FOR VALUES FROM (700001) TO (800001),
pgbench_accounts_9 FOR VALUES FROM (800001) TO (900001)
レンジパーティションとして 10 個に分割されている。

15. 15
2-3.SQL をコピペしやすくなった
● 複数行の SQL はコピペしてもそのまま使いにくい
postgres=# SELECT
postgres-# '2019-12-01'::date + g
postgres-# FROM
postgres-# generate_series(0, 3) AS g;
?column?
------------
2019-12-01
2019-12-02
2019-12-03
2019-12-04
(4 rows)
2019/12/1 から 3 日後までの 4 日間を表示する SQL
そのままコピペして使えない。この辺りを削除しなければいけない。

16. 16
2-3.SQL をコピペしやすくなった
● 13 の新機能「 SET PROMPT2 」を使うと
postgres=# set PROMPT2 ''
postgres=# SELECT
'2019-12-01'::date + g
FROM
generate_series(0, 3) AS g;
2 行目以降を空白など好きな文字列にできる。
※ コピペしやすくなった
空白以外も指定可能
postgres=# set PROMPT2 '> '
postgres=# SELECT
> '2019-12-01'::date + g
> FROM
> generate_series(0, 3) AS g;

17. 17
3. 終わりに
● 12 もいいけど 13 も面白そうな情報が色々出てるよ。
● ログ出力の抑制は、使い所に注意が必要そう。
log_min_duration_statement と組み合わせるといい
感じにいけるか？
● pgbench で簡単にパーティションテーブルが生成でき
るので、パーティションの検証がしやすくなりそう。
● コピペがしやすくなったのはブログとかで記事を投稿し
ている身としては大変ありがたい。