2023/03/03の勉強会で発表されたものです。

1. Drupal Consoleに
特化したモデルを作成する
発表者 K.H

2. 背景・目的
前回はFineTuningの方法やFineTuning実施前後の精度比較を実施した。
その結果FineTuningにより精度が向上することが判明した。
今回はDrupal Consoleに特化したモデルを作成してその精度を確かめる。
また、ベースのモデルを変えてFineTuningを行いモデルによってどのような違いが
出るかを確認する。

3. トレーニングデータについて
Drupal Consoleでは利用可能なコマンドが多いため以下のコマンドを対象としてト
レーニングデータを用意した。
drupal cache rebuild
drupal generate:controller
drupal generate module
drupal generate form
drupal debug router

4. トレーニングデータについて
openAIの公式ドキュメントではコンテンツなどを生成する場合、以下を推奨してい
る。今回は推奨されているフォーマットでトレーニングデータを用意した。
• promptの最後に区切り文字を追加する
• 今回は「/n/n####/n/n」を使用
• completionの最初に「␣」(スペース)を追加する
• completionの最後に「␣END」を追加する

5. トレーニングデータについて
推奨されているフォーマットは以下のようになる。
{
“prompt”: “{text}/n/n####/n/n”,
”completion”: “␣{completion}␣END”
}

6. トレーニングデータについて
今回用意したトレーニングデータは全部で81件で、1コマンドあたり最低8件、最大
で20件となる。トレーニングデータの例を以下に示す。
{"prompt":"cacheを削除するコマンド/n/n###/n/n","completion":" drupal cache rebuild END"}
{"prompt":"cacheを削除するコマンドを教えてください/n/n###/n/n","completion":" drupal cache rebuild
END"}
{"prompt":"キャッシュを削除するコマンド/n/n###/n/n","completion":" drupal cache rebuild END"}
{"prompt":"キャッシュを削除するコマンドを教えて/n/n###/n/n","completion":" drupal cache rebuild
END"}

7. FineTuning実施前の精度
FineTuning実施前の精度を「curie」を使用して計測した。入力として以下の5つを
与えてDrupal Consoleのコマンドが出力されるかどうかを確認した。その結果全て
の入力でDrupal Consoleのコマンドは出力されなかった。
1. Drupal Consoleでキャッシュを削除する方法を教えてください
2. Drupal Consoleでコントローラを作成する方法を教えてください
3. Drupal Consoleでモジュールを作成する方法を教えてください
4. Drupal Consoleでフォームを作成する方法を教えてください
5. Drupal Consoleでルートの一覧を表示する方法を教えてください

8. FineTuningの実施
今回は以下の3モデルをベースとしてFineTuningを実施してその精度を確認する。
• curie
• babbage
• ada

9. FineTuning実施後の精度
FineTuning実施前と同じようにcurie、babbage、adaをベースにしたモデルに対し
て以下の入力を行った。その結果どのモデルでも期待する出力が得られた。
1. キャッシュを削除する方法を教えてください
2. コントローラを作成する方法を教えてください
3. モジュールを作成する方法を教えてください
4. フォームを作成する方法を教えてください
5. ルートの一覧を表示する方法を教えてください

10. モデルによる違い
以下のような入力を行いモデルによる違いを確認した。
• 学習させてないコマンドを出力するような入力
• 入力に誤字を含める
• 学習データに含まれていない言語(英語、関西弁)で入力
• 入力を省略した時
• 入力と出力を逆にする

11. 入力に誤字を含める
入力に誤字を含めたときにモデルによる違いが見られた。
赤字が単語を間違えて入力した箇所、青字が期待する結果と別の結果となった箇所
である。
入力 curie babbage ada
Fromを作成する方法を教えて
ください
drupal generate:add drupal generate form drupal generate form
moudleを作成する方法を教え
てください
drupal generate form drupal generate module drupal
generate:controller
cace削除
drupal debug router drupal cache rebuild drupal cache rebuild
モシュールを作成する方法
drupal
generate:soliloquy
drupal generate form drupal generate module

12. 入力に誤字を含める
入力に誤字があった場合、curieは正しいDrupal Consoleのコマンドを出力しない。
一方、babbageやadaは単語を間違えて入力しても正しいコマンドを出力してくれ
ることがある。

13. 入力と出力を逆にする
今までは〇〇するコマンドを教えてくだいという入力を行っていたが、今回はコマ
ンドを入力に与えてこのコマンドは何を行うかという入力にした。その結果どのモ
デルでも期待する出力を得ることはできなかった
入力 curie babbage ada
「drupal generate form」は何
をする？
drupal generate form drupal generate form drupal generate form
入力と出力の結果

14. まとめ
今回はFintuningを使用してDrupal Consoleに特化したモデルを作成した。どのモデ
ルでも「Drupal」や「Console」といった単語を使用せずにDrupal Consoleのコマ
ンドを出力することができた。
入力に誤字があった場合、ベースにしたモデルによって挙動が変わる。
curieをベースにしたモデルは間違ったコマンドを出力するが、babbageやadaをベ
ースにしたモデルでは正しいコマンドを出力する可能性が高い。