Recommended
Recommended
More Related Content
What's hot
What's hot (20)
More from QlikPresalesJapan
More from QlikPresalesJapan (20)
TECHTALK 20230228 ビジネスユーザー向け機械学習入門 第３回～機械学習のモデルの評価と検証
- 1. Yuki Suzuki Senior Solution Architect ビジネスユーザー向け機械学習 入門 第３回 機械学習のモデルの評価と検証 2023/02/14 開始までしばらくお待ちください。
- 2. Yuki Suzuki Senior Solution Architect ビジネスユーザー向け機械学習 入門 第３回 機械学習のモデルの評価と検証 2023/02/14
- 4. 5 5 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させ ていただきます。
- 5. 6 6 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開されます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、 Slideshareをご覧ください。 • SlideShareからのPDF版のダウンロードはSlideShareへの登録が必 要となります。
- 6. 7 7 アジェン ダ 前回の復習 モデルの評価の重要性 モデルのスコアリング ⁻ 二項分類のモデルのスコアリング ⁻ 多項分類のモデルのスコアリング ⁻ 回帰モデルのスコアリング ⁻ 時系列モデルのスコアリング 特徴量の重要度 モデルの改良 まとめ
- 8. 9 前回の復習
- 9. 10 学習用データの 準備 学習 目的の定義 意思決定・行 動 KPIの設定 アクションの設定 機械学習の問題定 義 学習用データ収集 クリーニング、 キュレーション、 加工 特徴量の選択 特徴量の作成 検証用データ分割 アルゴリズムの 選択 アルゴリズムの 実行 モデルの作成 モデルの決定 予測用データの準 備 モデルの適用 予測結果の評価 共有 モデルの評価 クロスバリデー ション モデルの評価 ハイパーパラメー タの最適化 予測モデルの開発 データパイプライ ン 予測の展開 学習用データの前処理の重要性 学習用データが適切でなければ精度の高い予測モデルは作成することができません。学習データの準備は 一般的に全行程の8割といわれており、非常に重要ですが、ビジネス・業界知識が必要であり、完全に自 動化するのは困難な領域です。 収集したデータをよく観察し、ビジネス上の知識をもとに学習用データとして加工していくことが必要で す。 また実際は作成したモデルを評価して、再度データの加工を行うことを繰り返します。 学習用データの 準備 学習用データ収集 クリーニング、 キュレーション、 加工 特徴量の選択 特徴量の作成 検証用データ分割 データパイプライ ン 繰り返し
- 10. 11 データの確認と前処理 欠損値はあるか 特徴量の数は適切か データ型（数値・文字列）は正しいか さらにふさわしい特徴量はないか 各特徴量の値はどのように分布してい るか 各特徴量の値の範囲は同等か 外れ値はないか 欠損値の処理 特徴量の削減 データ型の変換 クラスバランス カテゴリ変数のエンコーディング 数値変数のスケーリング 外れ値の排除 日付変数の変換 新しい特徴量の作成 検証用データの分割 収集データの確認ポイント 前処理
- 11. 12 モデルの評価の重要 性
- 12. 13 学習用データの 準備 学習 目的の定義 意思決定・行 動 KPIの設定 アクションの設定 機械学習の問題定 義 学習用データ収集 クリーニング、 キュレーション、 加工 特徴量の選択 特徴量の作成 検証用データ分割 アルゴリズムの 選択 アルゴリズムの 実行 モデルの作成 モデルの決定 予測用データの準 備 モデルの適用 予測結果の評価 共有 モデルの評価 クロスバリデー ション モデルの評価 ハイパーパラメー タの最適化 予測モデルの開発 データパイプライ ン 予測の展開 モデルの作成と評価 機械学習では、学習用データによる学習を行いモデルを作成し、できたモデルを評価します。この過程を 適切なモデルができるまで繰り返いします。 自動機械学習ツールでは、アルゴリズムを適用してモデルを作成する部分は自動で行いますので、 モデルの評価に焦点を当てます。 学習用データの 準備 繰り返し モデルの評価 クロスバリデー ション モデルの評価 ハイパーパラメー タの最適化 学習 アルゴリズムの 選択 アルゴリズムの 実行 モデルの作成
- 15. 16 モデルのスコアリン グ • 二項分類モデルのスコアリング • 多項分類モデルのスコアリング • 回帰モデルのスコアリング • 時系列モデルのスコアリング
- 16. 17 二項分類モデルのスコアリング 混同行列 二項分類のモデルの評価には混同行列を使用します。 混同行列とは分類結果を表形式にまとめるものです。それぞれの件数を確認します。 実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 正解 正解
- 17. 18 二項分類モデルのスコアリング 混同行列の作成例 顧客 500 人について解約する (Yes) か、解約しないか (No) を予測した例です。 各マス目の数値を使用して、評価のスコアリングを計算します。 実は Yes 実は No Yes と予想 70 TP 真陽性 5 FP 偽陽性 75 No と予想 15 FN 偽陰性 410 TN 真陰性 425 85 415 合計 500 全体の顧客 数となる
- 18. 19 二項分類モデルのスコアリング 正解率（Accuracy） 正解率とは、モデルが正しい予測を行った割合です。Yes も No もどちらも重要な場合に使用します。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TP + TN (正しく予測した数） TP+FP+FN+TN（全体） 高ければよいというわけではない Yes と No が不均衡なデータに対してはあまり意味がない
- 19. 20 二項分類モデルのスコアリング 再現率（Recall） 再現率とは真陽性率のことです。実際の値が Yes である場合に、そのモデルが正確に Yes と予測した割合で す。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TP (YesをYesと予測した数） TP + FN（実際にYesの数） Yes は確実に Yes として見逃さない、No を Yes として分類しても問題ない場合に重視します。 病気の診断、異常検知など
- 20. 21 二項分類モデルのスコアリング 適合率（Precision） 適合率とは陽性適中率とも呼びます。Yes と予測したデータのうち、実際の値が Yes であった割合です。 実は No であるのに Yes と認識した誤りが多いほど低くなります。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TP (YesをYesと予測した数） TP + FP（Yesと予測した数） Yes を No と分類してもよいが、No は確実に No として分類したい場合に重視します。 検索システムで検索ワードに関連するものを絞り込みたい場合 迷惑メール判定で、誤って迷惑メールとしたくない場合
- 21. 22 二項分類モデルのスコアリング 再現率と適合率のトレードオフ 再現率と適合率はトレードオフの関係にあります。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TP TP + FN TP TP + FP 再現率＝ 適合率＝ 偽陰性が減ると再現率は上がる Yesと予想するほうがよい 偽陽性が減ると適合は上がる Noと予想するほうがよい 偽陽性と偽陰性の どちらが望ましく ないかが重要
- 22. 23 実は Yes (詐欺) 実は No (正常) Yes (詐欺) と予想 詐欺サイトと予測し、 実際に詐欺サイト 詐欺サイトと予測し ているが、実際は正 常 No (正常) と予想 詐欺サイトだが、正 常と予測 正常と予測し、実際 に正常 実は Yes (有効) 実は No (効かない) Yes (有効) と予想 薬が効くと予測し、 実際に効く 薬が効くと予測して いるが、実は効かな い No (効かな い) と予想 薬は実際は効くが効 かないと予測 薬が効かないと予測 し、実際に効かない 二項分類モデルのスコアリング 再現率と適合率のどちらを重視するか 癌の治療薬が有効かそうでないかを予測 TP TP + FP 適合率を重視する 詐欺サイトかそうでないかを予測 TP TP + FN 再現率を重視する 誤 誤 誤 誤
- 23. 24 二項分類モデルのスコアリング F1 F1は再現率と適合率の調和平均をとる指標です。トレードオフにある再現率と適合率を合わせて評価します。 F値ともいいます。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 ２×再現率×適合率 再現率 ＋ 適合率
- 24. 25 二項分類モデルのスコアリング 特異度（Specificity） Specificity とは、真陰性率のことです。 実際の値が No である場合に、そのモデルが正確に No と予測した頻度を測定します。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TN (NoをNoと予測した数） FP+TN（実際にNoの数） No の予測の取りこぼしをできるだけ少なくし、偽陽性を減らしたい場合に重視
- 25. 26 二項分類モデルのスコアリング 陰性適中率（NPV） 陰性的中率（Negative predictive value）は、No と予測したときに、実際の値が No であった割合です。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TN (実際にNoの数） FN+TN（ Noと予測した数）
- 26. 27 二項分類モデルのスコアリング 偽陰性率（Miss Rate） 偽陰性率とは、実際の値が Yes である場合に、そのモデルがNoと予測した割合です。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 FN (YesをNoと予測した数） TP+FN（実際にYesの数）
- 27. 28 二項分類モデルのスコアリング 偽陽性率（Fall Out） 偽陽性率とは、実際の値が No である場合に、そのモデルがYesと予測した割合です。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 FP (NoをYesと予測した数） FP+TN（実際にNoの数）
- 28. 29 二項分類モデルのスコアリング マシューズ相関係数 (MCC) マシューズ相関係数 (MCC)は完全な予測結果の混同行列とどのくらい一致しているかを評価します。 範囲は -1 から 1 で、1 はモデルがすべてのサンプルを正しく予測したことを意味します。 0の時はランダムな予測で、-1の時は、完全に逆の予測をしているということになります。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 (TP x TN) - (FP x FN) √(TP + FP) x (FN + TN) x (FP + TN) x (TP + FN) YesとNoが大きく偏ったデータでは他の指標で正しく評価できず、MCCが有効な場合があり ます。 また他の指標とことなり、少数派と多数派のどちらをYesとするかの影響もうけません。 マシューズ相関係数とは – Matthews Correlation Coefficient –
- 29. 30 二項分類モデルのスコアリング ROC曲線（Receiver Operating Characteristic Curve） ROC曲線とは、しきい値を１から０に動かしながら、真陽性率をｙ軸に、偽陽性率をｘ軸にプロットしたも のです。予測の正確さを表す指標ではなく、実際の結果が陽性である場合に、モデルがポジティブ クラスを 予測するのにどれだけ優れているかを示しています。 実は Yes 実は No Yes と予 想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 偽陽性率 真陽性率 よい よくない ランダム FP (NoをYesと予測した数） FP+TN（実際にNoの数） TP (YesをYesと予測した数） TP + FN（実際にYesの数）
- 30. 31 二項分類モデルのスコアリング しきい値 ある分類に所属する確率がしきい値以上になった場合に、その分類と予測されます。そのためしきい値を 変えると、予測結果が変わります。しきい値=0.5がよく使われますが、要件に応じて調整します。 実はNo 実はYes TP TN しきい値 しきい値= 0.5 の場合 実はNo 実はYes TP TN FN しきい値 しきい値= 0.45 の場合 FP FN FP FN（偽陰性率）が減り、FP（偽陽性率）が増える しきい値を大きくすると逆になる OPTiM TECH BLOG 【初心者向け】 機械学習におけるクラス分類の評価指標の解説
- 31. 32 二項分類モデルのスコアリング ROC曲線としきい値 しきい値=0の時はすべてYesと予測 真陽性率も偽陽性率も１ FP TP 真 陽 性 率 よい よくない ランダム 偽陽性率 しきい値が0~1の時 真陽性率は高く、偽陽性率は低い TP TN しきい値=1の時はすべてNoと予測 真陽性率も偽陽性率も0 FN TN FP FN 良いモデル OPTiM TECH BLOG 【初心者向け】 機械学習におけるクラス分類の評価指標の解説 しきい値が0~1の時 真陽性率は低く、偽陽性率が高い TP TN FP FN 悪いモデル 良いモデルは常に真陽性率が高い
- 32. 33 真 陽 性 率 ランダムな予測 偽陽性率 二項分類モデルのスコアリング AUC（Area Under the ROC Curve） 完全な予測 AUCとはROC曲線の下の部分の面積です。完全な予測を行った場合は、面積は１となり、ランダムな予測 の場合は0.5となります。モデルの改善によりどの程度、精度が向上したかを確認する場合に曲線ではわか りにくく、面積で確認した方が有効な場合があります。 ランダムな予測
- 33. 34 二項分類モデルのスコアリング LogLoss LogLoss とは、予測がどれだけ正解に近いかという予測の確実性を表します。値が低いほど、予測が優れて いることを意味します。最適なモデルの LogLoss は 0 になります。 正解率 LogLoss 0.0 0.2 0.3 0.4 0.6 0.7 0.8 0.9 病気でない (0) 病気である (1) 確率値を正解値と比較してスコア を算出
- 34. 35 二項分類モデルのスコアリング まとめ 評価指標 内容 計算式 特長 混 同 行 列 正解率 Accuracy モデルが正しい予測を行った割合 (TP+TN)/(TP+FP+FN+FP) Yes も No もどちらも重要 な場合 再現率（真陽性率） Recall 実際の Yes を Yes と予測した割合 TP/(TP+FN) Yesを見逃したくない場合 適合率（陽性適中率） Precision Yes の予測のうち、実際に Yes であった割合 TP/(TP+FP) 偽陽性を減らしたい場合 F1 再現率と適合率の調和平均 (2×再現率×適合率)/(再現率＋適合率) 特異度（真陰性率） Specificity 実際の No を No と予測した割合 TN/(FP+TN) No を見逃したくない場合 陰性適中率 NPV No の予測のうち、実際に No であった割合 TN/(FN+TN) 偽陰性を減らしたい場合 偽陰性率 Miss Rate 実際の Yes をNo と予測した割合 FN/(TP+FN) 偽陽性率 Fall Out 実際の No をYes と予測した割合 FP/(FP+TN) マシューズ相関係数 MCC 完全な予測結果の混同行列とどのくらい一致 しているかを示す ( (TP x TN) - (FP x FN)) /√((TP + FP) x (FN + TN) x (FP + TN) x (TP + FN)) ROC曲線 モデルがポジティブ クラスを予測するのにどれだけ優れているかを示す AUC ROC曲線の下の部分の面積 LogLoss 確率値を正解値と比較してスコアを算出、０に近いほどよい
- 35. 36 多項分類モデルのスコアリング F1の平均値 Macro F1 各分類クラスのF1を計算し、平均値をとる すべてのクラスを同等に扱う 0.0～1.0 で、1.0に近いほどよい クラスによって不均衡なデータに使用 Micro F1 全分類クラスをまとめてF1を計算する（全予測のうちの正解の割合） 0.0～1.0 で、1.0に近いほどよい 正解率と同じ、理解しやすい Weighted F1 Macro F1と同様に各分類クラスのF1を計算し、平均を求める際に各分類クラスに重みづけを行って計 算する 特定のクラスの精度が重要な場合に使用
- 37. 38 回帰モデルのスコアリング MSEとRMSE すべてのデータの正解値と予測値の差の２乗を集計（残差平方 和） すべてのデータ数 MSE = すべてのデータの正解値と予測値の差の２乗を集計（残差平方 和） すべてのデータ数 RMSE = √ MSE （Mean Squared Error 平均二乗誤差） 予測値と実測値の間に予想される平均的な±の差の二乗です。 RMSE （Root Mean Squared Error 平均平方二乗誤差） 予測値と実測値の間に予想される平均的な±の差の二乗の平方根です。 ０に近いほどよい。 誤差を二乗するので間違いを重視する指標、ただし外れ値の影響を受けやすいので注意が必要です。
- 39. 40 回帰モデルのスコアリング MAE（Mean Absolute Error 平均絶対値誤差） 各データの正解値と予測値の差の絶対値の平均です。 絶対値をとるので、予測誤差のプラスマイナスの相殺を防ぎます。 二乗により大きく単位がかわらないので理解しやすいが、誤差の評価はわかりにくい点があります。 すべてのデータの正解値と予測値の差の絶対値を集計 すべてのデータ数 MAE =
- 40. 41 時系列モデルのスコアリング MAPE（平均絶対パーセント誤差） MAPEとは各データについて、予測値と正解値との差を正解値で割った値の絶対値の平均です。 予測が完全な場合は0となります。 正解値と予測値の差 正解値 各データの の絶対値を集計 MAPE = データ数 率であり相対誤差であるため、スケールの異なるデータの予測を評価しやすい。 （例えば店舗ごとに大きく売上が異なる場合の予測など） 正解値に０があるとエラーとなる。０に近い正解値の場合、極端に大きくなる。 ［評価関数］平均絶対パーセント誤差（MAPE：Mean Absolute Percentage Error）とは？
- 41. 42 特徴量の重要度
- 42. 43 特徴量の重要度 Permutation Importance F1 F2 F3 ・・・ 目的変数 学習データ 予測結果 F1 F2 F3 ・・・ 目的変数 順序をシャッ フル 検証データ１ 予測結果１ F1 F2 F3 ・・・ 目的変数 順序をシャッ フル 検証データ２ ： ： 予測結果２ Permutation Importance の計算（全特徴量について実施） シャッフルする と目的変数との 関連性がなくな る。 シャッフルして 精度が下がる場 合、その特徴量 は重要である。 比較 Permutation Importance は、モデルの全体的な予測に対して各特徴量がどの程度重要であるかを測定しま す。データセット全体に対して計算されます。 個々の行に対する影響を理解するためには使用できません。また正負の区別はありません。
- 43. 44 特徴量の重要度 Permutation Importance の可視化 下記のように特徴量ごとにPermutation Importanceの値を視覚化して確認するのが有効です。 影響が大きい特徴量 影響が小さい特徴量 影響が小さい特 徴量は学習デー タから省いても よい
- 44. 45 特徴量の重要度 SHAP SHAPは、データの行レベルで、どの特徴量が予測結果に最も影響を与えるかを示す値です。ある特徴量が、 その行の他の特徴量やデータの平均的な結果と比較して、一つの行の予測にどのような影響を与えるかを 表しています。予測された結果に影響を与えた方向に応じて、正または負になります。アルゴリズムを使 用して計算されます。 F1 F2 F3 ・・・ 目的変数 学習データ SHAPの概念（もともとはゲーム理論の報酬計算） F1の目的変数に対する貢献度 F2の目的変数に対する貢献度 F3の目的変数に対する貢献度 F1とF2の組み合わせによるF1の目的変数に対する貢献度 F1とF2の組み合わせによるF2の目的変数に対する貢献度 F1とF3の組み合わせによるF1の目的変数に対する貢献度 F1とF3の組み合わせによるF3の目的変数に対する貢献度 F2とF3の組み合わせによるF2の目的変数に対する貢献度 F2とF3の組み合わせによるF3の目的変数に対する貢献度 F1とF2とF3の組み合わせによるF1の目的変数に対する貢献度 F1とF2とF3の組み合わせによるF2の目的変数に対する貢献度 F1とF2とF3の組み合わせによるF3の目的変数に対する貢献度 : : 予測結果を活用するときに重 要な値となる。 ・なぜこの予測結果となった のか ・どうすれば予測を変えられ るのか
- 49. 50 モデルの改良
- 51. 52 モデルの改良 学習用データの改善 学習用データの特徴量を除外・追加し、モデルのスコアの変化を確認します。 特徴量の除外 相関が高すぎる特徴量の場合、相関がある2つの特徴量から、特徴量の重要度が低いほうを除外します。 Permutation Importance を確認し、重要度が低すぎる特徴量は除外します。 Permutation Importance を確認し、重要度が高すぎる特徴量はデータリーケージが原因でないか確認しま す。 特徴量の追加 モデルのスコアが良くならない場合は、目的変数と関連のある特徴量がまだ学習用データセットに取り込 まれていないことが原因かもしれません。新しいデータの収集や特徴量の追加を検討します。
- 54. 55 まとめ
- 55. 56 まとめ モデルの評価では、ビジネス ドメインの知識とスコアリング、学習データの理解をあわせ、許容でき ないほど悪い結果を招くことなく、投資に対するプラスの利益を生み出すことができるレベルのモデ ルを判断することが重要 モデルのスコアリング • 二項分類モデルのスコアリング：混同行列を使用して求める、正解率、再現率、適合率、F1など • 多項分類モデルのスコアリング：F1の平均値であるMacro F1、Micro F1、Weighted F1など • 回帰モデルのスコアリング：正解値と予測値の誤差を計算、MSEとRMSE、決定係数（R2）、 MAEなど • 時系列モデルのスコアリング：MAPE 特徴量の重要度 • Permutation Importanceは、モデルの全体的な予測に対して各特徴量がどの程度重要であるかを測 定 • SHAPは、データの行レベルで、どの特徴量が予測結果に最も影響を与えるかを示し、なぜこの予 測結果となったのか、どうすれば予測を変えられるのかの検討に使用することができる モデルの改良には、特徴量の除外や追加による学習データの改善、モデルに対する設定値であるハイ パーパラメータの最適化を行う
- 56. 57 参考にした書籍 図解即戦力 機械学習&ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書 株式会社アイデミー 山口 達輝 、 松田 洋之 技術評論社 機械学習のための「前処理」入門 足立 悠 リックテレコム Kaggleで勝つデータ分析の技術 門脇 大輔 , 阪田 隆司 , 保坂 桂佑 , 平松 雄司 技術評論社 見て試してわかる機械学習アルゴリズムの仕組み 機械学習図鑑 秋庭 伸也 , 杉山 阿聖 , 寺田 学 , 加藤 公一 (監修) 翔泳社
- 57. 58 Q & A
- 58. 59 Q & A ご質問 回答 1 [大きく偏ったデータではF1やMCC等使うとよいかも]という 事ですが、大きく偏ったとはどれくらいまでのイメージで しょうか？ もちろん1:99は偏りがあるイメージですが、25:75や15:85は 所感としてどうでしょうか？ データや予測したい内容によって都度変わります。「偏りが○○だからMCCを使う」では なく、すべての指標を見つつ、どれを重視すべきかデータや学習結果を見て評価していく ことになるかと思います。 https://zenn.dev/mosamosa/articles/b5f861cd15c5f050e872 こういった検証記事などもありました。 2 Qlik AutoMLについて カテゴリー型の特徴量もワンホットエンコーディングなどの 前処理不要でそのまま投入可能でしょうか？ 可能です。Qlik AutoMLには自動でエンコードする機能があります。 3 Qlik AutoMLについて 回帰モデルの評価で予測値と実測値をプロットしたグラフは 表示されるのでしょうか？ グラフは表示されません。自動で表示されるのは、R2,RMSE,MSE,MAEの数値のみと、 Permutation importanceとSHAP importanceのグラフです。予測を行った結果のファイル を出力することができるので、予測値と実測値の可視化はQlik Senseのアプリを作成して みることができます。 4 Qlik AutoMLについて 自動的に学習データとテスト（検証）データに分割されて、 テストデータを使って精度が出ると思いますが、 そのテストデータのダウンロードはできるのでしょうか？ （予測値と実測値の詳細比較をしたいため） Qlik AutoMLには、自動でデータのホールドアウトとクロスバリデーションを行う機能が ありますが、その際の検証用データを出力することはできません。 別途検証を行いたい場合は、予測モデルをDeployして検証用データを適用し、予測ファイ ルを作成する必要があります。この予測ファイルと検証用データの実測値をQlik Senseの アプリで比較することができます。 今回のセミナーは一般的な機械学習について扱っています。 Qlik AutoMLについてはこちらの過去のテックトークをご確認ください。 https://youtu.be/neWkf8Nr1Ms
- 59. 60 その他のお知らせ
- 60. 61 オンラインでの技術情報提供 Qlik Japanプリセールスチームではオンラインの技術情報提供を推進しています。 セミナー トレーニング LT形式のTips共有 技術イベント TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik Tech Playのグループをフォローいただくと、イベント情
- 63. 64 64 Webセミナー過去動画・資料 https://www.slideshare.net/QlikPresalesJapan/presentations https://youtube.com/playlist?list=PLTGfcjhh8Hh5aTTk-PDzg-dEhCtvh5IJ0 YouTube プレイリスト TECH TALK Slideshare QlikPresalesJapan
- 65. 66 66 66 66 66 66 「Qlik Sense 参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バイ ブル ・判型：B5 変 ・総ページ数：～480 ページ程度 ・予価本体：4,200円 (+税) • QlikSpaceの記事をベースに、書籍用に大幅 にカスタマイズ＆加筆 • 1 冊でQlik Sense の基本をマスターし（＝ 基本編）、ニーズの高い分析例（＝応用編） をできるだけ丁寧に紹介
- 66. 67 その他の情報 セミナー動画・事例紹介 ・デモ・新機能紹介 Qlik Japan Youtube Qlik Community Japan 製品・技術Q&A、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公 開
- 67. 来年もよろしくお願いします！