Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Extreme Learning Machine
Ähnlich wie Extreme Learning Machine (20)
Extreme Learning Machine
- 5. 目次 • NN と ELM の比較 – Single Layer Feed‐forward Networks（SLFNs）を例に説明 • ELM の利点 – 学習速度とロバスト性以外にも 5DENSO IT Laboratory, INC.
- 6. NN : モデル構成 1 d・・・ L1 i ・・・・・・ 出力層 隠れ層 入力層 出力層 Output , , 隠れ層 Output , ∈ ∈ , , 隠れ層 Output 活性化 関数 6DENSO IT Laboratory, INC.
- 7. NN : 学習 , , argmax , , , ∈ 1, … , 入力 コスト関数 出力 （学習データ） 最適パラメータ 1 d・・・ L1 i ・・・・・・ 出力層 隠れ層 入力層 , ∈ ∈ 7DENSO IT Laboratory, INC.
- 8. ELM : モデル構成 出力層 Output , , 隠れ層 Output , , 隠れ層 Output 活性化 関数1 d・・・ L1 i ・・・・・・ 出力層 隠れ層 入力層 , ∈ ∈ 8DENSO IT Laboratory, INC.
- 9. ELM : 学習 , ∈ 1, … ,学習データ 活性化関数 隠れノード数 Given STEP : 1 , 1, … , をランダムに生成 STEP : 2 隠れ層の出力行列 を生成 , , ⋯ , , ⋮ ⋱ ⋮ , , ⋯ , , STEP : 3 β の解 β を求める β , : 疑似逆行列 β ⋮⋮ 1 d・・・ L1 i ・・・・・・ 出力層 隠れ層 入力層 , ∈ ∈ 9DENSO IT Laboratory, INC. STEP : 4 STEP1,3で得られた , , 1, … , を 最適パラメータとする
- 11. ELMの利点 • 学習がはやい – 疑似逆行列1発（イテレートがない） • ロバストな解が求まる – 求めるパラメータが少ない • 最適解が求まる – だって、疑似逆行列1発 • 初期値に依存しない、Local Minimumが無い • 多様な活性化関数が利用できる – 有界、非定数、区分連続 • 微分できなくてもよい • 決定するパラメータが少ない – 隠れノード数Lだけ • 普通のNNは、隠れノード数Lに加え、学習率η、収束判定値ε – その後の研究では、0～Lの間で”最適な”ノード数を決定 11DENSO IT Laboratory, INC.
- 12. ちなみに • v.s.Deep Learning（たぶんConvolutionなし？） DENSO IT Laboratory, INC. 12 http://www.ntu.edu.sg/home/egbhuang/pdf/ELM‐General.pdfより抜粋
- 14. 参考資料 • Extreme Learning Machine ポータルサイト – http://www.ntu.edu.sg/home/egbhuang/ – 各論文、ソースコードあります • Workshop on Machine Learning for BioMedical Infomatics での講演資料 – http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/ Fariselli2/ELM‐Workshop‐NUS.pdf • MS Researchでの講演資料 – http://research.microsoft.com/apps/video/dl.aspx?id=144113 – ビデオもあるよ • G.‐B. Huang, et al., “Universal Approximation Using Incremental Networks with Random Hidden Computational Nodes”, IEEE Transactions on Neural Networks, vol. 17, no. 4, pp. 879‐892, 2006. • G.‐B. Huang, et al., “Extreme Learning Machine: Theory and Applications,” Neurocomputing, vol. 70, pp. 489‐501, 2006. 14DENSO IT Laboratory, INC.