Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
SVM Support Vector Machines Ticiano A. C. Bragatto [email_address]
Sumário <ul><li>Vladimir Vapnik </li></ul><ul><li>Histórico </li></ul><ul><li>Conceito </li></ul><ul><ul><li>Classificação...
Vladimir Naumovich Vapnik   <ul><li>Soviético </li></ul><ul><li>Mestrado na Universidade do Uzbequistão(1958) </li></ul><u...
Histórico <ul><li>Kernel linear: 1963 – Vladimir Vapnik </li></ul><ul><li>Kernel trick: 1992 – Boser, Guyon e Vapnik </li>...
Conceito <ul><li>Classificação </li></ul><ul><ul><li>Duas classes </li></ul></ul><ul><li>Regressão </li></ul><ul><li>Métod...
Classificação(Vapnik 1963) <ul><li>Duas classes </li></ul><ul><ul><li>“ Sim” ou “Não” </li></ul></ul><ul><ul><li>Preto ou ...
Regressão(Vapnick - 1997) <ul><li>É criada com máxima margem, como problemas de classificação </li></ul><ul><li>Pode usar ...
Kernel Trick <ul><li>Converte problemas não lineares em lineares em espaço de altíssima dimensão </li></ul><ul><li>Transfo...
Aumento de Dimensões <ul><li>Para uma função de Base Quadratica </li></ul><ul><ul><li>O número de termos (para  m  dimensõ...
Espaços: Entrada  versus  característica
Classificadores Lineares <ul><li>Dados os dois conjuntos ao lado </li></ul><ul><li>Esta é uma boa forma de separação? </li...
Classificadores Lineares <ul><li>Ou esta? </li></ul>
Classificadores Lineares <ul><li>Qual destas é a melhor? </li></ul><ul><li>Para RNA, qualquer uma destas retas é satisfató...
Classificadores Lineares <ul><li>Para SVM, a melhor reta é aquela que mais se distancia dos pontos(vetores) de ambos os co...
Classificadores Lineares Margem Máxima <ul><li>Intuitivamente é mais seguro </li></ul><ul><li>Se erramos na localização da...
 
 
 
 
 
 
 
 
 
Problemas Primal e Dual <ul><li>Primal </li></ul><ul><ul><li>Restrição: Erro nos vetores de treino </li></ul></ul><ul><li>...
Aplicações <ul><li>Identificação de Proteínas, 2000 </li></ul><ul><li>Impressões Digitais, 2001 </li></ul><ul><li>Detecção...
Conclusão: Otimização RNA  versus  SVM <ul><li>RNA: Mínimo Local </li></ul><ul><ul><li>Definir a quantidade de neurônios n...
Como programar: <ul><li>MATLAB: Lenta porém não há necessidade de preocupação com o parâmetro C </li></ul><ul><li>LibSVM: ...
Nächste SlideShare
Wird geladen in …5
×

SVM- Support Vector Machines

2.846 Aufrufe

Veröffentlicht am

Veröffentlicht in: Technologie, Business
  • Als Erste(r) kommentieren

SVM- Support Vector Machines

  1. 1. SVM Support Vector Machines Ticiano A. C. Bragatto [email_address]
  2. 2. Sumário <ul><li>Vladimir Vapnik </li></ul><ul><li>Histórico </li></ul><ul><li>Conceito </li></ul><ul><ul><li>Classificação </li></ul></ul><ul><ul><li>Regressão </li></ul></ul><ul><ul><li>Kernel trick </li></ul></ul><ul><li>Aumento de Dimensões </li></ul><ul><li>Espaços: Entrada versus Característica </li></ul><ul><li>Classificadores Lineares </li></ul><ul><ul><li>Margem Máxima </li></ul></ul><ul><ul><li>Problemas Primal e Dual </li></ul></ul><ul><li>Aplicações </li></ul><ul><li>Conclusão </li></ul><ul><li>Como Programar </li></ul>
  3. 3. Vladimir Naumovich Vapnik <ul><li>Soviético </li></ul><ul><li>Mestrado na Universidade do Uzbequistão(1958) </li></ul><ul><li>Ph. D. em estatística no Institute of Control Science de Moscou(1964) </li></ul><ul><li>Professor nesse Instituto (1961-1990) </li></ul><ul><li>Nomeado professor do Royal Holloway, Universidade de Londres(1995) </li></ul><ul><li>AT&T Bell Labs (1991-2001) </li></ul><ul><li>Atualmente: Funcionário da NEC e professor na Universidade de Columbia(NY) </li></ul>
  4. 4. Histórico <ul><li>Kernel linear: 1963 – Vladimir Vapnik </li></ul><ul><li>Kernel trick: 1992 – Boser, Guyon e Vapnik </li></ul><ul><li>Regressão: 1997 – Vapnik, Golowich e Smola </li></ul>
  5. 5. Conceito <ul><li>Classificação </li></ul><ul><ul><li>Duas classes </li></ul></ul><ul><li>Regressão </li></ul><ul><li>Métodos de treinamento assistido </li></ul><ul><li>“ Kernel trick” </li></ul>
  6. 6. Classificação(Vapnik 1963) <ul><li>Duas classes </li></ul><ul><ul><li>“ Sim” ou “Não” </li></ul></ul><ul><ul><li>Preto ou Branco </li></ul></ul><ul><ul><li>Laranja ou Banana </li></ul></ul><ul><ul><li>0 ou 1 </li></ul></ul><ul><ul><li>-1 ou 1 (usado para as contas) </li></ul></ul><ul><li>Linear (Vapnik 1963) </li></ul><ul><li>Kernel trick(Vapnik et al 1992) </li></ul>
  7. 7. Regressão(Vapnick - 1997) <ul><li>É criada com máxima margem, como problemas de classificação </li></ul><ul><li>Pode usar kernels lineares e não lineares( Gauss Radial Basis Function(RBF) , polinomial, sigmoidal) </li></ul>
  8. 8. Kernel Trick <ul><li>Converte problemas não lineares em lineares em espaço de altíssima dimensão </li></ul><ul><li>Transforma funções que dependem de produto interno </li></ul><ul><li>Substitui o produto interno com outras funções: </li></ul><ul><ul><li>RBF: </li></ul></ul><ul><ul><li>Polinomial homogêneo: </li></ul></ul><ul><ul><li>Polinomial não homogêneo: </li></ul></ul><ul><ul><li>Sigmoidal: </li></ul></ul>
  9. 9. Aumento de Dimensões <ul><li>Para uma função de Base Quadratica </li></ul><ul><ul><li>O número de termos (para m dimensões de entrada) </li></ul></ul><ul><ul><li>=(m+2)(m+1)/2 </li></ul></ul><ul><ul><li>Para m=2  6-D </li></ul></ul><ul><ul><li>Para m=3  10-D </li></ul></ul><ul><li>E para uma função de kernel elevada a 3? </li></ul><ul><li>E como aproximar uma Sigmoidal? </li></ul>
  10. 10. Espaços: Entrada versus característica
  11. 11. Classificadores Lineares <ul><li>Dados os dois conjuntos ao lado </li></ul><ul><li>Esta é uma boa forma de separação? </li></ul>
  12. 12. Classificadores Lineares <ul><li>Ou esta? </li></ul>
  13. 13. Classificadores Lineares <ul><li>Qual destas é a melhor? </li></ul><ul><li>Para RNA, qualquer uma destas retas é satisfatória, uma vez que separou corretamente os conjuntos! </li></ul>
  14. 14. Classificadores Lineares <ul><li>Para SVM, a melhor reta é aquela que mais se distancia dos pontos(vetores) de ambos os conjuntos, formando a maior margem possível </li></ul>
  15. 15. Classificadores Lineares Margem Máxima <ul><li>Intuitivamente é mais seguro </li></ul><ul><li>Se erramos na localização das bordas, uma margem maior nos dá menor chance de erro </li></ul><ul><li>É imune à remoção de algum vetor que não seja um SV </li></ul><ul><li>Segundo a teoria Vapnik-Chervonenkis(1960-90), o erro é minimizado para uma margem maximizada </li></ul><ul><li>Empiricamente funciona muito bem </li></ul>
  16. 25. Problemas Primal e Dual <ul><li>Primal </li></ul><ul><ul><li>Restrição: Erro nos vetores de treino </li></ul></ul><ul><li>Dual </li></ul><ul><ul><li>Restrição: Parâmetro Custo C </li></ul></ul>
  17. 26. Aplicações <ul><li>Identificação de Proteínas, 2000 </li></ul><ul><li>Impressões Digitais, 2001 </li></ul><ul><li>Detecção e reconhecimento de faces, 1997/2000 </li></ul><ul><li>Reconhecimento de textos, 1998 </li></ul><ul><li>Assinaturas, 2003 </li></ul><ul><li>Análise de Crédito, 1999 </li></ul><ul><li>Indústria de Mineração, 2003 </li></ul><ul><li>Siderurgia, 2004 </li></ul><ul><li>Técnica ganhadora no concurso mundial de predição de carga elétrica, 2001 </li></ul>
  18. 27. Conclusão: Otimização RNA versus SVM <ul><li>RNA: Mínimo Local </li></ul><ul><ul><li>Definir a quantidade de neurônios na camada intermediária </li></ul></ul><ul><li>SVM: Mínimo Global </li></ul><ul><ul><li>Definir o melhor parâmetro C (custo) </li></ul></ul>
  19. 28. Como programar: <ul><li>MATLAB: Lenta porém não há necessidade de preocupação com o parâmetro C </li></ul><ul><li>LibSVM: </li></ul><ul><ul><li>Biblioteca existente em várias linguagens </li></ul></ul><ul><ul><li>Usada em diversas aplicações e nossa aula prática </li></ul></ul><ul><ul><li>http://www.csie.ntu.edu. tw/~cjlin/libsvm / </li></ul></ul>

×