SVM Support Vector Machines Ticiano A. C. Bragatto [email_address]
Sumário <ul><li>Vladimir Vapnik </li></ul><ul><li>Histórico </li></ul><ul><li>Conceito </li></ul><ul><ul><li>Classificação...
Vladimir Naumovich Vapnik   <ul><li>Soviético </li></ul><ul><li>Mestrado na Universidade do Uzbequistão(1958) </li></ul><u...
Histórico <ul><li>Kernel linear: 1963 – Vladimir Vapnik </li></ul><ul><li>Kernel trick: 1992 – Boser, Guyon e Vapnik </li>...
Conceito <ul><li>Classificação </li></ul><ul><ul><li>Duas classes </li></ul></ul><ul><li>Regressão </li></ul><ul><li>Métod...
Classificação(Vapnik 1963) <ul><li>Duas classes </li></ul><ul><ul><li>“ Sim” ou “Não” </li></ul></ul><ul><ul><li>Preto ou ...
Regressão(Vapnick - 1997) <ul><li>É criada com máxima margem, como problemas de classificação </li></ul><ul><li>Pode usar ...
Kernel Trick <ul><li>Converte problemas não lineares em lineares em espaço de altíssima dimensão </li></ul><ul><li>Transfo...
Aumento de Dimensões <ul><li>Para uma função de Base Quadratica </li></ul><ul><ul><li>O número de termos (para  m  dimensõ...
Espaços: Entrada  versus  característica
Classificadores Lineares <ul><li>Dados os dois conjuntos ao lado </li></ul><ul><li>Esta é uma boa forma de separação? </li...
Classificadores Lineares <ul><li>Ou esta? </li></ul>
Classificadores Lineares <ul><li>Qual destas é a melhor? </li></ul><ul><li>Para RNA, qualquer uma destas retas é satisfató...
Classificadores Lineares <ul><li>Para SVM, a melhor reta é aquela que mais se distancia dos pontos(vetores) de ambos os co...
Classificadores Lineares Margem Máxima <ul><li>Intuitivamente é mais seguro </li></ul><ul><li>Se erramos na localização da...
 
 
 
 
 
 
 
 
 
Problemas Primal e Dual <ul><li>Primal </li></ul><ul><ul><li>Restrição: Erro nos vetores de treino </li></ul></ul><ul><li>...
Aplicações <ul><li>Identificação de Proteínas, 2000 </li></ul><ul><li>Impressões Digitais, 2001 </li></ul><ul><li>Detecção...
Conclusão: Otimização RNA  versus  SVM <ul><li>RNA: Mínimo Local </li></ul><ul><ul><li>Definir a quantidade de neurônios n...
Como programar: <ul><li>MATLAB: Lenta porém não há necessidade de preocupação com o parâmetro C </li></ul><ul><li>LibSVM: ...
Nächste SlideShare
Wird geladen in …5
×

SVM- Support Vector Machines

2.800 Aufrufe

Veröffentlicht am

Veröffentlicht in: Technologie, Business
0 Kommentare
2 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
2.800
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
24
Aktionen
Geteilt
0
Downloads
120
Kommentare
0
Gefällt mir
2
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

SVM- Support Vector Machines

  1. 1. SVM Support Vector Machines Ticiano A. C. Bragatto [email_address]
  2. 2. Sumário <ul><li>Vladimir Vapnik </li></ul><ul><li>Histórico </li></ul><ul><li>Conceito </li></ul><ul><ul><li>Classificação </li></ul></ul><ul><ul><li>Regressão </li></ul></ul><ul><ul><li>Kernel trick </li></ul></ul><ul><li>Aumento de Dimensões </li></ul><ul><li>Espaços: Entrada versus Característica </li></ul><ul><li>Classificadores Lineares </li></ul><ul><ul><li>Margem Máxima </li></ul></ul><ul><ul><li>Problemas Primal e Dual </li></ul></ul><ul><li>Aplicações </li></ul><ul><li>Conclusão </li></ul><ul><li>Como Programar </li></ul>
  3. 3. Vladimir Naumovich Vapnik <ul><li>Soviético </li></ul><ul><li>Mestrado na Universidade do Uzbequistão(1958) </li></ul><ul><li>Ph. D. em estatística no Institute of Control Science de Moscou(1964) </li></ul><ul><li>Professor nesse Instituto (1961-1990) </li></ul><ul><li>Nomeado professor do Royal Holloway, Universidade de Londres(1995) </li></ul><ul><li>AT&T Bell Labs (1991-2001) </li></ul><ul><li>Atualmente: Funcionário da NEC e professor na Universidade de Columbia(NY) </li></ul>
  4. 4. Histórico <ul><li>Kernel linear: 1963 – Vladimir Vapnik </li></ul><ul><li>Kernel trick: 1992 – Boser, Guyon e Vapnik </li></ul><ul><li>Regressão: 1997 – Vapnik, Golowich e Smola </li></ul>
  5. 5. Conceito <ul><li>Classificação </li></ul><ul><ul><li>Duas classes </li></ul></ul><ul><li>Regressão </li></ul><ul><li>Métodos de treinamento assistido </li></ul><ul><li>“ Kernel trick” </li></ul>
  6. 6. Classificação(Vapnik 1963) <ul><li>Duas classes </li></ul><ul><ul><li>“ Sim” ou “Não” </li></ul></ul><ul><ul><li>Preto ou Branco </li></ul></ul><ul><ul><li>Laranja ou Banana </li></ul></ul><ul><ul><li>0 ou 1 </li></ul></ul><ul><ul><li>-1 ou 1 (usado para as contas) </li></ul></ul><ul><li>Linear (Vapnik 1963) </li></ul><ul><li>Kernel trick(Vapnik et al 1992) </li></ul>
  7. 7. Regressão(Vapnick - 1997) <ul><li>É criada com máxima margem, como problemas de classificação </li></ul><ul><li>Pode usar kernels lineares e não lineares( Gauss Radial Basis Function(RBF) , polinomial, sigmoidal) </li></ul>
  8. 8. Kernel Trick <ul><li>Converte problemas não lineares em lineares em espaço de altíssima dimensão </li></ul><ul><li>Transforma funções que dependem de produto interno </li></ul><ul><li>Substitui o produto interno com outras funções: </li></ul><ul><ul><li>RBF: </li></ul></ul><ul><ul><li>Polinomial homogêneo: </li></ul></ul><ul><ul><li>Polinomial não homogêneo: </li></ul></ul><ul><ul><li>Sigmoidal: </li></ul></ul>
  9. 9. Aumento de Dimensões <ul><li>Para uma função de Base Quadratica </li></ul><ul><ul><li>O número de termos (para m dimensões de entrada) </li></ul></ul><ul><ul><li>=(m+2)(m+1)/2 </li></ul></ul><ul><ul><li>Para m=2  6-D </li></ul></ul><ul><ul><li>Para m=3  10-D </li></ul></ul><ul><li>E para uma função de kernel elevada a 3? </li></ul><ul><li>E como aproximar uma Sigmoidal? </li></ul>
  10. 10. Espaços: Entrada versus característica
  11. 11. Classificadores Lineares <ul><li>Dados os dois conjuntos ao lado </li></ul><ul><li>Esta é uma boa forma de separação? </li></ul>
  12. 12. Classificadores Lineares <ul><li>Ou esta? </li></ul>
  13. 13. Classificadores Lineares <ul><li>Qual destas é a melhor? </li></ul><ul><li>Para RNA, qualquer uma destas retas é satisfatória, uma vez que separou corretamente os conjuntos! </li></ul>
  14. 14. Classificadores Lineares <ul><li>Para SVM, a melhor reta é aquela que mais se distancia dos pontos(vetores) de ambos os conjuntos, formando a maior margem possível </li></ul>
  15. 15. Classificadores Lineares Margem Máxima <ul><li>Intuitivamente é mais seguro </li></ul><ul><li>Se erramos na localização das bordas, uma margem maior nos dá menor chance de erro </li></ul><ul><li>É imune à remoção de algum vetor que não seja um SV </li></ul><ul><li>Segundo a teoria Vapnik-Chervonenkis(1960-90), o erro é minimizado para uma margem maximizada </li></ul><ul><li>Empiricamente funciona muito bem </li></ul>
  16. 25. Problemas Primal e Dual <ul><li>Primal </li></ul><ul><ul><li>Restrição: Erro nos vetores de treino </li></ul></ul><ul><li>Dual </li></ul><ul><ul><li>Restrição: Parâmetro Custo C </li></ul></ul>
  17. 26. Aplicações <ul><li>Identificação de Proteínas, 2000 </li></ul><ul><li>Impressões Digitais, 2001 </li></ul><ul><li>Detecção e reconhecimento de faces, 1997/2000 </li></ul><ul><li>Reconhecimento de textos, 1998 </li></ul><ul><li>Assinaturas, 2003 </li></ul><ul><li>Análise de Crédito, 1999 </li></ul><ul><li>Indústria de Mineração, 2003 </li></ul><ul><li>Siderurgia, 2004 </li></ul><ul><li>Técnica ganhadora no concurso mundial de predição de carga elétrica, 2001 </li></ul>
  18. 27. Conclusão: Otimização RNA versus SVM <ul><li>RNA: Mínimo Local </li></ul><ul><ul><li>Definir a quantidade de neurônios na camada intermediária </li></ul></ul><ul><li>SVM: Mínimo Global </li></ul><ul><ul><li>Definir o melhor parâmetro C (custo) </li></ul></ul>
  19. 28. Como programar: <ul><li>MATLAB: Lenta porém não há necessidade de preocupação com o parâmetro C </li></ul><ul><li>LibSVM: </li></ul><ul><ul><li>Biblioteca existente em várias linguagens </li></ul></ul><ul><ul><li>Usada em diversas aplicações e nossa aula prática </li></ul></ul><ul><ul><li>http://www.csie.ntu.edu. tw/~cjlin/libsvm / </li></ul></ul>

×