Slides da palestra sobre Theano apresentada no VIII Pylestras em Fortaleza no dia 11 de Abril de 2015.

1. Theano
Alto desempenho em Machine Learning
Felipe Martins
11 de Abril de 2015

2. Quem?
Universidade Federal do Ceará
- Bacharelado em Computação;
LSBD
- Líder técnico em projetos usando C e C++;

3. Quem?
Universidade Federal do Ceará
- Bacharelado em Computação;
LSBD
- Líder técnico em projetos usando C e C++;
Por aí...
@ffmmjj_martins
https://github.com/ffmmjj

4. Roteiro
● Contexto;
● O que é a Theano;
● Exemplo;

5. Contexto
Python e Computação Científica

6. Contexto
Python e Computação Científica

7. Contexto
Mas Python não é uma
linguagem “lenta”!?!

8. Contexto
Depende :-)

9. Contexto
Depende :-)

10. Contexto
Depende :-)
PyCUDA

11. Contexto
Machine Learning

12. Contexto
Machine Learning

13. Contexto
Machine Learning
Não suporta execução
em GPUs :(

14. O que é Theano
Biblioteca de computação simbólica para Machine
Learning;
Otimiza expressões matemáticas e compila-as para código
nativo;
Permite execução em GPUs!

15. O que é Theano
Exemplo: multiplicar duas matrizes 1000 x 1000;

16. O que é Theano
Exemplo: multiplicar duas matrizes 1000 x 1000;
import theano
import theano.tensor as T

17. O que é Theano
Exemplo: multiplicar duas matrizes 1000 x 1000;
import theano
import theano.tensor as T
X = T.dmatrix('X')
Y = T.dmatrix('Y')

18. O que é Theano
Exemplo: multiplicar duas matrizes 1000 x 1000;
import theano
import theano.tensor as T
X = T.dmatrix('X')
Y = T.dmatrix('Y')
Z = X*Y

19. O que é Theano
Exemplo: multiplicar duas matrizes 1000 x 1000;
import theano
import theano.tensor as T
X = T.dmatrix('X')
Y = T.dmatrix('Y')
Z = X*Y
f = theano.function([X, Y], Z)

20. O que é Theano
Exemplo: multiplicar duas matrizes 1000 x 1000;
import theano x = [[1, 2], [3, 4]]
import theano.tensor as T y = [[5, 6], [7, 8]]
X = T.dmatrix('X') z = f(x, y)
Y = T.dmatrix('Y')
Z = X*Y
f = theano.function([X, Y], Z)

21. O que é Theano
Existem 3 maneiras de ajustar as configurações da Theano
(na seguinte ordem de precedência):
Módulo theano.config
Arquivo .theanorc
Variável de ambiente THEANO_FLAGS

22. O que é Theano
theano.config
import theano
theano.config.floatx = ‘float32’
theano.config.device = ‘gpu0’
theano.config.nvcc.fastmath = ‘True’

23. O que é Theano
~/.theanorc

24. O que é Theano
THEANO_FLAGS
THEANO_FLAGS='floatX=float32,device=gpu0,nvcc.fastmath=True'
export THEANO_FLAGS
python <myscript>.py

25. O que é Theano
Gradientes...

26. O que é Theano
Gradientes…
x = T.dscalar(‘x’)
y = x ** 2
fy = theano.function([x], y)

27. O que é Theano
Gradientes…
x = T.dscalar(‘x’)
y = x ** 2
fy = theano.function([x], y)
Dy = T.grad(y, x)

28. O que é Theano
Gradientes…
x = T.dscalar(‘x’)
y = x ** 2
fy = theano.function([x], y)
Dy = T.grad(y, x)
Df = theano.function([x], dy)

29. Exemplo

30. Exemplo
Machine Learning em 5 minutos :)

31. Exemplo
Machine Learning em 5 minutos :)
Modelo: Representação dos dados reais;

32. Exemplo
Machine Learning em 5 minutos :)
Modelo: Representação dos dados reais;
Custo: O quanto o modelo se aproxima dos dados reais;

33. Exemplo
Machine Learning em 5 minutos :)
Modelo: Representação dos dados reais;
Custo: O quanto o modelo se aproxima dos dados reais;
Treinamento: Como minimizar o custo;

34. Exemplo
Modelo
R$
m²

35. Exemplo
R$
m²
Modelo

36. Exemplo
Modelo
R$
m²

37. Exemplo
Custo
R$
m²

38. Exemplo
Custo
R$
m²

39. Exemplo
Custo
R$
m²
Média aritmética
dos erros

40. Exemplo
Custo
R$
m²
Média aritmética
dos erros

41. Exemplo
Treinamento
R$
m²

42. Exemplo
Treinamento
R$
m²

43. Exemplo
Treinamento
R$
m²

44. Exemplo
Treinamento
R$
m²

45. Exemplo
R$
m²
Treinamento

46. Exemplo
R$
m²
Treinamento
Como?!?

47. Exemplo
R$
m²
Treinamento
Como?!?

48. Exemplo
R$
m²
Treinamento
Como?!?
Modificando
parâmetros...

49. Exemplo
Treinamento

50. Exemplo
Treinamento

51. Exemplo
Treinamento
Custo

52. Exemplo
Treinamento
Custo

53. Exemplo
Treinamento
Custo

54. Exemplo
Treinamento
Custo

55. Exemplo
Treinamento
Custo

56. Exemplo
Treinamento
Custo

57. Exemplo
Treinamento
Custo
:(

58. Exemplo
De volta ao Python!

59. Exemplo
De volta ao Python!
alpha = T.dvector('a') a = 0.5
x = T.dvector('x') for i in
range(50):
t = T.dvector('t')
a = a - 0.0001 * Dj(a, X, T)
y = x * alpha
custo = T.sum((y - t)**2)
custo_derivada = theano.grad(custo, alpha)
J = theano.function([alpha, x, t], custo) / T.size(t)[0]
Dj = theano.function([alpha, x, t], custo_derivada)

60. Exemplo “real”
Rede neural para classificar dígitos manuscritos

61. Exemplo “real”
Rede neural para classificar dígitos manuscritos

62. Exemplo “real”
Rede neural para classificar dígitos manuscritos

63. Exemplo
Rede neural para classificar dígitos manuscritos

64. FIM!