6. The Perceptron Binary classifier functions Threshold activation function 6 xi = ∑jwijyj Yj: output from unit j Wij: weight on connection from j to i Xi: weighted sum of input to unit i yi = f(xi – qi) Threshold
7. Type 1. Perceptron i1 w01 w02 i2 y0 b=1 w0b x0 f feedforward Structure: 1 input layer 1 output layer Supervised learning Hebb learning rule Able : AND or OR. Unable: XOR
8. Learning in a Simple Neuron Perceptron Learning Algorithm: 1. Initialize weights 2. Present a pattern and target output 3. Compute output : 4. Update weights : Repeat starting at 2 until acceptable level of error
9. Computing other functions: the OR function 9 i1 w01 w02 i2 y0 b=1 w0b x0 f Assume a binary threshold activation function. What should you set w01, w02 and w0b to be so that you can get the right answers for y0?
10. Many answers would work 10 i2 i1 y = f (w01i1 + w02i2 + w0bb) recall the threshold function the separation happens when w01i1 + w02i2 + w0bb = 0 move things around and you get i2 = - (w01/w02)i1 - (w0bb/w02)
18. סימולציות של רשתות נוירונים דור I McCulloch-Pitts threshold מסוגל לחשב משוואות בוליאניות דור II feed-forward, recurrent neural networks and backward propagation מסוגלות לחשב משוואות פולינומיאלית ונקראים גם universal approximation מכיוון שמסוגלים לחקות כל משוואה אנלוגית. בהשוואה לנוירון הביולוגי הדור 2 מסוגל ל"דבר" ב-rate coding או frequency coding שזה תדירות היריות (המרחק בין ירייה לירייה) 18
19. סימולציות של רשתות נוירונים דור III עליה נוספת בקירוב הסימולציות לנוירון הביולוגי. הנוירונים מסוגלים לרבב multiplexing תדרים יריות ו"לדבר" ב - pulse coding במקום ב – rate coding ובכך להעביר כמה "מילים" באותו זמן "שעון" עצמי לכל יחידה 19
33. מבנה נוירולוגי כללי בגופנו יש שני סוגי מערכות, ממריץ (אנדרנלין) מרגיעאיט (אציטין חולין) יש לפחות שני סוגי סינפציות: מעקבות : לרוב מתחברת לגוף התא מעוררת : לרוב מתחברות בסופי העצים מרווח בין הסינפצות הוא 20 ננומטר. מימד הזמן- ניתן ליראות את הלמידה אסוציאטיבית היא שימוש במימד הזמן, - שני מאורעות שקורים בו זמנית הן בדרך כלל קשורים אחד לשני. לדוגמא ניסוי פאבלוב טעם גירוי וזמן. 33
45. Generation of multiple Action Potentials Rate is dependent on depolarization Firing frequency 1 per second is 1 Hz Maximum is about 1000Hz Absolute refractory period Relative refractory period I(ion)=g(ion)(Vm-Eion) 45
59. It also does not require any a-priori decision regarding the ``neural code'' by which information is represented within the circuit. 51
60. Maass’ Definition of the Separation Property The current state x(t) of the microcircuit at time t has to hold all information about preceding inputs. Approximation Property Readout can approximate any continuous function f that maps current liquid states x(t) to outputs v(t). 52
61. 2 motors, 1 minute footage of each case, 3400 frames Readouts could utilize wave interference patterns 53
63. סקירת מאמרים Spiking neural networks, an introduction.pdf הקדמה וסיכום על רשתות נוירונים ומבנה של דור 3 במודלים is the integrate-and-fire model good enough – a review.pdf השוואה בין מודל I&F לבין מודל HH כולל הרחבה של מודל I&F למודל שמשלב את שניהם LSM (Liquid State Machine) Liquid State Machines,a review.pdf Liquid State Machine Built of Hodgkin–Huxley Neurons.pdf The Echo State approach to analysing and training recurrent neural networks.pdf LSM Turing Maching On the Computational Power of Circuits of Spiking neurons.pdf The Echo State approach to analysing and training recurrent neural networks.pdf 55
64. סקירת מאמרים The Tempotron מודל לנוירון LIF המסוגל למיין סדרות פולסים עם לימוד Spike Timing Dependent Plasticity Finds the Start of Repeating Patterns in Continuous Spike Trains2.PDF מודל LIF המסוגל לזהות רצף של חזרות בפולסים ללא לימוד, רק ע"י שינוי משקלי הקלטים Hubb’s Rule Hebbian learning and spiking neurons.pdf Competitive Hebbian learning through spike-timing dependent synaptic plasticity.pdf Spike-Timing-Dependent Hebbian Plasticity as Temporal Difference Learning.pdf Pitch Perception Models.pdf מודל המנסה לחקות ולהבין שמיעה ע"י קימוט של התדרים 56
