Презентация к докладу на Одиннадцатой Всероссийской научно-практической конференции "Перспективные системы и задачи управления" Россия, г. Евпатория, Республика Крым с 4 по 8 апреля 2016 г.

1. Нейроморфный чип
“Алтай”,
ориентированный на
использование в РТК
ПСиЗУ 2016
Канглер В.М., Катомин М.Н., Панченко К.Е.
1 Мотив Нейроморфные Технологии. 2016

2. Мотив Нейроморфные Технологии. 2016
Повестка
2
● Проблематика и мотивация
● Искусственные нейронные сети (ИНС)
● Три поколения ИНС
● Аппаратная реализация ИНС
● Известные проекты
● Цифровой нейроморфный чип “Алтай”
● Модели применения нейрочипа “Алтай”
● Применения нейрочипа “Алтай” в РТК
● Области применения нейроморфных чипов

3. Мотив Нейроморфные Технологии. 2016
Что означает нейроморфный?
3
Нейроморфными называются
технологии, направленные на
создание аппаратных/физических
моделей нервной и сенсорной
систем, аналогичных
биологическим.
Концепцию "нейроморфных систем" предложил Карвер Мид в
конце 80-х годов, описывая идею создания СБИС, содержащей
аналоговые схемы, имитирующие нейро-биологические структуры,
представленные в нервной системе животных/человека.

4. Мотив Нейроморфные Технологии. 2016
Зачем это нужно?
Наступающая новая эра интеллектуальных
систем, интернета вещей, роботов и
беспилотного транспорта нуждается в
новых вычислительных средствах,
способных в реальном режиме времени
обрабатывать гетерогенные "зашумлённые”
данные большого объема.
4
ПРОБЛЕМЫ
● Темпы роста данных для обработки
превышают темпы роста
производительности
вычислительных систем.
● Неэффективность существующей
вычислительной архитектуры в
решении ряда задач (архитектура
фон Неймана).
● Высокое энергопотребление
суперкомпьютеров.
● Невозможность дальнейшего
интенсивного роста
производительности. Закон Мура
уже не работает.

5. Мотив Нейроморфные Технологии. 2016
Парадокс Моравека
5
“Относительно легко достичь уровня взрослого человека в таких задачах как тест на
интеллект или игре в шашки, однако сложно или невозможно достичь навыков
годовалого ребенка в задачах восприятия, распознавания или мобильности.”
Ханс Моравек
Например, сеть от Google,
классифицирующая объекты на
картинках (человек, кот, и т.д.)
состоит из 1 000 машин (16 000
процессорных ядер). [Quoc V. Le, Marc’
Aurelio Ranzato, Rajat Monga, Matthieu Devin, Kai
Chen, Greg S Corrado, Jeff Dean, Andrew Y. Ng.
Building High-level Features Using Large Scale
Unsupervised Learning.]
Изображение взято из описания проекта DARPA SyNAPSE

6. Мотив Нейроморфные Технологии. 2016
Архитектура фон Неймана
6
В этой архитектуре каждый этап обработки требует
нескольких шагов, где данные и команды
перемещаются туда-сюда между памятью и
процессором. Шаги обработки выполняются
последовательно. Можно ввести некоторый
параллелизм, но этого явно недостаточно. В течение
последних десятилетий разработчики могли делать
процессоры меньше и быстрее. Но в таком подходе мы
почти достигли предела наших возможностей, и как раз в
то время, когда мы нуждаемся в еще большей
вычислительной мощности, чтобы справиться с
требуемой сложностью и обработкой Big Data. Это
приводит к невыполнимым требованиям для сегодняшних
компьютерных технологий — в основном потому, что
современные компьютеры требуют колоссальной энергии
для их выполнения.
John E. Kelly III, Steve Hamm "Smart Machines: IBM's Watson and the Era
of Cognitive Computing" Columbia University Press (September 24, 2013)

7. Мотив Нейроморфные Технологии. 2016
Требуется новая архитектура
7
Необходима новая вычислительная
архитектура, которая должна вдохновляться
примером человеческого мозга.
1. Обработка данных должна быть
распределена по всей вычислительной
системе, а не быть сосредоточенной в
центральном процессоре.
2. Обработка и память должны быть тесно
интегрированы, чтобы уменьшить
челночную пересылку данных и команд туда-
сюда. И этапы обработки должны
выполняться одновременно, а не
последовательно.
Когнитивный компьютер, используя такую
архитектуру, будет реагировать на запросы
быстрее, чем сегодняшние компьютеры,
потребует меньшего количества перемещений
данных и будет использовать меньше энергии.Нейроморфная архитектура
John E. Kelly III, Steve Hamm "Smart Machines: IBM's Watson and the Era
of Cognitive Computing" Columbia University Press (September 24, 2013)

8. Мотив Нейроморфные Технологии. 2016
Искусственные нейронные сети
Искусственная нейронная сеть — математическая модель, а также её
программное или аппаратное воплощение, построенная по принципу
организации и функционирования биологических нейронных сетей — сетей
нервных клеток живого организма.
8
Модель нейрона

9. Мотив Нейроморфные Технологии. 2016
Три поколения ИНС
1-е поколение. НС с двоичными
пороговыми нейронами. Функция
активации ( ) неронов представляет
собой перепад ( ф-я Хевисайда) .
9
С точки зрения типов нейронов Maass [W. Maass "Networks of Spiking Neurons: The Third Generation of Neural
Network Models", 1997] выделяет три поколения моделей нейронных сетей.
2-е поколение. НС с гладкой ф-
ей активации нейронов.
Например, с сигмоидальной ф-ей ( ).
где a - параметр
наклона ф-ии.

10. Мотив Нейроморфные Технологии. 2016
3-е поколение НС — Spiking Neural Networks (SNN)
3-е поколение. НС с импульсными
нейронами. В таких сетях
моделируемые нейроны, как и реальные
биологические нейроны, общаются друг
с другом, используя электрические
импульсы — спайки.
10
В работах Маасса [Maass 1997]
продемонстрировано, что SNN могут
решать все задачи, решаемые НС
предыдущих поколений. При этом SNN
обладают большей “вычислительной
мощностью”, чем сети предыдущих
поколений.
Под нейроморфными, как правило, понимают
устройства, аппаратно моделирующие работу SNN.

11. Мотив Нейроморфные Технологии. 2016
Применение ИНС
Выделяют 6 основных задач, для решения которых в том или ином
виде применяются ИНС [Хайкин Саймон, Нейронные сети: полный курс 2-е издание,
2006]
● Ассоциативная память.
● Распознавание образов.
● Апроксимация функций.
● Фильтрация.
● Управление.
● Прогнозирование.
11

12. Мотив Нейроморфные Технологии. 2016
Аппаратная реализация ИНС
12
Hardware Acceleration for Neuromorphic Computing – An Evolving View.
Yiran Chen & Hai Li. 2015

13. Мотив Нейроморфные Технологии. 2016
Известные проекты
● SpiNNaker
● Neurogrid
● IBM TrueNorth
● BrainScaleS
● HRL Neurochip
● Qualcomm Zeroth
● NeuroMem CM1K
● Neuromorphic Co-
Processor Darwin
● BrainChip SNAP-64
13
SpiNNaker
Neurocore (Neurogrid)
TrueNorth
BrainScaleS
HRL
Neurochip
NeuroMem
CM1K Darwin

14. цифровой КМОП нейроморфный чип,
моделирующий Spiking Neural Networks
Алтай
14 Мотив Нейроморфные Технологии. 2016

15. Мотив Нейроморфные Технологии. 2016
Нейроморфный чип
Нейроморфный чип “Алтай”— «вычислительное» устройство,
функционирующее на принципах схожих с биологическими нейронными
системами.
15
Ключевые преимущества:
1. Высокая эффективность
по энергопотреблению,
производительности и размерам.
2. Решение задач сложных для
современных компьютеров,
но простых для мозга.
3. Законченное изделие для
автономного применения во
встраиваемых системах (SoC).

16. Мотив Нейроморфные Технологии. 2016
Chip-off learning
“Алтай” должен обеспечивать эффективное
функционирование произвольной спайковой
нейронной сети.
16
Настройка параметров нейронов сети (в том
числе и обучение), также как и задание
структуры сети (связей между нейронами),
должна выполняться вне чипа с использованием
инструментальных программных средств.
Вынесение задач обучения за пределы кристалла расширяет возможности
выбора подходов и способов формирования параметров сети, с тем чтобы
получить требуемую выходную функцию, зависящую от входных данных, как для
отдельных подсетей, так и для всей моделируемой сети в целом. Также это повышает
эффективность использования нейрочипа на этапе функционирования обученной
сети.

17. Мотив Нейроморфные Технологии. 2016
Реализация. Digital vs Analog
Цифровая реализация по сравнению с аналого-цифровой имеет ряд
преимуществ.
1. Цифровая реализация значительно проще в плане дизайна и проектирования
чипа.
2. Цифровые чипы менее чувствительны к особенностям производственного
процесса, температурному режиму и паразитным шумам, чем аналоговые.
3. Работа цифровых схем полностью детерминирована, и при таком подходе
можно добиться полного соответствия работы спайковой нейронной сети на
чипе с ее моделированием на программном симуляторе.
4. Цифровой дизайн более гибок и повторяем — модифицируемые цифровые
схемы могут быть значительно легче смоделированы, чем аналоговые.
5. Современные технологии проектирования и производства больших цифровых
интегральных схем позволят преодолеть проблемы аналоговых реализаций без
существенного увеличения размеров и энергопотребления.
17

18. Мотив Нейроморфные Технологии. 2016
Используемая модель нейрона
В проекте используется модификация “классической” модели неронна — LIF (Leaky
Integrate-and-Fire) с постоянной величиной утечки. Модель неcколько упрощена —
используется только целочисленная арифметика.
18
Synaptic integration
Leak integration
Threshold, spike fire, reset
endif
if
spike fire
(1)
(2)
(3)
(4)
(5)
Для j-го нейрона в момент времени t
мембранный потенциал Vj
(t) является
суммой потенциала на предыдущем
шаге Vj
(t-1) и синаптических входов. Для
каждого из N синапсов синаптический
вход равен произведению входного
спайка на синапсе xi
(t) ∈ {0;1} с его
синаптическим весом wi
. Затем из
накопленного потенциала вычитается
величина утечки j
. Если накопленная
величина Vj
(t) превышает порог j
, то
нейрон испускает спайк и мембранный
потенциал “сбрасывается” до значения
Rj
(ресет).

19. Мотив Нейроморфные Технологии. 2016
Компоненты системы:
● CPU (OpenRISC)
● Локальная шина (Wishbone)
● Статическая память
● SPI для подключения FLASH
● UART контроллер
● SDRAM контроллер
● 2D решетка (2C
x 2C
) нейроядер
● Контроллер подключения решетки
нейроядер к локальной шине
Архитектура нейрочипа
19
Нейрочип представляет собой законченное изделие для автономного
применения во встраиваемых системах. Выполнен как система на
кристалле SoC (System-on-Chip).
Фрагмент решетки нейроядер

20. Мотив Нейроморфные Технологии. 2016
Нейроядро (структура)
Структурно ядро состоит из пяти
функциональных блоков
20
4. Controller — реализует алгоритм
управления последовательностью
вычислений.
5. Neuron schema — схема, реализующая
логику функционирования нейрона.
1. Router — коммуницирует с
соседними нейроядрами,
принимая и маршрутизируя
спайки.
2. Scheduler — упорядочивает по
времени и по входам (аксонам)
приходящие спайки.
3. Core SRAM — хранилище
параметров функционирования
нейронов ядра.

21. Мотив Нейроморфные Технологии. 2016
Нейроядро (функционирование)
Ядро моделирует 2n
нейронов и 2m
входов (аксонов).
Когда спайк достигает целевого
ядра, маршрутизатор направляет
его планировщику (1), где спайк
буферизируется.
В каждый такт планировщик
передает контроллеру все спайки,
соответствующие по порядку
текущему такту (2). Получив спайки,
контролер организует
последовательность вычислений для
2n
нейронов по одному (один за
другим).
В течение одного такта
обсчитываются все 2n
нейронов.
21
AER представление спайка в системе

22. Мотив Нейроморфные Технологии. 2016
Модели применения нейрочипа “Алтай”
1. Обработка изображений (в том числе кадров видеоряда) в различных
спектрах (например, в видимом, тепловом и т.п.) с целью обнаружения,
выделения и категоризации значимых объектов.
2. Обработка акустических (в том числе и гидроакустических) сигналов
с целью выделения интересующих акустических паттернов.
3. Обработка физиологических сигналов. Например, анализ
электроэнцефалограммы с целью организации эргономичного
взаимодействия человека с техническими устройствами.
22

23. Мотив Нейроморфные Технологии. 2016
Применения нейрочипа “Алтай” в РТК
В системе управления
● Для выполнение нейросетевых
"алгоритмов" управления РТС.
● Для обработки
физиологических сигналов в
ЧМИ.
● Для обработки в реальном
времени гетерогенной
информации от бортовых
датчиков, агрегатов и узлов.
● Для детектирование отказов
оборудования на основе
анализа потоков данных по
бортовым каналам
информационного обмена.
23
В системах технического зрения
Для анализа видеопотока (в разных
спектральных диапазонах): поиск,
выделение и идентификация
объектов.
В системе навигации
Как спецвычислитель в
мультисенсорной навигационной
системе.

24. Мотив Нейроморфные Технологии. 2016
Применения нейрочипа “Алтай” в РТК
Нейроморфный чип "Алтай" следует рассматривать как один из
кандидатов для решения неформализуемых или плохо
формализуемых задач с высоким быстродействием и низким
энергопотреблением.
24
Недавние публикации подтверждают, что нет непреодолимых различий
между DNN и нейроморфными архитектурами. Сверточные сети могут
эффективно исполняться на нейроморфных структурах [S. Esser, ...Convolutional
Networks for Fast, Energy-Efficient Neuromorphic Computing, arXiv:1603.08270, 28 Mar 2016].

25. Мотив Нейроморфные Технологии. 2016
Области применения нейроморфных чипов
1. Суперкомпьютеры гибридной архитектуры.
2. Робототехнические и автономные системы. Системы технического
зрения, навигации и автономного управления.
3. Обработка больших данных.
4. Кибербезопасность. Проактивное обнаружение новых угроз путем
обнаружения аномалий и обобщения выявленных ранее атак.
5. Нейробиология. Моделирование мозга, исследование принципов его
функционирования.
6. Смартфоны, носимые устройства, IoT-устройства. В качестве
вспомогательного чипа для распознавания образов, голоса, обработки
сенсорной информации.
25

26. Мотив Нейроморфные Технологии. 2016
Спасибо за внимание!
Вопросы?
26
Контактная информация:
info@motivnt.ru
http://motivnt.ru/
https://www.facebook.com/motivnt