Designing of array neuron-equivalentors with a quasi-universal activation function for creating a self-learning equivalent- convolutional neural structures
Наукові видання Харківського національного університету Повітряних Сил
Переглянути архів Інформація| Поле | Співвідношення | |
| Title |
Designing of array neuron-equivalentors with a quasi-universal activation function for creating a self-learning equivalent- convolutional neural structures
Проектування масиву нейро-еквіваленторів з квазіуніверсальною функцією активації для створення самонавчальних еквівалентністно-згорткових нейронних структур Проектирование массива нейро-эквиваленторов с квазиуниверсальной функцией активации для создания самообучаемых эквивалентностно-сверточных нейронных структур |
|
| Creator |
V. Krasilenko
A. Lazarev A. Sheremeta В.Г. Красиленко О.О. Лазарєв О.П. Шеремета В.Г. Красиленко А.А. Лазарев А.П. Шеремета |
|
| Subject |
Захист інформації та кібернетична безпека
УДК 4.93 self-learning equivalent-convolutional neural structure, neuron-equivalentor, current mirror, hardware accelerators, equivalent model, continuous-logic, activation function, nonlinear processing, recognition самонавчальна еквівалентністно-згорткова нейронна структура, нейрон-еквівалентор, віддзеркалювач струму, апаратні прискорювачі, еквівалентністна модель, безперервна логіка, функція активації, нелінійна обробка, розпізнавання самообучающаяся эквивалентностно-сверточная нейронная структура, нейрон-эквивалентор, токовое зеркало, аппаратные ускорители, эквивалентностная модель, непрерывная логика, функция активации, нелинейная обработка, распознавание |
|
| Description |
In the paper, we consider the urgent need to create highly efficient hardware accelerators for machine learning algorithms, including convolutional and deep neural networks, for associative memory models, clustering, and pattern recognition. We show a brief overview of our related works the advantages of the equivalent models (EM) for designing bio-inspired systems. Such EM-paradigms are very perspective for processing, clustering, recognition, storing large size, strongly correlated, highly noised images and creating of uncontrolled learning machine. And since the basic nodes of EM are such vector-matrix (matrix-tensor procedures with continuous-logical operations as: normalized vector operations "equivalence", "nonequivalence", and etc., we consider in this paper new conceptual approaches to the design of full-scale arrays of such neuron-equivalentors (NEs) with extended functionality, including different activation functions. Our approach is based on the use of analog and mixed (with special coding) methods for implementing the required operations, building NEs (with number of synapsis from 8 up to 128 and more) and their base cells, nodes based on photosensitive elements and current mirrors. Simulation results show that the efficiency of NEs relative to the energy intensity is estimated at a value of not less than 1012 an. op. / sec on W and can be increased. The results confirm the correctness of the possibility of creating NE and MIMO structures on their basis.
У статті розглядається необхідність створення апаратних прискорювачів для машинного навчання, згорткових нейронних мереж, асоціативної пам'яті, кластеризації, розпізнавання образів. Зроблено огляд робіт про переваги біологічно-натхненних еквівалентністних моделей (EM) для проектування. Показано, що EM-парадигми дуже перспективні для кластеризації, розпізнавання, великорозмірних, корельованих зображень з високим рівнем завад і для неконтрольованого навчання. Для реалізації ЕМ необхідні векторно-матричні процедури з неперервно-логічними нормалізованими операціями: “еквівалентність”, “нееквівалентність” і відповідні схеми. Розглядаються нові підходи до проектування апаратних масивів таких нейрон-еквіваленторів (НЕ) з розширеною функціональністю за рахунок нелінійних постперетворень та довільно вибраних видів функцій активації. Підходи засновані на використанні аналогових і змішаних (із спеціальним кодуванням) методів для реалізації необхідних операцій, побудові на основі ієрархічних вузлів з базових комірок на віддзеркалювачах струму і фотоприймачах нейрон-еквіваленторів з числом синапсів від 8 до 128 і більше і мереж на основі масиву таких НЕ. Результати моделювання показують, що ефективність НЕ з універсальною перебудовованою функцією активації по відношенню до енергоємності оцінюється значенням не менше 1012 і вище ан. оп./сек. на W і може бути збільшена. Отримані результати підтверджують можливість та перспективність створення запропонованих НЕ та на їх основі масивів, структур з багатьма входами і багатьма виходами ( так званих на англійській мові MIMO-систем). Рассматривается необходимость создания аппаратных ускорителей для сверточных нейронных сетей. Сделан обзор работ о преимуществах эквивалентностных моделей (EM), которые очень перспективны для распознавания коррелированных зашумленных изображений и обучающей машины. Основными для ЕМ являются векторно-матричные процедуры с непрерывно-логическими нормализованными операциями: “эквивалентность”, “неэквивалентность” с их нелинейной постобработкой. Рассматриваются подходы к проектированию массивов многофункциональных нейрон-эквиваленторов (НЭ) с любыми функции активации. Подходы основаны на использовании аналоговых методов для реализации необходимых операций, построения на основе иерархических узлов из базовых ячеек на токовых зеркалах НЭ с числом синапсов от 8 до 128 и более и сетей на основе массива таких НЭ. Моделирования показывают, что эффективность НЭ с перестраиваемой функцией активации оценивается на уровне 1012 и выше ан. оп./сек. на W. Результаты подтверждают возможность и перспективность создания структур НЭ и MIMO на их основе. |
|
| Publisher |
Харківський національний університет Повітряних Сил ім. І. Кожедуба
Харьковский национальный университет Воздушных Сил им. И. Кожедуба Kharkiv national Air Force University named after I. Kozhedub |
|
| Date |
2019
|
|
| Type |
info:eu-repo/semantics/article
info:eu-repo/semantics/publishedVersion Рецензована стаття |
|
| Format |
application/pdf
|
|
| Identifier |
http://www.hups.mil.gov.ua/periodic-app/article/19228
|
|
| Source |
Системи обробки інформації. — 2019. — № 1(156). 82-91
Системы обработки информации. — 2019. — № 1(156). 82-91 Information Processing Systems. — 2019. — № 1(156). 82-91 1681-7710 |
|
| Language |
eng
|
|
| Relation |
http://www.hups.mil.gov.ua/periodic-app/article/19228/soi_2019_1_13.pdf
|
|