Основные результаты 2019

 

Главная цель проекта: разработать перспективные методы для интеллектуального анализа данных высокой размерности, оптимизированные для работы в высокой (десятки и сотни) и очень высокой (тысячи, десятки тысяч и более) размерности. Для достижения этой цели будут разработаны и реализованы в программах открытого доступа методы и алгоритмы быстрого неитеративного и обратимого исправления ошибок и передачи навыков в системах искусственного интеллекта.

В данном отчете представлены следующие результаты.

Создана технология практически мгновенной передачи знаний между системами ИИ, внутреннее состояние которых, используемое для принятия решений, может быть описано элементами многомерного векторного пространства. Разработаны неитерационные алгоритмы для распространения знаний между унаследованными системами искусственного интеллекта с гетерогенными неидентичными архитектурами и различными вычислительными возможностями. Практическая осуществимость этой технологии проиллюстрирована на примере передачи знаний между двумя системами искусственного интеллекта для автоматизированного обнаружения пешеходов в видеопотоках. В основе предлагаемой технологии передачи знаний лежат полученные в ходе проекта теоремы стохастической отделимости.

Созданы теория и алгоритмы, позволяющие классам систем искусственного интеллекта непрерывно и постепенно улучшаться с априорными количественными гарантиями-и устранять ошибки классификации. Еще одной особенностью этого подхода является то, что вычислительная сложность обучения линейна по объему обучающих выборок. На стадии функционирования вычислительная сложность ограничена несколькими внутренними вычислениями скалярного произведения. Алгоритмы протестированы на реальных данных Показано, что реализация является масштабируемой. Полученные результаты непосредственно отвечают фундаментальной задаче устранения ошибок ИИ в промышленных приложениях и во встраиваемых устройствах при минимальных вычислительных затратах.

Описана группа изобретений, разработанных в ходе проекта. Технической проблемой, решаемой данными изобретениями, является коррекция ошибок систем искусственного интеллекта, удовлетворяющая следующим требованиям. Корректор должен быть (1) простым, (2) не повреждать имеющихся навыков системы, (3) допускать быстрое неитеративное обучение, (4) допускать коррекцию новых ошибок без разрушения предшествующих исправлений. Эти требования должны выполняться с достаточно высокой вероятностью, определяющей уровень надежности устройства. Система коррекции организована как совокупность элементарных корректоров, управляемая диспетчером. Техническим результатом предлагаемого решения является повышение надежности систем искусственного интеллекта.

Приведены обобщения и расширения теорем стохастического разделения на ядерные классификаторы. Также установлен общий результат разделимости для двух случайных множеств. Мы показываем, что, несмотря на то, что отображения признаков, соответствующие данной функции ядра, могут быть бесконечномерными, характеристики отделимости ядра могут быть выражены в терминах конечномерных объемных интегралов. Эти интегралы позволяют определить и количественно оценить свойства отделимости для произвольной функции ядра. Теория иллюстрируется численными примерами на реальных прикладных примерах.

Систематической проверена существовавшая ранее гипотеза щ том, что использование манхэттенского расстояния и даже дробных квазинорм  (для  менее 1) может помочь преодолеть проклятие размерности в задачах классификации. Показано, что дробные квазинормы имеют больший относительный контраст и коэффициент вариации, чем евклидова норма , но также показано, что, несмотря на это, концентрация расстояний демонстрирует качественно одинаковое поведение для всех проверенных норм и квазинорм, и разница между ними уменьшается для достаточно больших размерностей стремлении размерности к бесконечности. Например, разница в точности kNN на основе  для  = 2, 1 и 0,5 статистически незначима.

Исследована разделимость и внутренняя размерность синтетических наборов данных и уникального реального набора данных, представляющего из себя набор одноклеточных транскриптомных профилей для небольшого участка ткани мозга мыши (содержит транскриптомные профили 20000 генов на 44000 клеток, данные не опубликованы и получены в рамках сотрудничества с лабораторией Петра Харченко, Медицинская Школа Гарварда).. Исследуется методология разделимости на основе Фишеровского дискриминантного анализа, ее применимость к большим наборам данных, зависимость результатов от числа точек и числа кластеров в данных. Сравниваются глобальная и локальная оценки внутренней размерности. Оценки сравнивались с набором из 11 альтернативных методов расчета глобальной и локальной внутренней размерности.

Описаны работы по созданию новых версий пакетов прикладных программ:

·       ElPiGraph – пакет программ для построения маломерных аппроксимаций многомерных данных с помощью метода упругих главных графов и топологических грамматик.

·       ElMap – пакет программ для построения аппроксимаций маломерных главных многообразий с помощью метода упругих карт.

·       FisherSeparabilityAnalysis – пакет программ для анализа разделимости больших облаков точек данных, и вычисления внутренней размерности данных, основанной на этом анализе.

Исследованы возможности Хеббовского и конкурентного типов обучения в импульсных нейронах в задаче временного и частотного кодирования информации. Показано, что применения Хеббовского обучения достаточно для реализации временного, но не для частотного кодирования. Для обеспечения селективности синапсов при частотном кодировании необходима синаптическая конкуренция. Показано, что совместное использование Хеббовского обучения в виде триплетного правила STDP и синаптического забывания позволяет осуществить частотное кодирование.

Дано обоснование математической модели элементарной таламокортикальной ячейки для описания частотно-временных откликов реальной таламокортикальной системы, т.е. различных модуляций альфа-ритма. Воспроизводятся индивидуальные особенности динамических спектров таламокортикальной электроэнцефалограммы при воздействии внешнего инфракрасного сигнала с линейно возрастающей частотой. На феноменологической модели таламокортикальной ячейки удается воспроизводить индивидуальные особенности сложной системы обработки информации. Новые модели позволяют совершенствовать существующие процедуры биоуправления с обратной связью.

Рассмотрена проблема обработки сигналов в нейро-астроцитарной сети, где межклеточная связь описывается на основе концепции трехчастного синапса. Показано, что сложная астроцит-зависимая динамика возбуждающего постсинаптического тока может привести к нетривиальным изменениям индивидуальной постсинаптической активности нейронов и, следовательно, кооперативной активации нейрональных групп, связанных «астроцит-опосредованным мостом».

Описаны многоканальные электрофизиологические данные, полученные от нейронных культур в норме и при гипоксии и применение к ним метода корреляционной адаптометрии.

Адаптированы нейросетевые методов и разработано программное обеспечения для анализа данных наблюдения динамики численности особей зоопланктона, реализующих различные наследственные стратегии ежедневных суточных миграций. Построена и верифицирована нейронная модель, которая позволяет определить наличие или отсутствие выраженных наследственных суточных миграций водных организмов в зависимости от наблюдаемой информации о факторах среды (распределения пищи и хищников в слоях воды, поведенческих реакций хищника, температурного распределения воды).

Разработаны программно реализованы и протестированы алгоритмы сегментации электрокардиограммы (ЭКГ) с помощью ансамблей сетей и с помощью UNet-подобной полносвёрточной нейронной сети. Под сегментацией понимается выделение начал и концов характерных участков ЭКГ: волны P, волны T, комплекса QRS. На вход алгоритм принимает сигнал ЭКГ и его частоту дискретизации, а на выходе у него список этих ключевых точек. Показано, что пооказатели чувствительности (Se) и точности (положительной предсказательной силы – PPV) у предложенного алгоритма, по сравнению с известными ранее методами –самые или почти (практически) самые высокие по всем видам точек.

Методы факторного анализа (ФА), основанные на различных разложениях матриц данных, широко используются для снижения размерности транскриптомных данных и сведения их к действию небольшого числа латентных факторов (метагенов), однако. воспроизводимость результатов ФА никогда не сравнивалась на основе их применения к схожим, но независимым наборам данных. Алгоритмы ФА были впервые систематически протестированы на нескольких наборах транскриптомных данных, собранных для одного и того же типа рака (14 колоректальных, 8 рака груди и 4 рака яичников). Разработан новый подход для сравнения воспроизводимости ФА, основанный на графах Максимально Взаимного Соответствия (МВС). Создан графический пользовательский интерфейс. Предложенный метод применен для изучения транскриптомов колоректальных раков, для которых доступны 14 независимых и находящихся в открытом доступе наборов (включающих 2604 образца раковой ткани). Полученные факторы могут быть могут быть использованы в качестве клинических биомаркеров или робастных специфичных транскриптомных сигнатур раковых клеток или микроокружения опухоли. Разработанный программный продукт находится в открытом доступе.

Для решения задачи наблюдения и идентификации динамических систем необходима быстрая численная оценка прямых моделей. Разработан метод получения вычислительно эффективных представлений периодических решений параметризованных систем нелинейных обыкновенных дифференциальных уравнений. Он открывает возможности для использования масштабируемых параллельных вычислений и подходящих схем аппроксимации функций для численной оценки решений при различных значениях параметров. Применение метода к задаче оценки параметров нелинейных обыкновенных дифференциальных уравнений иллюстрируется численным примером для системы Морриса–Лекара  моделирующей динамику биологических нейронов.

Опубликовано 17 статей в коллекции Web of Science (Science Citation Index Expanded), в том числе 13 статей в изданиях первого квартиля Q1. В этих статьях 17 (со)авторов из Нижнего Новгорода. Кроме того, 9 статей, индексируемых в Scopus. Среди авторов этих 9 работ 15 сотрудников лаборатории из Нижнего Новгорода, из них 4 аспиранта и 2 магистранта. Еще 11 статей в прочих рецензируемх изданиях (участвуют 22 нижегородских исследователя,  из них – 8 аспирантов и студентов). В составе научного коллектива принимало участие 9 докторов наук, 6 кандидатов наук, 6 аспирантов и 6 студентов.

 

Организация симпозиума по тематике проекта:

13 - 18 июля 2019 года на объединенной конференции по нейронным сетям (The International Joint Conference on Neural Networks (IJCNN)) в Будапеште, Венгрия была организована специальная секция «Metrology of AI: blessing of dimensionality, tolerance and fits» для представления результатов проекта. Было представлено три устных доклада исполнителей проекта, имеющих международную репутацию  (докладчики А.Н. Горбань, И.Ю. Тюкин, А.Ю. Зиновьев, работы выполнены в соавторстве с другими исследователями), а также три стендовых доклада других сотрудников (докладчики = нижегородские исследователи Н.Ю. Золотых, О.А. Кузенков, Я.А. Середа – аспирант ННГУ, работы выполнены в соавторстве с другими исследователями). Среди авторов докладов два магистранта и один аспирант ННГУ.

1.              7 - 11 октября 2019 года  в рамках международной конференции «Нейроинформатика 2019» (г. Долгопрудный)  был организован международный семинар «Геометрия больших данных». Также на конференции были представлены доклады сотрудников лаборатории. Информация о конференции доступна по адресу http://neuroinfo.ru/index.php/ru/info/progcomitee. А.Н. Горбань был председателем программного комитета конференции.

2.              30 ноября по 2 декабря 2019 года была организована Международная конференция “Нейронные сети послезавтра: проблемы и перспективы” (г. Нижний Новгород, «City Hotel Sova»). Работа проходила в нескольких форматах, включая доклады участников, лекции, семинары и круглые столы. С докладами выступили представители около 40 профильных учреждений из 11 российских городов, а также Белоруссии, Казахстана, Германии, Великобритании и Ирана. Было представлено 44 доклада и одна специальная лекция. С программой конференции, тезисами докладов и презентациями можно ознакомиться на сайте конференции http://conf.neuro.unn.ru/nn2019/

 

Опубликованы два пресс-релиза, оба на английском и русском языках, в центральных новостных коллекциях. Опубликована журналом Physics of Life Reviews, 2019 Jul, vol. 29  (Импакт фактор 2017 13.783) дискуссия ведущих мировых экспертов о работе по проекту.