2. Краткое описание проведенных исследований и полученных результатов

 

В данной главе кратко описаны проведенные исследования по всем направлениям работы в ходе проекта и полученные в этих направлениях результаты. Избранные результаты детально описаны в следующих главах.

 

2.1 Теория и эффективные алгоритмы обработки данных и исправления унаследованных систем искусственного интеллекта с помошью многих независимых или слабо зависимых нейронных ансамблей.

 

Разработана методология обработки данных и исправления унаследованных систем искусственного  интеллекта, основанная на новых разделах геометрического функционального анализа и новой теории стохастической разделимости, созданных в хоже проекта. Феномен стохастической отделимости был выявлен и использован в машинном обучении для коррекции ошибок систем искусственного интеллекта (ИИ) и анализа нестабильностей ИИ. В многомерных наборах данных при широких допущениях каждая точка может быть отделена от остального множества простым и надежным дискриминантом Фишера (является отделимой по Фишеру). Ошибки или кластеры ошибок могут быть отделены от остальных данных. Способность корректировать систему ИИ также открывает возможность атаки на нее, а высокая размерность вызывает уязвимости, вызванные той же стохастической отделимостью, которая содержит ключи к пониманию основ устойчивости и адаптивности в многомерном ИИ, управляемом данными. Чтобы обрабатывать ошибки и анализировать уязвимости, теоремы стохастической отделимости должны оценивать вероятность того, что набор данных будет разделим по Фишеру в данной размерности и для данного класса распределений. Найдены необходимые явные и оптимальные оценки этих вероятностей разделения. Детальное решение этой задачи представлено в главе 2. Получены общие теоремы стохастической отделимости с оптимальными вероятностными оценками для важных классов распределений: логарифмически вогнутого распределения, их выпуклых комбинаций и распределений-произведений. Стандартное предположение о независимости и одинаовой распределенности было значительно смягчено.

Предложена, изучена и испытана архитектура системы слабо связанных корректоров для усовершенствования систем обработки сложных данных большой размерности (Рис. 1): корректирующая система получает вектор сигналов, максимально подробно отражающий ситуацию. Он состоит из входных векторов унаследованной системы ИИ, вектора внутренних сигналов этой системы и выходного вектора (рис. 9). Существует несколько элементарных корректоров (корректор 1, корректор 2,... корректор n на рис. 9). Каждый элементарный корректор включает в себя классификатор, который отделяет кластер распознанных ошибок от всех других ситуаций и сохраняет модифицированное решающее правило для этого кластера. Диспетчер выбирает для каждой ситуации ближайший кластер и передает вектор, представляющий ситуацию, соответствующему элементарному корректору для дальнейшего решения. Элементарный корректор принимает решение "ошибка или не ошибка" и действует в соответствии с этим решением. Теоремы стохастического разделения необходимы для оценки вероятности точной работы такой системы. Конечно, его точность возрастает с увеличением размерности данных. Корректоры  используются для решения классической задачи повышения чувствительности и специфичности (устранения ложноположительных и ложноотрицательных результатов классификации), для передачи знаний между системами искусственного интеллекта, для обучения мультиагентных систем и других целей. Поданы заявки на российский и международный патенты. 

Рис. 1: Корректор унаследованной системы искусственного интеллекта.

Система слабо связанных корректирующих ансамблей (Рис. 1) тестировалась на задаче распознавания лиц. Типичная ROC-кривые, полученные в ходе тестирования для разного числа использованных слабо связанных элементарны корректоров (1, 2, 10, 100) плказаны на Рис. 2.

 

 

 

 

 

 

 

 

 

 


 


Накопление большого числа корректоров ведет, начиная с некоторого порога, зависящего от размерности системы и внутренней размерности данных, к потере адаптивности системы и к накоплению так называемого технического долга. Для его преодоления создана система интериоризации накопленных корректоров. Она представляет собой обучение с учителем, в котором система ИИ с корректорами является учителем (предлагает ответы или действия), а система ИИ без корректоров ("ученик") учится давать правильный ответ (Рис. 2). В начале ученик представляет собой ту же унаследованную систему ИИ, что и учитель, но без корректоров. В процессе обучения навыки студента меняются. Случайная генерация примеров может быть улучшена путем выбора более реалистичных примеров и элементов состязательного обучения (выбор примеров с более высокой вероятностью ошибок). Эта игра системы с самой собой является реализацией знаменитой технологии самоигры DeepMind. Основное достоинство процесса интериоризации перед стандартным обучением с учителем состоит в том, что вся маркировка и генераци данных происходит автоматически, без доплнительного обращения к реальности и внешней экспертизе.

Рис. 3. Схема интериоризации знаний для устранения накопленного «технического долга». Красным показана система корректоров. Агент, оснащенный системой корректоров, маркирует поток примеров обучающего множеста для подготовки усовершенствованного агента, который объединяет навыки  исходного агента и его корректоров.

Эти теоремы и оценки используются как для коррекции многомерных систем ИИ, управляемых данными, так и для анализа их уязвимостей. Третья область применения - возникновение памяти в ансамблях нейронов, феномены бабушкиных клеток и разреженного кодирования в мозге, а также объяснение неожиданной эффективности малых нейронных ансамблей в многомерном мозге. Детальный обзор новых теорем и оценок приведен в Главе 2 данного отчета.

 

Основные публикации к разделу (2020):

Grechuk, B., Gorban, A. N., & Tyukin, I. Y. (2020). General stochastic separation theorems with optimal bounds. arXiv preprint arXiv:2010.05241. (Neural Networks, accepted – status “Revise&Accept”, декабрь 2020)

Gorban, A. N., Makarov, V. A., & Tyukin, I. Y. (2020). High-dimensional brain in a high-dimensional world: Blessing of dimensionality. Entropy22(1), 82, https://doi.org/10.3390/e22010082

Sidorov, S.V., & Zolotykh, N.Y. (2020). Linear and Fisher Separability of Random Points in the d-dimensional Spherical Layer.," 2020 International Joint Conference on Neural Networks (IJCNN), Glasgow, United Kingdom, 2020, pp. 1-6, https://doi.org/10.1109/IJCNN48605.2020.9206657.

Подана российская заявка на патент «Способ обратимой коррекции систем искусственного интеллекта» , дата поступления 13.08.2020, Входящий № 047883, Регистрационный №2020127200, Исходящий №TMA200280818

Подана международная заявка на патент «Способ обратимой коррекции систем искусственного интеллекта» , Номер международной заявки: PCT/RU2020/000482, дата международной подачи l4 сентября 2020 (l4.09.2020), дата приоритета: l3 августа 2020 (l3.08.2020)

 


 

2.2 Фундаментальные факторы неустойчивости и новые типы уязвимости ИИ систем

 

Соединяя идеи состязательной игры с наблюдателем и состязание с учителем ИИ с новой теорией корректоров и теорией стохастической разделимости, созданной в хоже проекта, мы разработали основу для оценки и анализа двух классов недоброжелательных действий по отношению к универсальным системам искусственного интеллекта (ИИ). Рассматриваются два класса атак. Первый класс включает состязательные примеры и касается введения небольших возмущений входных данных, которые приводят к неправильной классификации. Второй класс, описанный нами впервые и названный стелс-атаками, включает в себя небольшие возмущения самой системы ИИ. Здесь возмущенная система производит любой желаемый злоумышленником результат на определенном небольшом наборе данных, возможно, даже на одном входе, но работает как обычно на тестовом наборе (который неизвестен злоумышленнику). Схематически стелс-атака редставлена на Рис. 4.

Рис. 4. Схематическое представление стелс атаки

Мы показываем, что в обоих случаях, то есть в случае атаки, основанной на примерах состязательности, и в случае скрытой атаки, размерность пространства принятия решений ИИ является основным фактором восприимчивости ИИ. Для атак, основанных на примерах состязательности («адверсарные атаки»), вторым важным параметром является отсутствие локальных концентраций в распределении вероятностей данных, свойство, известное как смазанная абсолютная непрерывность. Согласно нашим выводам, устойчивость к состязательным примерам требует, чтобы либо (а) распределения данных в пространстве признаков ИИ имели концентрированные функции плотности вероятности, либо (б) размерность решающих переменных ИИ была достаточно мала. Также показано, как создавать стелс-атаки на многомерные системы ИИ, которые трудно обнаружить, если набор валидации не будет экспоненциально большим.  

Существование стелс-атак, связан с введенным нами понятием «SmAC (Smeared Absolute Continuity)» распределений. Качественно, это распределения вероятностей, в которых множества малого объема имеют малую же вероятность, а также отсутствуют «тяжедые хвосты» распределений. Основной принцип, обеспечивающий сущетвование стелс атак:

       Размерность данных в пространстве решений (десятки)

+

       Свойство SmAC распределения

=

неустойчивость AI к возмущениям данных с вероятностью экспоненциально близкой к 1    (по размерности)

 

Более детально теория стелс атак изложена в главе 4 данного отчета.

 

Основные публикации к разделу (2020):

I. Y. Tyukin, D. J. Higham and A. N. Gorban, "On Adversarial Examples and Stealth Attacks in Artificial Intelligence Systems," 2020 International Joint Conference on Neural Networks (IJCNN), Glasgow, United Kingdom, 2020. https://doi.org/10.1109/IJCNN48605.2020.9207472.


 

2.3 Алгоритмы и программное обеспечение для анализа размерности данных

 

В теории и алгоритмах построения корректоров и анализа уязвимости ИИ существенную роль играет внутренняя размерность данных (ВРД). Существует множества определений такой размерности и не все они являются в равной степени применимыми для прикладных задач. В наибольшей степени для этого пригоден подход, основанный на статистике разделимости данных.

ВРД является одной из самых фундаментальных характеристик многомерных данных. Знание ВРД является важным для выбора конкретного метода машинного обучения, а также для понимания его поведения и проверки результатов. Знание о ВРД является существенным для прогнозирования надежности поведения систем искусственного интеллекта (ИИ) в реальных системах, возможности коррекции их ошибок, а также подверженности к разного рода потенциально злонамеренным манипуляциям (таких как состязательные атаки). ВРД может быть вычислено глобально для всего облака точек данных, или расчитано локально в разных областях пространства данных.

Существует большое число подходов к оценке ВРД, как классических, основанных на анализе спектра ковариационной матрицы или подсчета количества точек данных, попавших в шар растущего радиуса, так и более совеременных, основанных на теоретических результатах о геометрии многомерных пространств (таких как теория концентрации мер). Как ни странно, на данный момент отсутствует референсный (стандартный) пакет оценки ВРД в стандартных языках программирования, используемых для анализа данных, как Python, который содержал бы проверенные реализации оценок ВРД различными методами.

Идеальная оценка ВРД должна быть устойчива к шуму в данных, работать в пространствах высокой размерности, быть точной и вычислительно эффективной, быть достаточно устойчивой к наличию сравнительно небольшого числа наблюдений, давать оценку неопределенности расчета ВРД. На сегодняшний день невозможно выделить один конкретный и идеальный способ оценивания ВРД, который превосходил бы все остальные по всем требованиям. Следовательно, наиболее прагматичным подходом к оценке ВРД сегодня является коллективный ансамблевый метод, когда различные методики применяются одновременно, и находится консенсусная характеристика ВРД. С этой целью был разработан паект scikit-dimension.

В рамках работы по проекту нами был разработан пакет scikit-dimension на языке Python, который претендует на то, чтобы в будущем занять нишу стандартного пакета на этом языке для методов оценки ВРД, в различных областях применения машинного обучения и искусственного интеллекта. В результате проведенной работы по реализации, тестированию и сравнению различных методов оценки ВРД, в пакете на данный момент реализовано 12 методов оценки ВРД, эффективность которых была показана в тестовых задачах. В частности, в пакете реализован метод оценки ВРД, основанный на применении теоретических результатов о Фишеровской разделимости облаков точек данных (теория которых дана в Главе 3). Кроме самих методов, в пакете реализован механизм генерации тестовых данных для сравнения различных методов оценки ВРД в дальнейшем. Пакет scikit-dimension разработан с учетом требований к качеству стандартных пакетов, с использованием современных принципов и средств по автоматизированной проверке качества программного обеспечения. В частности, при разработке пакеты была достигнута совместимость со стандартом PEP8, с применением кросплатформенного (Linux, MacOS, Windows) модульного тестирования и непрерывной интеграции. Код пакета открыто доступен под защитой лицензии BSD.

 В качестве одного из приложений методология применяется для анализа данных в молекулярной биологии (одноклеточные омиксные данные), где эффективная размерность данных, оценненая через свойства отделимости, позволяет эффективно сегментировать многомерные облака данных на области с постоянной эффективной размерностью данных. В частности, анализ 50ти наборов одноклеточных данных, находящихся в открытом доступе, показал связь локальной внутренней размерности данных с дифференцирующим потенциалом, т.е. степенью мультипотентности индивидуальных клеток (Рис. 5).  

 

Рис. 5. Сравнение стандартного метода предсказания дифференцирующего потенциала (CytoTRACE) индивидуальных клеток на основе анализа данных одноклеточных транскриптомов, с различными методами оценки локальной размерности наборов одноклеточных данных. Каждая диаграмма соответствует методу оценки дифференцирующего потенциала. Каждая точка соответствует набору одноклеточных данных, где индивидуальные клетки ранжированы по степени дифференциации.  Ось ординат показывает абсолютную взвешенную корреляцию между предсказанием и известным ранжированием. Некоторые из названий методов: FisherS (локальная оценка размерности с использованием попарной Фишеровской разделимости в локальной окрестности точки), Fisher_GPW (локальная оценка размерности с использованием Фишеровской разделимости точки данных от всех остальных точек), PCA_F0_0_1 и PCA_F0_0_05 (оценки локальной размерности по числу обусловленности локальной ковариационной матрицы с разными порогами – 10 и 20 соответственно), PC1 – проекция на первую главную компоненту, PCA_KS (оценка локальной размерности с помощью правила Кайзера для локальной ковариационной матрицы).

 

В Главе 5 данного отчета более детально описаны новые методы, воплощенные в пакете scikit-dimension, и приведены результаты их тестирования на синтетических и реальных наборах данных с использованием scikit-dimension.

 

Основные публикации к разделу (2020):

Bac J and Zinovyev A. Lizard brain : tackling locally low-dimensional yet globally complex organization of multi-dimensional datasets. Frontiers in Neurorobotics, 2020, 13:110. https://doi.org/10.3389/fnbot.2019.00110

Mirkes E.M., Allohibi J., Gorban, A.N, Fractional norms and quasinorms do not help to overcome the curse of dimensionality. Entropy 2020, 22, 1105. https://doi.org/10.3390/e22101105

Bac J. and Zinovyev A., "Local intrinsic dimensionality estimators based on concentration of measure," 2020 International Joint Conference on Neural Networks (IJCNN), Glasgow, United Kingdom, 2020, pp. 1-8, https://doi.org/10.1109/IJCNN48605.2020.9207096.

Chevalier S, Noël V, Calzone L, Zinovyev A, Paulevé L. Synthesis and Simulation of Ensembles of Boolean Networks for Cell Fate Decision. 18th International Conference on Computational Methods in Systems Biology (CMSB), 2020,  Germany. pp.193—209. https://doi.org/10.1007/978-3-030-60327-4_11. Статья опубликована в Computational Methods in Systems Biology (Abate A, Petrov T, Wolf V, eds.) Lecture Notes in Bioinformatics (subseries Lecture Notes in Computer Science), 2020, Springer, ISBN 978-3-030-60326-7.

Библиотека программ Scikit-dimension находится в открытом доступе: https://github.com/lamhda/scikit-dimension


 

2.4 Алгоритмы топологических грамматик и программное обеспечение для построения главных графов и их применение для динамического фенотипирования заболеваний – новой парадигмы в медицине

 

 Понятие болезни как специфической и сложной динамики противоположно наивной идее дискретного диагноза, определяющего болезнь как состояние. Следуя классическим идем медицины, в течение длительного времени работа многих тысяч лучших медицинских экспертов имела целью превратить скрупулезные наблюдения за траекториями болезней миллионов отдельных пациентов в стандартные медицинские протоколы. Благодаря этим усилиям сегодня мы иногда можем сделать прогноз для пациента, а не просто диагностировать его текущее состояние. Но нам нужно гораздо больше: выявить типичные кризисы и сделать надежный индивидуальный прогноз.

Сегодня мы можем исследовать организм пациента более систематически, чем когда-либо, даже на молекулярном уровне. Иногда мы можем записать все, что происходит с целыми нациями с точки зрения здоровья, в миллиарды клинических записей. Могут ли эти большие данные, оснащенные методами искусственного интеллекта, ускорить процесс роста медицинских знаний? Точка зрения больших данных на медицину долгое время была связана с принципом кластеризации. Состояние пациента можно представить в виде вектора в многомерном пространстве, объединяющего все биты собранной информации, включая очень точные молекулярные измерения. Собрав множество таких векторов, можно подумать о применении подхода машинного обучения без учителя и определить подгруппы пациентов с похожими состояниями.

Гипотеза чаще всего состоит в том, что каждая такая подгруппа пациентов (кластер) требует сходного лечения. Чем больше такой информации мы собираем, тем яснее становится, что мы можем идентифицировать все больше и больше кластеров, которые отражают все более и более тонкую классификацию пациентов на подтипы заболеваний. И совершенно поразительно, что этот подход, по-видимому, находится в прямом противоречии с классической медициной, сфокусированной на прогнозе, поскольку, классифицируя моментальные состояния пациентов, мы склонны пренебрегать динамической природой болезни как процесса.

Мгновенно наблюдаемое состояние пациента не говорит о том, как он туда попал, процесс, который может занять годы и предшествовать другим диагнозам. Прямо сейчас мы стоим перед лицом изменения парадигмы от определения болезни как статического снимка состояния организма к понятию индивидуализированной клинической или патологической траектории, представляющей историю болезни пациента с взаимодействием и взаимовлияниями множества диагнозов. Миллионы таких траекторий можно сгруппировать в динамические фенотипы, представляющие меньшее число основных стереотипных патологических сценариев. Современные методы искусственного интеллекта, основанные на сборе большого количества клинически значимых данных, могут помочь нам выполнить такое динамическое фенотипирование пациента.

В этом отношении есть еще одна большая проблема. Реконструкция точной индивидуальной клинической траектории требует длительного наблюдения за пациентом с систематическим сбором информации о состоянии его организма. Эти данные (называемые продольными или диахроническими наблюдениями) по-прежнему очень трудно и дорого собирать. Мы располагаем гораздо большим количеством синхронных (моментальных) данных, полученных из наблюдения за пациентами в течение относительно короткого периода времени (например, во время пребывания в больнице). Можно ли реконструировать клинические траектории и динамические фенотипы на основе таких наблюдений?

Мы выдвинули и исследовали гипотезу  о том, что если число синхронных наблюдений велико, то они будут отображать структуру клинических траекторий, поскольку каждый пациент будет представлять различное состояние прогрессирующего заболевания, вдоль определенной траектории заболевания. Тогда крупномасштабные клинические данные могут быть смоделированы как букет клинических траекторий, даже если характер данных является синхронным и ни один из пациентов не отслеживается в течение длительного времени.

Корень этого букета соответствует интегрированному состоянию болезни, наступлению многих возможных патологических сценариев. Листья букета отображают терминальные состояния, соответствующие смертельным или хроническим тяжелым заболеваниям, либо полное выздоровление. Клинические моледировались главными деревьями, основанными на идее топологических грамматик.

Нами была предложена новая методология анализа больших клинических наборов данных, которые могут содержать признаки разных типов (числовые, бинарные, категориальные) и пропущенные значения. Клинические данные моделируются геометрически как букет расходящихся траекторий. Методология основана на применении эластичных упругих графов, которые одновременно решают задачи снижения размерности, визуализации данных, кластеризации, отбора существенных признаков и расчета геодезического расстояния (псевдо-времени) в частично упорядоченных последовательностях наблюдений. Применение методологии позволяет ассоциировать состояние пациента с одной из клинических траекторий (сценарием развития болезни) и охарактризовать степень его продвижения вдоль этой трактории с оценкой неопределенности прогноза.

Разработанный нами метод расчета псевдо-времени развития болезни дает возможность применять методы, разработанные ранее для динамического фенотипирования и анализа траекторий болезней (диахронные данные)  к синхронным клиническим данным.

Нами был разработан программный пакет для анализа клинических траекторий, ClinTrajAn, который протестирован на двух больших наборах клинических данных, существующих в открытом доступе (см. Главу 6 данного отчета).

Этот подход был применен к двум большим общедоступным клиническим наборам данных наблюдений из двух наиболее сложных областей общественного здравоохранения: кардиологии и диабета. Первый набор данных был собран Сергеем Головенкиным с группой сотрудников в Красноярском крае, предобработан и подготовлен нами в соавторстве с этой группой  и передан в общественное достояние. Анализ, основанный на применении главных деревьев, выявил десять различных клинических траекторий инфаркта, так что каждый пациент может быть классифицирован как следующий одной из них, после инцидента с инфарктом миокарда. Каждая из траекторий характеризуется отчетливыми закономерностями летальности и других осложнений вместе со специфическими факторами риска, поэтому определение типа траектории пациента как можно раньше должно влиять на выбор лечения и повышать шансы на его успех.

 

Рис. 6. Клинические траектории построенные по результатам анализа набора данных по осложнениям инфаркта миокарда, собранного на базе Красноярского Медицинского Университета. Каждая точка соответствует клиническому случаю инфаркта миокарда. Цвет точки соответствует различным признакам в таблице данных, таким как тип осложнения (панель слева) или возраст (AGE), летальный исход (Lethal cases), показанные на панелях справа. На всех панелях показана структура главного дерева, аппроксимирующего данные.  

Во второй части исследования был проанализирован большой набор данных, представляющий 10 лет (1999-2008) клинической помощи пациентам с диабетом в 130 больницах США. Авторы также выявили наличие клинических траекторий, которые были различны с точки зрения вероятности возврата в больницу в течение одного месяца после выписки. В этом случае определение клинической траектории может помочь скорректировать диагностические процедуры (в частности, проведение теста на гликированный гемоглобин HbA1c), должно улучшить уход с целью минимизации шансов на ранний возврат в больницу.

Предложенная методология является достаточно общей для применения ко многим различным заболеваниям и типам данных. Он может улучшить анализ электронных клинических записей, а также результаты непрерывного мониторинга пациентов с использованием носимых медицинских устройств. Программное обеспечение доступно онлайн. Данные по инфаркту также накодятся в открытом доступе (опубликованы вместе с работой). Подробное опиание исследования приведено в Главе 6.

Реализована новая версия программного обеспечения для построения главных графов (ElPiGraph). В новой версии добавлены функции для визуалиции данных, выделения траекторий, расчета псевдовремени и анализа рисков с помощью адаптированных методов анализа выживаемости. В новой версии реализованы O(p2) эвристики, позволяющие значительно ускорить расчет больших главных графов (p – число узлов в графе). Программное обеспечение находится в открытом доступе  https://github.com/j-bac/elpigraph-python.

Проведено детальное сравнение метода ElPiGraph c существующими аналогами по построению аппроксиматоров данных на основе теории графов. Сравнивалось как время расчета аппроксимации так и результат аппроксимации. Предложен оригинальный метод сравнения аппроксимационных графов на основе кластеризации данных по неветвящимся сегментам главного графа.

Подробное опиание исследований динамических фенторипов и нового программного обеспечения ClinTrajAn  приведено в Главе 6.

 

Основные публикации к разделу (2020):

Golovenkin, S.E., Bac, J., Chervov, A., Mirkes, E.M., Orlova, Y.V., Barillot, E., Gorban, A.N. & Zinovyev, A. (2020). Trajectories, bifurcations and pseudotime in large clinical datasets: applications to myocardial infarction and diabetes data. GigaScience. Volume 9, Issue 11, November 2020, giaa128, https://doi.org/10.1093/gigascience/giaa128

Albergante, L., Mirkes, E., Bac, J., Chen, H., Martin, A., Faure, L., Gorban, A.N. & Zinovyev, A. (2020). Robust and scalable learning of complex intrinsic dataset geometry via ElPiGraph. Entropy, 22(3), 296. https://doi.org/10.3390/e22030296 

Bac J. and Zinovyev A., "Local intrinsic dimensionality estimators based on concentration of measure," 2020 International Joint Conference on Neural Networks (IJCNN), Glasgow, United Kingdom, 2020, pp. 1-8, https://doi.org/10.1109/IJCNN48605.2020.9207096.

Программное обеспечение для построения главных графов (ElPiGraph). https://github.com/j-bac/elpigraph-python.

Программное обеспечение для анализа клинических траекторий ClinTrajAn : https://github.com/lamhda/ClinTrajan

Golovenkin   SE, Bac   J, Chervov A, ., Mirkes, E.M., Orlova, Y.V., Barillot, E., Gorban, A.N. & Zinovyev, A. (2020). Supporting data for “Trajectories, bifurcations and pseudo-time in large clinical datasets: Applications to myocardial infarction and diabetes data.". GigaScience Database. 2020. http://dx.doi.org/10.5524/100819.


 

2.5 Классификация и распознавание типов нейронов на основе аализа спайковых последовательностей

 

Рассматриваются векторные представления признаков для временных рядов спайков нейронов. Эти представления в сочетании с общими методами классификации / кластеризации временных рядов позволили получить хорошие результаты классификации на последовательностях спайков одиночных клеток в задаче классификации типов клеток. Для данной задачи использовался набор данных о спайковой активности коры головного мозга с открытым доступом. Для задачи классификации типов клеток были классифицированы предполагаемые возбуждающие нейроны по сравнению с тормозными. Используя отдельные последовательности спайков нейронов, были получены базовые оценки производительности для ряда алгоритмов машинного обучения с учителем, обученных на наших представлениях векторов признаков. Было показано, что отдельные нейроны несут достаточный объем информации, которая позволяет различать не только типы клеток.

Были взяты образцы спайковых последовательностей из обоих типов клеток в наборе данных независимо от основного состояния сети. В итоге было получено 995 возбуждающих клеток и 126 тормозных клеток. Для набора данных проверки были взяты клетки, соответствующие 40% от общего количества спайков от обоих классов. Остальные данные использовались для обучающей выборки. Каждый спайк в данных затем представлялся в виде серии ISI. (ISI - профиль расстояния I (t) количественно определяет несходство в терминах относительных различий параллельных межспайковых интервалов двух спайковых поездов. По сути, он измеряет относительные различия мгновенных скоростей двух спайковых поездов, но не чувствителен к точным временным интервалам спайков. Профиль ISI-расстояния является двумерной кусочно-постоянной функцией.). И для тренировочных, и для проверочных наборов, извлекаются фрагменты серии ISI размером N size = 100 ISI путем применения скользящего окна с шагом = 50 ISI. Было обнаружено, что значения ISI для фрагментов последовательности спайков соответствуют распределению с тяжелым хвостом, которое различается в зависимости от типа клеток.

Затем были оставлены только фрагменты спайковых последовательностей с аналогичным значением ISI распределения для обоих типов клеток для задачи классификации. Для этого был выбран интервал значений ISI (здесь берется [50, 200] мс) и оставлены только фрагменты спайковых последовательностей, содержащие определенный процент (здесь 70%) значений ISI в выбранном интервале. Это означает, что были сохранены только спайковые последовательности возбуждающих клеток с достаточно высокой спайковой активностью (сопоставимые с тормозными клетками) в наборе данных. В этом случае проблема классификации имела небольшой класс дисбаланса, так как мы получили 26000 фрагментов возбуждающих спайковых последовательностей и ~ 75000 фрагментов тормозных спайковых последовательностей в тренировочном наборе после препроцессинга.

Набор валидации состоит из примерно 22000 возбуждающих и 48000 тормозных наборов спайковых последовательностей. Наборы спайковых последовательностей были извлечены независимо от состояние нейронной активности (например, сон или бодрствование) в течение определенного временного интервала в записи.

Результаты:

Модели на основе соседства на необработанных серий ISI: для получения исходного качества классификации для нашей задачи были оценены модели ближайшего соседа с несколькими общими метриками расстояния, обученные на необработанных временных последовательностях спайков. Модель kNN тренировалась с метрикой Минковского (p = 1 и p = 2), расстоянием DTW (размер окна равен 15 шагам по времени), расстоянием Колмогорова-Смирнова и Вассерштейна для значения ISI распределения внутри последовательности и, наконец, специфичные для спайк-последовательности метрика подобия, расстоянием Ван Россума.

Screenshot from 2021-01-07 00-13-06

Рис. 7.  Распределения показателей точности kNN классификаторов, обученных и проверенных на случайных подвыборках из полного набора данных о возбуждении и торможении (6000 образцов в обучающей выборке, 6000 образцов в проверочной выборке, сбалансированные) в зависимости от используемой метрики расстояния.

 

На рисунке 7 показаны достигнутые значения точности в наборе данных проверки для каждого расстояния метрика обучена и проверена на нескольких случайных подвыборках полного набора данных (3000 образцов обоих классов в обоих обучаемых и валидационных наборах). Средние показатели точности обычно находятся в диапазоне 45-60% в зависимости от метрики расстояния, а также метрики расстояния Колмогорова-Смирнова и Вассерштейна оказались наиболее эффективными по сравнению с остальными показателями даже для предсказаний одного ближайшего соседа в этой задаче. Поскольку образцы временных рядов в нашем наборе данных были взяты в разное начальное время разных нейронов, метрики на основе сопоставления с образцом (например, евклидовы и метрики, специфичные для набора спайковых последовательностей) не должны давать отличных результатов производительности в такой конфигурации. В некоторых случаях они хорошо работают, потому что косвенно отражают различия в ISI распределении по классам. Естественно, метрики, которые напрямую сравнивают эти распределения (например, расстояние Колмогорова - Смирнов и Вассерштейна) , дают лучшие результаты на таких задачах. Поэтому было предложено использовать подход, который объединяет kNN с метриками сравнения распределений для классификации последовательностей спайков в общих условиях, когда различия между ISI-распределениями существенны. В случаях, когда классы активности имеют очень похожее распределение ISI, ожидается, что все вышеупомянутые методы kNN работают плохо и таким образом, более продвинутые методы, которые фиксируют временную структуру спайковых последовательностей, необходимы для получения удовлетворительного результата классификации.

 

Ручное извлечение признаков и модели базовых классификаторов: вместо того, чтобы передавать необработанные данные временной последовательности ISI непосредственно в модель классификации, использовался пакет Python tsfresh для вычисления репрезентативного набора из 794 признаков для каждого фрагмента последовательности спайков. Это можно сделать независимо для наборов для обучения и проверки, поскольку характеристики вычисляются для каждой серии ISI независимо. Для каждой характеристики, полученной из обучающей выборки, были рассчитаны среднее значение и дисперсия, чтобы применить стандартное масштабирование как к обучающей, так и к тестовой выборке. Неинформативные функции с низкой дисперсией были удалены с помощью условия std / (mean + ε) <θ, где θ установлено на 0,2, а ε  1e-9. Некоторые признаки, извлеченные из данных серии ISI, с помощью tsfresh сильно коррелировали друг с другом, что измеряется коэффициентом корреляции Пирсона между значениями признаков. Удаление коррелированных признаков может быть реализовано путем исключения единственного признака из каждой пары признаков, у которых корреляция Пирсона (R) больше порогового значения Rthr. Точное значение Rthr обычно является свободным параметром, однако мы обнаружили, что даже небольшое удаление коррелированных признаков (Rthr <1, ​​но близко к единице) отрицательно сказались на эффективности классификации, и наблюдалась отрицательная общая тенденция к точности классификации по мере уменьшения Rthr. Следовательно, в большинстве представленных здесь тестов мы не выполняли предварительное удаление коррелированных признаков для классификации. Однако это было выполнено до дальнейшего применения алгоритмов уменьшения размерности, так как известно, что эти методы чувствительны к корреляциям признаков. После того, как образцы серии ISI преобразованы в векторное представление на основе признаков, стандартные модели классификаторов, такие как случайные леса и машинный градиентный бустинг, могут использоваться для оценки базовых показателей точности для конкретной задачи. Чтобы сравнить оценки точности по разным классам моделей классификации, использовались (а) модель kNN с метрикой евклидового расстояния (с k = 1 и k = 3 ближайшими соседями), (b) модель линейной логистической регрессии (с L1 или L2 регуляризацией, C = 0,1 для обеих моделей) и (c) несколько моделей на основе нелинейных деревьев: классификатор случайных лесов (с n = 200 деревьями и без ограничений регуляризации), классификатор на основе рандомизированных деревьев решений (дополнительные деревья, с n = 200 деревьев) и реализация градиентного бустинга дерева решений из библиотеки xgboost.

 

Подробнее результаты изложены в Главе 7 данного отчета.


 

2.6. Исследование динамических режимов внеклеточного матрикса мозга

 

Исследованы динамические режимы в моделях внеклеточного матрикса мозга (ВКМ), учитывающих изменения во времени среднего уровня нейросетевой активности. Изменение концентрации молекул внеклеточного матрикса мозга, Z, и молекул протеаз, P, описывается системой дифференциальных уравнений, где  – некоторый постоянный уровень нейронной активности, - амплитуда колебаний относительно , а  – частота колебаний:

                                  

Для иллюстрации изменений в динамике концентрации молекул ВКМ при наличии малых отклонений Q от Q0, в данной работе получены бифуркационные диаграммы (рис. 8), показывающие изменение максимальных значений Z при изменении частоты ws для двух значений Qs: Qs=0.01 и Qs=0.02. Принимая во внимание бистабильность в поведении системы при Qs=0, численное исследование проводилось для двух различных начальных условий: (6; 2) – вблизи аттрактора, соответствующего колебательному режиму, и (3.7; 2) – вблизи устойчивого состояния равновесия.

(a)

(b)

(c)

(d)

Рис. 8. Бифуркационные диаграммы, полученные при различных начальных условиях и значениях параметра Qs: (a) Qs=0.01, (Z0, P0)=(3.7; 2); (b) Qs =0.01, (Z0, P0)=(6; 2); (c) Qs =0.02, (Z0, P0)=(3.7; 2) и (d) Qs =0.02, (Z0, P0)=(6; 2)

На Рис.8(a) и 8(b) представлены диаграммы, полученные для Qs=0.01. При выборе начальных условий (Z0, P0)=(3.7; 2) фазовая траектория с течением времени приближается к устойчивому предельному циклу. При изменении ws хорошо выражен резонансный характер кривой: при ws»0.005 не только Zmax принимает заметно большие значения, но и амплитуда цикла существенно увеличивается. При (Z0, P0)=(6; 2), Рис.1(b), при изменении частоты можно наблюдать чередование областей с регулярной и сложной хаотической динамикой. Таким образом, при Qs=0.01 в рассматриваемой системе при различных ws возможно сосуществование не только двух регулярных режимов, которым соответствуют циклы различной амплитуды, но и сосуществование цикла с хаотическим аттрактором. Из диаграмм, представленных на Рис.7(c) и 7(d), следует, что динамика концентрации молекул ВКМ при Qs=0.02 становится сложнее: возникает два диапазона по частоте, где Zmax (а также и амплитуда колебаний) заметно увеличивается. Появление большого числа точек на Рис.7(d), удаленных от Zmax»5.1 связано с тем, что при больших ws собственная частота колебаний системы, связанная с частотой цикла, наблюдаемого при Qs=0, существенно меньше fc«ws.

Изучены механизмы усложнения динамики концентрации молекул ВКМ при наличии слабо изменяющегося уровня нейросетевой активности для параметров, выбранных в окрестности бифуркации двойного предельного цикла. Разработан алгоритм эффективного распараллеливания, позволяющий получить почти четырехкратное ускорение при подсчете значений для бифуркационных диаграмм.

 

Основные публикации к разделу (2020):

LazarevichI.A., Stasenko S.V., Rozhnova M.A., Pankratova E.V., DityatevA.E., Kazantsev V.B. Activity-dependent switches between dynamic regimes of extracellular matrix expression.PLoS One. 2020. Vol. 15, No. 1. https://doi.org/10.1371/journal.pone.0227917

M.A. Rozhnova, V.B. Kazantsev, E.V. Pankratova. Role of the neuronal firing rate in emergence of chaotic brain extracellular matrix dynamics. Book of Abstracts of the 13th Chaotic Modeling and Simulation International Conference (CHAOS2020, 9-12 June). P. 107-108, http://www.cmsim.org/images/Book_of_Abstracts_CHAOS_2020-.pdf


 

2.7 Динамика астроцитарных кальциевых силалов в нейронно-астроцитарных сетях

 

Проведено детальное исследование динамики концентрации кальция в астроцитах. Мозг представляет собой сложную многокомпонентную систему, в составе которой выделяют нейроны и глиальные клетки. Результаты исследований показывают, что для астроцитов характерны как спонтанные изменения концентрации кальция, так и кальциевые сигналы, вызванные активностью нейронов. При этом астроцитарные кальциевые сигналы могут быть локализованы в синапсах либо распространяться по астроцитарной сети. Во время генерации кальциевых сигналов астроцит способен воздействовать на сигнальные функции нейронов, регулируя возбудимость нейронной мембраны и эффективность передачи сигналов между нейронами. Уравнения кинетики биохимических преобразований в астроцитах известны и могут быть формализованы в виде систем нелинейных дифференциальных уравнений. Однако, с точки зрения нелинейной динамики, такие системы, в отличие от нейронных моделей, изучались сравнительно мало. Поэтому было проведено детальное исследование динамики концентрации кальция в астроцитах.

Была рассмотрена математическая модель кальций-сигнальных путей Лаврентовича и Хемкина. Изменение во времени внутриклеточной концентрации кальция и Ca2+-зависимой концентрации инозитол-1,4,5-трифосфата (IP3) описывается следующей системой обыкновенных дифференциальных уравнений:

                                 

 

 

где выражения для Jserca, JCICR и JPLC имеют следующий вид:

            (2)

.

 

Основными переменными этой системы являются внутриклеточная концентрации кальция [Ca2+]cyt, концентрация кальция во внутреннем хранилище – эндоплазматическом ретикулуме (ER) [Ca2+]ER и концентрация вторичного месседжера инозитол-1,4,5-трифосфата [IP3]cyt, который помогает открывать каналы и выводить кальций в цитозоль. Особое внимание уделено влиянию следующих параметров на изменение динамики кальция: vM2 – скорость потока кальция через serca в ER из цитозоля, vM3 – скорость потока кальция через IP3 из ER в цитозоль и vp – величина обратной связи между кальцием в цитозоле и IP3.

Так как из экспериментов известно, что подавление рецепторов ИТФ вызывает подавление выхода кальция из хранилища, то была рассмотрена задача о развитии так называемого эффекта исчезновения колебаний. Доказана единственность состояния равновесия, которое может терять устойчивость.

На Рис. 9(a) представлена бифуркационная диаграмма, полученная при изменении параметров vp и vM2. Различными оттенками серого цвета показаны области с различным типом поведения фазовых траекторий в окрестности состояния равновесия. Для удобства описания области также пронумерованы. Так, в областях 1 и 4 состояние равновесия представляет собой устойчивый фокус и устойчивый узел, соответственно. В областях 2 и 3 состояние равновесия не является устойчивым: в области 3 существует седло с двумерным неустойчивым и одномерным устойчивым многообразиями, в области 2 – седло-фокус с двумерным неустойчивым и одномерным устойчивым многообразиями. В этих областях параметров в силу диссипативности рассматриваемой системы наблюдаются колебательные режимы изменения концентрации кальция в астроците. Более того, детальный анализ поведения системы на границе между областями 1 и 2 показал, что характер смены устойчивости равновесия при переходе через эту границу в разных ее частях различен. В частности, обнаружено, что левая ветвь этой кривой соответствует переходу с мягким рождением устойчивого предельного цикла (суперкритическая бифуркация Андронова-Хопфа), а правая ветвь этой кривой соответствует переходу с рождением неустойчивого предельного цикла – здесь происходит субкритическая бифуркация Андронова-Хопфа. Таким образом, в силу диссипативности системы при переходе через правую ветвь границы уже должен существовать устойчивый предельный цикл большей амплитуды. Его рождение происходит при больших значениях параметра vp в результате бифуркации двукратного предельного цикла. Таким образом, в рассматриваемой системе существует область бистабильности, где сосуществуют два типа притягивающих множеств: устойчивое состояние равновесие и устойчивый предельный цикл.   

 (а)

 (b)

Рис. 9. Двупараметрические бифуркационные диаграммы на плоскостях (vp, vM2) - (a) и (vp, vM3) - (b). Цифрами отмечены области с различным типом поведения системы в окрестности состояния равновесия: 1 – устойчивый фокус, 2 – седло-фокус,  3 – седло, 4 – устойчивый узел. Граница перехода между областями 1 и 2, изображенная черным цветом, соответствует переходу через нулевое значение действительной части характеристических показателей (бифуркация Андронова-Хопфа).

 

Аналогичное разбиение на области с различным типом локальной устойчивости состояния равновесия было получено для плоскости параметров vp и vM3, Рис. 9(b). Сравнительный анализ полученных диаграмм позволяет сделать вывод о том, что во всем рассматриваемом диапазоне параметра vp при малых значениях vM2 и vM3 переходов в осцилляторный режим не происходит. При этом, увеличение параметра vM2 приводит к увеличению диапазона с колебательным режимом, а с увеличением vM3 этот диапазон уменьшается. Следует отметить, что приведенные на Рис.9 диаграммы получены при величине потока ионов кальция из внеклеточного пространства в цитозоль, равном Jin=0.03. Увеличение этого параметра приводит к сжатию всех областей диаграммы в направлении меньших значений vp и уменьшению диапазона с колебательным режимом.   

Рис. 10. Максимальные значения осцилляций [Ca2+]cyt при изменении параметра vp. На вкладках (слева направо): временные реализации [Ca2+]cyt для vp=0.01 mM/s, vp=0.05 mM/s и vp=0.08 mM/s. Два типа хаотических аттракторов представлены на рисунках (b) vp=0.050473  mM/s и (c) vp=0.050474  mM/s, соответственно. Параметры системы: kp=0.164 mM, kCaA=kCaI=0.27 mM

 

Также были исследованы особенности возникновения хаотической динамики в рассматриваемой модели. С этой целью построена бифуркационная диаграмма, отражающая изменение максимальных значений переменной [Ca2+]cyt при изменении параметра vp (Рис. 10). Обнаружены два типа хаотических аттракторов.

В связи с тем, что формирование различных пространственно-временных изменений концентрации кальция связывают с различными физиологическими функциями, особое значение приобретает анализ динамических режимов, наблюдаемых при изменении параметров соответствующей математической модели. В рамках модели Лаврентовича-Хемкина исследованы бифуркационные механизмы смены динамических режимов, характерных для концентрации астроцитарного кальция. Изучено влияние скорости потока кальция в эндоплазматический ретикулум из цитозоля (vM2), скорости потока кальция в обратном направлении (vM3) и величины обратной связи между кальцием в цитозоле и IP3 (vp) на изменение областей с моностабильным и бистабильным характером поведения системы. Поскольку изменения концентрации кальция способны корректировать процессы обработки информационных сигналов нервными клетками, на основе проведенного анализа особенностей различных режимов астроцитарной химической активности в дальнейшем планируется проведение исследования их роли при взаимодействии структурных элементов в комплексных многоклеточных системах.

 

 

Основные публикации к разделу (2020):

M. S. Sinitsina, S. Y. Gordleeva, V. B. Kazantsev and E. V. Pankratova, "Emergence of complicated regular and irregular spontaneous Ca2+ oscillations in astrocytes," 2020 4th Scientific School on Dynamics of Complex Networks and their Application in Intellectual Robotics (DCNAIR), Innopolis, Russia, 2020, pp. 217-220, doi:  https://doi.org/10.1109/DCNAIR50402.2020.9216897

Синицина М.С., Гордлеева С.Ю., Казанцев В.Б., Панкратова Е.В. Возникновение бистабильности в динамике концентрации астроцитарного кальция. Тезисы XX Международной конференции и молодежной школы «Математическое моделирование и суперкомпьютерные технологии», с. 349-352, 2020.    http://agora.guru.ru/hpc2020/

   


 

2.9 Восстановление эволюционной приспособленности из данных с помощью машинного обучения, с приложениями к экологическому моделированию

 

Разработан вычислительный подход к изучению эволюционной приспособленности сложных биологических систем, основанный на эмпирических данных с использованием искусственных нейронных сетей. Суть нашего подхода заключается в следующем. Сначала вводится порядок ранжирования наследуемых элементов (поведенческих стратегий и / или признаков жизненного цикла) в рассматриваемых самовоспроизводящихся системах: используется имеющаяся эмпирическая информация о селективных преимуществах таких элементов. Далее мы вводим эволюционную приспособленность, которая формально описывается как определенная функция, отражающая введенный порядок ранжирования. Затем мы аппроксимируем пригодность в пространстве ключевых параметров с помощью разложения Тейлора. Для оценки коэффициентов в разложении Тейлора используются искусственные нейронные сети: строится поверхность для разделения областей высшего и внутреннего ранжирования парных наследуемых элементов в пространстве параметров. Наконец, мы используем полученную аппроксимацию поверхности приспособленности, чтобы найти эволюционно устойчивую (оптимальную) стратегию, которая максимизирует приспособленность.

Для восстановления функции приспособленности мы реализуем вычислительные методы искусственных нейронных сетей для эффективного разделения пар стратегий, имеющих противоположный порядок ранжирования (т. е. vw или vw). Машинное обучение, по-видимому, является естественным инструментом для распространения порядка ранжирования стратегий на основе имеющихся эмпирических данных на некоторые более широкие диапазоны признаков истории жизни. Конечная цель состоит в том, чтобы предсказать эволюционно оптимальную стратегию во всех возможных диапазонах жизненных черт и поведенческих паттернов. Мы утверждаем, что предлагаемый подход является достаточно общим и выходит за рамки теоретической биологии, например, он применим в экономике и бизнесе для прогнозирования конечного результата конкуренции производимых товаров, услуг и т. д. Однако реконструкция эволюционной приспособленности с помощью машинного обучения имеет несколько важных ограничений, которые могут усложнить ее. Во-первых, мы требуем, чтобы выборка временных рядов была достаточно длинной. Во-вторых, мы предполагаем, что набор эволюционирующих стратегий не конечен, а представляет собой определенный континуум (например, функциональное пространство). В-третьих, основная задача состоит не в том, чтобы установить порядок ранжирования сам по себе, а в том, чтобы с его помощью вывести функцию приспособленности, следующую этому порядку, с конечной целью предсказания эволюционно стабильной стратегии.  

В качестве экологически важного примера исследования мы применяем наш подход к изучению эволюционно стабильной вертикальной миграции зоопланктона в морских и пресноводных экосистемах. Используя машинное обучение, мы реконструируем функцию приспособленности травоядного зоопланктона по эмпирическим данным и прогнозируем суточную траекторию доминирующего вида в Северо-Восточном Причерноморье. Пример результатов моделирования приведен на Рис. 11.

 

Entropy 23 00035 g003

Рис. 11. Оптимальные траектории суточной вертикальной миграции зоопланктона На обоих рисунках точками показаны эмпирические данные вертикальной миграции Calanus euxinus в Северо-Восточном Причерноморье летом: синим и красным цветом обозначены соответственно молодь и взрослые особи. Синие и красные линии обозначают оптимальные траектории для молодых и взрослых соответственно, предсказанные оптимизацией приспособленности.  

 

Основные публикации к разделу (2020):

 

Kuzenkov O, Morozov A, Kuzenkova G. Exploring Evolutionary Fitness in Biological Systems Using Machine Learning Methods. Entropy. 2021; 23(1):35. https://doi.org/10.3390/e23010035

Kuzenkov O., Kuzenkova G. Identification of the Fitness Function using Neural Networks. Procedia Computer Science, 2020, Volume 169, Page 692 https://doi.org/10.1016/j.procs.2020.02.179

Kuzenkov O. Information Technologies of Evolutionarily Stable Behavior Recognition// Modern Information Technology and IT Education, 2020, Volume 1201 Page 250 / Series: Communications in Computer and Information Science https://doi.org/10.1007/978-3-030-46895-8_20


 

2.10 Раскрашивание панхроматических ночных образов земной поверхности методами машинного обучения

 

Искусственный свет в ночное время, излучаемый из жилых, промышленных, развлекательных зон и т. д., является важным спутником присутствия человека на Земле. С момента запуска в конце 2011 года спутника Suomi National Polar Partnership с комплексом видимых инфракрасных радиометров дневного/ночного диапазона (VIIRS/DNB) на борту глобальная ночная съемка значительно улучшилась с точки зрения пространственного разрешения, квантования, эффектов насыщения и пределов обнаружения низкой освещенности. Тем не менее, он все еще остается панхроматическим. Мультиспектральные изображения - более мощный источник информации, получаемый  удаленным зондированием. Однако сегодня эта информация либо коммерческая, либо бесплатная, но спорадическая. Здесь мы тестируем традиционные (линейные и ядерные регрессии) и методы машинного обучения (эластичные картографические модели, деревья решений, случайный лес) для повышения спектрального разрешения панхроматических изображений VIIRS/DBN в ночное время. Мы связываем интенсивность света каждой из трех цветовых полос (красный, зеленый и синий каналы) с интенсивностью панхроматического света и несколькими свободно доступными и легко вычисляемыми прокси для типов землепользования. В качестве учебных наборов используются RGB-изображения восьми городов, полученные из базы данных фотографий астронавтов. Модели, построенные для каждого города, затем проверяются на остальных семи наборах данных. Мы сравниваем производительность моделей по четырем характеристикам: корреляция Пирсона, взвешенные среднеквадратичные ошибки (WMSE), контрастное сходство исходных и восстановленных RGB-данных, а также согласованность производительности моделей на обучающих и тестовых наборах. В целом все модели демонстрируют высокую производительность, а восстановленные RGB-изображения визуально похожи на оригиналы. Однако обычные инструменты обычно обеспечивают более высокую корреляцию Пирсона и более низкий WMSE, в то время как модели эластичных карт обеспечивают лучшее контрастное сходство. Важно отметить, что эластичные карты демонстрируют более высокую согласованность всех показателей между обучающими и тестовыми наборами, что позволяет применять их к новым данным с более предсказуемым результатом. В редких случаях модели, построенные для одного города, оказываются плохо применимыми для другого, что указывает на необходимость дальнейшего анализа. Дальнейшее исследование должно быть сосредоточено на альтернативных наборах предикторов, более сложном анализе выбросов, альтернативных процедурах нормализации данных – прежде чем будет предложен общий или специфичный для конкретной области алгоритм повышения спектрального разрешения панхроматических ночных изображений.

(a)

(b)

 

 

 

(c)

(d)

(e)

Рис. 12: (a) Монохроматическое изображение Хайфы (Израиль):, предоставленное VIIRS, (b) RGB-изображения Хайфы предоставленные ISS, с огрубленным пространственным разрешением до уровня VIIRS, (с)-(e)  RGB изображения, сгенерированные из монохроматического (а) на основе различных методов: линейными множественными регрессиями (с), нелинейными ядерными регрессиями ядра (d) и эластичными картами (d).

 

 Проведенный анализ позволил нам выделить несколько общих особенностей, характерных для работы каждой модели на каждом наборе данных: во-первых, с точки зрения корреляции между оценочным и фактическим уровнями оценки синего света, полученные из любого вида модели, оказываются менее точными по сравнению с оценками красного или зеленого света. Мы склонны объяснять эту особенность существенно меньшим диапазоном перекрытия относительных спектральных чувствительностей синего канала (по сравнению с красным и зеленым) зеркальных камер, используемых космонавтами на МКС, и датчика VIIRS/DNB. При этом именно благодаря столь малому диапазону перекрытия с наиболее благоприятствующим предиктором полученные оценки рассматриваются как перспективные.

Во-вторых, WMSE оценок синего света, полученных из любого вида модели, оказался существенно ниже по сравнению с оценками зеленого или красного света. Мы предполагаем, что этой особенности способствует более низкая вариация фактических уровней синего света по сравнению с красным или зеленым. Заметим, однако, что эта особенность может быть сведена на нет при применении радиометрической коррекции, преобразующей цифровые числа в физические единицы.

В-третьих, все подходы единодушно указывали на одни и те же наборы, на которых тестирование моделей было существенно менее или более успешным. Примером менее успешного применения был случай, когда модели, построенные для Хайфы и Неаполя, были применены к Атланте и были сообщены высокие уровни WMSE оценок красного и зеленого света. В то же время в качестве примера наиболее успешного применения следует упомянуть случай, когда пекинские модели были применены к случаю Тяньцзиня и были зарегистрированы высокие уровни корреляций Пирсона для оценок красного и зеленого света. Мы предполагаем, что причина такой низкой / высокой применимости моделей, построенных для определенного набора данных на другом наборе данных, заключается в существенно иной / сходной структуре данных, обусловленной либо молниями, либо встроенными площадными паттернами соответствующих сайтов. Эти случаи, по нашему мнению, должны быть дополнительно проанализированы при создании обобщенного алгоритма повышения спектрального разрешения панхроматических данных VIIRS/DNB ALAN.

Данные исследования детально обсуждаются в публикациях.

 

Основные публикации к разделу (2020):

Rybnikova, N., Portnov, B. A., Mirkes, E. M., Zinovyev, A., Brook, A., & Gorban, A. N. (2020). Coloring panchromatic nighttime satellite images: Elastic maps vs. kernel smoothing and multivariate regression approach. arXiv preprint arXiv:2008.09303. Представлена в журнал IEEE Transactions on Geoscience and Remote Sensing (IF 2019 5.855, Q1 in Engineering, Electrical & Electronic). Препринт доступен по адресу: https://arxiv.org/abs/2008.09303


 

2.11 Анализ ЭКГ методами машинного обучения

 

На примере электрокардиограмм показаны характерные проблемы, возникающие при моделировании одномерных сигналов, содержащих повторяющиеся ошибочные паттерны, с помощью стандартных сверточных сетей. Показано, что эти проблемы носят системный характер. Они обусловлены тем, как сверточные сети работают с составными объектами, части которых не закреплены жестко, но обладают значительной подвижностью. Мы также демонстрируем некоторые контринтуитивные эффекты, связанные с обобщением в глубоких сетях.

 

Разработан, имплементирован и протестирован метод генерации ЭКГ для одного сердечного цикла с использованием вариационного автоэнкодера. Целью было закодировать исходный сигнал ЭКГ, используя как можно меньше признаков. Используя этот метод, мы извлекли вектор из 25 новых признаков, которые во многих случаях можно интерпретировать. Сгенерированная ЭКГ имеет вполне естественный вид. Низкое значение показателя максимального среднего расхождения, 3.83×10–3, также указывает на хорошее качество генерации ЭКГ. Извлеченные новые функции помогут улучшить качество автоматической диагностики сердечно-сосудистых заболеваний. Создание новых синтетических ЭКГ позволит нам решить проблему отсутствия размеченных ЭКГ для использования в обучении с учителем.

 

Схемы предлагаемых кодера и декодера представлены на рис. 13, 14. Примеры кардиоциклов из обучающей выборки приведены на рис. 15. Сгенерированные кардиоциклы имеют очень естественный вид и неотличимыврачами-функционалистами от реальных ЭКГ (рис. 16). 

 

 

 

Рис. 13 Схема кодера.

 

 

Рис. 14 Схема декодера

 

 

Рис. 15. Примеры кардиоциклов из обучающей выборки

 

 

Рис. 16. Примеры сегенерированных кардиоциклов

 

 

Основные публикации к разделу (2020):

Sereda I., Alekseev S., Koneva A., Khorkin A. and Osipov G., "Problems of representation of electrocardiograms in convolutional neural networks," 2020 International Joint Conference on Neural Networks (IJCNN), Glasgow, United Kingdom, 2020, pp. 1-6, https://doi.org/10.1109/IJCNN48605.2020.9206607

 

Результаты доложены на коференции Нейроинформатика - 2020. V. V. Kuznetsov, V. A. Moskalenko, N. Yu. Zolotykh Electrocardiogram Generation and Feature Extraction Using a Variational Autoencoder. Springer Studies in Computational Intelligence, to be published).

Российская заявка на патент «Аппаратно-программный комплекс электрокардиографических измерений» , дата поступления 26.11.2020, ВходящийW20072085, Регистрационный №2020138844

Международная заявка на патент «Аппаратно-программный комплекс электрокардиографических измерений», Номер международной заявки: PCT/RU2020/000672, дата международной подачи 09 декабря 2020 (09.12.2020), дата приоритета: 26 ноября 2020 (26.11.2020) (получено ФИПС 09.12.2020)

 


 

2.12 Модель  стрессовых реакций          

.

Разработана новая модель, описывающая «стрессовые» реакции при различных сигналах запуска неспецифических реакций со стороны распознающего модуля. В модельной подсистеме, описывающей неспецифические реакции интегральной системы, использованы следующие переменные.

Таблица 1.

 

ФАЗА

ТРЕВОГИ

(характерное время секунды – десятки секунд).

 

Переменная 1 – К1: САС – симпатоадреналовая система, активирует систему;

Переменная 2– К2: ЭОС – эндогенная опиоидная система («легкие» энкефалины, быстрая компонента), вызывает расслабление системы;

Переменная 3– К3: Е(t) – эффективное энергетическое обеспечение (быстрые траты - восстановление используемых ресурсов, по-видимому, с ограниченным объемом запасов);

ФАЗА

РЕЗИСТЕНТНОСТИ

(характерное время десятки минут – часы).

Переменная 4 – К4: ГГАС – гипоталамо-гипофизарно-адреналовая система, способствует запоминанию найденных решений (действий);

Переменная 5 – К5: Окситоцин, способствует стиранию (забыванию) найденных решений (выполненных действий);

Переменные 3 и 7 – К3: Е(t) и К7: Е(t)

ФАЗА

ИСТОЩЕНИЯ (характерное время часы – сутки).

Переменная 6– К6: ЭОС – эндогенная опиоидная («тяжёлые» эндорфины и динорфины) система (медленная компонента), вызывает расслабление системы и повышение порогов срабатывания сенсорных систем, а также запуск механизмов восстановления используемых ресурсов;

Переменная 7– К7: Е(t) – дополнительные энергетические источники (со сниженной эффективностью, значительными, но менее доступными запасами), обеспечивают необходимые траты энергии и механизм медленного восстановления используемых ресурсов);

Переменная 8– К8: Пробуждающие пептиды (FMRFamide-Related-Peptides = FaRPs), направленные, по-видимому, на управление порогами ЭОС – эндогенной опиоидной («тяжёлые» эндорфины и динорфины) системы (К6).

 

Балансные уравнения для переменных (компонент), обеспечивающих неспецифические реакции записываются в виде:

, где i = 1,2,4,5,6,8     

 – переменные, введенные в Таблице 1,

 – характерное время активации i–ой переменной;

 – характерное время утилизации i–ой переменной;

 – порог срабатывания активационной нелинейной функции для i–ой переменной;

 – коэффициент влияния j–ой переменной на i–ую переменную;

 – сигнал активации на i–ую переменную со стороны распознающей системы, обнаружившей сбой в работе своих алгоритмов.

Изменения переменных и  определяются уравнениями:

 

 

                                                                                                                    ,

а  – характерное время потребления j-ой компонентой той энергии, которая берется от i-го энергоисточника.

Нелинейные функции активации задаются в кусочно-линейном виде

,  если     (3)

 – наклоны среднего участка нелинейной функции, зависящие от уровней энергообеспечения (и ).

Для качественного анализа временных изменений переменных, происходящих в единой системе, можно использовать результаты отдельных (независимых) рассмотрений их поведения на выделенных этапах – стадиях: ФАЗА ТРЕВОГИ; ФАЗА РЕЗИСТЕНТНОСТИ; ФАЗА ИСТОЩЕНИЯ. Дело в том, что масштабы как времен роста, так и уменьшения рассматриваемых компонент на этих выделенных этапах – стадиях демонстрируют существенные различия. В дальнейшем единое решение составляется из фрагментов решений на выделенных этапах.

Было рассмотрено 11 наиболее характерных вариантов решений. Проведенная модификация модели стрессовых реакций позволила построить описание, соответствующее более объемному материалу экспериментальных данных.

Разработана новая модель из двух нейроноподобных подсистем (Рис. 17), описывающая взаимную работу распознающего модуля и «стрессовой» подсистемы. Взаимное функционирование подсистем позволяет выделить широкий спектр реакций, присущих живым системам. Одна из подсистем описывает возможные состояния базовой управляющей распознающей ячейки, принимающей решения на основе обрабатываемых сенсорных сигналов. В случае, когда ошибки её функционирования превышают заданный порог, формируется сигнал запуска стресс-реакции. Другая подсистема описывает механизмы формирования и разные уровни развития трех стадий стресс-реакции, альтернативные варианты выхода из стресса и управление порогами восприятия сенсорных сигналов в первой подсистеме. Предполагалось, что биологические системы можно моделировать как взаимодействующие иерархии распознающих систем для многообразных потоков сенсорных сигналов. Стремление описать все детали и возможности реальных биологических систем представляют собой далеко не оптимальный подход.

Рис. 17. Схема модели из двух нейроноподобных подсистем, описывающих взаимную работу распознающего модуля и «стрессовой» подсистемы.

Важно выбрать наиболее универсальные, позволяющие понимать смысл выполняемых операций на разных уровнях описания живого. Например, введенные переменные должны позволять определять и описывать режимы проявления «сознания», «интуиции», «когнитивных фильтров». Выделять также различия в «специфических» и «неспецифических» реакциях.

На основе разработанных моделей проводилось создается методика анализа экспериментальных данных (ритмограммы сердца у тестируемых людей) и разработка алгоритмов оптимальной сложности для выделения диагностических признаков, которые предполагается использовать при определении функционального состояния (уровня социальной дезадаптации) тестируемых людей.

Создан способ регистрации эмоциональной дезадаптации по кардиоритмограмме, включающий использование биометрического детектора, данные с которого передают на мобильное приложение, отличающийся тем, что используют ранее предобученный нейросетевой алгоритм классификации данных кардиоритмограммы, при этом данные кардиоритмограммы, на которых происходит обучение алгоритма, получают от пользователей, которым предъявляются четыре группы словесных характеристик, отражающих различные эмоциональные состояния и степень их выраженности.

 

Основные публикации к разделу (2020):

Yakhno V.G., Parin S.B., Polevaya S.A., Nuidel I.V., Shemagina O.V. (2021) Who Says Formalized Models are Appropriate for Describing Living Systems?. In: Kryzhanovsky B., Dunin-Barkowski W., Redko V., Tiumentsev Y. (eds) Advances in Neural Computation, Machine Learning, and Cognitive Research IV. Neuroinformatics 2020. Studies in Computational Intelligence, vol 925. Springer, Cham. https://doi.org/10.1007/978-3-030-60577-3_2

А.Н. Горбань, С.Б. Парин, С.А. Полевая, М.А. Филяев, Н.П. Ашина, И.В. Нуйдель, О.В. Шемагина, В.Г. Яхно: Моделирование этапов поведения человека при стрессовых нагрузках» опубликована в Трудах конференции «Нейроинформатика-2020», МИФИ, Москва, 2020.

А.А. Тельных, И.В. Нуйдель, О.В. Шемагина  Биоморфная структурно-функциональная модель обработки информации в живых системах. Нейроинформатика-2020. Всероссийская научно-техническая конференция. Сборник научных трудов, стр. 377-387, МИФИ, Москва, 2020.

 

Российская заявка на  Полевая С.А., Парин С.Б., Шемагина О.В., Еремин Е.В., Стасенко С,В., Яхно В.Г. : Способ регистрации эмоциональной дезадаптации по кардиоритмограмме (заявка №2020139898 получена ФИПС 04.12.20).

 


 

2.13 Разработка и анализ математических моделей нейронной активности на основе анализа электрофизиологических данных

 

Цель работы по этому разделу состояла в демонстрации перспективных методов для интеллектуального анализа данных высокой размерности. Используемый нами подход состоит в разработке набора базовых нейроноподобных моделей, демонстрирующих возможность трансформации объемного экспериментального материала (представленного, например, высокоразмерными электрофизиологическими данными) в образное, смысловое описание.

Под электрофизиологическими данными понимаются любые сенсорные сигналы (количественные величины в виде векторов, изображений, знаков, и т.д.), регистрируемые электронной аппаратурой и характеризующие физиологическое состояние изучаемых как индивидуальных живых систем, так и составляющих её функциональных элементов. Для проверки работоспособности конструируемых моделей использовались данные, связанные с реальными жизненными ситуациями.

Группа АвтоВолновых Процессов (АВП), изучающая пространственно - волновую активность в неравновесных и нейроноподобных системах) использует в своих разработках разного вида модели и реализации демо-версий для практических приложений:

1.     Модели

1.1.         Концептуальные (смысловые, качественные,  …) модели;

1.2.         Модели сложных биофизических систем (таламо-кортикальные сети, «стресс» система, обучение нескольким языкам описания, …);

1.3.         Версии программно – аппаратных комплексов, использующих функциональные операции, которые моделируют основные закономерности поведения живых систем.

2.     Реализации

2.1.         На основе анализа экспериментальных данных были построены базовые модели для нейроноподобных систем (варианты «моделей когнитивных систем»), ориентированные на смысловую обработку и интерпретацию большого объема экспериментальных данных. 

2.2.         Разрабатываются версии программно – аппаратных систем с биологоподобной архитектурой для использования их в практических условиях: варианты распознающих систем видео- сигналов; версии физической модели органолептического сенсора.

 

Эффективность использования выбранного набора базовых нейроноподобных моделей была продемонстрирована на примерах рассмотрения следующих задач.

1. Разработана версия системы интеллектуальной видеоаналитики (искусственной когнитивной системы), имеющей модули для обнаружения,  распознавания и трекинга объектов. Рассмотрены процессы формирования детекторов для семантического анализа изображений с целью обнаружения объектов различных типов в терминах распознавания информации живыми системами. Предложено рассматривать разработанную нами искусственную когнитивную систему в качестве биоморфной физической модели структурно-функциональных модулей живых систем. Подход к созданию биоморфной модели обработки информации человеком и животными в настоящей работе естественным образом вырос из решения конкретных технических задач разработки разнообразных детекторов (например, детекторов обнаружения лиц, цифр, номеров, букв, различных ландшафтов и т.п.). В работе решены задачи построения различных детекторов и, что очень важно,  визуализации процесса построения сети – детектора объектов заданного типа. Процесс построения детекторов является моделью формирования (или активации) связей в структурно-функциональной единице обработки информации в головном мозге человека и животных – кортикальной колонке.

Процесс семантического анализа изображений: обнаружения (детектирования) различных типов  изображений в разработанной системе - воспроизводит процесс «срабатывание»  модельной биоморфной колонки – детектора, в которой сформированы связи в процессе обучения. Процесс распознавания  - это реакция на активацию заданным сигналом рецептивного поля колонки. Так как процесс обучения детектора визуализирован, можно наглядно представить, как формируется колонка – детектор конкретных стимулов: лицо, цифра, число и т.п.

2. Универсальный подход к распознаванию видео информации, который состоит в поиске на захваченном видеоизображении объектов заданного типа (например лица людей, транспортные средства, специальные символы, цифры и буквы и т.п.) развивался и тестировался в реальных условиях. Новизна и универсальность предложенного подхода состоит в уникальной комбинации известных методов от создания детекторов до принятия решения, которые получаются независимыми от типа объектов распознавания. В работе проводится сравнение эффективности использования различных типов базовых признаков для кодирования изображения на примерах выделения и распознавания номеров железнодорожных вагонов. В частности, исследованы признаки Хаара, модифицированный признаки LBP и модифицированное преобразование Ценсуса. С использованием этих признаков построены 11 видов детекторов различных объектов и проведен сравнительный анализ их эффективности.

3. Рассмотрены математические модели подсистем, взаимное функционирование которых позволяет выделить широкий спектр реакций, присущих живым системам. Одна из подсистем описывает возможные состояния базовой управляющей распознающей ячейки, принимающей решения на основе обрабатываемых сенсорных сигналов. В случае, когда ошибки её функционирования превышают заданный порог, формируется сигнал запуска стресс-реакции. Другая подсистема описывает механизмы формирования и разные уровни развития трех стадий стресс-реакции, альтернативные варианты выхода из стресса и управление порогами восприятия сенсорных сигналов в первой подсистеме. Для этого в модельных подсистемах использованы дополнительные переменные, соответствующие экспериментально регистрируемым данным, и знания о «быстрых» и «медленных» стадиях. Обсуждаются варианты сопоставления динамических режимов интегральной модели с известными экспериментальными данными и интерпретации их заинтересованными слушателями.

4. Известно, что процессы самоорганизации компонентов жидкости, высыхающей на твердой подложке в виде капли, при одинаковых внешних условиях хорошо воспроизводимы и определяются только составом и дисперсностью данной жидкости. Если капля высыхает на поверхности сенсорного устройства, то эти процессы могут быть зарегистрированы и использованы в дальнейшем как паспортная характеристика жидкости. Представлены результаты разработки программно-аппаратного комплекса, предназначенного для быстрого сопоставительного анализа многокомпонентных жидкостей без определения их состава. В качестве сенсора использован прямоугольный кварцевый резонатор, совершающий продольные сдвиговые колебания по длине с постоянной частотой 60 kHz, соответствующей резонансной частоте ненагруженного резонатора. Информативным параметром является изменение действительной и мнимой частей электрического импеданса резонатора в процессе высыхания на его поверхности капли исследуемой жидкости объемом 3 µl. В качестве критерия сходства/различия жидкостей использована мера близости взаимного расположения годографов сравниваемых проб на комплексной плоскости. Описан метод проведения импедансных измерений. Приведены результаты апробации метода для различения  жидкостей разного состава.

5. Разработана модель процессов агрегации – дезагрегации коллоидных частиц в растворе на основе анализа большого объема экспериментальных фактов. Эксперименты показали, что в водной суспензии происходит рост жидкокристаллических гидратных оболочек (сфер) вокруг гидрофильных микрочастиц, что приводит к вытеснению ионов и прочих коллоидных частиц в свободную воду. Это сопровождается повышением осмотического давления в растворе. При достижении критического уровня осмотического давления сферы начинают разрушаться, преобразуясь в свободную воду. Таким образом, вся сложная динамика контролируется фазовыми переходами воды – из свободного в связанное (жидкокристаллическое) состояние и обратно. Осмотическое давление выступает в роли информационного посредника и синхронизатора фазовых переходов во всем объеме жидкости. Реально, процесс не слишком чувствителен к температуре (в отличие от моделей, основанных на расчете сил Казимира), и не нарушается явно при возмущении жидкости перемешиванием. Разрушение водных сфер происходит при инициации микропотоков поперечным размером 10 – 100 µm, что меньше или соответствует размерам разрушаемых объектов. Параметры ритмических флуктуаций зависят от концентрации компонентов в коллоидном растворе. Описанный механизм позволяет объяснить некоторые непонятные до сих пор явления и заслуживает дополнительного исследования. Мы убеждены, что имеем дело с универсальным феноменом, имеющим бесспорную важность для фундаментальной и прикладной науки.

6. Разработка новых алгоритмов слежения за заданными оператором "флюоресцентными областями" во время процедуры Фотодинамической Рассмотренный метод основан на нахождении точек, характеристики которых в многомерном пространстве в определённом смысле уникальны. Вычисленные признаки для некоторых алгоритмов инвариантны к аффинным преобразованиям и преобразованиям яркости (интенсивности). Отсутствует также необходимость использования последовательных кадров видеоряда.

7. Математическое моделирование некоторых процессов, лежащих в основе феноменов индивидуального и коллективного естественного билингвизма, подтвердило гипотезу о нестабильности данных состояний. Показано, что естественный билингвизм, обеспечивая «двойную» коммуникацию, может, в то же время, являться и фазой перехода к одноязычию. Такое стремление естественного билингвизма к одноязычной программе может проявлять себя на разных уровнях социальной организации. Исчезновение языков малых этнических групп – наиболее масштабное проявление и осуществление этого стремления. Понимание как социальных, так и биофизических механизмов ослабления и исчезновения одного из языков при коллективном билингвизме необходимо для разработки мер по сохранению языкового разнообразия. Применение методов математического моделирования позволяет понять степень влияния ключевых параметров на процесс исчезновения этнического языка. Становление естественного билингвизма у детей отличается от освоения языка в одноязычной среде возможностью остановок в развитии языка (фоссилизации) и стирания языка (языковые аттриции). Практика показывает, что негативное влияние двуязычного воспитания на интеллектуальное и языковое развитие ребенка возможно, хотя и не всегда проявляет себя. Поиску ответа на вопрос о конкретных условиях, приводящих к негативным последствиям, посвящено математическое моделирование этого процесса. Оно подтвердило возможность блокирования спонтанного освоения как одного из языков, так и сразу двух языков и показало, какие конкретные переменные следует измерять инструментальными методами, чтобы проводить более подробное описание механизмов освоения языков. При этом понятны и варианты модификаций моделей для лучшего соответствия её решений экспериментальным данным.

Работа по этому разделу проводилась на базе Федерального исследовательского центра "Институт прикладной физики Российской академии наук» (ИПФ РАН). Детальное описание работ представлено в отдельном томе отчета.

 

Основные публикации к разделу (2020):

А.А. Тельных, И.В. Нуйдель, О.В. Шемагина  Биоморфная структурно-функциональная модель обработки информации в живых системах. Нейроинформатика-2020. Всероссийская научно-техническая конференция. Сборник научных трудов, стр. 377-387, МИФИ, Москва, 2020.

Alexander Telnykh, Irina Nuidel, Yulia Samorodova:  Construction of efficient detectors for character information recognition: ScienceDirect, Procedia Computer Science 169 (2020), pp 744–754, Available online at www.sciencedirect.com, Postproceedings of the 10th Annual International Conference on Biologically Inspired Cognitive Architectures, BICA 2019 (Tenth Annual Meeting of the BICA Society)

Горбань А.Н., Парин С.Б., Полевая С.А., Филяев М.А., Ашина Н.П., Нуйдель И.В., Шемагина О.В., Яхно  В.Г. Моделирование этапов поведения человека при стрессовых нагрузкахn Нейроинформатика-2020. Всероссийская научно-техническая конференция. Сборник научных трудов. М.: 2020. В печати.

Vladimir Yakhno, Serge Parin, Sofia Polevaya, Irina Nuidel and Olga Shemagina, Who Says Formalized Models are Appropriate for Describing Living Systems?: Advances in Neural Computation, Machine Learning, and Cognitive Research: IV Selected Papers from the XXII International Conference on Neuroinformatics, October 12-16, 2020, Moscow, Russia, pp 10-33  https://link.springer.com/book/10.1007/978-3-030-60577-3 

T. Yakhno, A. Pakhomov, A. Sanin, V. Kazakov, R. Ginoian, V. Yakhno. Drop Drying on the Sensor: One More Way for Comparative Analysis of Liquid Media. // Sensors, 2020, 20, 5266; doi:10.3390/s20185266 www.mdpi.com/journal/sensors  

Tatiana Yakhno, Alexander Pakhomov, Anatoly Sanin, Vyacheslav Kazakov, Ruben Ginoian, Vladimir Yakhno. Small universal E-taster for rapid comparative analysis of liquids. // Preprint http://arxiv.org/abs/2006.15565

Tatiana Yakhno, Vladimir Yakhno Virtual and Real Water. What is the Difference? //Preprint. doi:10.20944/preprints201912.0199.v1  https://www.preprints.org/manuscript/201912.0199/v1

Яхно Т.А., Яхно В.Г. Исследование роли микродисперсной фазы воды при переходе ее в состояние активации. Актуальные вопросы биологической физики и химии, 2020, Т.5,  №1, с. 43-51.

Яхно Т.А., Яхно В.Г. Структура и фазовые переходы воды по данным оптической микроскопии. //Сборник научных трудов VI Съезда биофизиков России, 2019, т. 2, 91-92.  https://www.researchgate.net/publication/336678616_Mikrostruktura_i_fazovye_perehody_vody_po_dannym_opticeskoj_mikroskopii   

T. Yakhno, V. Yakhno. Structure and Dynamics of Aqueous Dispersions // in the Open Access book, "Colloids - Types, Preparation and Applications" edited by Prof. Mohamed Nageeb Rashed, IntechOpen, London, UK, 2020. https://www.intechopen.com/online-first/structure-and-dynamics-of-aqueous-dispersions

 


 

2.14 Заявки на патенты, поданные в ходе работы по проекту в 2020 г.

 

2.14.1 Способ обратимой коррекции систем искусственного интеллекта. Российская и международная заявки

 

Изобретение относится к области кибернетики и может быть использовано для коррекции ошибок систем искусственного интеллекта. Техническим результатом является повышение надежности систем искусственного интеллекта. Достижение результата основано на построении семейства внешних корректоров систем искусственного интеллекта. Каждый элементарный корректор, входящий в семейство, использует дерево неитеративных дискриминантов для выделения ситуаций с высоким риском ошибки. Эти дискриминанты формируются на основании обнаруженных ошибок. При накоплении ошибок формируется семейство (лес) корректоров. Каждый элементарный корректор отделяет свою область ситуаций с высоким риском ошибки и содержит решающее правило для принятия решений в ситуациях из этой области. Входными сигналами корректоров служат входные, внутренние и выходные сигналы корректируемой систем искусственного интеллекта, а также любые другие доступные атрибуты ситуации. Система корректоров управляется диспетчером, который формируется на основании кластерного анализа ошибок и распределяет ситуации, задаваемые векторами сигналов, между элементарными корректорами для оценки и, если необходимо, коррекции.

 

2.14.2 Cистема автоматической дозаправки беспилотного летательного аппарат . Российская и международная заявки

 

Изобретение относится к области авиационной техники, в частности к оборудованию, обеспечивающему эксплуатацию беспилотных летательных аппаратов (БПЛА) мультироторного типа. Техническим результатом является новый способ автоматической дозаправки беспилотного летального аппарата для увеличения дальности полета. Достижение результата основано на оригинальной конструкции автономной заправочной станции и алгоритма управления посадкой, основанного на собственных разработках в области систем искусственного интеллекта и систем регистрации флуоресцентных изображений. Автономная станция дозаправки (АСД) предназначена для подзарядки аккумуляторов беспилотного летательного аппарата мультироторного типа. АСД оснащена силовой аккумуляторной батареей, зарядка которой осуществляется посредством внешнего источника питания, либо с использованием солнечной батареи. Также ее составной частью является активная посадочная площадка оснащенная средствами связи с БПЛА и средствами наблюдения за местоположением БПЛА в окрестности посадочной площадки, помимо указанных средств посадочная площадка оснащена рисунком разметки для обеспечения возможности навигации беспилотного летательного аппарата посредством приводной камеры и оригинального распределенного алгоритма управления посадкой, запущенного на бортовом микрокомпьютере БПЛА и на втором микрокомпьютере, работающем на посадочной площадке. Зарядка БПЛА осуществляется беспроводным способом с использованием воздушного трансформатора, где энергия из первичной цепи посадочной площадки передается во вторичную цепь БПЛА посредством магнитного поля.

 

2.14.3 Аппаратно-программный комплекс электрокардиографических измерений. . Российская и международная заявки

 

Развитие методов автоматизированной обработки данных в сочетании с прогрессом в области телемедицинских технологий и использованием портативной медицинской аппаратуры открывает новые возможности для совершенствования методов ранней диагностики болезней системы кровообращения и дистанционного контроля состояния здоровья пациентов. Одним из перспективных направлений является создание интеллектуального электрокардиографа, т. е. автоматизированной системы расшифровки сигналов электрокардиограммы (ЭКГ) с получением заключения, максимально приближенного к врачебному. Для достижения этой цели в известных нам прототипах кардиорегистраторов используются прямые алгоритмы диагностики, основанные на правилах и деревьях решений.  В целях повышения точности диагностики авторами была разработана система двухуровневой автоматической диагностики сигнала ЭКГ. Первым этапом использовались стандартные прямые методы диагностики. Вторым этапом - методы машинного обучения, включающий обучение и тестирование программного обеспечения на больших массивах базы данных ЭКГ и на структурированных врачебных заключениях.

 

2.14.4 Система регистрации дезадаптации по кардиоритмограмме. . Российская заявка

 

Изобретение относится к области медицины, а именно к области психофизиологии, и может быть использовано для профилактики функциональный состояний утомления, нервозности, переутомления, агрессии а также может быть использовано при комплексном лечении психических нарушений. Техническим результатом полезной модели является автоматическая регистрация дезадаптации человека по данным кардиоритмограммы.

Достижение результата осуществляется за счет того, что используется ранее предобученный нейросетевой алгоритм классификации данных кардиоритмограммы. Данные кардиоритмограммы, на которых происходит обучение алгоритма, получаются от пользователей, которым предъявляются четыре группы словесных характеристик, отражающих различные эмоциональные состояния и степень их выраженности. Данный способ оценки эмоционального состояния человека описан в изобретении RU 2 291 720 C1 от 20.01.2007.

Система регистрации дезадаптации включает: оценка уровня дезадаптации по способу оценки эмоционального состояния человека, описанного в изобретении RU 2 291 720 C1 от 20.01.2007, телеметрические измерения вариабельности сердечного ритма с использованием программно-аппаратного комплекса, состоящего из миниатюрного беспроводного датчика и смартфона со специализированным программным обеспечением, анализ полученных данных нейросетевым алгоритмом.