psychiatryПСИХИАТРИЯPsychiatry (Moscow) (Psikhiatriya)1683-83192618-6667FSBSI “The Mental Health Research Centre”; LLC «Publisher «MIA»10.30629/2618-6667-2025-23-1-48-59psychiatry-1315Research ArticleПСИХОПАТОЛОГИЯ, КЛИНИЧЕСКАЯ И БИОЛОГИЧЕСКАЯ ПСИХИАТРИЯPSYCHOPATHOLOGY, CLINICAL AND BIOLOGICAL PSYCHIATRYЭтологовидеографические корреляты психических расстройств в невербальном поведении (Сообщение 2: дискриминантные, термодинамические и сетевые характеристики мимико-пантомимических реакций)Ethologovideographic Correlates of Mental Disorders in Nonverbal Behavior (Message 2: Discriminant, Thermodynamic and Network Characteristics of Facial and Pantomimic Reactions)https://orcid.org/0000-0002-2906-5946МарченкоА. А.MarchenkoA. A.

Андрей Александрович Марченко, доктор медицинских наук, профессор, кафедра психиатрии

Санкт-Петербург

Andrey A. Marchenko, Dr. Sci. (Med.), professor, Department of Psychiatry

St. Petersburg

andrew.marchenko1995@yandex.ruhttps://orcid.org/0000-0001-9082-107XЛобачевА. В.LobachevA. V.

Александр Васильевич Лобачев, доктор медицинских наук, доцент, кафедра психиатрии

Санкт-Петербург

Alexander V. Lobachev, Dr. Sci. (Med.), associate professor, Department of Psychiatry

St. Petersburg

lobachev_alexand@mail.ruhttps://orcid.org/0009-0000-9042-4832ВиноградоваО. С.VinogradovaO. S.

Ольга Сергеевна Виноградова, преподаватель, кафедра психиатрии

Санкт-Петербург

Olga S. Vinogradova, Lecturer, Department of Psychiatry

St. Petersburg

lanskaja.lady2016@yandex.ruhttps://orcid.org/0000-0002-3509-898XМоисеевД. В.MoiseevD. V.

Даниил Вячеславович Моисеев, младший научный сотрудник, научно-исследовательский центр

Санкт-Петербург

Daniil V. Moiseev, Junior Researcher, Research Center

St. Petersburg

rosenzwiegjoe@mail.ruhttps://orcid.org/0009-0000-1691-2838ДмитриевП. И.DmitrievP. I.

Павел Иванович Дмитриев, кандидат технических наук, научный руководитель проектов ООО «Проинтех»

Санкт-Петербург

Pavel I. Dmitriev, Cand. Sci. (Techn.), Scientific director of projects

St. Petersburg

dmitriev@prointech.ruhttps://orcid.org/0000-0003-0672-8820ЩелкановаЕ. С.ShchelkanovaE. S.

Елена Сергеевна Щелканова, кандидат биологических наук, научный сотрудник

Анапа

Elena S. Shchelkanova, Cand. Sci. (Biol.), Researcher

Anapa

era_otd6@mil.ruhttps://orcid.org/0009-0000-7368-9222НазароваМ. Р.NazarovaM. R.

Марина Ризаевна Назарова, научный сотрудник

Анапа

Marina R. Nazarova, researcher

Anapa

era_otd6@mil.ruhttps://orcid.org/0000-0002-6014-5872ВолодарскаяА. А.VolodarskayaA. A.

Анастасия Андреевна Володарская, преподаватель, кафедра психиатрии

Санкт-Петербург

Anastasia A. Volodarskaya, Lecturer, Department of Psychiatry

St. Petersburg

anastasiavolodarskaya7@gmail.comhttps://orcid.org/0009-0001-3021-5147РудаковаК. В.RudakovaK. V.

Кристина Вадимовна Рудакова, ведущий нейропсихолог

Санкт-Петербург

Kristina V. Rudakova, Leading neuropsychologist

St. Petersburg

kristina.vad.rud@mail.ruДангВ.Ч.DangV. Ch.

Ван Чан Данг, адъюнкт кафедры психиатрии

Санкт-Петербург

Van Chan Dang, Postgraduate student, Department of Psychiatry

St. Petersburg

vanchandang@gmail.comВоенно-медицинская академия им. С.М. КироваРоссияS.M. Kirov Military Medical AcademyRussian FederationООО «НПП «Видеомикс»РоссияLLC “NPP “Videomix”Russian FederationВоенный инновационный технополис «Эра»РоссияMilitary innovative technopolis “Era”Russian Federation2025080520252314859Copyright © Марченко А.А., Лобачев А.В., Виноградова О.С., Моисеев Д.В., Дмитриев П.И., Щелканова Е.С., Назарова М.Р., Володарская А.А., Рудакова К.В., Данг В., 20252025Марченко А.А., Лобачев А.В., Виноградова О.С., Моисеев Д.В., Дмитриев П.И., Щелканова Е.С., Назарова М.Р., Володарская А.А., Рудакова К.В., Данг В.Marchenko A.A., Lobachev A.V., Vinogradova O.S., Moiseev D.V., Dmitriev P.I., Shchelkanova E.S., Nazarova M.R., Volodarskaya A.A., Rudakova K.V., Dang V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.journalpsychiatry.com/jour/article/view/1315

Обоснование: изучение невербального поведения на базе этологической парадигмы с использованием технологий машинного зрения рассматривается в настоящее время как один из подходов к объективизации психических расстройств. При этом особый интерес представляет их анализ с использованием многомерных методов обработки данных, в первую очередь, с позиций термодинамического и сетевого анализа. Цель работы: обобщение результатов дискриминантного, термодинамического и сетевого анализа мимико-пантомимической активности больных с невротическими расстройствами и патологией шизофренического спектра. Пациенты, контрольная группа и методы: обследовано 19 пациентов с расстройствами шизофренического спектра (ШР), 23 — с невротическими расстройствами (НР). Контрольную группу (КГ) составили 22 здоровых испытуемых. Анализ невербального поведения осуществляли с помощью АПК биометрической видеоаналитики «МИКС ВР-19» по двигательным единицам (ДЕ) системы FACS (системы кодирования лицевых движений, Facial Action Coding System, FACS). Результаты: логарифм термодинамической вероятности системы мимических реакций был максимальным у лиц с НР (50,2), минимальным — при ШР (33,1), а в контрольной группе занимал промежуточное положение (44,2). Показатель организации системы также был заметно ниже при ШР (0,08), чем при НР (0,11) и в КГ (0,14). Анализ графов показал, что ранги значимости узлов (ДЕ) — у здоровых испытуемых характеризовалась наибольшим весом AU61, AU1, AU63 и AU64. При НР узлами с максимальной значимостью стали AU14 и AU64. При ШР наибольший ранг отмечался у узлов AU62 и AU2. Выводы: наибольший вклад в дифференциацию между группами лиц с НР, ШР и здоровыми лицами вносили такие ДЕ, как ироническая улыбка, прищуривание глаз и при открывание рта. Динамика показателей энтропии и организация системы мимико-пантомимических реакций в КГ отражала напряжение адаптационных механизмов на этапах с преобладанием когнитивной нагрузки, при ШР отмечалась недостаточность такого напряжения при нагрузке, а при НР напряжение наблюдалось при включении аффективно-личностной тематики. Организация мимико-пантомимических реакций у здоровых лиц определялась интегративностью с большим количеством связей между узлами. У пациентов с НР граф носил последовательно-связанный характер, а у лиц с ШР он представлял собой изолированные кластеры ДЕ.

Background: the study of nonverbal behavior based on the ethological paradigm using computer vision technologies is currently considered as one of the approaches to objectification of mental disorders. At the same time, their analysis using multidimensional data processing methods, primarily from the standpoint of thermodynamic and network analysis, is of particular interest. Purpose of the work: to summarize the results of discriminant, thermodynamic and network analysis of facial and pantomimic activity of patients with neurotic disorders and schizophrenia spectrum pathology. Patients, Comparison Group and Methods: 19 patients with schizophrenia spectrum disorders (Sch), 23 with neurotic disorders (ND). 22 healthy subjects made up control group (CG). Analysis of non-verbal behavior was carried out using the biometric video analytics complex “MIX VR-19” based on action units (AU) of the FACS. Results: the logarithm of the thermodynamic probability of the system of facial reactions was maximal in individuals with ND (50.2), minimal in people with Sch (33.1), and it occupied an intermediate position in the CG (44.2). The system organization was also noticeably lower in Sch (0.08) than in ND (0.11) and in CG (0.14). Analysis of the graphs showed that the nodes page ranks in healthy subjects were characterized by the highest weight of AU61, AU1, AU63 and AU64. For ND, the nodes with maximum page ranks were AU14 and AU64. In Sch, the highest rank was observed for nodes AU62 and AU2. Conclusions: the greatest contribution to the differentiation between the groups of people with ND, Sch and CG was made by such AU as ironic smile, squinting and opening the mouth. The dynamics of entropy and organization of the facial-pantomimic reactions system in the CG reflected the tension of adaptation mechanisms at stages with a predominance of cognitive load; in Sch, there was an insufficiency of such tension during load, and in ND, tension was observed at stages with affective and personal themes. The graph of facial-pantomimic reactions in healthy individuals was determined by integrativeness with a large number of connections between nodes; In patients with HP, the graph was sequentially connected, while in individuals with SR it was represented by isolated clusters of AU.

невербальное поведениемимикаFACSбиометрическая видеоаналитикаэтологовидеографический методшизофренияневротические расстройстватермодинамический анализанализ графовnonverbal behaviorfacial expressionsFACSbiometric video analyticsethologovideographic methodschizophrenianeurotic disordersthermodynamic analysisgraph analysisReferencesМарченко АА, Лобачев АВ, Виноградова ОС, Моисеев ДВ, Дмитриев ПИ, Щелканова ЕС, Назарова МР, Володарская АА, Рудакова КВ, Данг ВЧ. Этологовидеографические корреляты психических расстройств у военнослужащих (Сообщение 1: Характеристики частоты и длительности мимико-пантомимических реакций). Психиатрия. 2024;22(6):43–52. doi: 10.30629/2618-6667-2024-22-6-54-62Marchenko AA, Lobachev AV, Vinogradova OS, Moiseev DV, Dmitriev PI, Shchelkanova ES, Nazarova MR, Volodarskaya AA, Rudakova KV, Dang VCh. Ethologovideographic correlates of mental disorders in military personnel (Part I: Frequency and Duration Characteristics of Facial-Pantomimic Reactions). Psychiatry (Moscow) (Psikhiatriya). 2024;22(6):43–52. (In Russ.). doi: 10.30629/2618-6667-2024-22-6-54-62Bishay M, Palasek P, Priebe S, Patras I. SchiNet: Automatic Estimation of Symptoms of Schizophrenia from Facial Behaviour Analysis. IEEE Transactions on Affective Computing. 2021;12(4):949–961. doi: 10.1109/taffc.2019.2907628Bishay M, Palasek P, Priebe S, Patras I. SchiNet: Automatic Estimation of Symptoms of Schizophrenia from Facial Behaviour Analysis. IEEE Transactions on Affective Computing. 2021;12(4):949–961. doi: 10.1109/taffc.2019.2907628Joshi J, Goecke R, Alghowinem S, Dhall A. Multimodal assistive technologies for depression diagnosis and monitoring. J. Multimodal User Interfaces. 2013;7:217–228. doi: 10.1007/s12193-013-0123-2Joshi J, Goecke R, Alghowinem S, Dhall A. Multimodal assistive technologies for depression diagnosis and monitoring. J. Multimodal User Interfaces. 2013;7:217–228. doi: 10.1007/s12193-013-0123-2de Melo WC, Granger E, Hadid A. Combining Global and Local Convolutional 3D Networks for Detecting Depression from Facial Expressions. In: 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019). Lille, France, 2019:1–8.de Melo WC, Granger E, Hadid A. Combining Global and Local Convolutional 3D Networks for Detecting Depression from Facial Expressions. In: 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019). Lille, France, 2019:1–8.Scherer S, Stratou G, Mahmoud M., Boberg J,. Gratch J,. Rizzo A, Morency L-P. Automatic Behavior Descriptors for Psychological Disorder Analysis. Image and Vision Computing. 2013;32. doi: 10.1109/FG.2013.6553789Scherer S, Stratou G, Mahmoud M., Boberg J,. Gratch J,. Rizzo A, Morency L-P. Automatic Behavior Descriptors for Psychological Disorder Analysis. Image and Vision Computing. 2013;32. doi: 10.1109/FG.2013.6553789Liu Y, Zhang X, Lin Y, Wang H. Facial expression recognition via deep action units graph network based on psychological mechanism. IEEE Transactions on Cognitive and Developmental Systems. 2019;12(2):311–322. doi: 10.1002/aisy.202400524Liu Y, Zhang X, Lin Y, Wang H. Facial expression recognition via deep action units graph network based on psychological mechanism. IEEE Transactions on Cognitive and Developmental Systems. 2019;12(2):311–322. doi: 10.1002/aisy.202400524Jeganathan J, Campbell M, Hyett M. et al. Quantifying dynamic facial expressions under naturalistic conditions. Elife. 2022;11:e79581.Jeganathan J, Campbell M, Hyett M. et al. Quantifying dynamic facial expressions under naturalistic conditions. Elife. 2022;11:e79581.Jack RE, Garrod OGB, Schyns PG. Dynamic facial expressions of emotion transmit an evolving hierarchy of signals over time. Curr Biol. 2014 Jan 20;24(2):187– 192. doi: 10.1016/j.cub.2013.11.064 Epub 2014 Jan 2. PMID: 24388852.Jack RE, Garrod OGB, Schyns PG. Dynamic facial expressions of emotion transmit an evolving hierarchy of signals over time. Curr Biol. 2014 Jan 20;24(2):187– 192. doi: 10.1016/j.cub.2013.11.064 Epub 2014 Jan 2. PMID: 24388852.Khan RA, Meyer A, Konik H, Bouakaz S. Facial expression recognition using entropy and brightness features. In: Proc. 11th Int. Conf. Intell. Syst. Design Appl. (ISDA). 2011:737–742.Khan RA, Meyer A, Konik H, Bouakaz S. Facial expression recognition using entropy and brightness features. In: Proc. 11th Int. Conf. Intell. Syst. Design Appl. (ISDA). 2011:737–742.Мызников ИЛ, Набоков НЛ, Рогованов ДЮ, Ханкевич ЮР. Описание и представление результатов обработки электроэнцефалограммы с использованием информационной модели. Авиакосмическая и экологическая медицина. 2016;50(1):66–72.Myznikov IL, Nabokov NL, Rogovanov DYu, Khankevich YR. Description and presentation of the results of electroencephalogram processing using information models. Aerospace and environmental medicine. 2016;50(1):66–72. (In Russ.).Samokhvalov VP, Samokhvalova OE. Toward a Neuroethology of Schizophrenia: Findings from the Crimean Project. In: M.S. Ritsner (ed.) Handbook of Schizophrenia Spectrum Disorders, Volume II. Phenotypic and Endophenotypic Presentations. — Springer Dordrecht Heidelberg London New York, 2011:121–164.Samokhvalov VP, Samokhvalova OE. Toward a Neuroethology of Schizophrenia: Findings from the Crimean Project. In: M.S. Ritsner (ed.) Handbook of Schizophrenia Spectrum Disorders, Volume II. Phenotypic and Endophenotypic Presentations. — Springer Dordrecht Heidelberg London New York, 2011:121–164.Marconi M, Do Carmo Blanco N, Zimmer C, Guyon A. Eye movements in response to different cognitive activities measured by eyetracking: a prospective study on some of the neurolinguistics programming theories. J Eye Mov Res. 2023;16(2):2. doi: 10.16910/jemr.16.2.2Marconi M, Do Carmo Blanco N, Zimmer C, Guyon A. Eye movements in response to different cognitive activities measured by eyetracking: a prospective study on some of the neurolinguistics programming theories. J Eye Mov Res. 2023;16(2):2. doi: 10.16910/jemr.16.2.2Rumke H. Het Kernsymptoom der Schizophrenie en het Praecoxgevoel. Studies en Voordrachten over Psychiatrie. Amsterdam, 1948:53–58.Rumke H. Het Kernsymptoom der Schizophrenie en het Praecoxgevoel. Studies en Voordrachten over Psychiatrie. Amsterdam, 1948:53–58.Чайка ЮВ. История, структура и перспективы развития психопатологического метода (сообщение 2). Український вісник психоневрології. 2004;12(4):12– 16.Chaika YuV. History, structure and prospects of development of the psychopathological method (message 2). Ukrainian Bulletin of Psychoneurology. 2004;12(4):12–16.Sass L, Pienkos E, Skodlar B, Stanghellini G, Fuchs T, Parnas J, Jones N. EAWE: Examination of Anomalous World Experience. Psychopathology. 2017;50(1):10– 54. doi: 10.1159/000454928 Epub 2017 Mar 8. PMID: 28268224.Sass L, Pienkos E, Skodlar B, Stanghellini G, Fuchs T, Parnas J, Jones N. EAWE: Examination of Anomalous World Experience. Psychopathology. 2017;50(1):10– 54. doi: 10.1159/000454928 Epub 2017 Mar 8. PMID: 28268224.Anderzhanova E, Kirmeier T, Wotjak CT. Animal models in psychiatric research: The RDoC system as a new framework for endophenotype-oriented translational neuroscience. Neurobiol Stress. 2017;25(7):47–56. doi: 10.1016/j.ynstr.2017.03.003Anderzhanova E, Kirmeier T, Wotjak CT. Animal models in psychiatric research: The RDoC system as a new framework for endophenotype-oriented translational neuroscience. Neurobiol Stress. 2017;25(7):47–56. doi: 10.1016/j.ynstr.2017.03.003Belzer KD, Schneier FR. Tools for Assessing Generalized Anxiety Disorder. Psychiatric Time. 2006;25(3):4–6.Belzer KD, Schneier FR. Tools for Assessing Generalized Anxiety Disorder. Psychiatric Time. 2006;25(3):4–6.Brüne M, Belsky J, Fabrega H, Feierman HR, Gilbert P, Glantz K, Polimeni J, Price JS, Sanjuan J, Sullivan R, Troisi A, Wilson DR. The crisis of psychiatry — insights and prospects from evolutionary theory. World Psychiatry. 2012 Feb;11(1):55–7. doi: 10.1016/j.wpsyc.2012.01.009 PMID: 22295011; PMCID: PMC3266750.Brüne M, Belsky J, Fabrega H, Feierman HR, Gilbert P, Glantz K, Polimeni J, Price JS, Sanjuan J, Sullivan R, Troisi A, Wilson DR. The crisis of psychiatry — insights and prospects from evolutionary theory. World Psychiatry. 2012 Feb;11(1):55–7. doi: 10.1016/j.wpsyc.2012.01.009 PMID: 22295011; PMCID: PMC3266750.Корнетов АН, Самохвалов АА, Коробов АА, Корнетов НА. Этология в психиатрии. Киев, 1990:217.Kornetov AN, Samokhvalov AA, Korobov AA, Kornetov NA. Ethology in psychiatry. Kyiv, 1990:217. (In Russ.).Самохвалов ВП. Эволюционная психиатрия. ИМИС, 1993:286. SSamokhvalov VP. Evolutionary psychiatry. IMIS, 1993:286. (In Russ.).

The authors declare that there are no conflicts of interest present.