psychiatryПСИХИАТРИЯPsychiatry (Moscow) (Psikhiatriya)1683-83192618-6667FSBSI “The Mental Health Research Centre”; LLC «Publisher «MIA»10.30629/2618-6667-2024-22-6-43-53psychiatry-1278Research ArticleПСИХОПАТОЛОГИЯ, КЛИНИЧЕСКАЯ И БИОЛОГИЧЕСКАЯ ПСИХИАТРИЯPSYCHOPATHOLOGY, CLINICAL AND BIOLOGICAL PSYCHIATRYЭтологовидеографические корреляты психических расстройств в невербальном поведении (Сообщение I: характеристики частоты и длительности мимико-пантомимических реакций)Ethologicovideographic Correlates of Mental Disorders in Nonverbal Behavior (Part I: Frequency and Duration Characteristics of Facial-Pantomimic Reactions)https://orcid.org/0000-0002-2906-5946МарченкоА. А.MarchenkoA. A.

Андрей Александрович Марченко, доктор медицинских наук, профессор, кафедра психиатрии

Санкт-Петербург

Andrey A. Marchenko, Dr. Sci. (Med.), professor, Department of Psychiatry

St. Petersburg

ЛобачевА. В.LobachevA. V.

Александр Васильевич Лобачев, доктор медицинских наук, доцент, кафедра психиатрии

Санкт-Петербург

Alexander V. Lobachev, Dr. Sci. (Med.), associate professor, Department of Psychiatry

St. Petersburg

https://orcid.org/0009-0000-9042-4832ВиноградоваО. С.VinogradovaO. S.

Ольга Сергеевна Виноградова, преподаватель, кафедра психиатрии

Санкт-Петербург

Olga S. Vinogradova, Lecturer, Department of Psychiatry

St. Petersburg

https://orcid.org/0000-0002-3509-898XМоисеевД. В.MoiseevD. V.

Даниил Вячеславович Моисеев, младший научный сотрудник, научно-исследовательский центр

Санкт-Петербург

Daniil V. Moiseev, Junior Researcher, Research Center

St. Petersburg

https://orcid.org/0009-0000-1691-2838ДмитриевП. И.DmitrievP. I.

Павел Иванович Дмитриев, кандидат технических наук, научный руководитель проектов

Санкт-Петербург

Pavel I. Dmitriev, Cand. Sci. (Techn.), Scientic director of projects

St. Petersburg

https://orcid.org/0000-0003-0672-8820ЩелкановаЕ. С.ShchelkanovaE. S.

Елена Сергеевна Щелканова, кандидат биологических наук, научный сотрудник

Анапа

Elena S. Shchelkanova, Cand. Sci. (Biol.), Researcher

Anapa

https://orcid.org/0009-0000-7368-9222НазароваМ. Р.NazarovaM. R.

Марина Ризаевна Назарова, научный сотрудник

Анапа

Marina R. Nazarova, researcher

Anapa

https://orcid.org/0000-0002-6014-5872ВолодарскаяА. А.VolodarskayaA. A.

Анастасия Андреевна Володарская, преподаватель, кафедра психиатрии

Санкт-Петербург

Anastasia A. Volodarskaya, Lecturer, Department of Psychiatry

St. Petersburg

https://orcid.org/0009-0001-3021-5147РудаковаК. В.RudakovaK. V.

Кристина Вадимовна Рудакова, ведущий нейропсихолог

Санкт-Петербург

Kristina V. Rudakova, Leading neuropsychologist

St. Petersburg

https://orcid.org/0009-0001-2607-1072ДангВ. Ч.DangV. Ch.

Ван Чан Данг, адъюнкт кафедры психиатрии

Санкт-Петербург

Vang Chan Dang, Postgraduate student, Department of Psychiatry

St. Petersburg

ФГБВОУ ВО «Военно-медицинская академия имени С.М. Кирова» Министерства обороны Российской ФедерацииРоссияFSBMEI HE “S.M. Kirov Military Medical Academy” of the Ministry of Defense of the Russian FederationRussian FederationООО «Проинтех»РоссияProintech LLCRussian FederationВИТ «ЭРА» Министерства обороны Российской ФедерацииРоссияMIT “Era” of the Ministry of Defense of the Russian FederationRussian FederationЦентр детской абилитации «Дар речи»РоссияChildren’s Rehabilitation Center “Gift of Speech”Russian Federation2024230220252264353Copyright © Марченко А.А., Лобачев А.В., Виноградова О.С., Моисеев Д.В., Дмитриев П.И., Щелканова Е.С., Назарова М.Р., Володарская А.А., Рудакова К.В., Данг В.Ч., 20252025Марченко А.А., Лобачев А.В., Виноградова О.С., Моисеев Д.В., Дмитриев П.И., Щелканова Е.С., Назарова М.Р., Володарская А.А., Рудакова К.В., Данг В.Ч.Marchenko A.A., Lobachev A.V., Vinogradova O.S., Moiseev D.V., Dmitriev P.I., Shchelkanova E.S., Nazarova M.R., Volodarskaya A.A., Rudakova K.V., Dang V.C.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.journalpsychiatry.com/jour/article/view/1278

Обоснование: отсутствие наглядных признаков психических расстройств, доступных объективной регистрации, является известной проблемой в психиатрии. Изучение невербального поведения на базе этологической парадигмы с использованием технологий автоматической детекции может быть одним из подходов к решению этой проблемы. Цель работы: провести сравнительное контролируемое исследование мимико-пантомимической активности больных с невротическими расстройствами и патологией шизофренического спектра для поиска поведенческих биомаркеров этих нарушений. Пациенты, группа контроля и методы: обследованы 19 пациентов с расстройствами шизофренического спектра (РШС), 23 человека — с невротическими расстройствами (НР), 22 здоровых испытуемых контрольной группы (КГ). У лиц с РШС выраженность симптоматики определялась по Шкале позитивных и негативных синдромов (PANSS), при НР — по шкалам Гамильтона для оценки тревоги (Hamilton Anxiety Rating Scale, HAMA-14) и депрессии (Hamilton Rating Scale for Depression, HAMD-17). Анализ невербального поведения осуществляли с помощью аппаратно-программного комплекса (АПК) биометрической видеоаналитики «МИКС ВР19» по двигательным единицам (ДЕ) системы кодирования лицевых действий (The Facial Action Coding System, FACS). Результаты: по показателям частоты и длительности мимико-пантомимические реакции пациентов с РШС характеризовались большей активностью областей рта и глаз и снижением активности мимики в области бровей и уменьшением движений головы. При НР более редко наблюдалась фронтальная ориентация к собеседнику, отмечена бóльшая длительность выражения печали и меньшая продолжительность — реакции удивления. Факторный анализ показал, что двигательные единицы в КГ образовывали мимические комплексы «задумчивость», «вспоминание», «отсутствие негативизма», «отсутствие недоверчивости»; в группе НР — «поиск решения», «удивление», «беспомощность», «смущение/застенчивость», «недоверчивость»; в группе РШС — «недоверчивое удивление», «переживание неудачи», «скепсис/недоверчивость», «удовлетворенность/превосходство». Выводы: мимико-пантомимическое реагирование КГ в норме отражало когнитивные процессы и характеризовалось эмоциональной нейтральностью в структуре поведенческих комплексов внимания, контакта и поискового поведения. При НР наблюдалось сочетание когнитивных и аффективно-личностных мимических реакций в рамках избегающего/оборонительного агонистического поведения и неофобий. При РШС преобладали мимические реакции эмоционально-насыщенного содержания в пределах комплекса предупредительно-агрессивного агонистического поведения. 

Background: the lack of obvious signs of mental disorders available for objective registration is known problems of psychiatry. The study of nonverbal behavior based on the ethological paradigm using automatic detection technologies may be one of the approaches to solving this problem. The aim of study was to compare the facial and pantomimic activity of patients with neurotic disorders and pathology of the schizophrenia spectrum in a controlled ethologovideographic study to search for behavioral biomarkers of these disorders. Patients, Control Group and Methods: 19 patients with schizophrenia spectrum disorders (SSD), 23 with neurotic disorders (ND), and 22 healthy subjects of control group (CG) were examined. The severity of SSD symptoms was determined using the PANSS scale; for ND on used the Hamilton Anxiety (HAMA-14) and Depression (HAMD-17) scales. Analysis of non-verbal behavior was carried out using the biometric video analytics complex “MIX VR-19” based on action units (AU) of the Facial Action Coding System (FACS). Results: according to the frequency and duration of facial and pantomimic reactions, facial mimics in patients with Sch was characterized by greater activity in the areas of the mouth and eyes, with a decrease of mimic activity in the area of eyebrows and head movements. Frontal orientation towards the interviewer was less frequent, while a longer duration of sadness expression and a shorter duration of surprise reactions were revealed in ND patients. Factor analysis showed that AU formed the facial complexes “thoughtfulness”, “remembering”, “lack of negativism”, “lack of distrust” in control; “search for a solution”, “surprise”, “helplessness”, “embarrassment/shyness”, “distrust” characterized NR group while “incredulous surprise”, “experience of failure”, “skepticism/distrust”, “satisfaction/superiority” were found in SSD group. Conclusions: the mimic-pantomimic response of mentally healthy persons reflected cognitive processes and was characterized by emotional neutrality in the structure of behavioral complexes of attention and contact as well as of exploring behavior. A combination of cognitive and affective facial reactions was observed within the framework of avoidant-defensive agonistic behavior and neophobia in ND. Facial reactions of emotionally charged content predominated within the complex of preventive-aggressive agonistic behavior were the most frequent patterns of nonverbal behavior in SSD.

невербальное поведениемимикакодирование лицевой активности (FACS)биометрическая видеоаналитикаэтологовидеографический методшизофренияневротические расстройстваfacial expression analysisbehavior descriptorsnonverbal behaviorFACSbiometric video analyticsethologovideographic methodschizophrenianeurotic disordersReferencesБобров АЕ. Методологические вопросы диагностики психических расстройств и современные программы подготовки специалистов в психиатрии. Социальная и клиническая психиатрия. 2014;24(2):50–54.Bobrov AE. Methodological issues of mental disorders diagnosis and modern programs for training psychiatrists. Social and clinical psychiatry. 2014;24(2):50–54.Самохвалов ВП. Эволюционная психиатрия. ИМИС, 1993:286.Samokhvalov VP. Evolutionary psychiatry. IMIS, 1993:286. (In Russ.).Корнетов АН, Самохвалов АА, Коробов АА, Корнетов НА. Этология в психиатрии. Киев, 1990:217Kornetov AN, Samokhvalov AA, Korobov AA, Kornetov NA. Ethology in psychiatry. Kyiv, 1990:217. (In Russ.).Ганзин ИВ. Кинесические маркеры психических расстройств. Таврический журнал психиатрии. 2003;3:40–43.Ganzin IV. Kinesic markers of mental disorders. Taurida journal of psychiatry Taurida journal of psychiatry = Acta psychiatrica, psychologica, psychotherapeutica et ethologica Tavrica. 2003;3:40–43. (In Russ.).Scherer S, Stratou G, Mahmoud M. Boberg J, Gratch J, Rizzo A (Skip), Morency L-P. Automatic Behavior Descriptors for Psychological Disorder Analysis. Image and Vision Computing. doi: 10.1145/2522848.2522886Scherer S, Stratou G, Mahmoud M. Boberg J, Gratch J, Rizzo A (Skip), Morency L-P. Automatic Behavior Descriptors for Psychological Disorder Analysis. Image and Vision Computing. doi: 10.1145/2522848.2522886Pegoraro LF, Setz EZ, Dalgalarrondo P. Ethological approach to autism spectrum disorders Evol. Psychol. 2014;12(1):223–244. doi: 10.1177/147470491401200 116. PMID: 25299761; PMCID: PMC10481087.Pegoraro LF, Setz EZ, Dalgalarrondo P. Ethological approach to autism spectrum disorders Evol. Psychol. 2014;12(1):223–244. doi: 10.1177/147470491401200 116. PMID: 25299761; PMCID: PMC10481087.Fiquer JT, Moreno RA, Brunoni AR, Barros VB, Fernandes F, Gorenstein C. What is the nonverbal communication of depression? Assessing expressive differences between depressive patients and healthy volunteers during clinical interviews. J Affect Disord. 2018 Oct 1;238:636–644. doi: 10.1016/j. jad.2018.05.071. Epub 2018 Jun 9. PMID: 29957481.Fiquer JT, Moreno RA, Brunoni AR, Barros VB, Fernandes F, Gorenstein C. What is the nonverbal communication of depression? Assessing expressive differences between depressive patients and healthy volunteers during clinical interviews. J Affect Disord. 2018 Oct 1;238:636–644. doi: 10.1016/j. jad.2018.05.071. Epub 2018 Jun 9. PMID: 29957481.Gupta T. The Experience and Expression of Emotion in Psychosis-Risk. Evanston, Illinois, 2022:166. doi: 10.21985/n2-7k2a-4521Gupta T. The Experience and Expression of Emotion in Psychosis-Risk. Evanston, Illinois, 2022:166. doi: 10.21985/n2-7k2a-4521Шамрей ВК, Марченко АА, Лобачев АВ, Тарумов ДА. Современные методы объективизации психических расстройств у военнослужащих. Социальная и клиническая психиатрия. 2021;31(2):51–57.Shamrey VK, Marchenko AA, Lobachev AV, Tarumov DA. Modern methods of objectification of mental disorders in military personnel. Social and clinical psychiatry. 2021;31(2):51–57. (In Russ.).Ekman P, Friesen WV, Hager JC. Facial Action Coding System. The Manual. Salt Lake City UT; 2002:514.Ekman P, Friesen WV, Hager JC. Facial Action Coding System. The Manual. Salt Lake City UT; 2002:514.Fei Z, Yang E, Day-Uei Li D, Butler S, Ijomah W, Li X, Zhou H. Deep convolution network based emotion analysis towards mental health care. Neurocomputing. 2020;388:212–227. doi: 10.1016/j.neucom. 2020.01.034Fei Z, Yang E, Day-Uei Li D, Butler S, Ijomah W, Li X, Zhou H. Deep convolution network based emotion analysis towards mental health care. Neurocomputing. 2020;388:212–227. doi: 10.1016/j.neucom. 2020.01.034Yao L, Wan Y, Ni H, Xu B. Action unit classification for facial expression recognition using active learning and SVM. Multimed Tools 2021; Appl 80, 24287–24301. doi: 10.1007/s11042-021-10836-w.Yao L, Wan Y, Ni H, Xu B. Action unit classification for facial expression recognition using active learning and SVM. Multimed Tools 2021; Appl 80, 24287–24301. doi: 10.1007/s11042-021-10836-w.Allwood J, Cerrato L, Jokinen K, Navaretta K. The MUMIN coding scheme for the annotation of feedback, turn management and sequencing phenomena. Language Resources and Evaluation. 2007;41(3– 4):273–287. doi: 10.1007/s10579-007-9061-5Allwood J, Cerrato L, Jokinen K, Navaretta K. The MUMIN coding scheme for the annotation of feedback, turn management and sequencing phenomena. Language Resources and Evaluation. 2007;41(3– 4):273–287. doi: 10.1007/s10579-007-9061-5Марченко АА. Невротические расстройства у военнослужащих: клиника, диагностика, патоморфоз. СПб., 2009:46.Marchenko AA. Neurotic disorders in military personnel: clinical presentation, diagnostics, pathomorphosis. SPb., 2009:46. (In Russ.).Leucht S. Measurements of response, remission, and recovery in schizophrenia and examples for their clinical application. J Clin Psychiatry. 2014;75 Suppl 1:8–14. doi: 10.4088/JCP.13049su1c.02. PMID: 24581453.Leucht S. Measurements of response, remission, and recovery in schizophrenia and examples for their clinical application. J Clin Psychiatry. 2014;75 Suppl 1:8–14. doi: 10.4088/JCP.13049su1c.02. PMID: 24581453.Viola P, Jones MJ. Robust Real-time Object Detection. International Journal of Computer Vision. 2004;57(2):137–154.Viola P, Jones MJ. Robust Real-time Object Detection. International Journal of Computer Vision. 2004;57(2):137–154.Samokhvalov VP, Samokhvalova OE. Toward a Neuroethology of Schizophrenia: Findings from the Crimean Project. Handbook of Schizophrenia Spectrum Disorders, Volume II: Phenotypic and Endophenotypic Presentations. 2011;121-164.Samokhvalov VP, Samokhvalova OE. Toward a Neuroethology of Schizophrenia: Findings from the Crimean Project. Handbook of Schizophrenia Spectrum Disorders, Volume II: Phenotypic and Endophenotypic Presentations. 2011;121-164.Brüne M, Sonntag C, Abdel-Hamid M, Lehmkämper C, Juckel G, Troisi A. Nonverbal behavior during standardized interviews in patients with schizophrenia spectrum disorders. J Nerv Ment Dis. 2008 Apr;196(4):282–288. doi: 10.1097/NMD.0b013e31816a4922. PMID: 18414122.Brüne M, Sonntag C, Abdel-Hamid M, Lehmkämper C, Juckel G, Troisi A. Nonverbal behavior during standardized interviews in patients with schizophrenia spectrum disorders. J Nerv Ment Dis. 2008 Apr;196(4):282–288. doi: 10.1097/NMD.0b013e31816a4922. PMID: 18414122.Сидякин ВГ. Вопросы этологической физиологии человека и животных. Симферополь, 2000:464.Sidyakin VG. Issues of ethological physiology of humans and animals. Simferopol, 2000:464. (In Russ.).

The authors declare that there are no conflicts of interest present.