Дистанционное общение с врачом через Интернет становится все более насущной проблемой, особенно в пандемийные времена. Однако при доступном сегодня программном обеспечении врач зачастую не сможет получать точные и независимые от слов пациента данные о состоянии его здоровья, например узнать пульс или частоту дыхания. Для измерения этих двух параметров команда исследователей, патронируемая профессором Шветаком Пателем и возглавляемая аспирантом Вашингтонского университета Лю Синем разработала новый способ. Он использует видеокамеру смартфона или компьютера. Следящая за лицом человека система выделяет слабые периодические изменения в отражении света от участков кожи, связанные с потоком крови. Объемное исследование профинансировали корпорация «Гугл» и Фонд Мелинды и Билла Гейтс.
Для эффективного применения алгоритма искусственного интеллекта система выбирает на лицах области, несущие максимальную информацию о пульсе и частоте дыхания. У разных людей эти области различны — алгоритму приходится быстро адаптироваться к уникальной физиологии каждого человека, а также учитывать световые параметры окружающей его среды. Надежные результаты достигнуты при ста двадцати видеокадрах в секунду. Профессор Патель отмечает, что система сохраняет приватность, так как запускается на компьютере, а не в облаке.
Искусственный интеллект тренировали на испытуемых с подключенными датчиками пульса и частоты дыхания. Результаты работы превосходят достижения аналогичных систем, контролирующих многочисленные объекты, движущиеся в поле зрения камеры. Испытания выявили и недостатки, связанные с разным освещением лиц или макияжем. Кроме того, надежно анализировать темнокожие лица пока не удается.
Программа выложена в открытый доступ в хранилище программ Github. Ее испытывают в различных клиниках США. Помимо использования в медицине эту технологию можно применять для быстрого дистанционного выяснения основных показателей эмоционального состояния людей, как, например, это делают на детекторе лжи.
(34th Conference on Neural Information Processing Systems, Vancouver, Canada, 2020)