Большие данные без большого шума

Александр Гурьянов
(«ХиЖ», 2023, №2)

Анализ больших данных — это крупная компьютерная отрасль. Обычно речь идет о маркетинговых исследованиях, результаты которых должны помогать продавать больше товаров. Если разобраться, то наука всегда оперирует большими данными. Экспериментальные данные, которых, как правило, много, содержат артефакты и искажены шумом. Задача ученого выделить в них закономерности и выразить их в компактном виде, желательно на четком математическом языке. На это способен только человеческий интеллект.

Но и искусственный интеллект кое-что умеет. Компьютерные сети могут понизить неопределенность исходных данных эксперимента и представить их в удобном для анализа виде. Один из способов такого применения обучаемых нейронных сетей только что продемонстрировали физики Берлинского центра материалов и энергии имени Гельмгольца под руководством доктора Грегора Хартманна (Gregor Hartmann), заведующего лабораторией методов ИИ. С его помощью они измерили параметры излучения лазера на свободных электронах. Статья появилась в конце прошлого года в журнале Scientific Reports.

Ученые разработали программу, которая сжимала набор данных, а затем удаляла из них шум. Это стало возможным благодаря тому, что их сеть представляет собой комбинацию двух сетей, первая сжимает данные, вторая — восстанавливает. Обе их тренируют так, чтобы сжатые данные было удобно интерпретировать исследователю. В 2017 году, когда такие сети предложил Гугл, их широкое практическое применение не просматривалось.

Лазер на свободных электронах позволяет получать очень короткий импульс излучения, длящийся от фемто- до аттосекунд. Для его измерения обычно применяют газовые детекторы. В них импульс выбивает фотоэлектроны, характеристики которых затем анализируют приборы. Излучение лазера сильно меняется от импульса к импульсу, но экспериментаторам нужно точно знать параметры каждого из них.

Новая нейросеть как раз и решает эту задачу. Она успешно определяет энергию и интенсивность лазерного импульса по импульсу фотоэлектронов детектора излучения. ИИ извлекает ценную информацию из зашумленных данных о времени пролета фотоэлектронов и даже учитывает индивидуальные характеристики конкретного детектора. Программа делает это гораздо лучше других способов. Интересно, что она позволяет реконструировать сигналы, которые незаметны на фоне шума в первичных данных.

Доктор Хартманн говорит, что его ИИ сможет выявлять неожиданные физические эффекты и корреляции в больших наборах самых разных экспериментальных данных. Годы работы позволили немецким ученым создать очень удобную для пользователя программу. Ее мощный инструментарий годится не только для оптики и спектроскопии.


Scientific Reports, 2022; 12 (1)

Разные разности
(«ХиЖ» 2024, №10)
Парадокс золотых самородков
Недавно австралийские ученые решили повнимательнее присмотреться к кварцу, в котором зарождаются золотые слитки. Какие у него есть необычные свойства? Одно такое свойство мы знаем — способность под давлением порождать пьезоэлектричество. Так, мо...
(«ХиЖ» 2024, №10)
Пишут, что...
…за четыре года, прошедших с момента возвращения «Чанъэ-5» на Землю, ученые проанализировали доставленный лунный грунт и нашли в нем минерал (NH4)MgCl3·6H2O, который содержит более 40% воды… …у людей с успешным фенотипом старения, то есть у до...
(«ХиЖ» 2024, №9)
Лучшее дерево для города
Немецкие ученые обследовали 5600 городских деревьев и их взаимодействие с окружающей средой. На основе этих данных исследователи создали интерактивную программу «Городское дерево». Она учитывает местоположение, состояние почвы и освещенность в&n...
(«ХиЖ» 2024, №9)
Потепление замедляет вращение Земли
Нам всем кажется, что время ускоряется. А на самом-то деле — наоборот. Оказывается, Земля замедляет вращение вокруг своей оси. И виной тому — глобальное потепление.