Эксперимент уточняет алгоритмы

В научном эксперименте ученые получают ответ на свой вопрос, заданный природе. Обычно этот ответ предстает в виде числа, которое лежит в определенном интервале значений, называемом доверительным. Его важно знать, чтобы определить точность результата, разброс относительно средней величины. В численных экспериментах ученые нередко применяют алгоритмы, именуемые нынче искусственным интеллектом.

Обычно ИИ выдает конкретное решение и не позволяет оценить его неопределенность. Но он может сильно ошибиться или исказить результат, например, из-за некорректного набора обучающих его данных. Ученым необходимо уверенно судить о точности каждого конкретного ответа ИИ.

В статье, появившейся в журнале Science, ученые Калифорнийского университета под руководством профессора Майкла Джордана (Michael Jordan) предлагают новый статистический подход для определения этой точности. Математический метод сравнивает небольшое число реальных экспериментальных данных об изучаемой гипотезе с выводами больших моделей ИИ, которые грешат ложными ответами. Это позволяет откорректировать ошибки ИИ, даже если их природа неизвестна.

К примеру, при определении площадей вырубки леса вокруг Амазонки по спутниковым фотографиям ИИ выдавал правильные предсказания лишь для отдельных областей, но не для всего региона. Причина была в том, что обученный ранее и работающий алгоритм неверно вычислял по фото площади новых вырубок, которые массово появляются в регионе. После того как несколько из них исследователи выделили и измерили вручную, алгоритм удалось поправить. Его результаты стали верными.

Новый подход позволяет уточнить работу сложных алгоритмов небольшим количеством верных данных. Исследователи показали, как его можно применить для описания свойств белков, экспрессии генов, подсчета планктона, классификации галактик и даже вычисления дохода от частного медицинского страхования. Профессор Джордан отмечает, что новый метод можно использовать для оценки любого типа ИИ, поэтому он должен стать неотъемлемой частью корректного анализа данных.