Памятливый датчик

Современные сенсоры движения состоят из многих элементов и потребляют немало энергии. Ими управляют сложные алгоритмы, которые кадр за кадром анализируют видеоизображения. Зачастую эти датчики неэффективны. Свободную от названных недостатков технологию предложили инженеры финского Университета Аалто, работающие под началом профессора Себастьяна ван Дийкена (Sebastiaan van Dijken).

Они создали новую методику, которая в едином нейроморфном сенсоре совмещает получение изображения, память и обработку сигнала. Умный обучаемый датчик может выявлять движущиеся объекты и предсказывать их дальнейшее перемещение в одном кадре. Статья о работе появилась в журнале Nature Communications.

В современных видеокамерах изображения получают с помощью ПЗС-матриц, которые состоят из двумерной сетки светочувствительных элементов, накапливающих электрический заряд. В технологии авторов элементами сетки служат фотомемристоры. Это электрические приборы, которые при облучении дают электрический ток. Он не останавливается сразу после затемнения, а спадает за некоторое время. Это означает, что мемристоры могут «запоминать» предыдущую засветку.

Сеть таких сенсоров не только получает новую мгновенную картину, но и обладает памятью о предыдущих кадрах, то есть совмещает в одном кадре серию оптических изображений. Вот почему по анализу последнего кадра с помощью простой нейронной сети ИИ, которая встроена в компактный и надежный сенсор, можно выявить движение объекта.

Инженеры в интересном эксперименте продемонстрировали, как работает система. Они записали одинаковые видеоряды двумя видами датчиков — ПЗС и мемристорными. Ряды состояли из нескольких кадров. Каждый из них изображал одну букву, а вместе они давали слово. Все слова оканчивались на букву Е, то есть последние кадры видеорядов были одинаковы. Новый датчик в ста случаях из ста прочитывал все слово по последнему кадру, обычный не мог этого сделать в принципе.

В другом тесте мемристорный сенсор наблюдал на экране, как движется некий объект с тремя разными скоростями. Датчик не только выявлял эти движения по анализу одного кадра. Дополненный обучаемым алгоритмом он правильно предсказывал положение предмета на последующих кадрах.

Новые оптические сенсоры нужны для беспилотных систем управления транспортом, ведь автопилоту приходится предугадывать перемещение остальных участников движения. Технология пригодится и во многих других областях. Это динамическое зрение, автоматический контроль, мониторинг и управление промышленными процессами. Профессор убежден, что сенсоры его группы откроют новую страницу в разработке автономных роботов и интерфейсов человек-машина, так как они экономны, энергоэффективны и не хранят избыточную информацию.