Видеокамеры с ИИ анализирующие поведение в транспорте

Мировой автопром идет по пути все большей автоматизации транспортных средств. Недалеки те времена, когда все решения на дорогах будут применяться компьютеризированным «мозгом» автомобиля. Но в настоящее время транспортные средства пока еще сравнительно мало автоматизированы и лишь некоторые наиболее прогрессивные модели заслуживают звание «полуавтоматических».

Впрочем, уже сейчас разработаны определенные требования к «интеллекту» автотранспорта. Так, «умный автомобиль» должен уметь интерпретировать трафик, отслеживать происходящее внутри салона, а также взаимодействовать с водителем, если ему понадобиться полностью принять управление на себя. Отметим, что системы мониторинга водителя уже применяются. Одна они пока используют данные с видеокамер в самой малой степени, даже в лучшем случае ограничиваясь обнаружением усталости.

На базе Фраунгоферского института оптроники, системных технологий и использования изображений (IOSB) была создана уникальная и первая в мире система, использующая данные изображений с камер видеомониторинга в авто, чтобы анализировать действия водителя и принимать решения на их основе. Главная особенность аналитики этой системы – она помогает «умному авто» понять, как быстро водитель может взять на себя контроль транспортного средства.

Разработчики из Fraunhofer IOSB сосредоточили свое внимание на коммуникации водителя с автомобилем, устраняя пробелы один за другим. Менеджмент группы исследователей сообщает, что новая технология позволяет не только идентифицировать черты лица, но и актуальные позы, жесты водителя или пассажиров. Анализ этих невербальных сигналов позволяет системе точно определить, чем заняты в конкретное время все люди в авто.

Как «умный автомобиль» интерпретирует действия водителя

Основу новой разработки составляют алгоритмы и процедуры машинного обучения, относящиеся к сфере ИИ. Алгоритмический анализ данных видеокамеры в режиме реального времени позволяет системе контроля понять, чем конкретно занят водитель в данную секунду: общается по телефону, играет с детьми или смотрит на экран своего персонального гаджета. То есть, технология IOSB значительно выходить за границы простого распознавания общих характеристик изображения, интерпретируя изображенные действия в актуальном контексте. В самом начале разработки системы исследователи обучали ее путем ручной аннотации многочисленных снимков с камеры видеонаблюдения. После этого наступил этап оценки достоверности работы алгоритмов на новых изображениях. И уже после этого – этап исправления неточностей. В завершение разработчикам удалось подтвердить успешность своей работы и точность работы системы.

Поддержка ИК и 3D видеокамер

Одна из особенностей новой технологии – абстрагирование изображений водителя и пассажиров, что позволяет создать «цифровой скелет» – схематичную фигуру, копирующую человеческие позы. Таким образом, технология отображает человеческую активность, используя движения скелета и вспомогательное распознавание объектов.

Благодаря такому анализу алгоритмы ИИ могут распознать, спит ли наблюдаемый камерой человек, смотрит ли на дорогу, насколько отвлечен и сколько ему времени нужно, чтобы снова сосредоточиться на дороге.

Новая разработка обеспечена поддержкой классических мобильных регистраторов, а также инфракрасных видеокамер с возможностью «ночного видения» и 3D-камер, которые измеряют дистанцию между объектами и устройством.

Разработчики системы решали проблемы, связанные с детекцией активности в салоне транспортного средства в рамках многих исследовательских проектов. При этом они сотрудничали с крупнейшими авто-брендами, например, Audi и Volkswagen, а также с поставщиками систем безопасности, например,Bosch. Все исследовательские проекты получили поддержку ряда федеральных министерств Германии. В частности, в сфере транспорта, цифровой инфраструктуры, экономики, энергетики и образования.

В результате была создана система видеонаблюдения на транспорте, которая способна обнаружить и распознать действия не только водителя, но и всех пассажиров, находящихся в любой части салона авто. После тестирования исследовательская группа пришла к выводу, что технология готова к производству. Также стало известно, что проект уже заинтересовал ряд компаний, которые готовы применять данную инновацию.

Еще одна особенность технологии – симулятор вождения, разработанный институтом, который позволяет разным компаниям-разработчикам использовать технологию для индивидуальных научно-исследовательских и опытно-конструкторских проектов. Моделируя дорожные ситуации, технология на базе широкого ряда сенсоров дает возможность собирать и анализировать полезную информацию об управлении транспортными средствами, поведении водителей и пассажиров.

Защита данных тоже не забыта

Разработчики системы с самого начала исследовательской работы сделали акцент на защите персональных данных водителя и пассажиров. Информация с камеры видеомониторинга анализируется в реальном времени, не сохраняется и не никогда не выходит за границы авто.

Более того – для работы не нужны персонализированные модели, поэтому никакие личные данные не собираются. Об этом заявили представители института, которые специализируются на безопасности, защите данных и прозрачности.

В технологию изначально заложена конфиденциальность. То есть, она полностью соответствует строжайшим нормам и высокому уровню защиты данных в ЕС.