Відеокамери з ШІ аналізують поведінку в транспорті

Світовий автопром йде по шляху все більшої автоматизації транспортних засобів. Недалекі ті часи, коли всі рішення на дорогах будуть застосовуватися комп'ютеризованим «мозком» автомобіля. Але в даний час транспортні засоби поки що порівняно мало автоматизовані і лише деякі найбільш прогресивні моделі заслуговують звання «напівавтоматичних».

Втім, вже зараз розроблені певні вимоги до «інтелекту» автотранспорту. Так, «розумний автомобіль» повинен вміти інтерпретувати трафік, відстежувати те, що відбувається всередині салону, а також взаємодіяти з водієм, якщо йому знадобитися повністю прийняти управління на себе. Відзначимо, що системи моніторингу водія вже застосовуються. Одна вони поки використовують дані з відеокамер в найменшій мірі, навіть в кращому випадку обмежуючись виявленням втоми.

На базі Фраунгоферского інституту оптронікі, системних технологій і використання зображень (IOSB) була створена унікальна і перша в світі система, яка використовує дані зображень з камер відеомоніторингу в авто, щоб аналізувати дії водія і приймати рішення на їх основі. Головна особливість аналітики цієї системи - вона допомагає «розумному авто» зрозуміти, як швидко водій може взяти на себе контроль транспортного засобу.

Розробники з Fraunhofer IOSB зосередили свою увагу на комунікації водія з автомобілем, усуваючи прогалини один за іншим. Менеджмент групи дослідників повідомляє, що нова технологія дозволяє не тільки ідентифікувати риси обличчя, але і актуальні пози, жести водія або пасажирів. Аналіз цих невербальних сигналів дозволяє системі точно визначити, чим зайняті в конкретний час все люди в авто.

Як «розумний автомобіль» інтерпретує дії водія

Основу нової розробки становлять алгоритми і процедури машинного навчання, що належать до сфери ШІ. Алгоритмічний аналіз даних відеокамери в режимі реального часу дозволяє системі контролю зрозуміти, чим конкретно зайнятий водій в дану секунду: спілкується по телефону, грає з дітьми або дивиться на екран свого персонального гаджета. Тобто, технологія IOSB значно виходити за межі простого розпізнавання загальних характеристик зображення, інтерпретуючи зображені дії в актуальному контексті. На самому початку розробки системи дослідники навчали її шляхом ручної анотації численних знімків з камери відеоспостереження. Після цього настав етап оцінки достовірності роботи алгоритмів на нових зображеннях. І вже після цього – етап виправлення неточностей. На завершення розробникам вдалося підтвердити успішність своєї роботи і точність роботи системи.

Підтримка ІЧ і 3D відеокамер

Одна з особливостей нової технології – абстрагування зображень водія і пасажирів, що дозволяє створити «цифровий скелет» – схематичну фігуру, що копіює людські пози. Таким чином, технологія відображає людську активність, використовуючи руху скелета і допоміжне розпізнавання об'єктів.

Завдяки такому аналізу алгоритми ШІ можуть розпізнати, чи спить спостережуваний камерою людина, дивиться на дорогу, наскільки відвернений і скільки йому часу потрібно, щоб знову зосередитися на дорозі.

Нова розробка забезпечена підтримкою класичних мобільних реєстраторів, а також інфрачервоних відеокамер з можливістю «нічного бачення» і 3D-камер, які вимірюють дистанцію між об'єктами і пристроєм.

Розробники системи вирішували проблеми, пов'язані з детекцією активності в салоні транспортного засобу в рамках багатьох дослідницьких проектів. При цьому вони співпрацювали з найбільшими авто-брендами, наприклад, Audi і Volkswagen, а також з постачальниками систем безпеки, наприклад, Bosch. Всі дослідницькі проекти отримали підтримку ряду федеральних міністерств Німеччини. Зокрема, у сфері транспорту, цифровий інфраструктури, економіки, енергетики і освіти.

В результаті була створена система відеоспостереження на транспорті, яка здатна виявити і розпізнати дії не тільки водія, але і всіх пасажирів, які знаходяться в будь-якій частині салону авто. Після тестування дослідницька група прийшла до висновку, що технологія готова до виробництва. Також стало відомо, що проект вже зацікавив ряд компаній, які готові застосовувати дану інновацію.

Ще одна особливість технології – симулятор водіння, розроблений інститутом, який дозволяє різним компаніям-розробникам використовувати технологію для індивідуальних науково-дослідних і дослідно-конструкторських проектів. Моделюючи дорожні ситуації, технологія на базі широкого ряду сенсорів дає можливість збирати й аналізувати корисну інформацію про управління транспортними засобами, поведінці водіїв і пасажирів.

Захист даних теж не забутий

Розробники системи з самого початку дослідницької роботи зробили акцент на захист персональних даних водія і пасажирів. Інформація з камери відеомоніторингу аналізується в реальному часі, не з що зберігаються і не ніколи не виходить за межі авто.

Більш того – для роботи не потрібні персоналізовані моделі, тому ніякі особисті дані не збираються. Про це заявили представники інституту, які спеціалізуються на безпеці, захисту даних і прозорості.

У технологію спочатку закладена конфіденційність. Тобто, вона повністю відповідає найсуворішим нормам і високому рівню захисту даних в ЄС.