Разработка интеллектуальной системы видеонаблюдения

В настоящее время системы видеонаблюдения используются повсеместно. На крупных предприятиях количество видеокамер в системах видеонаблюдения может быть более ста. Чтобы найти местоположение человека в такой системе или просмотреть архив о действиях, которые он производил, необходимо потратить много времени. Установка на предприятиях систем определения местоположения персонала и использование вычисляемых локационных данных в системах видеонаблюдения может  автоматизировать процесс видеофиксации требуемых событий и существенно сократить время  работы с видеоархивом.

По этим причинам возникает задача разработки системы, которая бы позволяла автоматически управлять переключением видеоизображений и управлять поворотными видеокамерами с привязкой к выбранному объекту на основе полученных координат, вычисление которых будет производиться за счет  беспроводной системы определения местоположения. Решение данной задачи позволит упростить работу со сложными системами видеонаблюдения, в том числе, при решении задач автоматического слежения и видеофиксации действий оперативного персонала на промышленных объектах.

Подсистема определения местоположения

Для качественной работы Интеллектуальной системы видеонаблюдения (далее – ИСВ) необходимо уделить особое внимание выбору подсистемы определения местоположения, так как от характеристик данной подсистемы зависит качество работы ИСВ.

Системы определения местоположения в реальном времени (далее – RTLS, Real Time Location System) позволяют найти, а также  отследить перемещение человека и различных объектов в пределах выбранной территории.

На данный момент существует достаточно большое количество технологий и разрабатываемых систем определения местоположения, которые находят применение в таких сферах как: учреждения здравоохранения, розничная торговля, логистика, крупные промышленные предприятия, аварийные службы, шахты, гостиничные комплексы, военные и прочие режимные объекты.

Все технологии RTLS построены на принципе получения информации о местоположении посредством использования мобильного малогабаритного беспроводного устройства (далее - Тег), закрепленного за каждым объектом слежения.

По типам источника питания Теги RTLS делятся на: пассивные, полупассивные и активные.

Все RTLS в основном состоят из следующих основных частей:

1. Теги (мобильные устройства);
2. Локационные датчики (далее - базовые станции), которые обычно представляют собой стационарные устройства с заранее известными координатами, относительно которых проводятся измерения местоположения Тега;
3. Программный модуль, связывающий воедино всю инфраструктуру RTLS и собирающий информацию  со всех базовых станций и/или Тегов;
4. Программный модуль вычисления локаций. Является ядром всей RTLS и осуществляет вычисление текущих координат объекта;
5. Пользовательское программное приложение, которое отображает местоположение объекта на экране монитора или другого устройства с привязкой к карте местности и  с указанием дополнительно определенных пользователем аналитических данных.

В большинстве разрабатываемых систем на рынке используется клиент-серверная архитектура, позволяющая перенести пользовательское приложение на другой компьютер.

Технологии, применяемые в RTLS, можно классифицировать по следующим основным характеристикам:

1. Точность определения местоположения;
2. Метод определения координат Тега;
3. Способ передачи сигналов.

Для быстрой оценки той или иной технологии обычно используют следующие   степени точности определения координат объекта:

1. Достаточно определить факт пересечения объектом определенного узкого прохода или ворот (англ. Сhokepoint);
2. Достаточно определить нахождение объекта в пределах определенной зоны;
3. Необходимо определить координаты объекта с некоторой погрешностью.

Первая степень точности является недостаточной для обеспечения качественной работы ИСВ. На первый взгляд, кажется, что вполне достаточно было бы определить нахождение объекта в определенной зоне, но на практике возможны случаи, в которых такой точности будет недостаточно (например, в случае если зоны видимости камер пересекаются). По этим причинам необходимо выбирать систему позиционирования, которая бы обеспечила точность позиционирования в пределах нескольких метров.

Проведенный анализ показал, что предпочтительней остановить свой выбор на системе определения местоположения, использующей метод определения координат TOF совместно с данными о RSSI, а именно на технологии NanoLOC.

В настоящее время на мировом рынке найдено три компании, которые открыто заявляют, что ведут разработки систем определения местоположения мобильного объекта на базе технологии NanoLOC.

Компания «Nanotron» (Германия) является производителем микросхем и микросборок для технологии NanoLOC, а так же является обладателем всех прав на данную технологию. Помимо этого «Nanotron» занимается изготовлением оценочных наборов и комплектов разработки (англ. Development Kit) оборудования для сторонних разработчиков.  Комплект разработчика не подходит для интеграции с ИСВ, так как потребует большого объема работ по созданию готовой работоспособной системы (написание программного кода, изучение сложной документации для разработчика, тестирование и прочее). Таким образом, использование продукции, выпускаемой на рынок компанией Nanotron, не является целесообразным для создания прототипа ИСВ.

Компания «Convergence» выпускает как оценочный комплект системы определения местоположения для разработчиков, так и версию для возможных интеграторов этой системы. Компания «РТЛ Сервис» выпускает конечный продукт для неподготовленных пользователей, а также версии для системных интеграторов. Стоит отметить, что компания «Convergence» не имеет опыта коммерческой инсталляции и не приводит на сайте примеров такой инсталляции системными интеграторами. Компания «РТЛ Сервис» имеет опыт успешной инсталляции системы на гостиничном комплексе  «Каприз» (Иссык-Куль, Киргизия), где помимо локации, реализована возможность голосовой радиосвязи.

Характеристики рассматриваемых систем определения местоположения

В целом, технические характеристики систем на базе NanoLOC схожи,  так как они используют одну и ту же технологию. Отличия - в максимальной дальности связи, у РТЛ Сервис она больше более чем в полтора раза.  Дальность связи крайне важна для повышения точности определения местоположения на протяженных объектах, так как расстояние до Тега будет измеряться большим количеством базовых станций. При этом стоимость оборудования от компании «РТЛ Сервис» меньше, чем у «Convergence».

Разработка видеоподсистемы

На этапе создания прототипа ИСВ необходимо было предусмотреть следующее:

• Возможность запуска нескольких задач наблюдения одновременно для тега или группы тегов;
• Возможность записи видео на жесткий диск с возможность дальнейшего просмотра;
• Переключение видеопотоков при перемещении контролируемого объекта из области контроля одной камеры в область контроля другой;
• Сопровождение поворотными камерами контролируемого объекта в зоне своего контроля;
• Возможность быстрого развертывания системы на демонстрационном полигоне (установка начальной точки, выбор оптического увеличения, привязка координат);
• Возможность пересечения зон контроля видеокамер;
• Возможность использования видеоаналитики и обратной связи (уточнения локаций) с подсистемой определения местоположения.

В процессе разработки архитектуры системы использовался модульный принцип построения систем, а так же концепция объектно-ориентированного программирования.

С учётом выше перечисленных требований на функционал, система должна состоять как минимум из следующих основных модулей:

• Основной модуль системы (ядро). Это модуль, в котором будут находиться основные объекты системы видеонаблюдения;
• Модуль переключения камер. Данный модуль отвечает за запуск задач слежения, переключения камер, управление их поворотом;
• Модуль отображения и записи видео;
• Модуль регистрации камер. С помощью данного модуля должна решаться задача регистрации в системе камер, а так же их настройка (привязка к плану местности, настройка поворотных камер).

Сопоставление камер с областями на плане

Для определения момента, когда необходимо осуществить переключение камер или навести поворотную камеру, необходимо произвести некое сопоставление между камерами и координатами местности. Логичнее всего в данном случае разбить всю карту на части и, в зависимости от того, где располагаются камеры, присваивать им соответствующие области. У стационарных камер не может быть больше одной области видимости, но следует отметить, что в общем случае данная область может иметь произвольную форму. С поворотными камерами дело обстоит немного сложнее. Если закрепить за поворотной камерой одну область, то в тот момент, когда объект будет находиться внутри данной области, координаты его местоположения, поступающие от подсистемы локаций, необходимо переводить в систему координат камеры (горизонтальный и вертикальный углы, на которые необходимо повернуть камеру, а также значение оптического увеличения объектива). При этом необходимо иметь некую общую точку отсчета и коэффициенты перевода,  изменяющиеся в зависимости от характеристик камеры и места ее монтажа, что делает их расчет довольно сложным.

В качестве альтернативы данного подхода можно рассматривать разбиение области видимости поворотной камеры на подобласти и осуществлять поворот из центра одной подобласти в центр другой, по заранее настроенным параметрам поворота и оптического увеличения видеокамер (так называемым пресетам), при попадании объекта в одну из них. К недостаткам данного решения можно отнести то, что камера будет двигаться скачкообразно при переходе от области к области и то, что при регистрации камеры необходимо заносить предустановки для каждой подобласти. В пользу данного решения выступают простота реализации и меньшая восприимчивость к погрешностям данных поступающих от подсистемы позиционирования.

К преимуществам использования в системе поворотных камер можно отнести то, что они позволяют уменьшить общее количество камер, дать более детальное изображение (изменить угол и приблизить изображение), к недостаткам же можно отнести их высокую стоимость и отсутствие непрерывного контроля за всеми сопоставленными с камерой областями.

Идея решения задачи локализации точки в области  состоит в том, что нужно подсчитать количество пересечений луча, который имеет начало в данной точке и параллельного любой из осей координат со сторонами многоугольника (область камеры) в порядке обхода их против или по  часовой стрелке. Если оно нечетное, то точка внутри, если четное - то снаружи. В алгоритме безразлично, выпуклый многоугольник  или нет.

Сервис запуска задач слежения

Для того чтобы осуществлять слежение за каким-либо объектом, в ИСВ необходимо создать задачу слежения. Создание задачи слежения обусловлено тем, что необходимо переключаться между камерами в процессе слежения за объектом и выполнять некоторые смежные с этим действия. За каждой камерой в системе закреплена область видимости в виде набора координат вершин многоугольника. При перемещении человека из зоны видимости одной камеры в зону видимости другой необходимо производить переключение между камерами. Переключение будет осуществляться на основании данных о локации объекта, за которым ведется наблюдение. Таким образом, в любой момент времени, происходит отображение видео с той камеры, в области видимости которой, находится объект.

Реализация функции записи видео на жесткий диск

В любой системе видеонаблюдения существует необходимость производить видеозапись всех происходящих событий. Для выполнения данной функции требуется создать механизм, который бы позволял клиентскому ПО получать видеозапись с действиями объекта за определенный промежуток времени. Данная задача может быть решена несколькими способами:

1. осуществлять запись видео в архив непосредственно по задаче слежения;
2. производить запись в архив видеопотока от каждой камеры, а затем в соответствии с некими условиями формировать конечный видеофайл из имеющихся.

Каждый из предложенных способов имеет как свои достоинства, так и свои недостатки. Основным достоинством первого способа является то, что он позволяет клиенту получить видео по задаче мгновенно, но при увеличении числа задач слежения возникает проблема хранения большого числа видеофайлов, а так же нагрузка на процессор возрастает пропорционально увеличению числа задач слежения. Кроме того, видео по каждой камере так же необходимо хранить в архиве, т.к. функция возможности просмотра ранее записанного видео является обязательным атрибутом любой системы видеонаблюдения.

Второй способ позволяет отказаться от хранения большого числа видеофайлов, но в таком случае клиенту приходится тратить некоторое количество времени на то, чтобы получить готовое видео. Нагрузка на процессор при использовании данного способа остается фиксированной и зависит лишь от числа камер используемых в системе.

Прямая запись видео по задаче слежения

При осуществлении записи видео по каждой задаче слежения в отдельности, нагрузка на процессор пропорциональная количеству задач слежения. Это связано с тем, что системе приходится осуществлять перекодирование видеопотока по каждой задаче слежения «на лету», производить коммутацию видеопотоков по каждой задаче слежения и кроме того захватывать и перекодировать видеопотоки от камер с целью записи в архив.

Данная архитектура работает стабильно лишь при использовании в системе двух камер с 10 запущенными одновременно задачами слежения. Дальнейшее увеличение числа задач слежения или числа камер в системе либо приводит к сбою в работе приложения, либо к возникновению ошибок в видео, вследствие того, что процессор не успевает осуществлять его перекодирование в режиме реального времени.

Так же следует отметить, что видео по задаче слежения, создаваемое в режиме реального времени, будет иметь различного рода артефакты в местах перехода от потока с одной камеры на поток с другой камеры.

Кроме того, нельзя не сказать, что увеличение числа задач слежения приводит к более быстрому заполнению жесткого диска, что в свою очередь ведет  необходимости увеличивать объем жесткого диска, или уменьшению времени хранения видео в архиве, что так же отрицательным образом характеризует представленный вариант работы с видеоархивом.

Создание видео на основании данных об изменении активной камеры

При использовании решения создания видео на основании данных об изменении активной камеры нагрузка на процессор пропорциональна числу камер используемых в системе. Ведение истории изменения активных камер по задаче слежения, как и дальнейшая ее обработка, пренебрежительно малы по сравнению с нагрузкой необходимой для перекодирования видео в режиме реального времени. Постобработка видео, т.е. выбор нужных отрезков с последующей компоновкой данных отрезков, так же дают минимальную нагрузку по причине того, что нет необходимости перекодировать видео, а достаточно лишь выбрать нужные части и скомпоновать их в конечный файл. Время, которое требуется для создания ролика пропорционально длительности ролика. Эксперименты показывают, что на создание видео продолжительностью 49 часов, из отрезков средней продолжительностью в 30 минут требуется порядка 4 часов. Размер полученного видеофайла более 70 Гб, и основная часть времени при этом уходит на копирование частей видео из видеоархива в место хранения конечного видео. На создание видео длиной в час уходит от 5 до 15 минут, в зависимости от того, как часто изменялись активные камеры за данный промежуток времени.

Недостатком данного подхода является лишь то, что на получение клиентом видео требуется потратить некоторое количество времени на его создание, но т.к. данный промежуток времени в разы или даже порядки меньше продолжительности видео, то данный недостаток не является критичным.

Применение технологии дополненной реальности в интеллектуальной системе видеонаблюдения

В ходе тестирования ИСВ выяснилось, что иногда возникают ситуации, в которых отображение видео с определенной камеры является недостаточным для оперативного принятия каких-либо решений. При наличии в кадре большого числа людей или похожих между собой объектов наблюдения, а так же в условиях недостаточной освещенности  оператору трудно быстро выявить целевой объект. По этой причине возникла задача неким образом указать местоположение объекта наблюдения на видео, для того чтобы облегчить и ускорить его поиск оператором. Для реализации данной задачи было принято решение использовать технологию дополненной реальности.

Дополненная реальность (англ. augmented reality, AR) - это визуальное дополнение реального мира, путем проецирования и введения каких-либо виртуальных объектов, на настоящее пространство (на экране компьютера, телефона и подобных устройств). Другими словами, дополненная реальность  — термин, относящийся ко всем проектам, направленным на дополнение реальности любыми виртуальными элементами. Чаще всего объекты, которыми дополняется реальность, носят вспомогательно-информативный характер. Иногда в качестве синонимов термина дополненная реальность используют такие словосочетания как «Расширенная реальность», «Улучшенная реальность» и «Обогащенная реальность». Самые распространённые примеры дополненной реальности — цветная линия, показывающая нахождение ближайшего полевого игрока к воротам при телетрансляции футбольных матчей, стрелки с указанием расстояния от места штрафного удара до ворот, всевозможные системы навигации. Прогноз погоды, который показывают по телевизору - самый что ни на есть старый пример дополненной реальности.

Для того, чтобы каким-либо образом отобразить местоположение объекта на видео, необходимо произвести преобразование координат, поступающих от системы позиционирования в систему координат, связанную с кадром из видео. Для пересчета координат в ИСВ используется проективное преобразование. Следует отметить, что проективное преобразование в двухмерном пространстве задается переносом четырех точек, в трехмерном – пяти, в четырехмерном – шести и так далее.

Автор: Тершуков И. А.