Цель проекта – разработка программного приложения для автоматической сортировки, анализа и детектирования изображений животных с фотоловушек для мониторинга популяций в заповедниках.

Сеть фотоловушек способна предоставлять тысячи изображений за достаточно непродолжительные периоды времени. Хотя процедуры извлечения и хранения данных достаточно тривиальны, процедура ввода требует относительно много времени и подвержена ошибкам, особенно если выполняется вручную. Ручной ввод данных, полученных с фотоловушек, в электронные таблицы является давно устаревшим, трудоемким и малоэффективным способом как раз из-за таких потенциальных ошибок.

Выбор определенного алгоритма работы и конкретного программного средства часто затруднителен. Часть подходов включает потенциальную склонность к ошибкам в обработке данных, в то время как более универсальные решения сложны в расширении, модификации или масштабировании под работу с большими нетрадиционными проектами. Другие способы имеют ограничения, так как разработаны под конкретные программные средства.

Разработанное нами приложение должно удовлетворять следующим требованиям:

1. Интуитивно-понятный инструментарий тегирования и запросов, реализованный в облачной среде.

2. Способность извлекать данные в формате jpg.

3. Доступность и открытость для обеспечения совместных разработок исследований с фотоловушками.

4. Возможность совместной работы в облачной среде.

Задача 1. Разработка алгоритма для предварительной классификации фотографий на пригодные и непригодные для анализа.

Задача 2. Выбор алгоритма для распознавания животных на изображениях.

Задача 3. Разработка приложения с интегрированными алгоритмами классификации изображений.

Приложение позволяет разбивать изображения на классы:

 – изображение содержит дефект и не подходит для анализа.

– изображение подходит для анализа и содержит образ животного.

1.     – изображение подходит для анализа и содержит образ человека.

2.     – изображение подходит для анализа и содержит образ транспортного средства.

Приложение разработано на языке программирования Python.

Для вычисления статистик по изображению использовалась библиотека библиотека компьютерного зрения OpenCV; для оценки качества работы алгоритмов – библиотека scikit-learn; для группировки и анализа исходных данных – библиотека pandas и numpy; для определения животного на изображении была выбрана модель megadetector от компании Microsoft, использующая библиотеку TensorFlow.

Для определения образа животного на фотографиях используется предобученная нейросетевая модель. Для быстрого её исполнения нужна среда, использующая GPU. Для этих целей подходит облачная среда разработки и запуска кода Google Colabaratory. Мощностей, которые эта среда предоставляет по бесплатному тарифу, хватает для решения текущей задачи. Google Colabaratory интегрирована с облачным хранилищем данных Google Drive, поэтому было принято решение осуществлять загрузку исходных данных и выгрузку отсортированных данных, используя это хранилище.

В дальнейшем предполагается модернизировать программу и расширить модулем распознавания вида животного.

Модернизация приложения должна позволять:

- осуществлять мониторинг территорий,

- решать задачи по определению ареалов обитания животных, контролю количества и плотности особей на отдельном участке

- отслеживать взаимодействие видов между собой,

- повышать безопасность на территориях заповедников.

Датчики фоторегистраторов срабатывают на любое движение, в том числе на покачивание растительности, снег или дождь. Из-за климатических условий фотоловушки делают дефектные снимки, непригодные для анализа. Таким образом, в памяти фоторегистратора накапливается много дефектных снимков и снимков, не содержащих образов животных.

Для эффективной работы с фотографиями и видеофайлами требуются значительные трудозатраты, связанные с сортировкой, классификацией и анализом изображений.

Трудоемкость и ограниченная скорость обработки данных оператором вручную не является экономически целесообразной и приводит к ошибкам, что не позволяет за ограниченное время обработать большой объем данных, собранных даже в рамках одного заповедника.

Фотоловушка – автономный фото-видеорегистратор с внутренней памятью, в котором присутствует датчик определения движения.

Ежегодно на территории Алтайского биосферного заповедника расширяется сеть установленных фотоловушек. Фото-видеорегистраторы обычно устанавливаются на зверовых тропах, естественных или искусственных солонцах, что позволяет наблюдать за животными в их естественной среде обитания. Специалисты отдела науки Алтайского биосферного заповедника получают много ценной научной информации с помощью фотоловушек: с помощью фотокадров можно рассчитать количество и плотность особей на отдельном участке, суточную активность животных, взаимодействие видов между собой, осуществлять мониторинг территорий.

Датчики фоторегистратора срабатывают на любое движение, и не всегда удается установить камеру так, чтобы в кадр не попадала растительность, движимая потоками воздуха. Осадки в виде снега также фиксируются фоторегистратором. В ряде случаев, из-за климатических условий, фотоловушка может перегреться и начать делать дефектные снимки, совершенно непригодные для анализа.

Таким образом, на картах памяти фоторегистратора накапливается много снимков, не содержащих основного объекта исследований – животных. При обработке большого массива снимков специалистом выборка «хороших» кадров занимает достаточное количество времени. Специалисту приходится просматривать каждое из изображений. Сортировка производится «вручную», что является нерациональным использованием как интеллектуальных, так и материальных ресурсов.

Масштабируемость, способность к взаимодействию с другими системами, мобильность изначально заложены в требования к приложению:

1. Интуитивно-понятный инструментарий тегирования и запросов, реализованный в облачной среде.

2. Способность извлекать данные в формате jpg.

3. Доступность и открытость для обеспечения совместных разработок исследований с фотоловушками.

Проблема автоматической обработки изображений с фотоловушек не является новой, поэтому существуют уже готовые решения.

Одно из них – веб-сервис от компании WildID. Это веб-приложение для хранения и обработки изображений животных с фотоловушек. Приложение позволяет автоматически определять наличие животного на фотографии и его вид, используя для этого нейросетевые классификаторы. Язык интерфейса приложения – английский. Специализируется на животных Южной Африки.

Ещё одно из решений – программа Timelapse, разработанная Солом Гринбергом, профессором Университета Калгари. Программа является бесплатной, с открытым исходным кодом. Все данные хранятся и обрабатываются локально. Обладает большим функционалом: позволяет скачивать и обрабатывать фото и видео с удаленных фотоловушек, автоматически классифицирует снимки на дневные и ночные, предоставляет инструментарий для редактирования и разметки фотографий по категориям. Позволяет автоматически определять наличие животных на снимках, используя классификатор Microsoft MegaDetector, развернутый на удаленном сервере. Значительная часть функционала приложения является избыточным и нужна только для волонтеров, которые помогают улучшить работу приложения.

Новизна данного проекта заключается в разработанных алгоритмах сортировки для определения дефекта изображения и приложении для автоматической сортировки изображений с фотоловушек.

Полезность отражена в социально-экономической целесообразности проекта и глобальном контекстном решении. Удобство и простота использования изначально закладывались в проект.