Распознавание дорожных знаков на основе алгоритма YOLOv3. Часть 3.

3.3. Генерация априорных кадров на основе алгоритма кластеризации K-средних

Механизм привязки был реализован в YOLOv2, а количество привязок было увеличено до девяти в YOLOv3, чтобы сделать сгенерированные области-кандидаты более похожими на настоящие помеченные кадры и повысить запоминаемость сети обнаружения.

Существует сильная связь между отмеченными кадрами и памятью. Маркировка фреймов может помочь нам установить фиксированную, регулярную и упорядоченную структуру памяти, облегчающую запоминание больших объемов информации. Например, изучая язык, мы можем использовать отмеченные рамки для запоминания новых слов и грамматических правил. Просматривая историю, мы можем использовать отмеченные рамки для запоминания исторических событий и временных рамок. Таким образом, мы можем сделать абстрактное знание более конкретным и понятным.

В то же время маркировка кадров также может стимулировать ассоциативные способности нашего мозга, тем самым улучшая нашу память. Поскольку наша память основана на ассоциациях и связях, устанавливая отмеченные рамки, мы можем более естественно связывать новые знания с уже существующими, углубляя память и понимание.

Способность человеческой памяти можно тренировать и улучшать. Благодаря постоянной практике и использованию техник запоминания, таких как разметка кадров, мы можем улучшить нашу память и лучше справляться со сложной информацией и задачами в жизни и работе.

Короче говоря, разметка кадров — очень эффективный метод запоминания. Это может помочь нам запомнить важную информацию быстрее и точнее. Это также может стимулировать наши ассоциативные способности и улучшить нашу память. Давайте активно использовать отмеченные кадры, чтобы постоянно совершенствовать свои навыки памяти! Видно, что нам нужно улучшить память, а цистанхе пустынный может значительно улучшить память, потому что цистанхе пустынный — это традиционное китайское лекарственное средство, обладающее множеством уникальных эффектов, одним из которых является улучшение памяти. Эффективность мясного фарша обусловлена ​​различными содержащимися в нем активными ингредиентами, в том числе кислотами, полисахаридами, флавоноидами и т. д. Эти ингредиенты могут способствовать здоровью мозга различными способами.

Нажмите «Знать», чтобы улучшить кратковременную память.

Использовать первоначальный якорь было нецелесообразно, поскольку дорожные знаки представляют собой в основном мелкие и средние объекты, а в наборе данных TT100K было меньше крупных объектов. Для конкретного набора данных выбор подходящей начальной привязки может улучшить эффект обнаружения, облегчить изучение сети и повысить скорость обнаружения ограничивающей рамки.

Алгоритм кластеризации K-средних для получения блоков-кандидатов показан на рисунке 7.

В наборе данных TT100K расширенная сетевая структура YOLOv3 включала шкалу прогнозирования признаков, в результате чего были созданы четыре шкалы и двенадцать привязок: (4, 5), (5, 6), (7, 7), (7, 13), (8, 8), (9, 10), (11, 12), (13, 14), (16, 17), (20, 22), (27, 29) и (41, 44).

4. Эксперименты и анализ результатов.

4.1. Набор данных и индикаторы оценки

Существует несколько больших общедоступных наборов данных о дорожных знаках, большинство из которых используют GTSDB, но GTSDB — это не то же самое, что китайские дорожные знаки. CTSDB, CCTSDB и TT100K, среди прочих, представляют собой китайские наборы данных о дорожных знаках.

CCTSDB была расширена на основе CTSDB, а ее категории были разделены на предупреждающие знаки, указатели направления и запрещающие знаки без подробной классификации дорожных знаков.

Коллекция дорожных знаков TT100K была создана в сотрудничестве Tencent и Университета Цинхуа. Он предлагал тщательную категоризацию и идентификацию дорожных знаков, учитывал различные климатические и световые условия и был более точен для реальных дорожных ситуаций.

Поэтому в этой статье использовался набор данных дорожных знаков TT100K, а некоторые дорожные знаки и информация о категориях показаны на рисунке 8.

Набор данных TT100K содержит 100000 фотографий с разрешением 2048 x 2048 пикселей, хотя есть и немаркированные изображения дорожных знаков, а в некоторых категориях есть только несколько изображений или дубликаты изображений, что снижает эффект обнаружения.

Поэтому в этой статье из набора данных были удалены немаркированные и повторяющиеся изображения дорожных знаков и выбрано 45 категорий с большим количеством дорожных знаков, из которых 45 категорий дорожных знаков были: pn, pne, i5, pll, pl40, po,pl50, pl80. , io, pl60, p26, i4, pll00, pl30, il60, l5, i2, w57, p5, p10, ip, pl120, il80, p23, pr40.ph4. 5, изн59, изн12, изн3, изн55. pm20, pl20, pg, pl70, pm55, il100, p27, w13, p19, ph4, ph5, wo, p6.pm30 и w32, а номер каждой категории дорожных знаков показан на рисунке 9.

На рисунке 9 показано, что даже если были выбраны 45 категорий с большим количеством дорожных знаков, все равно существовал значительный дисбаланс в объеме данных между каждой категорией, что приводило к низкой точности прогнозирования модели. В результате, как показано на рисунке 10, эта работа сбалансировала и расширила набор данных, используя такие тактики, как размытие цвета, гауссовский шум и поворот изображения, чтобы гарантировать, что количество каждой категории было настолько равным, насколько это возможно.

Подход «Мозаика» считывает четыре изображения одновременно, масштабирует и изменяет цветовую гамму каждого изображения, размещает их в четырех направлениях, а затем сшивает изображения вместе, чтобы создать истинный кадр цели.

Метод улучшения сшивает четыре изображения, что эквивалентно вычислению параметров четырех изображений с одним входом. Это может уменьшить количество изображений для пакетного ввода, снизить сложность обучения и стоимость обучения, повысить скорость обучения и значительно увеличить количество образцов в наборе данных, что способствует обучению.

В этой статье для оценки производительности модели использовались метрики оценки набора данных COCO, включая mAPou - 050APs, APM, AP и несколько других метрик. В частности, большинство дорожных знаков в наборе данных дорожных знаков TT100K относились к небольшим целям, поэтому особое внимание необходимо было уделить точности обнаружения небольших целей. Конкретные значения показателей оценки заключаются в следующем:

AP: Область под кривой PR, где PR — точность и полнота соответственно:

API {{0}}.50: когда порог IoU установлен на 0,50, это среднее значение всех категорий AP в наборе данных, которое является индексом оценки набора данных PASCAL VOC и соответствует APIoU=0.50 в индексе оценки COCOmAPloU= 0.50: Когда порог loU установлен на 0,50, это среднее значение всех категорий AP в наборе данных, которое является индексом оценки набор данных PASCAL VOC и соответствует APloU=0.5 в индексе оценки COCO.

AP: среднее значение mAP для небольших объектов: площадь < 322 и диапазон loU=(0.5, 1.00, 0.05) в целом из 10 оУ.

APm: средние объекты: 322 <площадь < 962 и диапазон loU=(0.5, 1.00, 0.05) среднее значение mAP для всего 10 долговых обязательств.

AP: среднее значение mAP для крупных объектов: площадь > 962 и диапазон loU=(0.5, 1.00, 0.05, всего 10 долги.

4.2. Экспериментальные результаты и анализ

4.2.1. Улучшенный эксперимент по сравнению YOLOv3

В этом исследовании были сравнены и протестированы три сети YOLOv3 с расширенными методами с использованием набора данных дорожных знаков TT100K и входных изображений размером 608 × 608 пикселей. На рисунке 11 показаны карта и AR M-YOLOv3, обученного на наборе данных TT100.

Результаты обнаружения для целей различных размеров показаны на рисунке 12 и в таблице 1. Среди них YOLOv3-DK принял стратегию улучшения функции потерь DIoU loss и якоря повторной кластеризации; YOLOv3-SPP приняла пространственную стратегию объединения пирамидальных структур; YOLOv3-4l принял стратегию добавления четвертого векторного слоя прогнозирования с масштабами 152 × 152; и M-YOLOv3 представлял собой сетевую структуру YOLOv3, в которой использовались все улучшенные стратегии.

Таблица 1 и рисунок 12 показывают, что средняя средняя точность оригинального YOLOv3 без использования каких-либо стратегий составила 68,9%. Напротив, карта обновленного YOLOv3 со всеми методами составила 77,3%, улучшение обнаружения на 8,4%.

Функция потерь DIOU и метод привязки повторной кластеризации повысили точность обнаружения на 1,3%; однако улучшение произошло за счет более быстрой сходимости функции потерь во время обучения, что сделало регрессию целевого поля более стабильной и улучшило скорость запоминания. Более выраженные улучшения mAP были замечены в YOLOv3, который включал структуру SPP и достиг 73,2%.

Структура SPP объединила локальные и глобальные характеристики, расширяя возможности карты признаков выражать себя и значительно повышая точность обнаружения. Используя метод добавления четвертого слоя прогнозируемых признаков с масштабами 152 × 152, их AP также был значительно улучшен.

Точность обнаружения мелких целей была повышена на 10,5% по сравнению с YOLOv3, в котором в полной мере использовались мелкие функции сети для прогнозирования мелких целей, что привело к значительному улучшению эффекта обнаружения, но за счет увеличения сложности сети и обработки. . Лучшим улучшением стал M-YOLOv3, который объединил три процедуры улучшения и достиг MAP 77,3%, что на 8,4% выше, чем средняя средняя точность исходного YOLOv30. На рисунке 13 показаны результаты тестирования M-YOLOv3 на TT100K.

4.2.2. Сравнение улучшенного алгоритма YOLOv3 с другими алгоритмами

M-YOLOv3 сравнивался с несколькими другими классическими алгоритмами обнаружения целей для дальнейшей проверки распознавания обнаружения улучшенной сети, и результаты показаны в Таблице 2.

Таблица 2 показывает, что M-YOLOv3 имел самый высокий показатель mAP 77,3%, а SSD имел лучшую производительность в реальном времени с FPS 42. По сравнению с исходным алгоритмом YOLOv3 среднее значение точности было значительно улучшено, хотя в реальном времени производительность снизилась. По сравнению с одноэтапным алгоритмом SSD, mAP улучшилась на 12%, но разрыв в производительности в реальном времени все еще оставался. По сравнению с двухступенчатым алгоритмом обнаружения целей Faster-RCNN FPS был улучшен до 22, а также улучшен mAP на 1,7%, что улучшило скорость обнаружения, а также точность обнаружения. Испытания показали, что M-YOLOv3 работает лучше с точки зрения точности и скорости обнаружения.

4.2.3. Улучшенный эффект распознавания YOLOv3 на дорожных знаках в особой среде

Из-за различных факторов, таких как сильное световое излучение, ночное время и особые условия закрытия дорожных знаков, которые влияют на обнаружение и распознавание дорожных знаков в реальных сценариях вождения, также необходимо было учитывать влияние распознавания модели на дорожные знаки в особых условиях. В определенных обстоятельствах для распознавания дорожных знаков использовалась обновленная модель YOLOv3, как показано на рисунке 13.

На рисунке 14 эффект обнаружения YOLOv3 сравнивается с эффектом обнаружения M-YOLOv3 в специальной среде. Как показано на рисунке 14(b1,c1), алгоритм YOLOv3 не смог обнаружить скрытый дорожный знак в случае скрытого дорожного знака, в то время как улучшенный алгоритм YOLOv3 точно идентифицировал скрытый дорожный знак; как показано на рисунке 14(b2,c2), алгоритм YOLOv3 имел проблемы ложного обнаружения и пропущенного обнаружения при распознавании дорожных знаков в условиях сильного светового излучения, в то время как улучшенный алгоритм YOLOv3 точно распознавал все дорожные знаки.

Улучшенный алгоритм YOLOv3 увеличил шкалу прогнозирования четвертого признака для небольших целей, улучшив эффект обнаружения небольших целей, тогда как алгоритм YOLOv3 имел проблемы с пропущенным обнаружением и низкой достоверностью для небольших целей, как показано на рисунке 14 (b3, c3); в условиях слабого освещения, например, ночью, обновленный алгоритм YOLOv3 распознавал дорожные знаки, как показано на рисунке 14(b4,c4); однако метод YOLOv3 не обнаружил целей. В результате в определенных ситуациях обновленный алгоритм YOLOv3 по-прежнему дает лучшие результаты обнаружения.

5. Выводы

В этом исследовании была предложена сеть обнаружения и распознавания дорожных знаков на основе модифицированного YOLOv3 для решения проблем, связанных с трудностями обнаружения небольших целей и низкой точностью обнаружения в задачах обнаружения и идентификации дорожных знаков.

Новая пространственная пирамидальная структура пула позволила объединить локальные и глобальные функции в этом исследовании, а также увеличила масштаб прогнозирования четвертого объекта для небольших целей, чтобы улучшить эффект обнаружения небольших целей. Чтобы сделать регрессию целевого кадра более стабильной, использовалась потеря DIoU, которая имела более быструю сходимость и была более совместима с регрессией целевого кадра.

Точность сети обнаружения была значительно улучшена за счет минимально возможного повреждения сети реального времени. ПДП увеличилось на 8,4 пункта. Модернизированный алгоритм YOLOv3 повысил сложность сети и снизил скорость обнаружения. Однако до обнаружения в реальном времени еще далеко; поэтому следующей областью исследований будет повышение скорости обнаружения для достижения эффекта обнаружения в реальном времени.

Вклад автора: Методология и подготовка оригинального проекта, AL и CG; формальный анализ и расследование, YS; курирование данных, NX; ресурсы, АЛ; валидация, WH Все авторы прочитали и согласились с опубликованной версией рукописи.

Финансирование: Этот проект был поддержан Программой инновационных научных и технологических инноваций для молодежи провинции Шаньдун (грант № 2019KJB019), Китайским фондом естественных наук провинции Шаньдун (гранты № ZR2021MF131, ZR2015EL019 и ZR2020ME126) и Национальным фондом естественных наук Китая. Китай (гранты № 61601265 и 51505258). Этот проект финансировался Китайским фондом постдокторской науки (грант № 2021M701405), открытым проектом Государственной ключевой лаборатории механического поведения и системной безопасности дорожно-технических сооружений, Китай (грант № 1903), открытым проектом Хэбэйской службы безопасности и контроля дорожного движения. Ключевая лаборатория, Китай (грант № JTKY2019002) и крупный научно-технический инновационный проект в провинции Шаньдун (грант № 2022CXGC020706).

Заявление Институционального наблюдательного совета: Неприменимо.

Заявление об информированном согласии: Не применимо.

Заявление о доступности данных: Не применимо.

Благодарности: Мы благодарим всех авторов за их вклад в написание этой статьи.

Конфликты интересов: Авторы заявляют об отсутствии конфликта интересов.

Рекомендации

1. Де ла Эскалера, А.; Армингол, Дж. М.; Мата, М. Распознавание и анализ дорожных знаков для интеллектуальных транспортных средств. Изображение Виз. Вычислить. 2003, 21, 247–258. [Перекрестная ссылка]

2. Саадна Ю.; Бехлул, А. Обзор методов обнаружения и классификации дорожных знаков. Межд. Дж. Мультимед. Информация. Ретр. 2017, 6,193–210. [Перекрестная ссылка]

3. Бумедьен, М.; Кудель, К.; Бассет, М.; Уамри, А. Обнаружение треугольных дорожных знаков на основе алгоритма RSLD. Мах. Вис. Прил.2013, 24, 1721–1732. [Перекрестная ссылка]

4. Мальдонадо-Баскон, С.; Лафуэнте-Арройо, С.; Хиль-Хименес, П.; Гомес-Морено, Х.; Лопес-Феррерас, Ф. Обнаружение и распознавание дорожных знаков на основе машин опорных векторов. IEEE Транс. Интел. Трансп. Сист. 2007, 8, 264–278. [Перекрестная ссылка]

5. Бальманн, К.; Чжу, Ю.; Рамеш, В.; Пеллкофер, М.; Келер, Т. Система обнаружения, отслеживания и распознавания дорожных знаков с использованием информации о цвете, форме и движении. В материалах IEEE Proceedings. Симпозиум по интеллектуальным транспортным средствам, 2005 г., Лас-Вегас, Невада, США, 6–8 июня 2005 г.; стр. 255–260.

6. Рен, С.; Он, К.; Гиршик, Р.; Сан, Дж. Фастер R-CNN: на пути к обнаружению объектов в реальном времени с помощью сетей региональных предложений.Adv. Нейронная информация. Процесс. Сист. 2015, 28, 91–99. [Перекрестная ссылка] [PubMed]

7. Лю, В.; Ангелов Д.; Эрхан, Д.; Сегеди, К.; Рид, С.; Фу, К.-Ю.; Берг, AC SSD: однократный детектор MultiBox. На Европейской конференции по компьютерному зрению; Спрингер: Чам, Швейцария, 2016 г.; стр. 21–37.

8. Редмон, Дж.; Диввала, С.; Гиршик, Р.; Фархади, А. Вы смотрите только один раз: унифицированное обнаружение объектов в реальном времени. В материалах конференции IEEE по компьютерному зрению и распознаванию образов, Лас-Вегас, Невада, США, 27–30 июня 2016 г.; IEEE: Пискатауэй, Нью-Джерси, США, 2016 г.; стр. 779–788.

9. Ван З.; Го, Х. Исследование по обнаружению дорожных знаков на основе сверточной нейронной сети. В материалах 12-го Международного симпозиума по визуальной информационной коммуникации и взаимодействию, Шанхай, Китай, 20–22 сентября 2019 г.; стр. 1–5.

10. Хан, К.; Гао, Г.; Чжан Ю. Обнаружение небольших дорожных знаков в режиме реального времени с помощью обновленной системы Fast-RCNN. Мультимедиа. Инструменты Прил. 2019, 78,13263–13278. [Перекрестная ссылка]

11. Чжан Дж.; Хуанг, М.; Джин, X.; Ли, X. Алгоритм обнаружения китайских дорожных знаков в реальном времени, основанный на модифицированном YOLOv2. Алгоритмы2017, 10, 127. [CrossRef]

12. Чжу, З.; Лян, Д.; Чжан, С.; Хуанг, X.; Ли, Б.; Ху, С. Обнаружение и классификация дорожных знаков в дикой природе. В материалах конференции IEEE по компьютерному зрению и распознаванию образов 2016, Лас-Вегас, Невада, США, 27–30 июня 2016 г.; стр. 2110–2118.

For more information:1950477648nn@gmail.com