Введение

В настоящее время применяются различные технологические процессы изготовления печатных плат, каждый из которых состоит из нескольких этапов. Контроль качества при производстве печатных плат является обязательным, так как регулирует технологический процесс производства и определяет надежность работы радиоэлектронного оборудования, себестоимость его выпуска и сопровождения. На основании данных контроля технолог принимает решение о соответствии качества платы нужным требованиям, необходимости внесения правок в фотошаблон или в технологический процесс. Поиск дефектов может осуществляться неоднократно в технологическом цикле, после некоторых этапов найденные дефекты можно исправить. Дефекты печатных плат можно разделить на дефекты металлизации, изоляционного материала, проводящего рисунка, и финишных покрытий.

Системы контроля топологии печатных плат могут использовать как контактные, так и бесконтактные методы. Системы, основанные на контактных методах, касаются щупами контактных площадок и проверяют соответствие электрических связей между ними. В результате обнаруживаются обрывы (open) и короткие замыкания (short). С помощью контактного метода принципиально не могут быть найдены такие дефекты, как островки меди (spurious copper), выступы (spur) и вырывы (mousebite) на дорожках, проколы (pin-hole), отклонения минимальной ширины проводника (conductor too thin) и расстояния между проводниками (conductor too close). Увеличение сложности печатной платы приводит к значительному усложнению контроля. Среди бесконтактных методов контроля печатных плат стоит отметить оптические, рентгеновские, ультразвуковые, термические. Часто при производстве печатных плат применяются сразу несколько методов контроля.

В настоящее время за рубежом выпускаются автоматизированные системы контроля качества печатных плат. Ведущими производителями сегодня являются компании Cognex Corporation, Gardien Services Inc., Manncorp Inc., Nordson YESTECH Inc., Omron Electronics LLC, Vision Engineering Inc, ViTrox Corp Bhd и Ibiden.

Актуальность задачи поиска дефектов печатных плат обусловлена такими тенденциями в проектировании и производстве печатных плат, как миниатюризация микроэлектронных компонентов и использование соединений высокой плотности, внедрение гибких и растягивающихся схем, применение новых материалов и методов изготовления.

В статье предложено решение прикладной задачи поиска и классификации дефектов на изображениях печатных плат с использованием нейросетевой архитектуры YOLOv8.

Анализ подходов к обнаружению объектов

Обнаружение объектов остается одним из наиболее фундаментальных и сложных аспектов приложений компьютерного зрения и распознавания изображений.

Благодаря успешному применению глубоких нейронных сетей (Deep Neural Networks, DNN) и сверточных нейронных сетей (СНС или Convolutional Neural Networks, CNN), особенно в последние годы, ситуация во многих областях искусственного интеллекта значительно улучшилась. В результате был достигнут значительный прогресс в таких задачах компьютерного зрения, как классификация, сегментация и обнаружение объектов. Модели СНС и «трансформеров» сейчас играют ключевую роль в развитии области обнаружения объектов. Эти модели могут предоставить важную информацию для семантического понимания изображений и видео. Среди многочисленных примеров их применения стоит отметить поддержку беспилотных автомобилей для безопасной навигации в пробках, распознавание лиц, анализ поведения человека, медицинскую визуализацию, робототехнику, общие методы обработки изображений, приложения дистанционного зондирования.

Основой детекторов объектов служат СНС. Основная цель такой сети – извлекать особенности из изображений перед отправкой их на дальнейшие этапы, например, такой, как локализация. Существует несколько стандартных СНС, используемых детекторами объектов, включая VGGNets, ResNets и EfficientNets, которые предварительно обучены для задач классификации.

YOLOv8 – это современная модель классификации изображений, сегментации экземпляров и обнаружения объектов без привязки, разработанная Ultralytics. YOLOv8 развивает успех предыдущих версий YOLO и представляет новые функции и улучшения для дальнейшего повышения производительности и гибкости. Модели YOLOv8 можно обучать на больших наборах данных и запускать на различных аппаратных платформах: от процессоров до графических процессоров. Одной из ключевых особенностей YOLOv8 является расширяемость. YOLO захватывает полное изображение в одном экземпляре, а затем прогнозирует как координаты ограничивающих прямоугольников для регрессии, так и вероятности классов только одной сетью за одну оценку.

Развитием идеи обнаружения объектов является введение дополнительного угла для ограничивающих прямоугольников, чтобы учитывать ориентацию искомых объектов на изображении. Такой подход называется ориентированным обнаружением объектов. Он позволяет точнее находить объекты на изображении. Ограничивающие прямоугольники в таком случае также называются ориентированными (Oriented Bounding Boxes, OBB). Для моделей YOLOv8 OBB в файлах разметки один ориентированный ограничивающий прямоугольник описывается меткой класса и нормированными координатами всех вершин.

Набор изображений для экспериментов

Для проведения экспериментов были выбраны такие общедоступные наборы изображений, как DeepPCB и синтетический набор изображений дефектов печатных плат PCB Defects Dataset, опубликованный Открытой лабораторией по взаимодействию человека и робота Пекинского университета.

Набор изображений DeepPCB характеризуется следующим образом:

– содержит 1500 пар изображений, каждая из которых состоит из эталонного изображения без дефектов и выровненного тестируемого изображения с аннотациями, включающими позиции шести наиболее распространенных типов дефектов печатных плат: обрыв, короткое замыкание, выступ, вырыв, прокол и островок;

– изображения получены с помощью ПЗС-матрицы с линейным сканированием и разрешением около 48 пикселов на 1 мм;

– изображения, размер которых составляет 640×640 пикселов, получены путем разделения исходных эталонов и тестируемых изображений размером около 16 000×16 000 пикселов и выравнены с помощью техники совмещения изображений;

– к изображениям применена бинаризация с выбранным порогом.

Следует обозначить, что на одном изображении могут присутствовать несколько дефектов, в том числе разных классов.

Для проведения экспериментов с моделью YOLOv8n использован указанный набор данных с уже примененными к нему техниками аугментации, которые включают следующие операции:

– вертикальный и горизонтальный поворот;

– поворот на 90° по часовой стрелке, против часовой стрелки и вверх ногами;

– обрезка изображения с минимальным масштабированием 0 % и максимальным масштабированием 20 %;

– поворот между –15° и +15°;

– сдвиг ±15° по горизонтали, ±15° по вертикали.

После аугментации набор разделяется на обучающую, валидационную и тестовую выборки, которые включают в себя 3150, 150 и 300 изображений соответственно. Для каждого изображения есть файл разметки в формате .txt, который содержит информацию о дефектах на изображении (номер класса и нормированные координаты ограничивающего прямоугольника).

Второй набор данных содержит 1386 изображений и позиции созданных в графическом редакторе Adobe Photoshop дефектов шести типов, таких как прокол, вырыв, обрыв, короткое замыкание, выступ и островок. Уникальных изображений в данном наборе 693, а остальные получены путем аугментации, заключающейся в повороте этих уникальных изображений на различные углы относительно центра изображения.

Для проведения экспериментов с моделью YOLOv8n OBB данный набор разбивается на обучающую, валидационную и тестовую выборки в соотношении 8:1:1 соответственно. Перед разбиением он перемешивается, поскольку уникальные и аугментированные изображения находятся в отдельных папках и при этом они упорядочены по типу дефекта. Для каждого изображения есть файл разметки в формате .txt, который содержит информацию о дефектах на изображении в формате OBB, описанном выше. Следует отметить, что на одном изображении могут присутствовать несколько дефектов одного класса.

Постановка экспериментов

Для первой части экспериментов использовался набор данных DeepPCB. Модель YOLOv8 размером nano, предобученная на наборе данных COCO, была дообучена и протестирована на описанном наборе изображений. Обучение выполнено в среде Google Colab с использованием GPU Tesla T4. Параметры обучения модели YOLOv8n: количество эпох – 50, размер пакета – 16, размер изображения – 640×640, метод оптимизации – AdamW, вес компонента потерь прямоугольника в функции потерь – 7,5.

На рис. 1 показаны найденные дефекты (класс и степень уверенности) на изображениях из валидационной выборки.

Рис. 1. Найденные дефекты (класс и степень уверенности) на изображениях из валидационной выборки

Результаты тестирования обученной модели YOLOv8n на тестовом наборе данных из 300 изображений представлены в табл. 1.

Таблица 1

Результаты тестирования обученной модели

Точность ограничивающего прямоугольника измеряет точность прогнозируемых ограничивающих прямоугольников по сравнению с фактическими прямоугольниками с использованием IoU в качестве метрики. Точность маски оценивает соответствие между предсказанными масками сег- ментации и истинными масками при попиксельной классификации объектов. С другой стороны, точность матрицы ошибок фокусируется на общей точности классификации по всем классам и не учитывает геометрическую точность прогнозов. Важно отметить, что ограничивающий прямоугольник может быть геометрически точным (истинно положительным), даже если предсказание класса неверно. Это приводит к различиям между точностью прямоугольника и точностью матрицы ошибок. Метрики оценивают различные аспекты производительности модели, отражая необходимость использования разных показателей оценки для различных задач.

Табл. 2, в которой представлен отчет о классификации обученной мо- дели YOLOv8n на тестовом наборе данных из 300 изображений, соответ- ствует матрица ошибок на рис. 2.

Таблица 2

 Отчет о классификации

Рис. 2. Матрица ошибок для модели YOLOv8n, полученная на тестовом наборе

Нейросетевая модель демонстрирует высокую точность детекции дефектов печатных плат (метрика mAP50 равна 0,98 на тестовом наборе данных). При этом на тестовом наборе для данной модели доля ложноположительных ошибок составляет 11,9 % относительно общего количества дефектов, а доля ложноотрицательных ошибок – 2,8 %. Относительно всех дефектов наихудшее значение доли ложноположительных ошибок соот-ветствует классу «обрыв» и составляет 21,9 %, а наихудшее значение доли ложноотрицательных ошибок соответствует классу «короткое замыкание» и составляет 5,2 %.

Для второй части экспериментов использовался набор изображений дефектов печатных плат PCB Defects Dataset. Модель YOLOv8 размером nano, предобученная на наборе данных DOTAv1, была дообучена и протестирована на описанном наборе изображений. Обучение выполнено с использованием GPU NVIDIA GeForce RTX 3060. Некоторые параметры обучения модели YOLOv8n OBB: количество эпох – 200, размер пакета – 16, метод оптимизации – Adam, вес компонента потерь прямоугольника в функции потерь – 7,5.

На рис. 3 показаны найденные дефекты (класс и степень уверенности) на изображениях из валидационной выборки.

Рис. 3. Найденные дефекты (класс и степень уверенности) на изображениях из валидационной выборки 

Результаты тестирования обученной модели YOLOv8n OBB на тестовом наборе данных из 139 изображений представлены в табл. 3.

Таблица 3

Результаты тестирования обученной модели на тестовом наборе данных

Полученные с помощью обученной модели YOLOv8n на наборе данных PCB Defects Dataset отчет о классификации дефектов и матрица ошибок представлены в табл. 4 и на рис. 4.

Таблица 4

Отчет о классификации

Рис. 4. Матрица ошибок для обученной модели YOLOv8n OBB, полученная на тестовом наборе

По результатам экспериментов нейросетевая модель показывает высокую точность детекции дефектов печатных плат (метрика mAP50 равна 0,99 на тестовом наборе данных). При этом на тестовом наборе для такой модели доля ложноположительных ошибок составляет 0,5 % относительно общего количества дефектов, а доля ложноотрицательных ошибок – 1,2 %. Наихудшие значения данных показателей среди отдельно взятых классов соответствуют классу «выступ». Доля ложноположительных ошибок составляет 2 % относительно всех дефектов данного класса, а доля ложноотрицательных ошибок – 5,1 %.