Уводзіны
У цяперашні час прымяняюцца розныя тэхналагічныя працэсы вырабу пячатных плат, кожная з якіх складаецца з некалькіх этапаў. Кантроль якасці пры вытворчасці пячатных плат з’яўляецца абавязковым, таму што рэгулюе тэхналагічны працэс вытворчасці і вызначае надзейнасць працы радыёэлектроннага абсталявання, сабекошт яго выпуску і суправаджэння. На падставе даных кантролю тэхнолаг прымае рашэнне аб адпаведнасці якасці платы патрэбным патрабаванням, неабходнасці ўнясення правак у фоташаблон або ў тэхналагічны працэс. Пошук дэфектаў можа ажыццяўляцца неаднаразова ў тэхналагічным цыкле, пасля некаторых этапаў знойдзеныя дэфекты можна выправіць. Дэфекты пячатных плат можна падзяліць на дэфекты металізацыі, ізаляцыйнага матэрыялу, які праводзіць малюнкі, і фінішных пакрыццяў.
Сістэмы кантролю тапалогіі пячатных плат могуць выкарыстоўваць як кантактныя, так і бескантактныя метады. Сістэмы, заснаваныя на кантактных метадах, дакранаюцца шчупамі кантактных пляцовак і правяраюць адпаведнасць электрычных сувязяў паміж імі. У выніку выяўляюцца абрывы (open) і кароткія замыканні (short). З дапамогай кантактнага метаду прынцыпова не могуць быць знойдзеныя такія дэфекты, як астраўкі медзі (spurious copper), выступы (spur) і вырывы (mousebite) на дарожках, праколы (pin-hole), адхіленні мінімальнай шырыні правадыра (conductor too thin) і адлегласці паміж праваднікамі (conductor too close). Павелічэнне складанасці пячатнай платы прыводзіць да значнага ўскладнення кантролю. Сярод бескантактных метадаў кантролю пячатных плат варта адзначыць аптычныя, рэнтгенаўскія, ультрагукавыя, тэрмічныя. Часта пры вытворчасці пячатных плат прымяняюцца адразу некалькі метадаў кантролю.
У цяперашні час за мяжой выпускаюцца аўтаматызаваныя сістэмы кантролю якасці пячатных плат. Вядучымі вытворцамі сёння з’яўляюцца кампаніі Cognex Corporation, Gardien Services Inc., Manncorp Inc., Nordson YESTECH Inc., Omron Electronics LLC, Vision Engineering Inc, ViTrox Corp Bhd і Ibiden.
Актуальнасць задачы пошуку дэфектаў пячатных плат абумоўлена такімі тэндэнцыямі ў праектаванні і вытворчасці пячатных плат, як мініяцюрызацыя мікраэлектронных кампанентаў і выкарыстанне злучэнняў высокай шчыльнасці, укараненне гнуткіх схем і схем, якія расцягваюцца, прымяненне новых матэрыялаў і метадаў вырабу.
У артыкуле прапанавана рашэнне прыкладной задачы пошуку і класіфікацыі дэфектаў на малюнках пячатных плат з выкарыстаннем нейрасеткавай архітэктуры YOLOv8.
Аналіз падыходаў да выяўлення аб’ектаў
Выяўленне аб’ектаў застаецца адным з найбольш фундаментальных і складаных аспектаў прыкладанняў камп’ютарнага гледжання і распазнання малюнкаў.
Дзякуючы паспяховаму прымяненню глыбокіх нейронных сетак (Deep Neural Networks, DNN) і скруткавых нейронных сетак (СНС або Convolutional Neural Networks, CNN), асабліва ў апошнія гады, сітуацыя ў многіх галінах штучнага інтэлекту значна палепшылася. У выніку быў дасягнуты значны прагрэс у такіх задачах камп’ютарнага гледжання, як класіфікацыя, сегментацыя і выяўленне аб’ектаў. Мадэлі СНС і «трансформераў» цяпер гуляюць ключавую ролю ў развіцці вобласці выяўлення аб’ектаў. Гэтыя мадэлі могуць даць важную інфармацыю для семантычнага разумення малюнкаў і відэа. Сярод шматлікіх прыкладаў іх прымянення варта адзначыць падтрымку беспілотных аўтамабіляў для бяспечнай навігацыі ў пробках, распазнаванне асоб, аналіз паводзін чалавека, медыцынскую візуалізацыю, робататэхніку, агульныя метады апрацоўкі малюнкаў, прыкладанні дыстанцыйнага зандзіравання.
Асновай дэтэктараў аб’ектаў служаць СНС. Асноўная мэта такой сеткі – здабываць асаблівасці з малюнкаў перад іх адпраўкай на далейшыя этапы, напрыклад, такі, як лакалізацыя. Існуе некалькі стандартных СНС, якія выкарыстоўваюцца дэтэктарамі аб’ектаў, уключаючы VGGNets, ResNets і EfficientNets, якія папярэдне навучаны для задач класіфікацыі.
YOLOv8 – гэта сучасная мадэль класіфікацыі малюнкаў, сегментацыі экземпляраў і выяўлення аб’ектаў без прывязкі, распрацаваная Ultralytics. YOLOv8 развівае поспех папярэдніх версій YOLO і прадстаўляе новыя функцыі і паляпшэнні для далейшага павышэння прадукцыйнасці і гнуткасці. Мадэлі YOLOv8 можна навучаць на вялікіх наборах даных і запускаць на розных апаратных платформах: ад працэсараў да графічных працэсараў. Адной з ключавых асаблівасцяў YOLOv8 з’яўляецца пашыральнасць. YOLO захоплівае поўны малюнак у адным экзэмпляры, а затым прагназуе як каардынаты абмежавальных прамавугольнікаў для рэгрэсіі, так і верагоднасці класаў толькі адной сеткай за адну ацэнку.
Развіццём ідэі выяўлення аб’ектаў з’яўляецца ўвядзенне дадатковага вугла для абмежавальных прамавугольнікаў, каб улічваць арыентацыю шукаемых аб’ектаў на малюнку. Такі падыход называецца арыентаваным выяўленнем аб’ектаў. Ён дазваляе дакладней знаходзіць аб’екты на малюнку. Абмежавальныя прамавугольнікі ў такім выпадку таксама называюцца арыентаванымі (Oriented Bounding Boxes, OBB). Для мадэляў YOLOv8 OBB у файлах разметкі адзін арыентаваны абмежавальны прамавугольнік апісваецца пазнакай класа і нармаванымі каардынатамі ўсіх вяршынь.
Набор малюнкаў для эксперыментаў
Для правядзення эксперыментаў былі абраныя такія агульнадаступныя наборы малюнкаў, як DeepPCB і сінтэтычны набор малюнкаў дэфектаў пячатных плат PCB Defects Dataset, апублікаваны Адкрытай лабараторыяй па ўзаемадзеянні чалавека і робата Пекінскага ўніверсітэта.
Набор малюнкаў DeepPCB характарызуецца наступным чынам:
– змяшчае 1500 пар малюнкаў, кожная з якіх складаецца з эталоннага малюнка без дэфектаў і выраўнаванага тэставага малюнка з анатацыямі, якія ўключаюць пазіцыі шасці найбольш распаўсюджаных тыпаў дэфектаў печатных плат: абрыў, кароткае замыканне, выступ, вырыў, пракол і астравок;
– выявы атрыманы з дапамогай ПЗС-матрыцы з лінейным сканіраваннем і дазволам каля 48 пікселяў на 1 мм;
– выявы, памер якіх складае 640×640 пікселяў, атрыманы шляхам падзелу зыходных эталонаў і тэсціруемых малюнкаў памерам каля 16 000×16 000 пікселяў і выраўнены з дапамогай тэхнікі сумяшчэння малюнкаў;
– да малюнкаў прыменена бінарызацыя з абраным парогам.
Варта адзначыць, што на адным малюнку могуць прысутнічаць некалькі дэфектаў, уключаючы розныя класы.
Для правядзення эксперыментаў з мадэллю YOLOv8n выкарыстаны ўказаны набор даных з ужо ўжытымі да яго тэхнікамі аўгментацыі, якія ўключаюць наступныя аперацыі:
– вертыкальны і гарызантальны паварот;
– паварот на 90° па гадзіннай стрэлцы, супраць гадзіннай стрэлкі і дагары нагамі;
– абразанне малюнка з мінімальным маштабаваннем 0% і максімальным маштабаваннем 20%;
– паварот паміж –15° і +15°;
– зрух ±15° па гарызанталі, ±15° па вертыкалі.
Пасля аўгментацыі набор падзяляецца на навучальную, валідацыйную і тэставую выбаркі, якія ўключаюць у сябе 3150, 150 і 300 малюнкаў адпаведна. Для кожнага малюнка ёсць файл разметкі ў фармаце .txt, які змяшчае інфармацыю аб дэфектах на малюнку (нумар класа і нармаваныя каардынаты абмежавальнага прамавугольніка).
Другі набор даных змяшчае 1386 малюнкаў і пазіцыі створаных у графічным рэдактары Adobe Photoshop дэфектаў шасці тыпаў, такіх як пракол, вырыў, абрыў, кароткае замыканне, выступ і астравок. Унікальных малюнкаў у дадзеным наборы 693, а астатнія атрыманы шляхам аўгментацыі, якая складаецца ў павароце гэтых унікальных малюнкаў на розныя вуглы адносна цэнтра малюнка.
Для правядзення эксперыментаў з мадэллю YOLOv8n OBB дадзены набор разбіваецца на навучальную, валідацыйную і тэставую выбаркі ў суадносінах 8:1:1 адпаведна. Перад разбіццём ён змешваецца, паколькі ўнікальныя і аўгментаваныя малюнкі знаходзяцца ў асобных тэчках і пры гэтым яны ўпарадкаваны па тыпу дэфекту. Для кожнага малюнка ёсць файл разметкі ў фармаце .txt, які змяшчае інфармацыю аб дэфектах на малюнку ў фармаце OBB, апісаным вышэй. На адным малюнку могуць прысутнічаць некалькі дэфектаў аднаго класа.
Пастаноўка эксперыментаў
Для першай часткі эксперыментаў выкарыстоўваўся набор даных DeepPCB. Мадэль YOLOv8 памерам nano, пераднавучаная на наборы даных COCO, была навучаная і пратэсціравана на апісаным наборы малюнкаў. Навучанне выканана ў асяроддзі Google Colab з выкарыстаннем GPU Tesla T4. Параметры навучання мадэлі YOLOv8n: колькасць эпох – 50, памер пакета – 16, памер малюнка – 640×640, метад аптымізацыі – AdamW, вага кампанента страт прамавугольніка ў функцыі страт – 7,5.
На мал. 1 прадстаўлены знойдзеныя дэфекты (клас і ступень упэўненасці) на малюнках з валідацыйнай выбаркі.
Мал. 1. Знойдзеныя дэфекты (клас і ступень упэўненасці) на малюнках з валідацыйнай выбаркі
Вынікі тэсціравання навучанай мадэлі YOLOv8n на тэставым наборы даных з 300 малюнкаў прадстаўлены ў табл. 1.
Табліца 1
Вынікі тэсціравання навучанай мадэлі
Дакладнасць абмежавальнага прамавугольніка вымярае дакладнасць прагназуемых абмежавальных прамавугольнікаў у параўнанні з фактычнымі прамавугольнікамі з выкарыстаннем IoU у якасці метрыкі. Дакладнасць маскі ацэньвае адпаведнасць паміж прадказанымі маскамі сегментацыі і праўдзівымі маскамі пры папіксельнай класіфікацыі аб’ектаў. З іншага боку, дакладнасць матрыцы памылак факусуецца на агульнай дакладнасці класіфікацыі па ўсіх класах і не ўлічвае геаметрычную дакладнасць прагнозаў. Важна адзначыць, што абмежавальны прамавугольнік можа быць геаметрычна дакладным (праўдзіва станоўчым), нават калі прадказанне класа няправільна. Гэта прыводзіць да адрозненняў паміж дакладнасцю прамавугольніка і дакладнасцю матрыцы памылак [10]. Метрыкі ацэньваюць розныя аспекты прадукцыйнасці мадэлі, адлюстроўваючы неабходнасць выкарыстання розных паказчыкаў ацэнкі для розных задач.
Табл. 2, у якой прадстаўлена справаздача аб класіфікацыі навучанай мадэлі YOLOv8n на тэставым наборы даных з 300 малюнкаў, адпавядае матрыца памылак на мал. 2.
Табліца 2
Справаздача аб класіфікацыі
Мал. 2. Матрыца памылак для мадэлі YOLOv8n, атрыманая на тэставым наборы
Нейрасеткавая мадэль дэманструе высокую дакладнасць дэтэкцыі дэфектаў пячатных плат (метрыка mAP50 роўная 0,98 на тэставым наборы даных). Пры гэтым на тэставым наборы для дадзенай мадэлі доля ілжывастаноўчых памылак складае 11,9% адносна агульнай колькасці дэфектаў, а доля ілжываадмоўных памылак – 2,8%. Адносна ўсіх дэфектаў найгоршае значэнне долі ілжывастаноўчых памылак адпавядае класу «абрыў» і складае 21,9%, а найгоршае значэнне долі ілжываадмоўных памылак адпавядае класу «кароткае замыканне» і складае 5,2%.
Для другой часткі эксперыментаў выкарыстоўваўся набор малюнкаў дэфектаў пячатных плат PCB Defects Dataset. Мадэль YOLOv8 памерам nano, пераднавучаная на наборы даных DOTAv1, была данавучана і пратэсціравана на апісаным наборы малюнкаў. Навучанне выканана з выкарыстаннем GPU NVIDIA GeForce RTX 3060. Некаторыя параметры навучання мадэлі YOLOv8n OBB: колькасць эпох – 200, памер пакета – 16, метад аптымізацыі – Adam, вага кампанента страт прамавугольніка ў функцыі страт – 7,5.
На мал. 3 паказаны знойдзеныя дэфекты (клас і ступень упэўненасці) на малюнках з валідацыйнай выбаркі.
Мал. 3. Знойдзеныя дэфекты (клас і ступень упэўненасці) на малюнках з валідацыйнай выбаркі
Вынікі тэсціравання навучанай мадэлі YOLOv8n OBB на тэставым наборы даных з 139 малюнкаў прадстаўлены ў табл. 3.
Табліца 3
Вынікі тэсціравання навучанай мадэлі на тэставым наборы даных
Атрыманыя з дапамогай навучанай мадэлі YOLOv8n на наборы даных PCB Defects Dataset справаздача аб класіфікацыі дэфектаў і матрыца памылак прадстаўлены ў табл. 4 і на мал. 4.
Табліца 4
Справаздача аб класіфікацыі
Мал. 4. Матрыца памылак для навучанай мадэлі YOLOV8N OBB, атрыманая на тэставым наборы
Па выніках эксперыментаў нейрасеткавая мадэль паказвае высокую дакладнасць дэтэкцыі дэфектаў пячатных плат (метрыка mAP50 роўная 0,99 на тэставым наборы даных). Пры гэтым на тэставым наборы для такой мадэлі доля ілжывастаноўчых памылак складае 0,5 % адносна агульнай колькасці дэфектаў, а доля ілжываадмоўных памылак – 1,2 %. Найгоршыя значэнні дадзеных паказчыкаў сярод асобна ўзятых класаў адпавядаюць класу «выступ». Доля ілжывастаноўчых памылак складае 2% адносна ўсіх дэфектаў дадзенага класа, а доля ілжываадмоўных памылак – 5,1%.
