Візуальны дубляж з эфектыўным выкарыстаннем даных Dubbing for everyone на аснове папярэдніх функцый нейроннага рэндэрынгу.

Візуальны дубляж – гэта працэс генерацыі рухаў вуснаў акцёра ў відэа для сінхранізацыі з дадзеным гукам. Метад заснаваны на прынцыпах нейроннай візуалізацыі з эфектыўнай апрацоўкай даных. Працэдура складаецца з навучання папярэдняй сеткі адкладзенага нейроннага рэндэрынгу і адаптацыі да канкрэтнага акцёра з выкарыстаннем нейронных тэкстур.

Як сцвярджаюць распрацоўшчыкі, прыкладанне дасягае самага сучаснага ўзроўню з пункту гледжання візуальнай якасці і пазнавальнасці як колькасна, так і якасна. Эксперыменты на рэальных сцэнарыях з абмежаванымі відэа і аўдыя данымі выявілі, што мадэль мае перавагу перад усімі існуючымі метадалогіямі.

Крыніца