Speech2Face, bu veri kümesinden yararlanarak vokal ipuçları ile insan yüzündeki bazı fiziksel özellikler arasındaki ilişkiyi öğrendi. Sonraki adımda ise yapay zeka, dinletilen farklı ses kayıtlarında konuşan kişilerin yüz modellemelerini yaptı.
Çalışmayı gerçekleştiren bilim insanları Speech2Face’in, bireyin yalnızca sesini temel alarak neye benzediğini henüz tam olarak belirleyemediğini ancak cinsiyet, yaş ve etnik köken gibi özellikleri ayırt edebildiğini belirttiler.
Speech2Face, henüz yolun başında olmasına rağmen kimi zaman gerçeğe oldukça yakın modellemeler yapmayı da başardı. ABD merkezli internet güvenlik şirketi Cloudflare’in kriptografi uzmanı Nick Sullivan, Speech2Face'i eğitmek için kullanılan örneklerden biri olduğunu, yapay zekanın modellediği yüzleri arasında kendi yüzünü görünce öğrendi.
SPEECH2FACE 'CİNSİYETÇİ' EĞİLİM GÖSTERDİ
Araştırmacılar, eğitim veri setinin yalnızca YouTube’dan alınan videolarından oluştuğunu ve dünya nüfusunu orantılı bir şekilde temsil etmediğini ifade ettiler.
Yapay zeka ayrıca düşük tiz sesleri erkek, yüksek tiz sesleri ise kadın yüzleriyle eşleştirerek cinsiyet yanlılığı gösterdi.
Buna göre yapay zeka sesten yararlanarak ortalama görünüşte yüzler çizebiliyor. Speech2Face’in önden görünen, nötr ifadeli yüzler modellediğini ifade eden bilim insanlarına göre daha detaylı çizimler için çalışmanın ilerletilmesi gerekiyor.