Ştim că aţi auzit de sunet 3D, dar aţi mai auzit de sunet 2.5D? Cu atât mai mult de unul transformat dintr-o sursă mono în 2.5D prin machine learning? Ei bine, oamenii de ştiinţă de la Universitatea din Texas şi Facebook AI Research au folosit machine learning pentru a transforma sunetul monaural în binaural.
Totul implică utilizarea unui clip video pentru a stabili configuraţia scenei şi obiectului. Rezultatul este un „sunet vizual 2.5D”, pentru o experienţă cât mai amplificată. Prin aceasta modalitate veţi putea tuna echipamentele audio mono printr-o serie de modificări gândite pentru headseturile VR. Fiinţele umane sunt capabile să perceapă distanţa şi locul în care se află sursele de zgomot în spaţiu 3D şi asta mulţumită urechilor umane şi spaţiului dintre ele.
Putem folosi diferite elemente pentru a stabili direcţia şi distanţa surselor de zgomot, stabilind şi tăria zgomotului. Un rol important îl are ce ureche recepţionează prima zgomotul. Experienţa audio 3D poate fi replicată prin înregistrarea de audio într-un setup binaural, care implică două microfoane aflate la aceeaşi distanţă ca urechile umane.
Fişierul rezultat, odată ascultat cu căşti oferă o acustică realistă şi imersivă şi ajută la percepţia obiectelor în 3D. Asta va ajuta mult la imersivitatea VR. Majoritea conţinuturilor audio sunt totuşi monaurale, fiind înregistrate cu un singur microfon dintr-o singură locaţie. Acum se poate totuşi ca un sample de gen să devină 2.5D audio prin deep learning.
E vorba despre un clip video care este procesat pentru indicii vizuale care pot fi combinate cu sample-ul audio, ajustând atributele sale şi simulând poziţia obiectelor care produc sunete în spaţiu 3D. Următorul pas? Crearea de surround virtual cât mai credibil, chiar şi dintr-un sample mono.
