Video-Frames sorted by Audio

05.02.2016 Misc Tech #Audio

Share: Twitter Facebook Mail

Nettes Experiment von Mario Klingemann, Video-Frames sortiert nach „Audio Frequency Spectrum Similarity“. Klappt bei dem Ausschnitt aus dem Bollywood-Teil Gumnaam irgendwie besser, als bei Rick Astley:

The audio frequency spectrum of a video's frames are clustered by their similariy using a t-sne embedding, Then the new order of frames is calculated using a nearest-neighbor traversal so frames that sound similar are following each other.