Video-Frames sorted by Audio

Gepostet vor 1 Jahr, 4 Monaten in #Misc #Tech #Audio

Share: Twitter Facebook Mail

Nettes Experiment von Mario Klingemann, Video-Frames sortiert nach „Audio Frequency Spectrum Similarity“. Klappt bei dem Ausschnitt aus dem Bollywood-Teil Gumnaam irgendwie besser, als bei Rick Astley:

The audio frequency spectrum of a video's frames are clustered by their similariy using a t-sne embedding, Then the new order of frames is calculated using a nearest-neighbor traversal so frames that sound similar are following each other.

Podcasts: Sid Vicious, Baudrillards Simulacra, das Wörterbuch der Unruhe und das Märchen vom unglaublichen Super-Kim aus Pjöngjang

Jede Menge Podcasts und Hörspiele, die ich in den letzten Wochen gehört habe, unter anderem ein Hörspiel um einen mutierenden…

4 AI-Obamas learn Algo-Lipsynch from Audio

Seit ich über die neuen Möglichkeiten von Machine Learning bezüglich Computer Vision und der Generation von Bildern schreibe, vor allem…

AI Voice-Cloning

Vor ein paar Monate veröffentlichte Google sein WaveNet, ein auf Stimmen trainiertes Neurales Netzwerk mit einem deutlichen Qualitätssprung gegenüber bisherigen…

Artificial Demon Voice controls your Phone

Wissenschaftler haben eine Methode entwickelt, um Voice Commands in Sounds zu verstecken, die sich für das menschliche Ohr wie extrem…

Impulse: Electronic Tonalities in Cinema

Superinteressantes Video-Essay von Brian Cantrell über elektronische Klänge in der Geschichte des (vor allem SciFi-)Kinos. Nur einer von vielen Essays…

Podcasts: Sonic Armageddon Black Noise, Imagined Communities, die zehn Verwandlungen des David Bowie und was sind Eliten?

Haufenweise Podcasts, die ich in den letzten Wochen gehört habe. Da ist eine Menge interessanter Kram dabei, nochmal mit Abstand…

Style-Transfer für Audio

Dmitry Ulyanov und Vadim Lebedev mit einem ersten Ansatz für Style Transfer für Audio oder anders formuliert: Neural Network machen…

Adobe Voice-Generator formuliert neue Worte aus Stimmaufnahmen

Adobe hat vor zwei Tagen auf seiner Max Conference neben AI-Schnickschnack für seine CreativeCloud auch ein neues Tool namens VoCo…

Audio-Filters applied to 3D-Objects

Beautiful Glitches by GenerateMe: „This is what happens when you apply sonification process to 3d .obj vertex data.“

Ötzi-Rülps

Wissenschaftler haben die Stimmbänder von Ötzi rekonstruiert und nun rülpst der Iceman nach 5300 Jahren auf Youtube Vokale vor sich…

Audio from Typo-Outlines

Gestern auf der Konferenz der Association Typographique Internationale in der Academy of Fine Arts in Warsaw: Type-Designer Just van Rossum…