Bildkompression per Machine Learning

Gepostet vor 4 Monaten, 22 Tagen in #Science #Tech #AI #Compression

Share: Twitter Facebook Mail

comp

Google hat eine neue Methode zur Bildkomprimierung per Machine Learning erfunden, die rund 25% kleinere Dateien erzeugt. Die JPG-Artefakte fallen dabei weg – JPG komprimiert über eine Farbreduzierung in 8x8-Pixelblöcken, wodurch die Kanten entstehen –, dafür wird das Bild allerdings weichgezeichnet und verliert Details. Im Bild oben habe ich einen Bildausschnitt vergrößert, um die Details zu zeigen.

comp2

Die Komprimierung funktioniert grob gesagt, indem eine AI das Ausgangsbild lernt und in mehreren Durchgängen durch die gelernten Pattern und anhand der Unterschiede zum Quellbild rekonstruiert. Sieht man im Bild oben: „Left: Original image, I = R[0]. Center: Reconstructed image, P[1]. Right: the residual, R[1], which represents the error introduced by compression.“ Das mittlere, erste Ergebnis wird nun so oft durch denselben Algorithmus gejagt, bis die Fehler weitgehend ausgeglichen sind und das Bild rekonstriert wurde.

Paper: Full Resolution Image Compression with Recurrent Neural Networks
Github: Image Compression with Neural Networks

comp3

Our system works by iteratively refining a reconstruction of the original image, with both the encoder and decoder using Residual GRU layers so that additional information can pass from one iteration to the next. Each iteration adds more bits to the encoding, which allows for a higher quality reconstruction. […]

The residual image represents how different the current version of the compressed image is from the original. This image is then given as input to the network with the goal of removing the compression errors from the next version of the compressed image. […] At each further iteration, the network gains more information about the errors introduced by compression (which is captured by the residual image). If it can use that information to predict the residuals even a little bit, the result is a better reconstruction. Our models are able to make use of the extra bits up to a point. We see diminishing returns, and at some point the representational power of the network is exhausted.

To demonstrate file size and quality differences, we can take a photo of Vash, a Japanese Chin, and generate two compressed images, one JPEG and one Residual GRU. Both images target a perceptual similarity of 0.9 MS-SSIM, a perceptual quality metric that reaches 1.0 for identical images. The image generated by our learned model results in an file 25% smaller than JPEG.

Google Brain does Zoom & Enhance

Vor grob einem halben Jahr bloggte ich über eine Reihe von Papers, die eine neue AI-Anwendung vorstellten: Image Super-Resolution. Die…

NSA-Powerpoint-Styletransfer: Snowden.ppt

Matthew Plummer-Fernandez hat einen Style-Transfer-Algorithmus auf verschiedene NSA-Powerpoint-Slides trainiert und daraus ein paar Snowden-Portraits generiert: Snowden.ppt. Machine Learning style transfer…

Algorithmic Cyclops

Mario Klingemann trainiert wieder irgendwelche Neural Networks die wieder irgendwelche komischen Sachen generieren. Diesmal hat er ’nen Algorithmus auf vintage…

Hieronymus Bosch dreaming of Sesame Street

Chris Rodley dreht nach dem Trump Clan ein paar klassische Gemälde von Picasso und Hieronymus Bosch durch den Sesamstraßen-Neural-Network-Wolf:

Algorithmic Napoleon

/user/vic8760 zieht Jacques-Louis Davids Napoleon Crossing the Alps, MC Escher und die Mona Lisa durch einen FineArt-Style-Transfer. Nice!

Trump Clan dreaming of Sesame Street

The Horror The Horror: „I turned the Trumps into Sesame Street characters using deep learning and now I'll never sleep“.…

FakeTube: AI-Generated News on YouTube

Seit einem Jahr ungefähr fällt mir auf, wann immer ich nach News-Clips auf Youtube suche, etwa um ein Posting irgendeiner…

Artificial Demon Voice controls your Phone

Wissenschaftler haben eine Methode entwickelt, um Voice Commands in Sounds zu verstecken, die sich für das menschliche Ohr wie extrem…

De-Raining-Algorithm for posttrue AI-Sunshine

Die viel faszinierendere Lüge von Trump nach seiner Amtseinführung war ja in meinen Augen, dass er behauptete, es hätte aufgehört…

Algorithm watching Wolf of Wallstreet

Tolles Computervision-Experiment von Støj: An algorithm watching a movie trailer: „A program removing everything but the objects it recognises when…

Neural Enhance with creepy artificial Artifacts

Mario Klingemann (Vorher auf NC: Video-Frames sorted by Audio, Typographic Gears) hat einen Algorithmus für künstliche Artefakte gebastelt, die die…