Website inside robots.txt

Gepostet vor 3 Monaten in Tech Share: Twitter Facebook Mail

Netter Hack von Alec Bertram, eine Website in robots.txt:

robots

What's going on here: When parsing robots.txt files, search engines ignore anything that's after a hashtag in a robots.txt file - this turns it into a comment. However, a crawler will read anything on the page when it doesn't think it's looking at a robots.txt file, meaning we can put an entire website inside a robots.txt file.

But how is it in a text file? We're using the .txt extension as an alias for PHP, meaning that we can code intelligently and change the content when different URL parameters are present.

And where are the hashtags? They exist, however we're mostly putting the entire website on one line, and using a Javascript Library to hide the hashtags that we do use.

Tags: Coding Hacks Webdesign

algo1

Algorithmic Nicolas Cage/Taylor Swift Face-Swaps

Iryna Korshunova, Wenzhe Shi, Joni Dambre und Lucas Theis haben einen Algorithmus für FaceSwaps programmiert und zur Illustration ihrer Methode…

unnamed-20-600x400

Face Jagger – Fake „Cyber-Weapon“ auf einer Security Expo

Jakob S. Boeskov hat eine Fake „Cyber-Waffe“ namens Face Jagges auf eine Messe für Security- und Waffenfuzzis geschmuggelt. Er hatte…

sat

Neural Network Satellite-Images from Doodles

Invisible Cities, ein Neural Network, das Satellitenbilder aus Gekritzel generiert. Funktioniert so ein bisschen wie Style-Transfer, nur für Satellitenpics. In…

slack-header

Slack für C64

Endlich ein vernünftiger Slack-Client: „Team communication for the 21st century… now backwards compatible with 1985!“

ww

Westworld Version 4.5.2 Patch Notes

McSweeney mit dem ReadMe.txt des letzten Westworld-Updates. Die Hosts haben jetzt größere Hüte, die besser riechen. Ein paar Favs: GENERAL…

birdsounds

Google A.I. sortiert Vogelgesang

Google hat unter AI-Experiments ’ne Spielwiese für Machine Learning und AI eingerichtet. Ein paar der Experimente kannte ich bereits von…

pin-extraction-fig-6

Your PIN is blowing in the Wind

Neues Paper von InfoSec-Fuzzies, die eine Methode entwickelt haben, um die PIN-Nummern während der Eingabe am Handy über die Fluktuationen…

future

Alexa Fishbot

The Future. It's beautiful. who did thispic.twitter.com/Wriy531ALr — 🦃 Wolf ウルフ (@Ouren) November 4, 2016

banklobby_example

Neural Enhance getting sharp

Neues von AI-basiertem Zoom & Enhance (Vorher auf NC: Zoom & Enhance via Neural Network Super Resolution, Neural Network Super…

bildschirmfoto-2016-11-02-um-15-31-50

Ein algorithmisches Tagebuch aller Zeiten

Gestern startete der Algo-Literatur-Wettbewerb National Novel Generation Month 2016 mit jetzt bereits rund 80 eingereichten Robot-Text-Projekten und nach einem Tag…

alg

Share Lab: mapping and quantifying political Information Warfare

Spannende Website aus Serbien, deren Macher den Online-Wahlkampf im vergangenen Jahr getrackt haben und nun in langen, ausführlichen Essays die…