How To play Super Mario with Eye-Tracking, a hacked Google Glass and Makey Makey

 Youtube Direkteye

Brandyn White von der Uni Maryland hat einem Google Glass einen selbstgebauten Eyetracker verpasst und noch dazu ein Makey Makey angebaut, mit dem man Glass auch mit einer Banane steuern kann. Dann hat er mit dem Gezeucht eine Runde Super Mario gespielt. Awesome!

We start by developing a 3D printed mount for a small webcam that will be attached to Glass. We remove the IR filter from the webcam and replace the blue LEDs with IR LEDs which helps improve the pupil contrast (our webcam teardown roughly follows the Pupil project). Now we can see the user’s eye, to detect the pupil we developed a custom approach using MSER and filtering regions based on area, intensity, and eccentricity. This gives us the real-time position and radius of the pupil in the image. To use eye position as an input method, we create zones on the screen and perform a calibration process where the user looks at dots and takes off glass and puts it back on and repeats. We treat each zone as a Gaussian distribution and use the Mahalanobis distance to determine if a user is looking at one.

By using the gestures we can control the Glass display and we demonstrate it by playing Mario.

New Glass Input Methods: Eye-Tracking, Web Control, Touch-Sensitive Clothing, and Bananas (via 3ders)

Das Makey Makey-Kit kann man in Deutschland am bequemsten über Epic Stuff bestellen.

Disclosure: Ich bin mit Epic Stuff ein kleines bisschen im Bett, hab denen das Logo gekraxelt, ein paar MakeyMakeys verlost und geb’ denen ab und zu Tipps mit so Internetkram, weil ich die mag. Geld fliesst keins.