> Media Technology | Ik ben Coen

Media Technology


Influence of Soundtrack

Q1 2015 - Q3 2015

Muziek kan op verschillende manier worden ervaren. Ook kan het verschillende effecten uitoefenen op de luisteraar. Met mijn afstuderen heb ik onderzocht of specifieke film soundtracks invloed hebben op de inschatting van snelheid van een rijdende auto.

Het onderzoek is uitgevoerd aan de hand van eigen opgenomen films waarin een auto drie snelheden rijd (40, 60 en 80 km/u). Er zijn drie verschillende soundtracks uitgezocht: een angstaanjagend, blij en droevig muziekje. Het onderzoek is uitgevoerd met een totaal van 96 deelnemers. De data werd aangeboden in sets van drie video's gecombineerd met een van de soundtracks. Elke video en soundtrack werd maar 1 keer gebruikt. Naast deze groep was er ook een groep die drie video's kreeg zonder soundtrack. Per deelnemer werden de volgende van de video's ook geschift. Op deze manier kreeg elke deelnemer 3 video's waarin ze snelheid aan konden geven.

In de resultaten van dit onderzoek is te zien dat de muziek de snelheid over het algemeen hoger brengt, zeker op 40 km/u. Verder is er te zien dat de angstaanjagende en blije soundtrack de snelheid naar ene centraal punt beïnvloede. Sneller werd gezien als langzamer en langzamer werd gezien als sneller.

Voor een complete rapportage van mijn onderzoek kun je het volgende artikel bekijken:

The impact of movie soundtracks on the estimation of driving speeds

Rorschach test & NN

Q4 2014 - Q1 2015

In dit project heb ik een neuraal netwerk getraind met een specifieke dataset om plaatjes te herkennen. Deze herkenning is gedaan door de pixelwaarde te pakken van zwart/wit plaatjes. De werklading is verminderd door PCA. Het getrainde netwerk is toen aan de gang gegaan met grijstinten van de Rorschach’s test plaatjes. De uitkomsten van de tests zijn vergeleken met de antwoorden van mensen. De resultaten suggereren dat het getrainde netwerk sterk verschilde met de mensenantwoorden. Dit netwerk was dus niet in staat om dezelfde beoordeling te geven als mensen bij het kijken naar Rorschach’s plaatjes.

Bekijk de paper: Performing the Rorschach test with a neural network

Enter the Black Box

Q3 2014 - Q1 2015

Voor de Master Media Technology is er een Semester project. In dit project ga ik samen met medestudenten te werk om een thema te onderzoeken eb uit de vindingen iets te maken voor een expositie. Het thema voor mij was Integrity (Integiteit). Iedere project groep kreeg ook een sub-thema, mijn subthema was Fact (Feit). Aan de hand van die twee woorden zijn we op onderzoek uit gegaan.

Project:
Binnen dit project hebben we heel veel onderzocht, zoals hoe maakt de wetenschap iets een feit, een waarheid. We hebben gekeken naar de echochamber, de Turing test en de filter bubble. Aan het einde zijn we gaan kijken wat een persoon zijn eigen waarheid is. Wat is iets wat we graag volgen, en wat we (meestal) direct geloven. Het nieuws. Wij dachten dat het nieuws een vorm van feiten kon zijn, een vorm van persoonlijke dagelijkse 'waarheid'. Met dit idee zijn we verder gegaan richting Integrity. We kwamen op het onderwerp Robot Journalism: Een robot die het nieuws schrijft. Aan de hand van dit gegeven zijn we verder gaan denken aan een vorm voor de expositie. Onze stelling voor dit project was: The new journalist is an algorithm, that is a fact.

Expositie-object:
Tijdens de expositie zijn we hard aan het werk geweest om een Black Box te maken. In deze Black Box krijgt de bezoeker een quiz die gaat over Robot Journalism. Binnen de Black Box worden knoppen gebruikt als input in een stoel, en wordt de quiz beluistert met een koptelefoon. De Black Box zelf heeft een ingang (input) en een uitgang (output). De bezoeker is dus de in- en output van de Black Box. De expo duurde 2 weken (3 dagen per week open). Ons project was afgerond met een 8.

Statistical Computing with R

Q3 2014

Als keuzevak heb ik aan de Universiteit Leiden Statistical Computing with R gedaan. In deze course heb ik zowel statistiek als programmeer kennis opgedaan. Ik heb gewerkt in Rstudio. Aan de hand van assignments ben ik in 7 weken stap voor stap verder gekomen in R. Als laatste assignment moest er een presentatie worden gemaakt, dit heb ik gedaan met 2 andere studenten.

Bekijk de presentatie

Affective Computing - Werewolves

Q3 2014 - Q4 2014

In de eerste periode heb ik extern aan de Universiteit Delft Affective Computing gedaan. Als project heb ik samen gewerkt met 3 andere studenten. In dit project hebben we contact gehad met Hayley Hung, die onderzoek heeft gedaan naar het spel weerwolven. Voor dit project zijn we begonnen met de volgende onderzoeksvraag:

Kunnen nonverbale videoeigenschappen van spelers gebruikt worden als indicator van sociale bonden tussen bedriegers in een groepsgesprek?

We hebben 7 Weerwolf games gedaan met deelnemers (zie figuur 1 en 2), deze zijn vastgelegd op audio en video. De videodata hebben we geanalyseerd met de een catagorizering van beweging in head, outside-head, body, outside-body (zie figuur 3). De analyse is gedaan met een Max Patch die elke video door heeft gekeken (figuur 4).

Met al de bewegingsdata zijn we in Excel en R aan de slag gegaan om te kijken wanneer de bedriegers praten en wat dat vor invloed heeft voor elkaars beweging. In onze resultaten hebben we 4 groeperingen: CC (speler praat, beweging van andere speler), CW (speler praat, beweging van bedrieger), WW (bedrieger praat, beweging andere bedrieger) en WC (bedrieger praat, beweging van speler). De resultaten zijn per categorie te zien in figuur 6,7 en 8.

Voor het project is ten slotte een paper geschreven en ingeleverd. Bekijk de paper.

Image & Vision: Embodied Vision - Magic Tricks

Q2 2014

In de vierde periode heb ik voor het vak Image & Vision: Embodied Vision een filmpje opgenomen. Voor deze opdracht hebben we gekeken naar de manier hoe film gemaakt wordt. Film wordt gebruikt om mensen te laten verdwijnen, spoken tot leven te laten komen en meer. Vandaag de dag zijn de special effects zodanig ontwikkeld dat er geen enkele film zonder wordt geproduceerd. Wij wilde terug naar de bron en proberen zonder gebruik te maken van filmeffecten en editen 2 trucjes te doen. Aan het einde van de video laten we ook zien hoe we ze gedaan hebben.



Naast de video heb ik ook een essay geschreven over digital imaging en motion capture. THE RISE AND INFLUENCE OF DIGITAL IMAGING BY MOTION CAPTURE IN MOVIES AND VIDEO GAMES

Web Technology - Mesh Networking

Q2 2014

In september 2013 ben ik met Media Technology begonnen. In de vierde periode heb ik voor het vak Web Technology onderzoek gedaan naar mesh networking. Bij dit onderzoek heb ik met 2 andere studenten gekeken wat mesh networking is en hoe het gebruikt kan worden. Als eindproduct hebben we een paper geschreven en een presentatie gehouden.

Download de Mesh Technology Paper
Online Prezi Presentatie

Cool Science - Three Door Problem

Q4 2013 - Q1 2014

In de vierde periode heb ik voor het vak Cool Science heb ik een kort project gedaan met een medestudent. In dit project hebben we een op het eerste gezicht non-intuitief probleem gepakt, het Drie Deuren Probleem (beter bekend als Monty Hall Problem). Ons doel was om een infographic te maken die het probleem uitlegt op een visuele en daardoor eenvoudige manier. We hebben dit project ontwikkeld met behulp van Adobe Illustater. Hieronder is de infographic te zien.

New Media New Technology - Homo Sapiens 3.0

Q4 2014 - Q1 2014

In de vierde periode heb ik voor het vak New Media New Technologies een eindproject gedaan. Dit eindproject was een expositie in Qiartiar, Den Haag waarbij we onze eigen fantasie kwijt konden in ons product. Wij hebben Homo Sapiens 3.0 ontwikkeld.

In Homo Sapiens 3.0 hebben we een filosofisch idee uitgewerkt: Wat als het mogelijk zou zijn om een menselijk brein te op te slaan in een vis, zodat een menselijke geest langer kan blijven bestaan? Lees meer over dit project hieronder:

Homo Sapiens 3.0 verkent de virtuele geest. Neurowetenschappelijks kunnen hersenactiviteit op prikkels steeds nauwkeuriger in kaart brengen. Zou dit mogelijk zijn bij mensen. En zo ja, zou men dan een geest kunnen kopiëren, comprimeren en opslaan alsof het een virtueel brein is. Wat zou er dan allemaal mogelijk zijn? Hieronder is een video met het materiaal wat op de expositie aanwezig was.


Artificial Intelligence - Drone Facetracking

Q4 2013 - Q1 2014

In de vierde periode heb ik voor het vak Artifical Intelligence heb ik samen met Daan een Parrot drone geprogrammeerd. Met dit project willen we de drone intuitief laten vliegen en gezichten laten herkennen. We maken gebruik van Open Frameworks bibiliotheken om de drone te laten zoeken naar gezichten en erop te laten reageren. Met een prototype hebben we een presentatie gedaan bij DEAF 2014 in Rotterdam.

Het project is gedocumenteerd in een kleine paper: Bekijk de paper

Dit project is nog in ontwikkeling. Hieronder zijn 2 videos te zien (DEAF 2014 samenvatting, DEAF 2014 demonstratievideo).

New Media New Technology - Wall Street

Q1 2014

In de derde periode heb ik voor het vak New Media New Technologies een project ontwikkeld in Open Frameworks, genaamd Wall Street.

Ruilen van informatie is heel aanwezig. Het tonen van nieuwe informatie binnen miliseconden is een interessant onderwerp. Dit project gebruikt real-time data van beursen om gebouwen te visualiseren in een virtuele stad. We zijn begonnen met het idee dat we data van NASDAQ gebruiken om een skyline te vormen en die te projecteren op de muur. We wilde dat de data live de gebouwen in hoogte veranderde. Het eindresultaat zou een veredelde staafdiagram zijn die zichzelf telkens up to date houdt. Uiteindelijk hebben we ook een webapp ontwikkeld zodat de Wall Street opzich gewoon kan draaien en kan worden aangestuurd door een ander apparaat. Hieronder zijn verschillende screenshots van het project te zien.

New Media New Technology – Retro Avengers

Q1 2014

In de derde periode heb ik voor het vak New Media, New Technology een film ge-edit. Met dit project willen we oude en nieuwe film bij elkaar brengen. We hebben een 'stomme film' gemaakt van The Avengers. Geen spraak, geen geluid (alleen typerende piano riedeltjes). WE zijn begonnen met stukjes uit de film, uiteindelijk hebben we de hele film verwerkt in segmenten zodat de film te zien is in retro stijl in 47:32.

Sound Space Interaction – Chopper Dropper

Q1 2014

In de tweede periode heb ik voor het vak Sound Space Interaction een installatie gemaakt in Max MSP. Het initiële idee was om een spel te maken waar de speler helikopters te landen waar hij zit. De speler is de 'Chopper Dropper'. We gebruiken hierbij een opstelling van 4 speakers om een 3D-omgeving te simuleren met helikoptergeluiden.

Als Chopper Dropper zit je in het midden van de 4 speakers en is het jouw taak om choppers te landen (pijltjestoetsen om te sturen en spatie om ze te laten landen). Aangezien jij degene bent die aanwijzingen geeft, kan het zijn dat de Chopper-piloten zelf niet zo goed naar je luisteren (per level verschillend).

Tijdens het ontwikkelen hebben we verschillende verbeteringen geïmplementeerd, zoals 3D-geluid, Doppler-effect, eigen gegenereerd geluid in plaats van samples, acceleratie, level bouwer, Level Up en GameOver toontjes en choppers die accuraat bewegen.

Het was een leuk project om aan te werken waar ik veel geleerd heb van Max MSP. Hieronder is een overzicht van de uitwerking te zien:

Hardware & Physical Computing – Following Lamp

Q1 2014

In de tweede periode heb ik voor het vak Hardware & Physical Computing samen met 2 andere studenten een lamp geprogrammeerd. Het idee was dat de lamp verschillende kolommen van LEDs heeft die worden aangestuurt door een Arduino.

We hebben gebruik gemaakt van ultrageluids sensor en een stepper motor om het 'scannen' te doen. De ultrasound meet dan de afstand tussen jouw en de lamp en stuurt op basis van die meting een kolom LEDs aan. Dankzij de stepper motor draaide de sensor rond zodat dit mogelijk werd voor de gehele lamp. Binnen dit project hebben we alle LEDs zelf gesoldeerd en hebben we 2 verschillende Arduinos gebruikt om de lamp aan te sturen. Voor de Ardionos hebben we ook zelf code geschreven.

Artificial Intelligence – AI in Videogames

Q1 2014

In de tweede periode heb ik voor het vak Research Seminar: Artificial Intelligence samen met een medestudent een presentatie gemaakt over Artificial Intelligence in videogames.

Voor de presentatie is ons de paper van Nareyek A., AI in Computergames toegewezen. Tijdens het werken aan de presentatie hebben we ervoor gekozen om alleen het A* algoritme uit de paper te gebruiken en voor de rest naar eigen bronnen te zoeken. Op deze manier hebben we een presentatie gemaakt die globaal meerdere onderwerpen van AI in videogames behandeld. Hieronder is een greep uit de presentatieslides te zien: een aantal screens van de presentatie te zien:

Human Computer Interaction – SnackTrack

Q4 2013

In de eerste periode heb ik voor het vak Human Computer Interaction een app prototype ontwikkeld. Het uitgangspunt was een eigen project waar we uit verschillende richtlijnen. Samen met een medestudent heb ik gekozen om een app te ontwikkelen. Al snel kwamen we op het idee om een snack-gerelateerde app te maken. We hebben dit project gewerkt met Titanium Studio. De app kreeg de naam SnackTrack.

We wilde een app ontwikkelen om de volgende vraag te beantwoorden:

In hoeverre heeft het zelf controleren van snack consumptie invloed op snack keuze over een langere periode.

Voor dit project hebben we vooral gefocust op het ontwikkelen van de demo. De onderzoeksvraag is toen ook aangepast naar een kortere termijn. Met deze app wilde we een luchtige kijk geven op iemand zijn snackgewoontes, dit hebben we gedaan met een gezondheidsbalk (soort levensbalk uit videogames). Hier kan de gebruiker zien hoe zijn snackgewoonte ervoor staat. Het idee erachter is dat we verschillende aanbevelingen kunnen doen op basis van de ingevulde data, en op deze manier de gebruiker stimuleren meer goede snacks te consumeren. Hieronder zijn wireframeafbeeldingen en screenshots te zien van het prototype.