Philips-ingenieur maakt video indexeerbaar /7 reacties

Philips-ingenieur maakt video indexeerbaar
afbeelding: SU Magazine

Met de groei van de bandbreedte, groeit het aantal videofilmpjes op internet. En met de groei van het aantal filmpjes, groeit de behoefte aan snel de juiste film of het juiste shot te vinden. Maar zoeken in video is ingewikkeld. Of beter: was ingewikkeld. Want Philips-ingenieur Mauro Barbieri (Philips Research) heeft een manier gevonden om videobestanden met software te analyseren, doorzoekbaar te maken en er vervolgens een reële preview van te maken. Hij doopte zijn vinding Movie in a minute en hoopt er 29 november op te promoveren.

Efficiënte beslissingen

Ontwikkelingen in digitalisatie, bewerking en opslagtechnologieën dragen bij aan een enorme en stabiel groeiende beschikbaarheid van videomateriaal. Ondanks grote investeringen in digitale videotechnieken zijn de mogelijkheden voor een gemiddelde gebruiker om zijn videocollecties te manipuleren, gebruiken en beheren nog steeds niet op hetzelfde niveau als de mogelijkheden met andere media zoals tekst and plaatjes. Dit verschil wordt veroorzaakt door het tijdelijke en multimodale karakter van video en de grote omvang van het daarbijhorende medium.

Het verhogen van de efficiëntie kan worden gezien als een van de belangrijkste aanjagers voor technologische vooruitgang. Het automatisch genereren van videosamenvattingen heeft als doel om efficiënte representaties van video te genereren voor het mogelijk maken van bladeren, doorzoeken en meer in het algemeen het beheren van videomateriaal. Automatisch gegenereerde samenvattingen kunnen gebruikers ondersteunen in het navigeren van grote videoarchieven en in het nemen van efficiënte beslissingen over het gebruiken, delen of verwijderen van videomateriaal.

Toen ir. Mauro Barbieri in 2001 zijn promotieonderzoek bij Philips begon, bestond YouTube nog helemaal niet. Internetverbindingen waren nog vele malen trager dan nu en de euforie over de jonge internetbedrijfjes was kort daarvoor als een zeepbel uit elkaar gespat. Op dat moment waren wel de eerste harddiskrecorders in opkomst. Met hun harde schijven om tv-programma’s mee op te nemen, maakten zij de ouderwetse videorecorder definitief overbodig. Op basis van persoonlijke voorkeuren kon je nu verspreid over alle tv-kanalen en op elk mogelijk tijdstip interessante programma’s laten opnemen. Om ze later rustig te kunnen bekijken, zo was het idee.

Een goed idee. De praktijk was echter vaak dat het niet meeviel om gericht te kiezen uit het woud aan opgenomen tv-programma’s. En daar wilde Philips de gebruiker bij gaan helpen. Er moest software komen die van elke film een korte, maar representatieve samenvatting kon maken: een ‘video-preview’. “De preview moest het de gebruiker mogelijk maken te beslissen of hij de hele film zou willen bekijken”, vertelt Barbieri op de afdeling Experience Processing van Philips Research op de High Tech Campus Eindhoven. Ongeveer zoals digitale foto’s op de computer de ‘thumbnail’ hebben als kleine, handzame verschijningsvorm. Dit is een sterk verkleinde weergave van de betreffende foto, inderdaad ongeveer ter grootte van een duimnagel.

Voordeel hiervan is dat de computer niet steeds de hele foto hoeft in te laden en dat je snel in een grote verzameling foto’s kunt zoeken. Heb je het over een verzameling films, dan wordt het een lastiger verhaal. Je kunt wel een scène uit de film nemen en die als thumbnail afbeelden, maar één enkel beeld dekt de lading van een film natuurlijk bijna nooit. Komt nog bij dat een film ook geluid bevat. Hoe stop je dat in een stilstaand beeld?

Barbieri: “Het was uitdrukkelijk niet de bedoeling dat de software echte trailers zou maken. Dat zijn de korte filmpjes op internet die het publiek naar de bioscoop moeten lokken. Meestal overdreven aantrekkelijk gemaakt en daarmee geen goede weergave van de film. Onze previews moesten de sfeer en het verhaal van de film goed weergeven, en misschien ook even de belangrijkste acteurs in beeld brengen.” Daarbij beperkte de informaticus zich tot films, documentaires en afleveringen van tv-series.

Actiescènes

Om van een stuk film een korte samenvatting te kunnen maken, kan Barbieri’s software heel goed films analyseren. Daarbij maakt het om te beginnen onderscheid tussen verschillende soorten scènes. Dialogen en actiescènes moeten allebei in de preview terechtkomen en liefst ook nog in een verhouding die de film recht doet. Reclame wordt vooralsnog uit de samenvatting geweerd. Maar de software kan meer. Contrastloze of te donkere beelden negeren bijvoorbeeld. En menselijke gezichten herkennen. Daaruit kan het afleiden of een scène in close-up is gefilmd of van veraf. Met behulp van al deze gereedschappen bouwt de software de preview op.