Computers kunnen nu automatisch foto's bijsnijden om het meest interessante deel op een esthetisch aangename manier vast te leggen, dankzij onderzoekers van Penn State.

"Bij het handmatig bijsnijden van een afbeelding, mensen identificeren het meest interessante of in het oog springende deel van de foto - zelfs als het niet in het midden is - en snijden de foto bij om deze in te kaderen, maar bestaande tools snijden foto's bij in het midden van de afbeelding, zonder te overwegen of dat gedeelte een visueel significant deel van de foto bevat, " zei Jia Li, hoogleraar statistiek, WHO, samen met haar collega James Wang, hoogleraar informatiewetenschappen en technologie, ontving onlangs Amerikaans octrooi nr. 10, 186, 040 voor het model. "We hebben dit probleem opgelost door een statistisch model te maken dat snel de visuele betekenis van elk gesegmenteerd deel van een foto identificeert en de algehele foto op een esthetisch aangename manier bijsnijdt."

Volgens de onderzoekers is de software kan worden gebruikt in smartphones, op sociale media en in internetbrowsers, waar foto's traditioneel automatisch in het midden worden bijgesneden, vaak het hoofdonderwerp missen of een esthetisch onaangenaam resultaat opleveren.

Het team heeft de hoeveelheid tijd gemodelleerd dat een menselijk oog waarschijnlijk op een bepaald segment van een afbeelding blijft hangen met behulp van een Markov-keten, dat is een statistisch model. De aandacht die aan een segment wordt besteed, hangt af van de individuele kenmerken, zoals kleur, textuur en helderheid, evenals de ruimtelijke relatie met andere segmenten. De onderzoekers codeerden al deze verschillende soorten informatie binnen de parameters van de Markov-keten. Het statistische model rangschikt vervolgens de segmenten, waarbij de hoogste betekenis wordt toegekend aan het segment dat het oog het langst vasthoudt. Deze volgorde helpt het model bij het bepalen van de beste locatie voor het bijsnijden. De beslissing houdt ook rekening met de esthetische kwaliteit van de bijgesneden afbeelding.

"Ruimtelijke opstelling van de segmenten in een afbeelding speelt een grote rol bij het bepalen van de betekenis, " zei Li. "Het model houdt rekening met hoe de segmenten ruimtelijk op elkaar inwerken, zonder aan te nemen dat het geometrische centrum van het beeld noodzakelijkerwijs belangrijker is. Bijvoorbeeld, twee segmenten met hetzelfde uiterlijk kunnen nogal verschillende significantiescores hebben, afhankelijk van hun plaatsing ten opzichte van de rest van de afbeelding."

Volgens Li en Wang, het model werkt snel om foto's bij te snijden en vereist zeer weinig rekenkracht.

"Onze code heeft ongeveer 50 milliseconden nodig om een ​​afbeelding van 400 bij 300 pixels te verwerken op een gewone desktopcomputer of laptop, ", zei Wang. "Als gevolg daarvan, onze methode is geschikt voor apparaten met beperkt geheugen en rekenkracht."

Het team hoopt zijn methode op de markt te brengen bij internetzoekmachines en mobiele telefoonbedrijven, onder andere.

"Door foto's op een meer esthetisch aangename manier bij te snijden, een aantal fotogerelateerde toepassingen kan worden verbeterd, vooral wanneer de schermgrootte klein is, zoals in telefoons, horloges of tablets, "zei Wang. "Bovendien, het model kan bedrijven met visuele advertenties helpen hun klikfrequenties te verbeteren."