Je vriend stuurt je een foto van de hond die ze gaat adopteren, maar je ziet alleen een kleurtje, vaag diervormige waas van pixels. Om je een groter beeld te geven, ze stuurt de link naar het adoptieprofiel van de hond omdat ze zich zorgen maakt over haar datalimiet. Eén klik en je scherm vult zich met veel bevredigendere beschrijvingen en afbeeldingen van haar aanstaande beste vriendin.

Het verzenden van een link in plaats van het uploaden van een enorme afbeelding is slechts één truc die mensen gebruiken om informatie over te brengen zonder gegevens te verbranden. In feite, deze trucs kunnen een geheel nieuwe klasse van algoritmen voor beeldcompressie inspireren, volgens onderzoek door een team van ingenieurs van Stanford University en middelbare scholieren.

De onderzoekers vroegen mensen om afbeeldingen te vergelijken die zijn geproduceerd met een traditioneel compressie-algoritme dat enorme afbeeldingen verkleint tot pixelachtige vervagingen met die gemaakt door mensen in omstandigheden met beperkte gegevens - alleen tekstcommunicatie, die links naar openbare afbeeldingen kunnen bevatten. Vaak, de producten van door mensen aangedreven afbeeldingen delen bleken bevredigender dan het werk van het algoritme. De onderzoekers presenteren hun werk op 28 maart op de Data Compression Conference 2019.

"Bijna elke beeldcompressor die we tegenwoordig hebben, wordt geëvalueerd met behulp van statistieken die niet noodzakelijk representeren wat mensen waarderen in een afbeelding, " zei Irena Fischer-Hwang, een afgestudeerde student in elektrotechniek en co-auteur van het papier. "Het blijkt dat onze algoritmen nog een lange weg te gaan hebben en veel kunnen leren van de manier waarop mensen informatie delen."

Het project is het resultaat van een samenwerking tussen onderzoekers onder leiding van Tsachy Weissman, hoogleraar elektrotechniek, en drie middelbare scholieren die stage liepen in zijn lab.

"Eerlijk gezegd, we zijn deze samenwerking aangegaan met het doel de studenten iets te geven dat niet te veel zou afleiden van het lopende onderzoek, "zei Weissman. "Maar ze wilden meer doen, en die chutzpah leidde tot een paper en een geheel nieuw onderzoeksproject voor de groep. Dit zou wel eens een van de meest opwindende projecten kunnen worden waar ik ooit bij betrokken ben geweest."

Een beeld met minder verlies

Afbeeldingen converteren naar een gecomprimeerd formaat, zoals een JPEG, maakt ze aanzienlijk kleiner, maar verliest wat detail - deze vorm van conversie wordt om die reden vaak "lossy" genoemd. De resulterende afbeelding is van lagere kwaliteit omdat het algoritme details over kleur en helderheid moet opofferen om minder gegevens te verbruiken. Hoewel de algoritmen in de meeste gevallen voldoende details behouden, De stagiaires van Weissman dachten dat ze het beter konden doen.

In hun experimenten, twee studenten werkten op afstand samen om afbeeldingen opnieuw te maken met behulp van gratis fotobewerkingssoftware en openbare afbeeldingen van internet. Eén persoon in het paar had de referentieafbeelding en begeleidde de tweede persoon bij het reconstrueren van de foto. Beide mensen konden zien hoe de reconstructie aan de gang was, maar de beschrijver kon alleen via tekst communiceren terwijl hij luisterde naar het spreken van hun partner.

De uiteindelijke bestandsgrootte van de gereconstrueerde afbeelding was de gecomprimeerde grootte van de tekstberichten die door de beschrijver werden verzonden, want dat is wat nodig zou zijn om die afbeelding opnieuw te maken. (De groep bevatte geen audio-informatie.)

De studenten stelden vervolgens de menselijke reconstructies tegenover machinaal gecomprimeerde afbeeldingen met bestandsgroottes die gelijk waren aan die van reconstructietekstbestanden. Dus, als een menselijk team een ​​afbeelding heeft gemaakt met slechts 2 kilobyte tekst, ze hebben het originele bestand gecomprimeerd tot dezelfde grootte. Met toegang tot de originele afbeeldingen, 100 mensen buiten de experimenten beoordeelden de menselijke reconstructie beter dan de machinale compressie op 10 van de 13 afbeeldingen.

Wazige gezichten OK

Toen de originele afbeeldingen nauw overeenkwamen met openbare afbeeldingen op internet, zoals een kruispunt, de door mensen gemaakte reconstructies presteerden bijzonder goed. Zelfs de reconstructies die verschillende afbeeldingen combineerden, deden het vaak goed, behalve in gevallen met menselijke gezichten. De onderzoekers hebben hun juryleden niet gevraagd om hun rangschikking toe te lichten, maar ze hebben wel ideeën over de gevonden verschillen.

"In sommige gevallen zoals natuurtaferelen, mensen vonden het niet erg als de bomen een beetje anders waren of de giraf een andere giraf was. Ze gaven er meer om dat het beeld niet wazig was, wat betekent dat traditionele compressie lager scoort, " zei Shubham Chandak, een afgestudeerde student in de groep van Weissman en co-auteur van het papier. "Maar voor menselijke gezichten, mensen hebben liever hetzelfde gezicht, ook al is het wazig."

Deze schijnbare zwakte in het delen van afbeeldingen op basis van mensen zou verbeteren naarmate meer mensen afbeeldingen van zichzelf uploaden naar internet. De onderzoekers werken ook samen met een politie-tekenaar om te zien hoe zijn expertise een verschil kan maken. Hoewel dit werk de waarde van menselijke inbreng laat zien, de onderzoekers zouden uiteindelijk proberen het proces te automatiseren.

"Machine learning is werken aan stukjes en beetjes hiervan, en hopelijk kunnen we ze snel laten samenwerken, " zei Kedar Tatwawadi, een afgestudeerde student in de groep van Weissman en co-auteur van het papier. "Het lijkt erop dat een praktische compressor die werkt met dit soort ideologie niet ver weg is."

Oproep aan alle studenten

Weissman benadrukte de waarde van de bijdrage van de middelbare scholieren, zelfs buiten dit papier.

"Tientallen, zo niet honderdduizenden menselijke engineering-uren gingen in het ontwerpen van een algoritme dat drie middelbare scholieren tegen zijn kont schopten, "zei Weissman. "Het is nederig om te bedenken hoe ver we zijn in onze techniek."

Door het succes van deze samenwerking, Weissman heeft in zijn laboratorium een ​​formeel zomerstageprogramma voor middelbare scholieren gecreëerd. Stel je voor hoe een kunstenaar of studenten die geïnteresseerd zijn in psychologie of neurowetenschappen kunnen bijdragen aan dit werk, hij is er vooral op gebrand om studenten met verschillende interesses en achtergronden naar zich toe te trekken.