Twee sterrenkundigen van de Rijksuniversiteit Groningen hebben een softwarebibliotheek ontwikkeld die moeiteloos visualisaties kan genereren op basis van honderden miljoenen datapunten. Maarten Breddels en Jovan Veljanoski ontwikkelden hun software in eerste instantie om de enorme hoeveelheid data van de Gaia-missie te verwerken. Echter, de software kan ook patronen in andere grote databestanden laten zien. De software is open source en gratis te gebruiken. De onderzoekers leggen de ins en outs uit in een artikel dat is geaccepteerd voor publicatie in het tijdschrift Astronomie en astrofysica .

Breddels en Veljanoski noemen hun software Vaex, wat staat voor "visualisatie en verkenning van grote gegevenssets in tabelvorm." De interactieve software kan in slechts één seconde visualisaties van miljarden datapunten genereren. Het gedraagt ​​zich op dezelfde manier als Google Maps. Bij het pannen of zoomen, een bijgewerkte of meer gedetailleerde kaart verschijnt vrijwel onmiddellijk. Echter, Google Maps werkt snel, krachtige servers, terwijl Vaex op een laptop werkt.

De kracht van Vaex zit in de combinatie van meerdere slimme technieken. Eerst, het maakt gebruik van een slim algoritme dat alle beschikbare rekenkracht maximaliseert. Vervolgens, het leest alleen de benodigde gegevens van de harde schijf en stuurt deze rechtstreeks naar het hoofdgeheugen van de computer. Eindelijk, het is extreem geheugenefficiënt, en het werkgeheugen slaat geen onnodige kopieën van de gegevens op.

Breddels heeft Vaex live laten zien op verschillende conferenties. Als voorbeeld, hij gebruikte een dataset bestaande uit 1 miljard vermeldingen met betrekking tot de Yellow Cab-taxi's in New York City. Hij laat zien welke taxiritten het meest lucratief zijn, en waar de taxi's op elk deel van de dag moeten wachten om hun winst te maximaliseren. Dit voorbeeld laat zien hoe Vaex interessant en nuttig kan zijn voor algemene toepassingen buiten de astronomie.