Algoritmen voor machinaal leren kunnen 's werelds moeilijkste videogames in minuten verslaan en complexe vergelijkingen sneller oplossen dan de collectieve inspanningen van generaties natuurkundigen. Maar de conventionele algoritmen hebben nog steeds moeite om stopborden in een drukke straat te herkennen.

Objectidentificatie blijft het gebied van machine learning belemmeren, vooral wanneer de afbeeldingen multidimensionaal en gecompliceerd zijn, zoals die deeltjesdetectoren van botsingen nemen in experimenten met hoge-energiefysica. Echter, een nieuwe klasse van neurale netwerken helpt deze modellen hun patroonherkenningsvermogen te vergroten, en de technologie kan binnenkort worden geïmplementeerd in deeltjesfysica-experimenten om de gegevensanalyse te optimaliseren.

Deze zomer, Fermilab-natuurkundigen boekten vooruitgang in hun poging om neurale netwerken in de experimentele systemen in te bedden. Wetenschapper Lindsey Gray heeft software bijgewerkt waarmee deze geavanceerde algoritmen kunnen worden ingezet op gegevens van de Large Hadron Collider bij CERN. Voor de eerste keer, deze netwerken zullen worden geïntegreerd in deeltjesfysica-experimenten om detectorgegevens rechtstreeks te verwerken - waardoor de sluizen worden geopend voor een grote sprong in efficiëntie die een nauwkeuriger inzicht zal opleveren van huidige en toekomstige detectoren.

"Wat een week geleden nog slechts een onderzoeksobject was, is nu een algemeen bruikbaar hulpmiddel dat ons vermogen om gegevens van deeltjesfysica-experimenten te analyseren zou kunnen transformeren, ' zei Grijs.

Zijn werk richt zich in eerste instantie op het gebruik van grafische neurale netwerken om gegevens van het CMS-experiment bij de LHC te analyseren, een van de vier grote deeltjesfysica-experimenten van de versneller.

Programmeurs ontwikkelen neurale netwerken om bergen gegevens te doorzoeken op zoek naar een specifieke categorie of hoeveelheid, bijvoorbeeld:een stopbord in een foto van een drukke straat.

Normale digitale foto's zijn in wezen een gigantisch raster van rode, groene en blauwe vierkante pixels. Na te zijn getraind om te herkennen hoe een stopbord eruitziet, klassieke neurale netwerken inspecteren het hele blok pixels om te zien of het doelwit aanwezig is. Deze methode is inefficiënt, echter, aangezien de modellen veel irrelevante, verduisterende gegevens.

Computerwetenschappers hebben nieuwe klassen van neurale netwerken ontwikkeld om dit proces te verbeteren. maar de algoritmen hebben nog steeds moeite om objecten in afbeeldingen te identificeren die complexer zijn dan alleen een tweedimensionaal raster van vierkante pixels.

Neem moleculen, bijvoorbeeld. Om te bepalen of een chemische stof al dan niet giftig is, scheikundigen moeten bepaalde kenmerken zoals koolstofringen en carboxylgroepen in een molecuul lokaliseren. De foto's van de chemicaliën die zijn gemaakt met röntgenchromatografiemachines produceren 3D-beelden van gebonden atomen, die er elke keer dat ze worden bekeken iets anders uitzien.

Aangezien de gegevens niet in een vierkant raster worden opgeslagen, het is moeilijk voor typische neurale netwerken om de giftige verbindingen te leren identificeren. Om dit te omzeilen, scheikundigen zijn begonnen met het gebruik van een nieuwe set neurale netwerken:grafische neurale netwerken, of GNN's.

In tegenstelling tot deze typische neurale netwerken, GNN's kunnen zien welke pixels met elkaar zijn verbonden, zelfs als ze zich niet in een 2D-raster bevinden. Door gebruik te maken van de "randen" tussen de "knooppunten" van gegevens (in dit geval de bindingen tussen de atomen), deze machine learning-modellen kunnen veel efficiënter gewenste onderwerpen identificeren.

Gray's visie is om deze modellen en hun verbeterde doelidentificatie te gebruiken om de gegevensverwerking voor deeltjesbotsingen te stroomlijnen.

"Met een graaf neuraal net, je kunt een aanzienlijk beter patroonherkenningsalgoritme schrijven dat kan worden gebruikt voor zoiets complexs als deeltjesversnellergegevens, omdat het de mogelijkheid heeft om relaties tussen alle binnenkomende gegevens te bekijken om de meest relevante delen van die informatie te vinden, " hij zei.

Gray's onderzoek richt zich op het implementeren van GNN's in de calorimeter met hoge granulariteit van de CMS-detector, of HGCal. CMS maakt elke seconde miljarden beelden van botsingen met hoge energie om te zoeken naar bewijs van nieuwe deeltjes.

Een uitdaging van de calorimeter is dat hij zoveel gegevens verzamelt - genoeg foto's om elke seconde 20 miljoen iPhones te vullen - dat een grote meerderheid moet worden weggegooid vanwege de beperkte opslagruimte. De triggersystemen van de HGCal moeten in een paar miljoenste van een seconde beslissen welke delen van de gegevens interessant zijn en bewaard moeten worden. De rest wordt verwijderd.

"Als je een neuraal netwerk hebt dat je kunt optimaliseren om binnen een bepaalde tijd te werken, dan kunt u die beslissingen betrouwbaarder nemen. Je mist geen dingen, en je bewaart geen dingen die je niet echt nodig hebt, " zei Kevin Pedro, een andere Fermilab-wetenschapper die met Gray werkt.

De HGCal-detectoren verzamelen tegelijkertijd veel verschillende informatie over deeltjesinteracties, wat een aantal zeer gecompliceerde beelden oplevert.

"Deze gegevens hebben een vreemde vorm, ze hebben willekeurige gaten in zich, en ze zijn niet eens in de buurt van een aaneengesloten raster van vierkanten, ' zei Gray. 'Daar komen de grafieken om de hoek kijken, omdat je daarmee alle zinloze dingen kunt overslaan.'

In theorie, de GNN's zouden worden getraind om de verbindingen tussen relevante pixels te analyseren en te voorspellen welke afbeeldingen moeten worden opgeslagen en welke veel efficiënter en nauwkeuriger kunnen worden verwijderd. Echter, omdat deze klasse van neurale netwerken zo nieuw is in de deeltjesfysica, het is nog niet mogelijk om ze rechtstreeks in de triggerhardware te implementeren.

Het neurale netwerk van de grafiek is op een andere manier zeer geschikt voor de HGCal:de modules van de HGCal zijn zeshoekig, een geometrie die hoewel niet compatibel met andere soorten neurale netwerken, werkt goed met GNN's.

"Dat maakt dit specifieke project tot een doorbraak, "Zei Fermilab Chief Information Officer Liz Sexton-Kennedy. "Het toont de vindingrijkheid van Kevin en Lindsey:ze werkten nauw samen met collega's die de calorimeter ontwierpen, en ze zetten hun unieke expertise in software in om de mogelijkheden van het experiment verder uit te breiden."

Gray slaagde er ook in een code te schrijven die de mogelijkheden van PyTorch uitbreidt, een veelgebruikt open source machine learning framework, om neurale netwerkmodellen voor grafieken op afstand te laten draaien op apparaten over de hele wereld.

"Voorafgaand aan deze het was extreem onhandig en omslachtig om een ​​model te bouwen en het vervolgens in te zetten, " zei Gray. "Nu het functioneel is, je stuurt gewoon gegevens naar de service, het zoekt uit hoe het het beste kan worden uitgevoerd, en dan wordt de uitvoer naar u teruggestuurd."

Gray en Pedro zeiden dat ze hopen dat de neurale netwerken in de grafiek werken tegen de tijd dat Run 3 van de LHC in 2021 wordt hervat. de modellen kunnen worden getraind en getest vóór de upgrade met hoge helderheid van de botser, wiens verbeterde mogelijkheden voor gegevensverzameling GNN's nog waardevoller zullen maken.

Zodra de netwerken op één plek operationeel zijn, het zou veel gemakkelijker moeten zijn om ze aan het werk te krijgen in andere experimenten in het lab.

"Je kunt nog steeds dezelfde dingen die we leren over grafische neurale netwerken in de HGCal toepassen op andere detectoren in andere experimenten, Gray zei. "De snelheid waarmee we machinaal leren toepassen in de hoge-energiefysica is nog niet eens in de buurt van verzadigd. Mensen zullen steeds meer manieren vinden om het toe te passen."