De microcomputerrevolutie van de jaren zeventig veroorzaakte in de jaren tachtig een Wild West-achtige uitbreiding van personal computers. In de loop van het decennium, tientallen persoonlijke computerapparatuur, van Atari tot Xerox Alto, stroomde de markt in. CPU's en microprocessors gingen snel vooruit, met nieuwe generaties die maandelijks verschijnen.

Te midden van al die groei, er was geen standaardmethode om de prestaties van de ene computer met de andere te vergelijken. Zonder dit, niet alleen zouden consumenten niet weten welk systeem beter voor hun behoeften was, maar computerontwerpers hadden ook geen standaardmethode om hun systemen te testen.

Dat veranderde in 1988, toen de Standard Performance Evaluation Corporation (SPEC) werd opgericht om te produceren, een gestandaardiseerde set prestatiebenchmarks voor computers onderhouden en goedkeuren. Denk aan benchmarks zoals gestandaardiseerde tests voor computers. Zoals de SAT's of TOEFL, benchmarks zijn bedoeld om een ​​vergelijkingsmethode te bieden tussen vergelijkbare deelnemers door hen te vragen dezelfde taken uit te voeren.

Sinds SPEC, tientallen benchmarking-organisaties zijn ontstaan ​​om een ​​methode te bieden voor het vergelijken van de prestaties van verschillende systemen over verschillende chip- en programma-architectuur.

Vandaag, er is een nieuw Wild Westen in machine learning. Momenteel, er staan ​​minstens 40 verschillende hardwarebedrijven klaar om baanbrekend werk te doen in nieuwe AI-processorarchitecturen.

"Sommige van deze bedrijven zullen stijgen, maar velen zullen vallen, " zei Vijay Janapa Reddi, Universitair hoofddocent elektrotechniek aan de Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS). "De uitdaging is hoe we kunnen zien of het ene stuk hardware beter is dan het andere? Dat is waar benchmarkstandaarden belangrijk worden."

Janapa Reddi is een van de leiders van MLPerf, een machine learning benchmarking-suite. ML Perf begon als een samenwerking tussen onderzoekers van Baidu, Berkeley, Google, Harvard, en Stanford en is uitgegroeid tot een groot aantal bedrijven, een groot aantal universiteiten, samen met honderden individuele deelnemers wereldwijd. Andere bijdragen aan Harvard zijn onder meer David Brooks, de Haley Family Professor in Computer Science aan SEAS en Gu-Yeon Wei, de Robert en Suzanne Case Professor Elektrotechniek en Computerwetenschappen bij SEAS.

Het doel van ML Perf is om een ​​benchmark te creëren voor het meten van de prestaties van machine learning software frameworks, machine het leren hardwareversnellers, en machine learning cloud- en edge computing-platforms.

We spraken met Janapa Reddi over MLPerf en de toekomst van benchmarking voor machine learning.

ZEE:Ten eerste, hoe werkt benchmarking voor machine learning?

Janapa Reddi:In zijn eenvoudigste vorm, een benchmarkstandaard is een strikte definitie van een machine learning-taak, laten we zeggen beeldclassificatie. Met behulp van een model dat die taak implementeert, zoals ResNet50, en een dataset, zoals COCO of ImageNet, het model wordt geëvalueerd met een doelnauwkeurigheid of kwaliteitsmaatstaf die het moet bereiken wanneer het wordt uitgevoerd met de dataset.

SEAS:Hoe speelt benchmarking een rol in uw onderzoek bij SEAS?

Janapa Reddi:Persoonlijk, Ik ben geïnteresseerd in het benchmarken van autonome en "kleine" machine learning-systemen.

Autonome voertuigen zijn sterk afhankelijk van machine learning voor beeldverwerking, sensorfusie en meer. De kofferbak van een zelfrijdende auto bevat meer dan 2, 500 Watt rekenkracht. Om dat even in context te plaatsen, een smartphone verbruikt 3 Watt, en uw gemiddelde laptop verbruikt 25 Watt. Deze autonome voertuigen verbruiken dus een aanzienlijke hoeveelheid stroom, mede dankzij alle machine learning waarop ze vertrouwen. My Edge Computing Lab is geïnteresseerd in het verminderen van dat stroomverbruik, terwijl we nog steeds de grenzen verleggen van alle verwerkingsmogelijkheden die nodig zijn, machine learning en alles inbegrepen.

Aan de andere kant van het spectrum bevinden zich "kleine" apparaten. Denk aan kleine microcontrollers die milliwatt aan stroom verbruiken die kunnen worden rondgegooid en vergeten. Kleine microcontrollers zijn tegenwoordig passieve apparaten met weinig tot geen ingebouwde intelligentie. Maar "TinyML" is een opkomend concept dat zich richt op machine learning voor kleine embedded microcontrollers. Mijn groep bestudeert hoe we TinyML kunnen inschakelen, aangezien we veel verschillende toepassingen zien. TinyML-apparaten kunnen uw gezondheid op intelligente wijze bewaken, of kleine drones die in je handpalm passen, kunnen navigeren door krappe kleine ruimtes in het geval van een omgevallen gebouw voor zoek- en reddingsoperaties, en tussen bomen en bladeren vliegen om de gezondheid van de gewassen van de boer in de gaten te houden en ongedierte buiten te houden

Dit zijn twee domeinen die mij enorm interesseren, specifiek in de context van machine learning-systemen, omdat er verschillende interessante onderzoeksproblemen zijn om op te lossen die verder gaan dan alleen de prestaties van machine learning-hardware en het ontwerp en de implementatie van machine learning-systeemsoftware omvatten.

SEAS:welke lessen kunnen machine learning trekken uit eerdere benchmarkinginspanningen, zoals die drie decennia geleden door SPEC zijn gestart?

Janapa Reddi:Door de jaren heen SPEC CPU is aangestuurd door een consortium van verschillende industriepartners die samenkomen om een ​​reeks workloads te bepalen die kunnen leiden tot eerlijke en bruikbare benchmarkresultaten. Vandaar, SPEC-workloads zijn een standaard geworden in onderzoek en de academische wereld voor het meten en vergelijken van CPU-prestaties. Zoals David Patterson - een gerenommeerde computerarchitect en winnaar van de Turing Award 2017 - vaak opmerkt:SPEC-workloads leidden tot de gouden eeuw van het ontwerp van microprocessors.

We kunnen enkele lessen van SPEC lenen en deze toepassen op machine learning. We moeten de academische en onderzoeksgemeenschap samenbrengen om een ​​soortgelijk consortium van industriële partners te creëren die kunnen helpen bij het definiëren van normen en benchmarks die representatief zijn voor praktijkgevallen in de praktijk.

SEAS:Is dat hoe ML Perf werkt?

Janapa Reddi:Ja. MLPerf is de inspanning van vele organisaties en verschillende toegewijde individuen, allemaal samenwerkend met de enige coherente visie van het bouwen van een eerlijke en bruikbare benchmark voor machine learning-systemen. Door deze teamprestatie we komen met benchmarks die gebaseerd zijn op de wijsheid van veel mensen en een diep begrip van klantgebruikscasussen uit de echte wereld. Ingenieurs die aan machine learning-systemen werken, dragen hun ervaringen met de genuanceerde systeemproblemen bij en bedrijven kunnen hun praktijksituaties leveren (met toestemming van de gebruiker, natuurlijk). Op basis van alle informatie die we verzamelen, het MLPerf-samenwerkingsteam van onderzoekers en ingenieurs stelt een benchmark samen die nuttig is voor leerplatforms en -systemen.

SEAS:MLPerf heeft zojuist enkele nieuwe benchmarks voor machine learning aangekondigd, Rechtsaf?

Janapa Reddi:Juist. We hebben zojuist onze eerste inferentiesuite aangekondigd, die bestaat uit vijf benchmarks voor drie verschillende machine learning-taken:beeldclassificatie, objectdetectie en machinevertaling. Deze drie taken omvatten bekende modellen zoals MobileNets en ResNet die verschillende beeldresoluties ondersteunen voor verschillende gebruikssituaties, zoals autonome voertuigen en smartphones.

We stimuleren de modellen met de "LoadGen, " wat een belastingsgenerator is die verschillende use case-modi nabootst die in de echte wereld worden gevonden. Bijvoorbeeld, op smartphones, wij maken een foto, voer het in een machine learning-model, en wacht gretig af om te zien of het kan identificeren wat het beeld is. Blijkbaar, we willen dat die gevolgtrekking zo snel mogelijk is. In een camerabewakingssysteem we willen kijken naar meerdere foto's die door verschillende camera's komen, dus de use case is gevoelig voor zowel latency als doorvoer (hoeveel afbeeldingen kan ik binnen een bepaalde tijd verwerken). Deze LoadGen met onze benchmarks onderscheidt MLPerf van andere benchmarks.

ZEE:Dus, wat volgt?

Janapa Reddi:Benchmarks zijn een stap in de richting van een groter doel. MLPerf is geïnteresseerd in het uitbreiden van zijn inspanningen van het samenstellen van benchmarks voor het evalueren van systeemprestaties tot het ontwikkelen van nieuwe datasets die nieuwe innovatie in de machine learning-algoritmen kunnen bevorderen, software- en hardwaregemeenschappen. Zo ver, we hebben vertrouwd op datasets die grotendeels toegankelijk zijn gemaakt via academici in de open source-gemeenschappen. Maar in sommige domeinen zoals spraak, er is een reële behoefte om nieuwe datasets te ontwikkelen die minstens 10 tot 100 keer groter zijn. Maar groter alleen is niet voldoende. We moeten ook de eerlijkheid en het gebrek aan diversiteit in de datasets aanpakken om ervoor te zorgen dat de modellen die op deze datasets worden getraind onbevooroordeeld zijn

SEAS:Hoe gaat u om met eerlijkheid en diversiteit in machine learning?

Janapa Reddi:We hebben "Harvard MLPerf Research" gecreëerd in samenwerking met het Center for Research on Computation and Society (CRCS), die wetenschappers en wetenschappers uit verschillende vakgebieden samenbrengt om vooruitgang te boeken in computationeel onderzoek dat het algemeen belang dient. Door het centrum, we hopen in contact te komen met de experts in andere scholen om kwesties zoals eerlijkheid en vooringenomenheid in datasets aan te pakken. We hebben meer nodig dan computerwetenschappers om deze problemen aan te pakken.