Verwarming, ventilatie, en airconditioningsystemen - HVAC-systemen genoemd - kunnen een delicaat evenwicht zijn. Er zijn veel factoren om te overwegen, van luchtstroom tussen kamers tot het effect van menselijke lichaamswarmte. In het afgelopen decennium, onderzoekers hebben zich tot machine learning gewend om deze systemen te optimaliseren. Met slimmere controllers, gebouwen kunnen energie besparen zonder aan comfort in te boeten.

Er zijn momenteel twee belangrijke benaderingen van het probleem. Bij de eerste benadering de controller gebruikt een gedetailleerd model van het gebouw om zijn systemen te beheren. Echter, het model kost veel moeite om te maken. "Een heel goed model van een gebouw is moeilijk te maken, moeilijk te onderhouden, en schaalt niet, " zegt Mario Bergés, hoogleraar civiele techniek en milieutechniek. "Gebouwen zijn niet allemaal hetzelfde, dus je moet voor elk gebouw een model maken."

De andere benadering omvat het genereren van grote hoeveelheden gegevens, waardoor de controller zich kan aanpassen aan verschillende gebouwsystemen. In dit geval, het belangrijkste obstakel is hoe lang het duurt. "Voor een relatief complex gebouw heb je zo'n 40 jaar aan simulatiedata nodig. " zegt Bergés. "In de echte wereld, je kunt niet zomaar 40 jaar proberen uit te vinden hoe je een gebouw kunt besturen."

Om deze uitdagingen aan te gaan, Bergés werkte samen met Ph.D. student Bingqing Chen en een Dell-medewerker. Ze ontwikkelden een nieuwe oplossing, Gnu-RL, die het beste van beide benaderingen combineert.

Eerst, Gnu-RL voltooit offline voortraining met behulp van historische gegevens. HVAC-systemen hebben al bedieningselementen, dus Gnu-RL leert ze te kopiëren. Op deze manier, het vermijdt de complicaties van nauwkeurige modellen en grote hoeveelheden gegevens. "Het heeft alleen historische gegevens nodig, waar we al veel van hebben, "zegt Chen.

Zodra de vooropleiding is voltooid, Gnu-RL kan de vorige controller betrouwbaar imiteren. Volgende, het is geleerd om je aan te passen en beter te worden. Bergés en Chen pasten een recent ontwikkeld differentieerbaar Model Predictive Control (MPC) beleid toe. Dit beleid beloont de agent voor het maximaliseren van de beloning en het minimaliseren van de kosten, en de agent past zich dienovereenkomstig aan totdat de optimale regeling voor het HVAC-systeem is bereikt. Deze methode wordt versterkingsleren genoemd - daarom heeft de oplossing RL aan het einde van de naam.

Het eerste deel van de naam, anderzijds, komt uit een meer onconventionele bron. Een gnoe is een grote, donkere antilope uit Afrika. Deze dieren zijn ongelooflijk precocial, wat betekent dat ze in een relatief geavanceerde staat worden geboren. "Ze kunnen wegrennen voor roofdieren op dezelfde dag dat ze worden geboren, "zegt Chen. "En Gnu-RL controleert in het begin redelijk goed." Deze gelijkenis maakte de naam een ​​natuurlijke keuze.

Bergés en Chen staven deze vergelijking met twee tests. De eerste test is uitgevoerd met een simulatie van de intelligente werkplek aan de top van Margaret Morrison. "We hadden een verbetering van 40 jaar tot vier weken in termen van de trainingstijd, " zegt Bergés. "En we lieten ook een verbetering van ongeveer 6% zien in energiebesparingen zonder in te boeten aan comfort."

Bergés en Chen waren zo bemoedigd door de simulatieresultaten dat ze besloten om Gnu-RL toe te passen in een echte wereld. Voor drie weken, ze lieten Gnu-RL de luchtstroom van een vergaderruimte in Gates Center regelen. De resultaten van deze test waren even veelbelovend. "Het leerde de bestaande controller te imiteren, " zegt Bergés. "Dan, Naast dat, het leerde de ruimte voor te koelen en comfort te bieden voordat mensen zouden arriveren, dat is iets dat de bestaande controller niet deed."

Echter, terwijl hun werk opwindend is, Bergés en Chen willen erkenning voor het werk van de onderzoekers die hen voorgingen. "Onze bijdrage is een aanvraag, dus we bouwen voort op het werk van anderen, " zegt Chen. Het meest opvallend is, Gnu-RL heeft het differentieerbare MPC-beleid overgenomen dat is ontwikkeld door Brandon Amos en Zico Kolter. Dankzij dit beleid kon Gnu-RL zowel efficiënt als flexibel zijn.

Bergés en Chen presenteerden hun paper over Gnu-RL op de 6 ^e ACM Internationale conferentie over systemen voor energie-efficiënte gebouwen, Steden, en transport (BuildSys 2019). De conferentie vond plaats op 13 en 14 november in New York City.

Kijkend naar de toekomst, Bergés en Chen geloven dat er nog ruimte is voor Gnu-RL om te groeien. "We hebben naar relatief eenvoudige scenario's gekeken, ", zegt Bergés. "Er kunnen complicaties optreden als we proberen om veel complexere gebouwen te controleren, dus dat is nog een open vraag. Maar we wijzen het in ieder geval in een nieuwe richting en dat kan aanleiding geven tot veel onderzoek om dit probleem aan te pakken."