science >> Wetenschap >  >> Elektronica

City digital twins helpen deep learning-modellen te trainen om gevels van gebouwen te scheiden

Fig. 1. Vergelijking van handmatig geannoteerde datasets en automatisch gegenereerde synthetische datasets. De conventionele methode vereist dat afbeeldingen met de hand worden gelabeld wanneer de trainingsset wordt geproduceerd, terwijl ons voorgestelde systeem automatisch synthetische gegevens kan maken met bijvoorbeeld annotaties met behulp van digitale middelen van een digitale tweeling van de stad. Credit:Journal of Computational Design and Engineering (2022). DOI:10.1093/jcde/qwac086

Game-engines zijn oorspronkelijk ontwikkeld om denkbeeldige werelden te bouwen voor entertainment. Deze zelfde engines kunnen echter worden gebruikt om kopieën van echte omgevingen te bouwen, dat wil zeggen digitale tweelingen. Onderzoekers van de Universiteit van Osaka hebben een manier gevonden om de afbeeldingen die automatisch zijn gegenereerd door digitale stadstweelingen te gebruiken om deep learning-modellen te trainen die afbeeldingen van echte steden efficiënt kunnen analyseren en de gebouwen die erin verschijnen nauwkeurig kunnen scheiden.

Een convolutief neuraal netwerk is een diep lerend neuraal netwerk dat is ontworpen voor het verwerken van gestructureerde reeksen gegevens, zoals afbeeldingen. Dergelijke vorderingen in deep learning hebben de manier waarop taken, zoals architecturale segmentatie, worden uitgevoerd fundamenteel veranderd. Een nauwkeurig DCNN-model (Deep Convolutional Neural Network) heeft echter een grote hoeveelheid gelabelde trainingsgegevens nodig en het labelen van deze gegevens kan een langzame en extreem dure handmatige onderneming zijn.

Om de synthetische digitale stadstweelinggegevens te creëren, gebruikten de onderzoekers een 3D-stadsmodel van het PLATEAU-platform, dat 3D-modellen van de meeste Japanse steden bevat met een extreem hoog detailniveau. Ze laadden dit model in de Unity-game-engine en creëerden een camera-opstelling op een virtuele auto, die door de stad reed en de virtuele databeelden verwierf onder verschillende licht- en weersomstandigheden. De Google Maps API werd vervolgens gebruikt om voor de experimenten echte afbeeldingen op straatniveau van hetzelfde studiegebied te verkrijgen.

Fig. 2. Driedimensionaal stadsmodel van ons studiegebied. (a) Voorbeeld van een digitale tweeling in de stad met zijn real-world street-view tegenhanger (Wangan-doro Avenue, Tokyo; maart 2021; breedtegraad:35.6283, lengtegraad:139.7782). (b) Luchtfoto van de digitale tweeling van de stad. Credit:CC BY, 2022 Jiaxin Zhang et al., Automatische generatie van synthetische datasets van een stadsdigitale tweeling voor gebruik in de instantiesegmentatie van gevels van gebouwen, Journal of Computational Design and Engineering

De onderzoekers ontdekten dat de digitale stadstweelinggegevens tot betere resultaten leiden dan puur virtuele gegevens zonder echte tegenhanger. Bovendien verbetert het toevoegen van synthetische data aan een echte dataset de nauwkeurigheid van de segmentatie. Het belangrijkste was echter dat de onderzoekers ontdekten dat wanneer een bepaald deel van de echte gegevens wordt opgenomen in de digitale dubbele synthetische dataset van de stad, de segmentatienauwkeurigheid van de DCNN aanzienlijk wordt verbeterd. De prestaties worden zelfs concurrerend met die van een DCNN die is getraind op 100% echte gegevens.

"Deze resultaten laten zien dat onze voorgestelde synthetische dataset mogelijk alle echte afbeeldingen in de trainingsset zou kunnen vervangen", zegt Tomohiro Fukuda, de corresponderende auteur van het artikel.

Fig. 3. Kwalitatieve resultaten voor verschillende soorten en maten gebouwen wanneer Mask R-CNN is getraind met behulp van HSRBFIA (Hybrid Collection of Synthetic and Real-world Building Facade Images and Annotations) datasets met verschillende verhoudingen van synthetische tot echte gegevens:(a) laagbouwwoningen in Osaka; (b) laagbouwwoningen in Los Angeles; (c) hoogbouw in New York City; (d) complexe gevels in Shanghai. (De rood gestippelde rechthoeken markeren delen van de streetview-afbeeldingen die tijdens de segmentatie van gevelinstanties gemakkelijk konden falen.). Credit:CC BY, 2022 Jiaxin Zhang et al., Automatische generatie van synthetische datasets van een stadsdigitale tweeling voor gebruik in de instantiesegmentatie van gevels van gebouwen, Journal of Computational Design and Engineering

Het automatisch scheiden van de afzonderlijke gevels van gebouwen die in een afbeelding worden weergegeven, is handig voor constructiebeheer en architectuurontwerp, grootschalige metingen voor renovaties en energieanalyses, en zelfs voor het visualiseren van gevels van gebouwen die zijn gesloopt. Het systeem is getest in meerdere steden, wat de overdraagbaarheid van het voorgestelde raamwerk aantoont. De hybride dataset van echte en synthetische data levert veelbelovende voorspellingsresultaten op voor de meeste moderne architectuurstijlen. Dit maakt het een veelbelovende aanpak voor het trainen van DCNN's voor architecturale segmentatietaken in de toekomst, zonder de noodzaak van dure handmatige annotatie van gegevens.

De studie is gepubliceerd in het Journal of Computational Design and Engineering . + Verder verkennen

Een zwak gecontroleerd machine learning-model om functies uit microscopiebeelden te extraheren




Meer >

Meer >

Hoofdlijnen

  1. Geef twee redenen waarom het vrijwel onmogelijk is om veel menselijke eigenschappen te associëren met enkele genen
  2. Wetenschappers ontcijferen mechanismen die ten grondslag liggen aan de biologie van veroudering
  3. Kun je iets horen dat geen geluid maakt?
  4. Hormonen die calcium en fosfaat reguleren Homeostase
  5. Hoe dopamine helpt om sommige voedingsmiddelen verslavend te maken
  6. Soorten menselijke schedelvormen
  7. De vroegste landdieren hadden minder schedelbotten dan vissen, waardoor hun evolutie werd beperkt
  8. Sociale gevoeligheid:leider-volger dynamiek van invloedrijke individuen in een sociale groep
  9. Wat kan je spit je vertellen over je DNA?

Wetenschap