Student Liu Luolin van het Xi'an Institute of Optics and Precision Mechanics (XIOPM) van de Chinese Academie van Wetenschappen (CAS) heeft een end-to-end model met twee stromen genaamd TSFNet voorgesteld voor thermische en zichtbare beeldfusie. De resultaten zijn gepubliceerd in Neurocomputers.

Het TSFNet, het gebruik van twee takken voor het leren van functies, verschilt nogal van eerdere methoden met twee stromen, en het kan de informatie uit beide bronnen volledig vastleggen.

Warmtebeelden zijn ongevoelig voor helderheid en kunnen objecten en achtergrond onderscheiden door thermische straling te differentiëren. Zichtbare beelden kunnen het menselijk zicht intuïtiever begrijpen en hebben een hogere resolutie. Daarom, er kan worden geconcludeerd dat de fusie van de twee een nieuw beeld kan opleveren met heldere objecten en een hoge resolutie voor monitoring bij alle weersomstandigheden en de hele dag/nacht.

In dit onderzoek, om het model in staat te stellen de gedetailleerde informatie van het bronbeeld autonoom tijdens de fusie te behouden, LIU en zijn teamleden hebben een adaptieve strategie voor gewichtstoewijzing aangenomen om de selectie van functies te begeleiden. Het hele raamwerk werd gedemonteerd in drie modules, functie extractie, fusie, en wederopbouw.

Volgens de resultaten van de experimenten, TSFNet presteert beter dan state-of-the-art methoden onder verschillende evaluatiestatistieken. In de toekomst, het zal een handleiding bieden voor het ontwerpen van een nieuw netwerk van beeldfusie.