Hoewel het verleidelijk kan zijn om snel een oordeel te vellen over de betrouwbaarheid van iemand op basis van zijn uiterlijk, blijkt uit onderzoek dat dit uiterst onbetrouwbaar is. Het idee dat iemands gelaatstrekken of algehele uiterlijk een nauwkeurige indicatie kunnen geven van zijn betrouwbaarheid, wordt gewoonlijk 'fysionomie' genoemd en ontbeert wetenschappelijke ondersteuning. Betrouwbaarheid is een complexe eigenschap die wordt beïnvloed door talrijke factoren, zoals persoonlijkheid, gedrag uit het verleden en de situationele context, die niet op betrouwbare wijze uitsluitend uit het fysieke uiterlijk kunnen worden afgeleid. Meerdere onderzoeken hebben aangetoond dat het oordeel van mensen over de betrouwbaarheid op basis van gezichten vaak onnauwkeurig is en vatbaar voor verschillende vooroordelen. Daarom kan het vertrouwen op visuele aanwijzingen om de betrouwbaarheid te beoordelen leiden tot foutieve conclusies en oneerlijke vooroordelen.