In het 10-K jaarverslag van de Amerikaanse Securities and Exchange Commission (SEC) dat wordt ingediend voor het boekjaar eindigend op 31 juli, 2008, De Amerikaanse juwelierszaak Zale Corporation ('Zales') noemde 17 keer de woorden 'advertising' of 'advertisement'. Een jaar later, diezelfde woorden kwamen meer dan twee keer zo vaak voor op 41 keer.

Dan, de SEC was begonnen met onderzoeken nadat het bedrijf de publicatie van de resultaten over het vierde kwartaal had uitgesteld. Vervolgens werd vastgesteld dat Zales van 2004 tot 2009 de kosten voor televisiereclame onjuist had gekapitaliseerd, hoewel weinigen hadden gemerkt wat er aan de hand was.

In een methode die voorkomt in nieuw onderzoek van SMU-assistent-professor Accounting Richard Crowley, deze opzettelijke verkeerde rapportage zou de alarmbellen hebben doen rinkelen lang voordat de SEC vragen begon te stellen.

"Ze zijn 97e percentiel of hoger in ons model in elk jaar vanaf het tweede jaar van verkeerde rapportage, " zegt professor Crowley, verwijzend naar de machine learning-techniek in het artikel "What are You Saying? Using Topic to Detect Financial Misreporting". "97e percentiel betekent hier dat hun score op ons detectiemodel voor verkeerde rapportage hoger was dan 97 procent van de Amerikaanse openbare bedrijven."

Hij voegt eraan toe:"Het model wordt jaarlijks dus dat betekent dat voor elk jaar van 2005, 2006, ... 2009, Zales scoorde dat jaar een hogere detectiescore voor verkeerde rapportage dan 97 procent van de openbare bedrijven."

Wat is het woord?

Professor Crowley legt uit dat het onderzoek de cijfers volledig negeert:"Als managers de cijfers verkeerd gaan rapporteren, ze gaan het op een geloofwaardige manier doen" - en in plaats daarvan kijken ze naar wat er in plaats daarvan staat, die het onderzoek het 'onderwerp' noemt.

Samen met professoren Nerissa Brown en Brooke Elliott van het Gies College of Business aan de University of Illinois Urbana-Champaign, Professor Crowley analyseerde meer dan 3 miljard woorden in 10-K deponeringen van 1994-2012 om te zien hoe betrouwbaar bepaalde onderwerpen opzettelijke verkeerde berichtgeving voorspelden. In bepaalde monsters het onderzoek verbeterde de voorspelling van opzettelijke verkeerde rapportage met 59 procent.

"Het enige belangrijke verschil wanneer je dingen bespreekt terwijl je liegt, is dat je heel opzettelijk bent over de onderwerpen die je kiest om te bespreken, " legt hij uit, wijzend op het voorbeeld van Enron.

"Ze praten alleen maar over inkomensstijgingen en daar hebben ze enorm veel discussie over. Professor Crowley merkt op. Het jaarverslag van Enron over 1999 dient als een goed voorbeeld, onder vermelding van "versnelling van Enron's duizelingwekkende tempo van commerciële innovatie" voor een omzetstijging van 28 procent tot US $ 40 miljard ten opzichte van een jaar geleden, evenals een stijging van 37 procent in netto-inkomen vóór eenmalige posten tot US $ 957 miljoen.

Professor Crowley kiest een zin uit die Enron vaak gebruikte in hun 10-K's:"vergeleken met". Hij legt uit:

"Bedrijven zeggen altijd dingen als:'Dit is ons inkomen in 2011 vergeleken met het inkomen in 2010, ' en ze geven altijd voorspellingen over inkomen, brutomarges enz.

"Maar dan heb je inkomstenbelasting, niet-rente-inkomsten, winst, dat zijn slechts de algemene zinnen die verschijnen. Toen we de meest representatieve zinnen voor elk van deze onderwerpen uitkozen, we vonden zinnen als 'de bedrijfswinst was $ 122,1 miljoen in 2011 vergeleken met $ 113,9 miljoen in 2010, een stijging van 7,8 procent.' Dit is een veel voorkomende structuur om in deze documenten te zien.

"Dus als we het over Enron hebben, ze hebben zulke zinnen, maar ze hebben er veel meer dan iemand anders ooit heeft gedaan, zowel in 1999 als in de hele geschiedenis van onze steekproef."

Gezien het vermeende aantal deals dat Enron had die al die inkomsten genereerden, het is misschien logischer om in zijn jaarverslagen zaken te lezen als het verwerven van bronnen voor zijn energiecontracten, Professor Crowley merkt op. In plaats daarvan, het grotendeels "sprak over omzetcijfers en inkomenscijfers", hij observeert.

Dus is er een omslagpunt van het aantal keren dat een onderwerp verschijnt dat een rode vlag is? Of het soort woorden dat wordt gebruikt?

"Hier is geen constante soort barometer voor, Professor Crowley vertelt het Bureau voor Onderzoek en Technologieoverdracht. "Ik kan niet zeggen of ze er X procent van de tijd over hebben gesproken, we hebben ze. Het hangt van veel factoren af. En veel van deze factoren zijn branchespecifiek, en sommige zijn bedrijfsspecifiek.

"[Het hangt er ook van af of] je in een recessie zit en of je niet in een recessie zit. Evenzo, als u een financieel bedrijf bent versus een zorgbedrijf, of een telefoonbedrijf versus een staalfabrikant, [de onderwerpen waarnaar moet worden gezocht] moeten allemaal anders zijn."

Je kunt niet gamen wat je niet weet

Professor Crowley en zijn medewerkers gebruikten meer dan 20 verschillende op tekst gebaseerde variabelen in hun voorspellende model, inclusief het gebruik van de Fog Index voor de leesbaarheid.

Hoewel intuïtie zou suggereren dat een gemakkelijk te lezen 10-K transparant is, Professor Crowley antwoordt door te zeggen "het zou kunnen zijn omdat ze alle details hebben weggelaten". evenzo, positieve gevoelens, zoals die van Enron, kunnen signalen zijn van opzettelijke verkeerde berichtgeving, hoewel het onmogelijk is om 100 procent zeker te zijn.

"Het duurt slechts zes seconden om een ​​10-K te doorlopen met ons model, Professor Crowley zegt terwijl hij opmerkt dat de SEC delen van zijn model heeft overgenomen om opzettelijke verkeerde rapportage aan het licht te brengen. Maar de vraag moet worden gesteld:kunnen bedrijven die de markt willen misleiden, het algoritme bestuderen om de SEC in zijn eigen spel te verslaan?

"Het enige leuke aan dit algoritme is dat het elk jaar verandert, " legt hij uit, wijzend op de combinatie van woorden waaruit de onderwerpen bestaan ​​waaraan het algoritme werkt. "Bedrijven weten niet wat het doel van de toezichthouder zou zijn, zelfs als ze ons algoritme gebruiken."

"Het voordeel daarvan is dat als je een bedrijf bent dat probeert te manipuleren, je weet ook niet wat het doel is."