Często zdarza się, że autorzy zaprzęgają do swoich testów modele statystyczne ze sztuczną zmienną (ang. dummy variable), mierzącą średnie wskaźniki przestępczości przed i po uchwaleniu przepisów osłabiających/zaostrzających restrykcje na broń dla cywilów. W dużym skrócie: badacz wyciąga średni wskaźnik przemocy z okresu poprzedzającego reformy i zestawia go ze średnim wskaźnikiem wyciągniętym z okresu późniejszego. Argumentacja z korzyścią lub na niekorzyść konkretnych rozwiązań legislacyjnych zależeć będzie od tego, która średnia okaże się wyższa, a która niższa:

Problem polega na tym, że takie uproszczone estymowanie średnich w żaden sposób nie pozwala stwierdzić, co faktycznie działo się z dynamiką wskaźników morderstw, rozbojów czy gwałtów na przestrzeni kolejnych dekad. Ułatwienia w dostępie do broni mogą przecież korelować z redukcją zachowań kryminalnych nawet w sytuacji, gdy przeciętny współczynnik po implementacji przepisów wyjdzie identyczny albo wręcz wyższy niż przed ich liberalizacją. Proponuję rozważyć tę pozornie paradoksalną kwestię na kilku abstrakcyjnych przykładach.

Poniżej 3 diagramy ukazujące dramatyczne wahnięcia w natężeniu przemocy i jednocześnie bardzo różne średnie wskaźniki odnotowane “przed” i “po”. Pionowa czarna linia określa rok zmiękczenia restrykcji. Na pierwszym rysunku (A) widać wyraźnie, że średni wskaźnik po wejściu w życie prawa jest niższy aniżeli przed jego wdrożeniem, natomiast na drugim (B) wykres został odwrócony, co jednak nie oznacza, iż przestępczość zwiększyła się na skutek wprowadzenia probroniowych regulacji. Analizując bowiem kształtowanie się wskaźników “przed”, można zauważyć, że tak naprawdę przez cały czas pięły się one w górę aż do momentu uchwalenia nowego prawa i dopiero po jego ustanowieniu zaczęły wreszcie spadać. Zamiast więc forsować tezę o eskalacji przestępczości, należałoby w tym wypadku mówić o jej obniżeniu, mimo ewidentnie wyższej średniej dla odcinka “po”. Ostatnia grafika (C) przedstawia inny jeszcze wariant, w którym tendencja wzrostowa “przed” i malejąca “po” wygenerowały zbliżone średnie, ale rzeczywiste efekty dla obydwu okresów są diametralnie różne – po zluzowaniu obostrzeń wskaźniki przestępczości zjechały gwałtownie w dół:

Załóżmy teraz, że pionowe czarne linie wyznaczają rok dokręcania śruby, a nie jak wcześniej – łagodzenia procedur. Zaprezentowane niżej przykładowe kombinacje tylko potwierdzają, jak bardzo istotna w procesie interpretowania statystyk przemocy jest możliwość spojrzenia poza uśrednione liczby.

Przerywane kreski na schemacie D sugerują, że przestępczość pod postacią uśrednionego współczynnika spadła po implementacji ustaw antybroniowych. Dociekliwa osoba sprawdzi, czy taka konkluzja zgadza się z obserwowanymi trendami “przed” i “po”. Drugi rzut oka na diagram i okazuje się, że wskaźniki ulegały redukcji nieprzerwanie do chwili przyklepania reform, by krótko potem przyjąć kurs wznoszący. Ogólny przebieg tych zmian dowodzi zatem czegoś przeciwnego: sytuacja pogorszyła się w stosunku do lat poprzedzających reformy.

Rysunek E odzwierciedla hipotetyczny scenariusz, w którym średnia “po” jest dużo niższa niż “przed”, lecz stanowi zaledwie kontynuację trendu spadkowego, jaki wyklarował się na długo przed legislacyjną interwencją i w dodatku następował bez porównania szybciej niż w okresie późniejszym. Jeśli więc można z tego wynieść jakąś naukę, to będzie nią fakt, że zjawisko opadania wskaźników zostało wyhamowane po wdrożeniu prawa. Co się zaś tyczy wykresu F, myślę, że nie trzeba go szerzej tłumaczyć. Jest to dokładnie ten sam przypadek co na szkicu C – podobna średnia “przed” i “po”, zupełnie niepodobna dynamika:

Bazowanie wyłącznie na prostych uśrednieniach daje zafałszowany obraz przestępczości. Aby ustrzec się błędnego wnioskowania, zawsze warto poddawać ewaluacji dane i trendy długofalowe (zobacz trzecia edycja MGLS, s. 214-215 → link oraz wpis o porównywaniu międzynarodowych wskaźników zabójstw → link).