Przejdź do treści

Skrajny przykład wybierania wisienek

    Renomowany magazyn “Science” przepuścił ostatnio przez swoje sito recenzenckie kuriozalny artykuł o zerowej wartości poznawczej. Jego sygnatariusze (dalej LM) argumentują, że wzrost sprzedaży broni palnej, który nastąpił bezpośrednio po masakrze uczniów podstawówki Sandy Hook, miał spowodować w kolejnych pięciu miesiącach zauważalny skok liczby zgonów w wyniku nieszczęśliwych wypadków z udziałem tejże broni (Accidental Shooting Deaths, dalej ASD) – zwłaszcza wśród dzieci i nastolatków w podgrupie wiekowej 0-14. Trudno jest mi pojąć, jakim cudem tekst o tej skali wybrakowania otrzymał zielone światło do publikacji w tak prestiżowym wydawnictwie. Całość eksperymentu polega tu bowiem na szlifowaniu umiejętności w klasycznej sztuce wybierania wisienek z tortu (cherry picking), czyli na selektywnym prezentowaniu statystyk i tuszowaniu dowodów sprzecznych z odgórnie przyjętą tezą.

    Pierwsze zastrzeżenie: dlaczego z puli wszystkich strzelanin autorzy wyodrębnili akurat Newtown? Jest kwestią bezsporną dla każdego, kto umie kojarzyć długofalowe fakty, że nawet jeśli ogólna dostępność broni w żadnym stopniu nie koreluje z częstością występowania fenomenu ASD, to zawsze łatwo da się zidentyfikować wąskie odcinki czasowe, kiedy 1) odnotowano zwiększony popyt w społeczeństwie na broń palną i 2) zarejestrowano zwyżkę wskaźników śmiertelnych postrzeleń. Zlokalizowanie innych krótkotrwałych okresów, w których wolumen ASD nie uległ zmianie albo wręcz zmalał w konsekwencji wzmożonego ruchu w sklepach z bronią, byłoby klarownym sygnałem dla obiektywnych badaczy, że te chwilowe zbiegi okoliczności niekoniecznie muszą wyznaczać kierunek przyczynowy. Jak się okazuje, takie właśnie trendy dominowały w poprzednich dekadach – sprzedaż cywilnego uzbrojenia rosła nieprzerwanie od lat 90. zeszłego wieku, generując cykliczne wybrzuszenia na wykresie, podczas gdy liczba powypadkowych zgonów systematycznie spadała do obecnego, rekordowo niskiego poziomu (tylko od roku 1998 udokumentowano redukcję ASD o blisko 50 proc.):

    (dane wsadowe → link)

    Oczywiście LM zdecydowali się taktycznie przemilczeć ten kluczowy “szczegół”, kompletnie ignorując wagę wniosków, jakie można na jego podstawie wysnuć. Wzmianki o globalnej dynamice wskaźników ASD próżno szukać u nich nawet w formie dygresyjnego komentarza – jej wyeksponowanie poważnie zachwiałoby fundamentami narracji, zbudowanej w oparciu o pojedynczą anomalię statystyczną.

    Drugie pytanie, które mógłby ewentualnie zadać człowiek dociekliwy, brzmi: “Czemu wypadki? Czemu do analizy nie włączono zabójstw, względnie samobójstw?” Odpowiedź jest banalnie prosta: włączono, lecz nie uzyskawszy propagandowo satysfakcjonujących rezultatów, zogniskowano uwagę na najmniej istotnej subkategorii incydentów. ASD stanowią dosłownie śladowy odsetek zgonów przy użyciu broni palnej, jakie co roku zdarzają się w Ameryce – składają się na raptem 1.3 proc. (w najgorszym razie ~2 proc.) wszystkich śmiertelnych obrażeń. Nigdzie w tekście nie pada racjonalne wyjaśnienie ze strony autorów, dlaczego poświęcili oddzielny artykuł na ewaluację konkretnie tego fragmentu rzeczywistości kosztem nieporównywalnie szerszego spojrzenia na zjawisko przemocy związanej z bronią. Przecież w kontekście ich własnych ustaleń (brak widocznego wpływu zwiększonych transakcji broni na wskaźniki morderstw i samobójstw) spokojnie mogli zatytułować manuskrypt “Spikes in Firearm Sales Have No Effect on Homicide or Suicide”.

    Powiedzmy sobie otwarcie: ich wybór ma sens z ideologicznego punktu widzenia, nie ma natomiast sensu z perspektywy naukowej, ponieważ realnie nie jest możliwe zborne uzasadnienie forsowanej przez LM hipotezy, że enigmatyczna “ekspozycja na broń” (exposure to guns) zainicjowała przyrost wypadków u osób narażonych na ryzyko postrzału, ale nie wywołała już wzrostu liczby popełnianych zabójstw czy samobójstw w gronie potencjalnych morderców i samobójców. LM znakomicie rozumieli ten paradoks i w beznadziejnym akcie desperacji zasłonili się referatem, którego konkluzje uznali za spójne ze swoimi odkryciami. Otóż nie są one spójne – państwo LM beztrosko konfabulują. Cytowana publikacja nie dotyczy całokształtu sprzedaży broni w USA, lecz odnosi się do relatywnie niewielkiej (patrz tabela 3, tablice 3-5 oraz tabela 5) sfery detalicznego handlu prywatnym uzbrojeniem, czyli tak zwanych kiermaszów broni (gun shows), w dodatku ogranicza się do obszarów geograficznych o maksymalnej rozpiętości około 40 kilometrów, nie może być zatem “kompatybilna” z przedstawionymi tutaj rewelacjami pary ekonomistów.

    Trzecia dioda alarmowa: jaki strasznie ważny powód stał za obcięciem badanego interwału do szeregu 2008-20015? Informacje na temat sklepowych transferów broni palnej są publicznie dostępne od końca roku 1998, z kolei krótsze przedziały czasowe produkują bardziej niestabilne pomiary. Nie istnieje więc statystyczne usprawiedliwienie dla zamknięcia analizy w zaledwie 8-letnich widełkach. LM, nie oferując żadnego logicznego wytłumaczenia, arbitralnie odrzucili większość danych, którymi dysponowali na starcie, tj. pominęli aż dziewięć z siedemnastu lat. W tym momencie trudno wyrokować, jak dalece różniłyby się skorygowane wyniki po uwzględnieniu deficytowych obserwacji. 

    Ostatnia sprawa: nawet gdyby przyjąć za dobrą monetę oszacowania duetu LM, to i tak dopuścili się oni nadużycia, interpretując mało znaczący skok wskaźnika sprzedaży w kategoriach wydarzenia bez precedensu. Rozważmy to w ten sposób: na przełomie lat 2012/13 w amerykańskim obiegu cywilnym krążyło ~300 milionów egzemplarzy broni palnej. Autorzy przekonują, że w pięciomiesięcznym oknie po masakrze w Sandy Hook zakupiono trzy miliony sztuk broni ponad zwykłą normę, co przełożyło się na trywialny, 1-procentowy przyrost stanu posiadania obywateli USA w skali ogólnokrajowej. Według LM, ta symboliczna zwyżka doprowadziła do gwałtownego, epizodycznego podniesienia się liczby ASD o 27 proc. i eksplozji zgonów w grupie młodocianych ofiar o niebagatelne 64 proc., a następnie trendy uległy spłaszczeniu i wszystko zupełnie naturalnie wróciło do sytuacji sprzed grudniowej strzelaniny. Ocenę wiarygodności tego aberracyjnego zjawiska zostawiam szanowanym czytelnikom.

    Skoro jesteśmy już przy nadinterpretowaniu statystyk, to warto przy okazji wspomnieć, że LM założyli sobie apriorycznie, iż szaleństwo zakupów, które przypadło na inaugurację drugiej kadencji Obamy, przyczyniło się do upowszechnienia broni palnej w społeczeństwie na zasadzie “więcej sprzedanych pistoletów i karabinów = więcej uzbrojonych ludzi”. Problem z tym tokiem myślenia jest taki, że brakuje twardych dowodów empirycznych na potwierdzenie suponowanej zależności. Najlepsze źródła, jakimi rozporządzamy, sugerują raczej, że choć odnotowano nasilenie transakcji między połówką grudnia 2012 a schyłkiem kwietnia 2013, to ogromna większość broni trafiła do gospodarstw domowych, które już ją posiadały. Innymi słowy, odsetek uzbrojonej populacji po Sandy Hook nie zmienił się drastycznie w stosunku do realiów przed Sandy Hook. W ramach repliki LM nie zaproponowali absolutnie niczego wartościowego, czym mogliby podeprzeć swoją teorię. Wiedzieli, że wykłada się ona w newralgicznym punkcie. Aby ją ratować, chwycili się brzytwy – sięgnęli do kalifornijskiego systemu monitorującego lokalne transfery broni (DROS – Dealer Record of Sale), z którego niby wynika, że zaraz po tragedii w Connecticut aż 59 proc. nabywców pistoletów/rewolwerów rekrutowało się spośród “nowych klientów” (first-time firearm buyers). LM zapomnieli jednak dodać, że DROS nie jest zdolny skontrolować, czy określona osoba po raz pierwszy kupuje broń czy tylko dokłada kolejną sztukę do kolekcji. Rejestr, choć obligatoryjny, nie zawiera bowiem żadnych pełnych danych na temat tego, 1) ile jednostek broni zmienia właścicieli na drodze prywatnej wymiany bez pośrednictwa sklepów z federalną koncesją (w sąsiednich stanach wskaźniki te sięgają ponad 90 proc.), 2) ile broni palnej sprowadza do Kalifornii z zewnątrz ludność napływowa (chodzi o migrujących Amerykanów), 3) ile broni zakupiono przed rokiem 1995 i wreszcie – 4) ile broni przekazuje się w spadku. W efekcie powoływanie się na DROS jako ostatnią deskę ratunku nie zdaje testu naukowej rzetelności.

    Co trzeba by poprawić w tekście LM, żeby zaczął on przypominać bezstronną pracę badawczą, a nie prymitywną agitkę polityczną, robioną na zamówienie?

    • Na dobry początek należałoby rozciągnąć analizowany odcinek czasu do przełomu lat 1998/99 i skorelować sprzedaż broni ze wskaźnikami zgonów po każdej większej strzelaninie.
    • Powinno się także obowiązkowo zmierzyć oddziaływanie broni palnej na wszystkie trzy główne typy przemocy (morderstwa, samobójstwa i wypadki) i zaraportować progi statystycznej istotności dla uzyskanych rezultatów.
    • Finalnie wypadałoby też dokładniej zdefiniować “ekspozycję na broń”, tzn. skwantyfikować za pomocą sondaży bezpośrednich, jak zmieniał się poziom uzbrojenia przed i po Newtown. Stosowanie połowicznych metod w postaci wyszukiwania haseł w Googlu czy wróżenia z tabel NICS zawsze będzie podejrzane i obciążone sporym marginesem błędu.