Nikt nie powinien ufać szacunkom CDC
dotyczącym urazów z broni palnej
.

[No one should trust the CDC’s nonfatal
firearm injury point estimates.]

– David Hemenway (link)

W kwestii badań o broni nie można ufać CDC.

[We can’t trust the CDC with gun research.]

– Chris Cox z NRA (link)

Skąd wiadomo, że statystyki są zafałszowane (w bardziej neutralnej wersji – niewiarygodne)? Proste: bo nie zgadzają się z alternatywnymi źródłami. Wszystkimi alternatywnymi źródłami.

Dokładniej rzecz ujmując, chodzi o liczby opisujące rany postrzałowe, które nie zakończyły się śmiercią ofiary (nonfatal firearm injuries, dalej NFIs). Sondaże wiktymizacyjne oraz rejestry szpitalne dokumentują wyraźny trend spadkowy wskaźników obrażeń z broni na przestrzeni ostatnich szesnastu lat (2001-2016), Standardowy Protokół Przestępstw FBI generuje płaską linię regresji (warto podkreślić, że indeksy UCR są obiektywnie gorsze jakościowo niż ankiety BJS), natomiast Centrum Zwalczania i Prewencji Chorób (skrót CDC) regularnie notuje stałą zwyżkę NFIs, z czego najbardziej spektakularny wzrost zaobserwowano między rokiem 2015 a 2016. Zgodnie z kalkulacjami rządowej agencji, doszło wtedy do aż 37-procentowego skoku liczby postrzeleń – 85 tysięcy zdarzeń eksplodowało nagle do 116 tysięcy:

[wykresy otworzą się w oddzielnym oknie po kliknięciu na grafikę]

Wspomniane wyżej sprzeczności mają niebagatelne konsekwencje dla modelowania debaty publicznej. Począwszy od roku 2010 ukazało się przynajmniej kilkadziesiąt zrecenzowanych artykułów naukowych, cytujących oficjalne ustalenia CDC, których autorzy przy formułowaniu końcowych wniosków polegali na informacjach ściągniętych z internetowej bazy raportowania urazów WISQARS. Problem w tym, że wszelkie sugestie czy konkluzje odnośnie pożądanej polityki reglamentacyjnej, jakie zostały wysunięte na podstawie tak bardzo niemiarodajnych i przekłamanych szacunków, z konieczności będą zawierały ostre skrzywienie na niekorzyść broni palnej z powodu dyskwalifikujących wad oryginalnego źródła. Znakomitym przykładem silnego antybroniowego biasu jest praca Kalesan et al. o rzekomo skrywanej i ciągle rosnącej epidemii ran postrzałowych. W tej sytuacji trudno się dziwić, że dyskusje, w których motywem przewodnim jest tematyka cywilnego dostępu do broni, odbywają się w warunkach olbrzymiej społecznej niewiedzy co do faktycznej skali zjawiska.

Ślepota badaczy (co ciekawe, niemal zawsze są to te same nazwiska ekspertów z dziedziny zdrowia publicznego albo specjalistów-epidemiologów, drukujących masowo teksty na łamach literatury medycznej; ci najbardziej wylewni nawet nie próbują maskować czy też niuansować swojego ideologicznego radykalizmu) szokuje tym mocniej, że przecież na stronach CDC wisi jawne ostrzeżenie, aby ogólnokrajowe ekstrapolacje dot. NFIs traktować jako “niestabilne i potencjalnie nierzetelne” (unstable and potentially unreliable). Dalej pojawia się techniczne doprecyzowanie, że jednym z trzech kryteriów oceny wiarygodności danych jest rozmiar tzw. współczynnika zmienności (CV – coefficient of variation), będącego względną miarą rozkładu błędów skojarzonych z konkretną estymacją. Jeśli przekracza ona 30 proc., wówczas wyniki mogą wypaczać rzeczywistość. CV dla obrażeń postrzałowych za rok 2016 wyniósł 30.6 proc. i tylko w subkategorii utonięć/podtopień był nieznacznie wyższy. Generalnie dla całego okresu 2001-2016 wyłącznie rany od broni palnej wykazywały trwałe odstępstwa od porównywalnych rodzajów uszkodzeń ciała: For comparable injuries among the datasets analyzed, firearm gunshots are the only category that is consistently different. (→ link)

Dlaczego współczynnik zmienności skorelowany z NFIs przejawia tak duże wahania?

W procesie gromadzenia statystyk postrzeleń przez biurokrację CDC kluczową rolę odgrywa sondaż, przeprowadzany cyklicznie na przekrojowej i nader skromnej grupie szpitali (zaledwie 66 jednostek, czyli symboliczne 2 proc. wszystkich placówek leczniczych w Ameryce), znany jako Narodowy System Elektronicznego Śledzenia Urazów (NEISS: National Electronic Injury Surveillance System). Jego najpoważniejszym ograniczeniem jest właśnie fantastycznie mała próba sondowanych instytucji, co w praktyce uniemożliwia poprawną kwantyfikację fenomenu NFIs w perspektywie długofalowej. Ponadto procedury selekcji szpitali do ankiety kompletnie ignorują regionalne zagęszczenie i zróżnicowanie występowania przestępczości (strzelanin). Przypadki ofensywnego (kryminalnego) użycia broni podlegają bowiem w USA geograficznej oraz personalnej hiperkoncentracji. Ekstremalnie nierówna dystrybucja NFIs sprawia więc, że część samplowanych klinik pęka w szwach, absorbując rocznie setki poranionych ofiar (np. w hrabstwie Cook), inne zaś przyjmują pacjentów sporadycznie. Te lokalne wariacje w nasileniu przemocy dobrze tłumaczą słaby poziom oszacowań CDC, wyrażony miernikiem CV [1].

Powtórzę się: jest rzeczą zdumiewającą, że oto upływały kolejne lata seryjnego produkowania sfuszerowanych elaboratów i uczonych analiz, a członkowie redakcji periodyków medycznych i oddelegowani przez nich recenzenci nigdy nie zadali sobie trudu zweryfikowania danych wsadowych, na których bazowały nadsyłane manuskrypty. Większych podejrzeń nie budziły u nich także rażące anomalie w stosunku do ekwiwalentnych źródeł zastępczych – najbardziej, wydawać by się mogło, oczywisty sygnał, że coś jest nie tak z metodyką CDC. Niech ten wpis posłuży zatem za szerszą refleksję nad pogłębiającym się kryzysem peer review.

__________________

[1] Jak zademonstrowali Cook et al., dodanie raptem pięciu szpitali położonych niedaleko “ognisk przemocy” do zbioru instytucji kwerendowanych w ramach programu NEISS odpowiada za całą tendencję zwyżkową wskaźnika napaści. Po wprowadzeniu korekty – there was no increase in firearms violence (→ link). Analogiczny mechanizm, tj. wrażliwość na geograficzną lokalizację, zniekształca pulę obrażeń w skutek utonięć i/lub podtopień. W tak małej próbie wystarczy dosłownie kilka palcówek, znajdujących się w bliskim sąsiedztwie sporego akwenu wodnego, żeby drastycznie przeinaczyć kierunek linii trendu na wykresie.