Nikt nie powinien ufać szacunkom CDC
dotyczącym urazów z broni palnej.
[No one should trust the CDC’s nonfatal
firearm injury point estimates.]
– David Hemenway z HICRC (link)
W kwestii badań nt. broni nie można ufać CDC.
[We can’t trust the CDC with gun research.]
– Chris Cox z NRA (link)
Skąd wiadomo, że statystyki są niewiarygodne? Proste: bo nie zgadzają się z alternatywnymi źródłami. Wszystkimi alternatywnymi źródłami.
Dokładniej rzecz ujmując, chodzi o liczby opisujące rany postrzałowe, które nie zakończyły się śmiercią ofiary (nonfatal firearm injuries, dalej NFIs). Sondaże wiktymizacyjne oraz rejestry szpitalne dokumentują długotrwały kurs spadkowy wskaźników obrażeń z broni na przestrzeni ostatnich szesnastu lat (2001-2016), Standardowy Protokół Przestępstw FBI generuje płaską linię trendu (warto podkreślić, że indeksy UCR są obiektywnie gorsze jakościowo niż ankiety BJS), natomiast Centrum Zwalczania i Prewencji Chorób (skrót CDC) regularnie notuje stałą zwyżkę NFIs, z czego najbardziej spektakularny wzrost zaobserwowano między rokiem 2015 a 2016. Zgodnie z kalkulacjami rządowej agencji, doszło wtedy do aż 37-procentowego skoku liczby postrzeleń – 85 tysięcy zdarzeń eksplodowało nagle do 116 tysięcy:
[po kliknięciu wykresy otworzą się w pełnej rozdzielczości w oddzielnym oknie]
Wspomniane wyżej sprzeczności mają niebagatelne konsekwencje dla modelowania debaty publicznej. Począwszy od roku 2010 ukazało się przynajmniej kilkadziesiąt zrecenzowanych artykułów naukowych, cytujących oficjalne ustalenia CDC, których autorzy przy formułowaniu końcowych wniosków polegali na informacjach ściągniętych z internetowej bazy raportowania urazów WISQARS. Problem w tym, że wszelkie sugestie czy konkluzje odnośnie pożądanej polityki reglamentacyjnej, jakie zostały wysunięte na podstawie tak bardzo niemiarodajnych i przekłamanych szacunków, z konieczności będą zawierały ostre skrzywienie na niekorzyść broni palnej z powodu dyskwalifikujących wad oryginalnego źródła. Znakomitym przykładem silnego antybroniowego biasu jest praca Kalesan et al. o rzekomo skrywanej i ciągle rosnącej epidemii ran postrzałowych. W tej sytuacji trudno się dziwić, że dyskusje, w których motywem przewodnim jest tematyka cywilnego dostępu do broni, odbywają się w warunkach olbrzymiej społecznej niewiedzy co do faktycznej skali zjawiska.
Ślepota badaczy (co ciekawe, niemal zawsze są to te same nazwiska ekspertów z dziedziny zdrowia publicznego albo specjalistów-epidemiologów, drukujących masowo teksty na łamach literatury medycznej; ci najbardziej wylewni nawet nie próbują maskować czy też niuansować swojego ideologicznego radykalizmu) szokuje tym mocniej, że przecież na stronach CDC wisi jawne ostrzeżenie, aby ogólnokrajowe ekstrapolacje dot. NFIs traktować jako “niestabilne i potencjalnie nierzetelne” (unstable and potentially unreliable). Dalej pojawia się techniczne doprecyzowanie, że jednym z trzech kryteriów oceny wiarygodności danych jest rozmiar tzw. współczynnika zmienności (CV – coefficient of variation), będącego względną miarą rozkładu błędów skojarzonych z konkretną estymacją. Jeśli przekracza ona 30 proc., wówczas wyniki mogą wypaczać rzeczywistość. CV dla obrażeń postrzałowych za rok 2016 wyniósł 30.6 proc. i tylko w subkategorii utonięć/podtopień był nieznacznie wyższy.
Dlaczego współczynnik zmienności skorelowany z NFIs przejawia tak duże wahania?
W procesie gromadzenia statystyk postrzeleń przez biurokrację CDC kluczową rolę odgrywa sondaż, przeprowadzany cyklicznie na przekrojowej i nader skromnej grupie szpitali (zaledwie 66 jednostek, czyli symboliczne 2 proc. wszystkich placówek leczniczych w Ameryce), znany jako Narodowy System Elektronicznego Śledzenia Urazów (NEISS: National Electronic Injury Surveillance System). Jego najpoważniejszym ograniczeniem jest właśnie fantastycznie mała próba sondowanych instytucji, co w praktyce uniemożliwia poprawną kwantyfikację fenomenu NFIs w perspektywie długofalowej. Ponadto procedury selekcji szpitali do ankiety kompletnie ignorują regionalne zagęszczenie i zróżnicowanie występowania przestępczości (strzelanin). Przypadki ofensywnego (kryminalnego) użycia broni podlegają bowiem w USA geograficznej oraz personalnej hiperkoncentracji. Ekstremalnie nierówna dystrybucja NFIs sprawia więc, że część samplowanych klinik pęka w szwach, absorbując rocznie setki poranionych ofiar (np. w hrabstwie Cook), inne zaś przyjmują pacjentów sporadycznie. Te lokalne wariacje w nasileniu przemocy dobrze tłumaczą słaby poziom oszacowań CDC, wyrażony miernikiem CV [1].
Powtórzę się: jest rzeczą zdumiewającą, że oto upływały kolejne lata seryjnego produkowania sfuszerowanych elaboratów i uczonych analiz, a członkowie redakcji periodyków medycznych i oddelegowani przez nich recenzenci nigdy nie zadali sobie trudu zweryfikowania danych wsadowych, na których bazowały nadsyłane manuskrypty. Większych podejrzeń nie budziły u nich także rażące anomalie w stosunku do ekwiwalentnych źródeł zastępczych – najbardziej, wydawać by się mogło, oczywisty sygnał, że coś jest nie tak z metodyką CDC. Niech ten wpis posłuży zatem za szerszą refleksję nad pogłębiającym się kryzysem peer review.
- AKTUALIZACJA 11/03/2019
Zaskoczenia nie ma – zgodnie z prognozami, rok 2017 znowu przyniósł w statystykach CDC aberracyjny wzrost, tym razem rozdymając wolumen postrzeleń do ~134 tysięcy przypadków dla estymacji punktowej przy wskaźniku CV wynoszącym 39.1 proc.:
David Hemenway, ekspert od zdrowia publicznego z Uniwersytetu Harvarda (i przy okazji też człowiek, którego trudno posądzać o sympatyzowanie z NRA tudzież lobbowanie za szerokim dostępem do broni palnej dla cywilów), gdy zobaczył najnowsze oszacowania CDC, odparł ze zdumieniem: O mój Boże. Te liczby do niczego się nie nadają.
____________________
[1] Jak zademonstrowali Cook et al., dodanie raptem pięciu szpitali położonych niedaleko “ognisk przemocy” do zbioru instytucji kwerendowanych w ramach programu NEISS odpowiada za całą tendencję zwyżkową wskaźnika napaści. Po wprowadzeniu korekty – there was no increase in firearms violence (link). Ba, podmiana tylko jednego szpitala może wywołać dramatyczny skok w statystykach, zwiększając po ekstrapolacji liczbę postrzeleń nawet o 20 tysięcy przypadków (patrz → link). Analogiczny mechanizm, tj. wrażliwość na geograficzną lokalizację, zniekształca pulę obrażeń w skutek utonięć. W tak małej próbie wystarczy dosłownie kilka palcówek, znajdujących się w bliskim sąsiedztwie publicznego kąpieliska, żeby przeinaczyć kierunek linii trendu na wykresie.