Kawa na ławę: Hemenway nie jest badaczem obiektywnym. Przypomina raczej politycznego aktywistę z misją. Jego spontaniczne wypowiedzi sugerują wręcz, że prowadzi on świętą wojnę przeciwko samej idei posiadania broni do ochrony. W jednym z poprzednich wpisów wypunktowałem listę zwodniczych sztuczek, z których korzystał “harvardzki kuglarz” przy preparowaniu statystyk częstości występowania przypadków defensywnego użycia broni palnej (dalej DGU, skrótowiec od angielskiego zwrotu Defensive Gun Use). W tym wątku postaram się natomiast zademonstrować, w jaki sposób udało mu się sztucznie zaniżyć wskaźniki jej skuteczności.
W kryminologii panuje zgoda co do tego, że po podjęciu decyzji o wyciągnięciu broni ofiary napaści prawie nigdy nie doznają zewnętrznych obrażeń na skutek takich interwencji (zobacz tu i tu). Słowem, DGU niemal zawsze zapobiega uszkodzeniom ciała (zwłaszcza poważnym urazom) tudzież kradzieży mienia. Wyjątkiem od tej reguły jest tekst Hemenwaya z 2015 roku (napisany przy współpracy z Sarą Solnick, ekonomistką z Uniwersytetu Vermont), w którym uzyskano (patrz prawa kolumna w tabeli 3c) dodatnią (aczkolwiek statystycznie nieistotną) korelację między DGU a doświadczaniem krzywdy fizycznej u respondentów Narodowego Sondażu Wiktymizacyjnego (NCVS) po zainicjowaniu przez nich działań obronnych. Krótko mówiąc, H-S odkryli, że ofiary przemocy, sięgające po broń palną w następstwie ataku, były w większym stopniu narażone na ryzyko zranienia niż reszta badanych osób.
Artykuł H-S jest pod wieloma względami uderzająco podobny do najbardziej wyczerpującej (w sensie rezerwuaru zgromadzonych danych i mnogości wplecionych kontekstów) analizy zjawiska DGU, jaką kiedykolwiek przeprowadzono, tzn. do publikacji Tarka & Klecka. Obie prace bazują na identycznych źródłach, definiują zmienną endogeniczną jako “post-SP injury” (obrażenia nabyte chronologicznie po wszczęciu czynności obronnych – dalej będę posługiwał się akronimem PSPI), ograniczają się tylko do przestępstw, w których potwierdzono bezpośredni kontakt ofiary z agresorem (przemoc, włamania i kradzieże uliczne), oraz podpierają się w estymacjach modelem regresji wielorakiej. Biorąc pod uwagę przytoczone analogie, czemu rezultaty otrzymane przez duet H-S różnią się od konkluzji T-K?
- Arbitralne zawężenie horyzontu czasowego
Przypomnijmy: T-K dostali bardzo duży negatywny współczynnik dla zmiennych skojarzonych z DGU (ofiary odpierające napaść bronią palną i ofiary grożące użyciem broni palnej, zobacz tabele 5 i 6), ale równocześnie stanowczo podkreślili, że nawet niezwykle silna ujemna korelacja nie mogła przekroczyć progu statystycznej istotności z racji skromnej liczebności próby, czytaj: z powodu tego, iż relatywnie niewielka grupa indagowanych lokatorów zdecydowała się ujawnić przed rządowymi ankieterami fakt defensywnego wyciągnięcia broni. Ponieważ całkowity wolumen zaraportowanych przypadków obrony własnej w ich próbce cechował się niską wariancją (praktycznie w ogóle nie odbiegał od średniej), to błąd standardowy poszczególnych współczynników DGU był tak wielki, że dokonane pomiary, choćby nie wiadomo, jak wysoką negatywną wartość przyjęły, zawsze wychodziły im niestabilne i niedokładne. H-S tylko spotęgowali ten problem poprzez niczym nieuzasadnione odrzucenie danych z aż piętnastu sondaży. T-K analizowali okres 1992-2001, zawierający łącznie pulę 247 incydentów DGU, podczas gdy Hemenway zadowolił się interwałem pięcioletnim (2007-2011) z pulą zaledwie 127 incydentów.
Ta zupełnie niezrozumiała i niepotrzebna redukcja DGU o potencjalnie 75 proc. [1] tłumaczy poniekąd, dlaczego wyniki H-S nie zdołały przejść testu p-value, nie odpowiada jednak na pytanie, skąd wzięło się u nich nagle pozytywne skorelowanie broni palnej z PSPI.
- Pozornie trywialna manipulacja centralną definicją
Częściowo ponosi za to winę ekscentryczne zdefiniowanie przez autorów PSPI – o czym wspominają ukradkiem w pojedynczym zdaniu komentarza (link) i już nigdy więcej do tej kwestii nie wracają. Otóż H-S zaklasyfikowali do podzbioru ofiar doznających urazów po dobyciu broni nawet te sytuacje, kiedy respondenci wyraźnie zaznaczyli w ankiecie, że atak ze strony przeciwnika skutkujący kontuzją nastąpił w tym samym momencie, w którym oni chwycili za strzelbę lub pistolet. W konsekwencji takiego przetasowania nieokreślona liczba DGU, które H-S potraktowali frywolnie w szeregu czasowym jako “post-SP injury”, nie miała tak naprawdę nic wspólnego z uszkodzeniami ciała w fazie po wyprowadzeniu kontrofensywy przez rannego. Oczywiście musiało się to później w jakimś tam stopniu przełożyć na nienaturalne rozdęcie rzeczonej subkategorii i wykreować statystyczną iluzję, że związek PSPI z DGU zachodzi częściej niż faktycznie (wspierając spekulacje, iż aktywna postawa defensywna wyzwala złość u bandytów). W pracy Tarka i Klecka raptem 2.4 proc. uzbrojonych osób ucierpiało po użyciu broni (raz jeszcze podkreślam: wartość ta odzwierciedlała jedynie przestępstwa, co do których stwierdzono PSPI). U Hemenwaya i Solnick odsetek ten podskoczył z kolei do 4.1 proc. – w praktyce ciągle niewielki ułamek, ale w porównaniu do szacunków T-K był to proporcjonalnie wzrost PSPI o około 70 proc., niesłusznie obciążający konto DGU.
Jakkolwiek kontrowersyjne z etycznego punktu widzenia, bałamutne szufladkowanie obrażeń nie jest wcale największym grzechem popełnionym przez harvardzkiego profesora i jego koleżankę.
- Tendencyjne eliminowanie zmiennych zakłócających
T-K zdołali wykazać, że w odróżnieniu od pozostałych respondentów ofiary przemocy, posiłkujące się bronią palną do odpierania ataków, już na starcie uwikłane były w okoliczności, które maksymalizowały ryzyko zranienia z przyczyn niezależnych od ich DGU. Przykładowo: w stosunku do osób sięgających po rozwiązania alternatywne osoby grożące bronią swoim prześladowcom miały o 75 proc. większą szansę konfrontować się z młodszymi napastnikami, o 80 proc. większą szansę stawiać czoła kilku agresorom jednocześnie, o 200 proc. większą szansę napotykać przeciwników noszących klamki i o 179 proc. większą szansę zderzać się z adwersarzami uzbrojonymi w nóż albo inne ostre przedmioty. W podobnie dramatycznym czy wręcz beznadziejnym położeniu znajdowali się uczestnicy federalnej ankiety, którzy zamiast straszyć/blefować, posunęli się do oddania strzałów. I teraz jeśli ktoś nie włączy do modelu tych newralgicznych, eskalujących zagrożenie kontekstów, wówczas błędnie zinterpretuje efekty oddziaływania pominiętych zmiennych jako bezpośrednie skutki DGU, przysłaniając bądź też całkowicie negując wszelkie korzyści płynące z posiadania broni palnej.
Hemenway i Solnick od początku dysponowali kompletem informacji niezbędnych do zidentyfikowania w artykule T-K określonych czynników zakłócających (confounding variables, dalej CVs), co do których potwierdzono, że nie tworzyły relacji pozornych, tj. były sprzężone na istotnym statystycznie poziomie ze zmienną endogeniczną (PSPI) oraz logicznie skojarzone z predyktorem (DGU). Oto ich rejestr:
- przewaga wieku napastnika;
- przewaga płci;
- przewaga liczebna;
- napastnik atakujący bronią palną;
- napastnik wymachujący nożem;
- ofiara ranna jeszcze przed zainicjowaniem obrony;
- starcie w mieszkaniu albo w obrębie domu ofiary;
Spośród powyższych siedmiu zewnętrznych faktorów H-S uwzględnili w swoim modelu PSPI tylko jeden – miejsce zamieszkania (At home, patrz tabela 3c). Resztę podejrzanie zbagatelizowali, nie oferując przy tym nawet lakonicznego wyjaśnienia, czemu to zrobili, pomimo wyrażonych explicite przez T-K wskazówek, że należy je zaprząc do regresji, inaczej uzyskane skorelowanie może wyjść fałszywie dodatnie. Warto tutaj odnotować, że zaniechanie skontrolowania przez badaczy aż sześciu CVs przekłamało im współczynnik DGU, ponieważ skrzywienie korelacji jest zawsze wypadkową 1) znaku wpływu konkretnej zmiennej na obrażenia i 2) znaku powiązania tejże zmiennej z defensywnym użyciem broni. Najprostszym sposobem na ustalenie kierunku ewentualnego biasu jest natomiast banalne przemnożenie przez siebie wybranych znaków zgodnie z zasadą, że dwa plusy i dwa minusy dają plus, zaś znaki przeciwne dają minus.
Weźmy przewagę liczebną antagonistów: zwiększa ona ryzyko, że respondent doświadczy poważnego uszczerbku na zdrowiu (+), z drugiej strony ofiary wyciągające broń w celu ochrony są także częściej poniewierane i atakowane grupowo przez wielu napastników (+). Stąd też brak korekty modelu o tę zmienną zakłócającą nieuchronnie wykoślawia oszacowania w górę. Przypadkiem odwrotnym będzie dominacja płciowa przeciwnika: w konfrontacji z młodym mężczyzną z przedziału wiekowego 15-29 lat rosną szanse, że przeciętna kobieta dozna urazu (+), jednakże broń palna potrafi niwelować te różnice z pożytkiem dla osób fizycznie słabszych (-). Nieskorygowanie DGU o kontekst płci odkształca zatem szacunki w dół. Podpięty niżej schemat odsłania wszystkie możliwe warianty skrzywienia powiązań (oryginalna tablica dzięki uprzejmości Tarka i Klecka):
(po kliknięciu grafika otworzy się w pełnej rozdzielczości w oddzielnym oknie)
Jak widać, w zestawieniu siedmiu zweryfikowanych CVs sześć z nich wypacza współczynnik dla DGU w kierunku dodatnim, sprawiając, że używanie broni w defensywie wygląda na bardziej niebezpieczne aniżeli realnie w rzeczywistości. Nie jestem w stanie czytać w myślach Davida Hemenwaya i nie mogę powiedzieć ze stuprocentową pewnością, że wiem, jakie naprawdę przyświecały mu intencje, kiedy podejmował się selekcji krytycznych zmiennych. Ale wnioskując po historii jego poprzednich dokonań w przedmiotowym temacie, spekuluję, że na etapie torturowania danych odsiewał on metodycznie kolejne czynniki zakłócające dopóty, dopóki nie otrzymał pożądanej miary zależności między bronią w rękach cywilów a skutkami ich działań defensywnych, tj. pozytywnego wskaźnika korelacji na linii DGU-PSPI.
____________________
[1] 247 DGU z lat 1992-2001 (oryginalna próba T-K) + pominięte lata 2002-2006 + próba H-S z lat 2007-2011. W sumie daje to 501 interwencji w defensywie z udziałem broni palnej (przy założeniu, że pięcioletni okres tajemniczo zignorowany przez H-S także obejmował 127 DGU).