Jakościowy przegląd literatury o broni, czyli oddzielanie ziarna od plew


John Ioannidis, epidemiolog ze Szkoły Medycznej Uniwersytetu Stanforda, ostrożnie szacuje, iż blisko połowa wszystkich publikacji z zakresu medycyny i psychologii zawiera przesadne albo fałszywe wnioski [1]. Twierdzi ponadto, że w innych dyscyplinach proporcje te mogą być podobne lub większe [2]. I już nawet nie chodzi o jakieś prywatne uprzedzenia żywione przez konkretnych akademików w stosunku do określonej idei czy też koncepcji, lecz o notoryczne zaprzęganie do eksperymentów wybrakowanej metodyki. W takiej sytuacji relatywnie prostym i efektywnym sposobem na empiryczny przegląd dorobku naukowego może być np. synteza rezultatów pochodzących z niezależnych badań. Prawidłowe procedury weryfikacyjne są w stanie rozpoznać wadliwe artykuły nagłaśniane z rozpędu zwłaszcza przez media.

Na tę chwilę twórcą największej makroskalowej metaanalizy oryginalnych, anglojęzycznych źródeł z dziedziny wpływu broni na przestępczość (łącznie 41 tytułów, najstarszy z 1932 roku) jest Gary Kleck, prof. kryminologii z Uniwersytetu Stanowego Florydy. Zawartość wykonanej przez niego kwerendy (która – zgodnie z prognozami Ioannidisa – dała niesamowicie ponury obraz stanu wiedzy w przedmiotowym temacie) ukazała się drukiem kilka lat temu na łamach dwumiesięcznika “Journal of Criminal Justice” ( link). Deklarowaną intencją eksperymentu było w pierwszej kolejności zidentyfikowanie prac solidnych technicznie w oparciu o rozpiskę czytelnych (obiektywnych) kryteriów, następnie zaś porównanie ich konkluzji z rejestrem prac słabszych bądź też bardziej archaicznych.

Do tych kryteriów należą:

  • Jak najdokładniejsze (czytaj – poprawne) oszacowanie wskaźnika posiadania broni palnej wśród mieszkańców badanego obszaru geograficznego [3].
  • Uzupełnienie pomiarów o możliwie najszersze spektrum czynników kontrolnych (minimalny wymóg – pięć) i udowodnienie, że mają one statystycznie istotny związek ze zmienną objaśnianą (przestępczość) oraz skojarzone są z predyktorem (broń) w celu wykluczenia relacji pozornych.
  • Ustalenie porządku przyczynowego lub rozwikłanie dylematu równoczesności, w sensie: stopień nasycenia populacji bronią palną przekłada się na wzrost przemocy czy przeciwnie – zagrożenie przestępczością już występującą na danym terytorium skłania ludzi do kupowania broni? [4]

Nowatorstwo w podejściu Klecka do zagadnienia polega więc na tym, że nie tyle zestawił on obok siebie poszczególne dysertacje i uśrednił ich wyniki (co robiono wcześniej wielokrotnie), lecz przede wszystkim dokonał syntetycznej ewaluacji zgromadzonego materiału pod kątem jego jakości (rzetelności) metodologicznej. W efekcie takiego zabiegu ostały się ledwo trzy zrecenzowane pozycje, które można z czystym sumieniem zaklasyfikować jako spełniające podstawowe wytyczne pełnoprawnego wywodu naukowego (w tabeli 1 oznaczone są kolorem czerwonym – dwa teksty Kovandzica et al. i jeden duetu Kleck-Patterson):

[po kliknięciu tabelka otworzy się w pełnej rozdzielczości w oddzielnym oknie]

Pula elaboratów najbardziej prymitywnych w konstrukcji, ze skromnym tudzież zgoła zerowym wachlarzem zmiennych kontrolnych [5], generowała zazwyczaj silnie dodatni związek między powszechnością broni palnej w rękach obywateli a wskaźnikami przestępczości. Dla kontrastu publikacje rygorystyczne w selekcji zmiennych oraz posługujące się adekwatnymi narzędziami do estymowania rozmiarów cywilnego uzbrojenia nie znajdowały żadnej statystycznej korelacji między bronią a poziomem przemocy (dowody zebrane przez zespół Tomislava Kovandzica z UT w Dallas wykazały nawet istnienie negatywnej korelacji o charakterze przyczynowym). Warto w tym miejscu odnotować, że w badaniach, w których ani jeden z postulowanych przez Klecka warunków jakościowych nie został dotrzymany, hipoteza o pozytywnej zależności na linii broń-zabójstwa była potwierdzana aż w 65 proc. przypadków:

Komentarz podsumowujący:

Ogólny wzorzec jest bardzo klarowny – im bardziej metodologicznie kompetentne studium, tym mniejsza szansa na wysnucie konkluzji, że więcej broni palnej w posiadaniu cywilów oznacza więcej przestępczości.

[The overall pattern is very clear – the more methodologically adequate research is, the less likely it is to support the more guns-more crime hypothesis.]

Z kronikarskiego obowiązku przypominam, że pionierskiego wysiłku uporządkowania wiedzy z zakresu użycia broni palnej na szerszym polu nauk społecznych podjęli się też na przełomie lat 70./80. XX stulecia dwaj socjologowie z Uniwersytetu Massachusetts-Amherst, James D. Wright i Peter H. Rossi. W toku paroletnich dociekań zostali zmuszeni do skonfrontowania się z własnymi uprzedzeniami, zaś ich finalny raport wzbudził niemałą konsternację w szeregach waszyngtońskich organizacji antybroniowych (→ link).

____________________

[1] O literaturze medycznej: Much published medical research is not reliable or is of uncertain reliability, offers no benefit to patients or is not useful to decision-makers. (…) In one survey  of 60,352 studies, a meager 7% passed criteria of high quality methods and clinical relevancy and fewer than 5% passed a validity screening for an evidence-based journal. ( link)

[2] O literaturze ekonomicznej: We survey 159 empirical economics literatures that draw upon 64,076 estimates of economic parameters reported in more than 6,700 empirical studies. Half of the research areas have nearly 90% of their results under-powered. The median statistical power is 18%, or less. A simple weighted average of those reported results that are adequately powered reveals that nearly 80% of the reported effects in these empirical economics literatures are exaggerated; typically, by a factor of two and with one-third inflated by a factor of four or more. ( link)

[3] Teoretycznie powinien to być łatwy do odhaczenia punkt, lecz w praktyce większość autorów nagminnie stosuje niewłaściwe metody pośrednie przy mierzeniu poziomu uzbrojenia i formułowane przez nich wnioski obciążone są krytyczną usterką link.

[4] Niedawno na fali medialnej histerii wywołanej masakrą dzieciaków w podstawówce Sandy Hook “New York Times” wypuścił felieton, stawiający znak równości między bronią palną a zabijaniem (“More Guns = More Killing” → link). Autorka, Elisabeth Rosenthal, streściła w nim swoje wrażenia z podróży po Iberoameryce:

Ostatnio odwiedziłam kilka krajów Ameryki Łacińskiej, w których czymś najzupełniej normalnym jest widok uzbrojonych ochroniarzy pilnujących biurowców, sklepów, bankomatów, restauracji i stacji benzynowych. Mimo to broń wcale nie sprawiła, że kraje te są bezpieczniejsze.

W roku 1997 ekonomista, Lawrence Southwick, zapytał: “Do guns cause crime? Does crime cause guns?” Chodzi o to, że kauzalna zależność, jaką kreśli reporterka nowojorskiego “Timesa”, jest dokładnie przeciwna: tereny, na których koncentruje się przestępczość, są z reguły bardziej zmilitaryzowane od regionów z niskimi wskaźnikami przemocy i broń palna nie przemienia ich magicznie w wylęgarnie patologii. Dzieje się raczej odwrotnie: wysoka przestępczość, będąca integralnym/endogenicznym składnikiem takich obszarów, pociąga za sobą potrzebę dozbrajania się, jak również inwestowania w technologie antywłamaniowe, począwszy od zakładania kratownic w oknach, poprzez instalowanie kamer, a na montowaniu wyrafinowanych systemów alarmowych kończąc. Nikt normalny nie powie chyba, że wzmacnianie zamków w drzwiach eskaluje bandytyzm? Krótko mówiąc, cywile zasiedlający przestępcze enklawy nabywają broń palną do ochrony, ponieważ dzielnice, które zamieszkują, pogrążane są w bezprawiu, co automatycznie przesuwa ocenę ryzyka z broni na te konkretne strefy.

[5] Problem pomijania zmiennych (omitted-variable bias) to częsty błąd w artykułach przeciwników broni. Ostatni głośny przypadek → link.