I februar ble en studie publisert i Lancet Global Health av Spagat et. al. som skulle vise at dødstallene publisert av Gazas helsedepartement betydelig underestimerte de sanne dødstallene fra krigen i Gaza. Studien fikk betydelig oppmerksomhet også i norsk media, blant annet i NRK og VG. Men en nøye undersøkelse av dataene som studien baserer seg på viser betydelige problemer, og deler av datasettet er åpenbart uriktige. Når de dårlige dataene ekskluderes fra analysen reduseres studiens estimerte dødstall betydelig og er ikke lenger signifikant høyere enn helsedepartementets tall.
"Å tilfeldig plukke 90 husholdninger på rad uten barn er mer usannsynlig enn å vinne førstepremien i Lotto 9 uker på rad."
Jeg har diskutert disse problemene med studiens hovedforfatter, professor Michael Spagat, over epost, men har ikke fått tilstrekkelige svar på problemene som presenteres i denne artikkelen. Jeg vil refererer til Spagats tilsvar når dette er relevant.
Om studien
Studien baserer seg på en spørreundersøkelse i husholdninger i Gaza, gjennomført ved årsskiftet 2024-25. Tilgjengelige områder i Gaza ble delt opp i sampling-enheter, som kunne være steder hvor folk fortsatt bodde i boligene sine («counting areas»), tilfluktsleirer i eksisterende bygg («built-up shelters») og teltleire.
Totalt 200 sampling-enheter («Primary Sampling Unit», eller PSU) ble utvalgt til intervjuer. Ti husholdninger ble intervjuet i hver PSU, altså totalt 2000 husholdninger. Intervjuene ble gjennomført av ti grupper på to personer, som intervjuet ca. 20 sampling-enheter (ca. 200 husholdninger) hver.
Husholdningene ble spurt om å oppgi alle som bodde i husholdningen før krigen, og skjebnen til hvert husholdningsmedlem, bl.a. om vedkommende hadde dødd i krigen. Studien estimerte fra dette antall døde i krigen totalt.
I prinsippet er dette en rimelig, dog usikker, metode for å estimere antallet døde i krigen. Men det krever at de intervjuede husholdningene er tilfeldig utplukket. Dersom husholdninger med høyt antall døde oftere blir utplukket, vil det resulterende estimatet for antall døde bli for høyt.
Problemet med Gaza3 og Gaza9
For 8 av de 10 gruppene som gjennomførte intervjuene stemmer fordeling av alder og antall i de intervjuede husholdningene godt overens med Gaza som helhet. For to av gruppene, kalt Gaza3 og Gaza9, stemmer det overhodet ikke. Disse to gruppene har konsekvent intervjuet husholdninger som er langt mindre og med langt færre barn enn hva som er vanlig for Gazas befolkning, som vist i Figur 1.
"I dataene innsamlet av Gaza3 er det 5 husholdninger hvor det er registrert en fødsel der samtlige kvinner i husholdningen er over 45 år. I en av husholdningene er yngste kvinne 61 år gammel. I tillegg er det tre husholdninger med registrerte fødsler der eneste registrerte husholdningsmedlem er en mann."
Husholdningene intervjuet av disse to gruppene hadde også langt færre barn før krigen enn hva som var vanlig i Gaza (Figur 2). Mer enn 50% av Gazas husholdninger hadde minst tre barn, men disse utgjør kun 5% av husholdningene intervjuet av Gaza3 og Gaza9. Rundt 20% av Gazas husholdninger hadde minst fem barn, men nøyaktig 0 av 210 husholdninger intervjuet av Gaza9 hadde det.
Disse to gruppene registrerte også langt flere voldelige dødsfall i krigen enn de andre gruppene – særlig Gaza9, som alene registrerte mer enn 25% av alle registrerte dødsfall i studien.
Når man ser på hver PSU blir forskjellene enda større, særlig når det gjelder antall barn før krigen i de intervjuede husholdningene. 19 av de 20 PSU-ene med færrest andel barn ble samplet av enten Gaza3 eller Gaza9. Nesten halvparten (9 av 21) av PSU-ene samplet av Gaza3 hadde ikke et eneste barn i noen av husholdningene.
PSU-ene med få barn hadde ofte en svært høy andel voldelige dødsfall. Av de 12 PSU-ene med en andel voldelige dødsfall på over 15%, hadde 11 av dem færre enn 30% barn, se Figur 3.
Et dypdykk i dataene viser større problemer.
GPS-data: Gaza9 deler seg og intervjuer forskjellige lokasjoner samtidig
GPS-lokasjon for alle studiens intervjuer ble publisert sammen med dataene, og man ser raskt noe rart med lokasjonene til Gaza9: Mens alle andre grupper holder sammen og intervjuer én lokasjon av gangen, så ser det ut til at Gaza9 flere av dagene deler seg opp og intervjuer svært forskjellige lokasjoner samtidig. På en av dagene ser det til og med ut som de intervjuer tre lokasjoner samtidig (Figur 4).
Da jeg spurte professor Spagat, studiens hovedforfatter, om dette, svarte han at det var «ikke overraskende» at en gruppe ville intervjue to lokasjoner samtidig, da det var «intet nedskrevet forbud» mot at gruppemedlemmene skulle dele seg opp.
Dette er rart, for når PCPSR (den palestinske gallup-organisasjonen som gjennomførte intervjuene) beskriver sin vanlige gallup-metodikk skriver de spesifikt at hvert intervju gjennomføres av to personer (enten to kvinner eller en kvinne og en mann). Dette er både et «betydelig lag av kvalitetskontroll» og for å unngå sosial tilbakeholdenhet som kan «forhindre en mann/kvinne fra å entre et hjem som ikke har menn/kvinner ved intervju-tidspunktet», og selv om det «dobler feltarbeidets kostnad» er det fortsatt verdt å gjøre for betydelig å redusere antall husholdninger som ikke vil la seg intervjue.
Med tanke på hvor viktig PCPSR vanligvis anser det å ha to personer som gjennomfører intervjuet er det rart at de skulle avstå fra å gjøre dette for denne studien. Enda rarere er det at kun én av gruppene skulle avstå fra dette, og at nettopp denne gruppen har resultater som avviker kraftig fra alle de andre gruppene.
Det forklarer heller ikke hvordan en gruppe på to personer kan intervjue tre lokasjoner samtidig.
GPS-data: Gaza3 sampler de samme lokasjonene igjen og igjen
GPS-dataene for Gaza3 viser noe annet: At de enten ofte sampler de samme lokasjonene mange ganger og tilskriver intervjuene svært forskjellige PSU-er, eller at de sampler svært forskjellige lokasjoner og tilskriver disse samme PSU.
Figur 5 viser en liten del av en teltleir som Gaza3 tilsynelatende har samplet 52 ganger i løpet av 5 dager og tilskrevet 8 forskjellige PSU-er.
Figur 6 viser et nabolag som Gaza3 samplet 41 ganger på to dager og tilskrev 5 forskjellige PSU-er.
Figur 7 viser en lokasjon nær kysten som Gaza3 samplet 31 ganger og tilskrev 4 PSU-er inkludert en tilfluktsleir ved et universitet flere kilometer unna.
Disse tre lokasjonene utgjør alene mer enn halvparten av intervjuene utført av Gaza3.
Figur 8 viser et tilfelle av det motsatte, altså mange forskjellige lokasjoner tilskrevet samme PSU. Her skulle Gaza3 intervjue nær en skole sørvest for Deir al-Balah. De starter å intervjue nær skolen, men beveger seg nordover flere kilometer og krysser Deir al-Balah og ender opp med å intervjue ved samme lokasjon som i Figur 5, mens de fortsatt tilskriver intervjuene den opprinnelige skolen.
Figur 9 viser enda et eksempel. Her skal de intervjue i Al Buraj-leiren. De starter nær leiren, men flytter seg til en annen leir og intervjuer der, før de drar sørover og intervjuer i lokasjonen vist i Figur 6 – mens de hele tiden tilskriver intervjuene leiren der de startet.
Umulige husholdninger i Gaza3-dataene
I tillegg til å oppgi husholdningsmedlemmer før krigen skulle husholdningene også oppgi hvorvidt noen barn hadde blitt født av noen av de oppgitte husholdningsmedlemmene etter krigens start. Husholdningene skulle spesifikt oppgi hvilket av de registrerte medlemmene som var barnets mor.
I dataene innsamlet av Gaza3 er det 5 husholdninger hvor det er registrert en fødsel der samtlige kvinner i husholdningen er over 45 år. I en av husholdningene er yngste kvinne 61 år gammel.
I tillegg er det tre husholdninger med registrerte fødsler der eneste registrerte husholdningsmedlem er en mann.
På epost innrømmer Professor Spagat at disse husholdningene er umulige, men skriver at disse umulige dataene er «begrenset til et lite antall registreringer og har ingen påvirkning på våre estimater».
Dette tilsvaret bommer.
Det er svært usannsynlig at en gitt feil i dataene vil forårsake at en husholdning blir umulig. Med mindre feilen tilfeldigvis skaper en husholdning hvor det både er en fødsel (bare 17% av husholdningene i studien har en fødsel) og mangler kvinner i fruktbar alder (bare 8% av husholdningene har ingen kvinner i fruktbar alder), så vil en feilaktig registrert husholdning fortsatt være en mulig husholdning. Dersom det er 8 husholdninger i datasettet til Gaza3 hvor feilene tilfeldigvis skapte en umulig husholdning, vil altså det totale antall feilaktige husholdninger sannsynligvis være langt høyere.
Det var heller ikke en eneste umulig husholdning i dataene til noen av de andre gruppene. At samtlige umulige husholdninger ble registrert av samme gruppe antyder et underliggende problem med hvordan Gaza3 samlet data.
Og det skal bli langt verre.
Nøyaktig 0 barn i Gaza3s data i de første 90 husholdningene
Tidligere i artikkelen ble det nevnt at det før krigen ikke var et eneste barn i noen husholdning i 9 av de 21 PSU-ene samplet av Gaza3. Dette i seg selv er svært rart – det var barn i hver eneste PSU samplet av alle øvrige grupper.
Men det viser seg at disse 9 barnløse PSU-ene faktisk er alle PSUer som Gaza3 samplet i løpet av studiens tre første dager. I alle PSU-ene de samplet de øvrige dagene var det minst ett barn (dog fortsatt uvanlig få).
Med andre ord intervjuet Gaza3 totalt 90 husholdninger i 9 forskjellige PSUer i løpet av studiens første tre dager – og registrerte ikke ett eneste barn i én eneste husholdning.
Dette er overhodet ikke plausibelt. Bare 20% av Gazas husholdninger mangler barn. Å tilfeldig plukke 90 husholdninger på rad uten barn er mer usannsynlig enn å vinne førstepremien i Lotto 9 uker på rad.
Dette er ubestridelig bevis på at Gaza3s data er, i hvert fall i stor grad og muligens fullstendig, feilaktig.
Hvorfor var ikke dette fanget opp av studiens kvalitetssikring?
De åpenbart feilaktige dataene innsamlet av Gaza3 er et problem for hele studien, fordi forfatterne påstår at datainnsamlingen gikk gjennom flere lag av kvalitetssikring. De påstår at:
- Mer enn 20% av intervjuene ble gjennomført under oppsyn, inkludert mer enn 20% av de åpenbart feilaktige Gaza3-dataene.
- GPS-data ble kontinuerlig overvåket for å sikre at gruppene gjennomførte intervjuer på de riktige lokasjonene.
- Tabeller over bl.a. gjennomsnittlig husholdningsstørrelse og antall barn for hver gruppe ble produsert og sjekket daglig.
- De resulterende dataene ble grundig sjekket, bl.a. at GPS-data samsvarte med tilsiktede lokasjoner, at dataene var logisk sammenhengende, og at husholdningenes størrelse og alderssammensetning samsvarte med Gazas befolkning.
Oppsyn av intervjuene oppdaget altså ikke at fødsler ble tilskrevet 61 år gamle kvinner. Overvåkning av GPS-data la ikke merke til at Gaza3 igjen og igjen vendte tilbake til de samme tre lokasjonene. Sjekking av tabeller for antall barn for hver gruppe oppdaget ikke at Gaza3 ikke fant ett eneste barn i løpet av 3 dager. Og den endelige kvalitetssikringen av dataene oppdaget heller ikke noe av dette.
At ingen av disse metodene for kvalitetssikring greide å oppdage åpenbart feilaktige data virker absurd, og man må lure på om denne kvalitetssikringen i det hele tatt ble utført slik det er beskrevet.
At kvalitetssikringen har sviktet fullstendig gjør hele studien tvilsom. Når de feilaktige Gaza3-dataene ikke ble oppdaget er det rimelig å anta at feilaktige data hos de øvrige gruppene heller ikke ville blitt oppdaget.
Gaza9 sampler konsekvent svært annerledes husholdninger enn grupper i nærheten
Det er fem lokasjoner der Gaza9 har intervjuet husholdninger i nærheten av der andre grupper har utført intervjuer. Figurer 11-15 viser gjennomsnittlig antall personer, antall barn og antall voldelige dødsfall i hver husholdning for hver PSU ved disse lokasjonene.
Forskjellen i antall voldelige dødsfall er betydelig: I tre av lokasjonene registrerer Gaza9 langt flere voldelige dødsfall enn andre grupper i nærheten, for de to siste registrerer både Gaza9 og de øvrige et relativt lite antall.
Men forskjellen i husholdningsstørrelse og antall barn er dramatisk. For hver eneste lokasjon har hver eneste PSU samplet av Gaza9 lavere gjennomsnittlig husholdningsstørrelse og antall barn enn hver eneste PSU i nærheten samplet av andre grupper.
Gaza9 registrerer svært få husholdninger med flere enn to barn, selv i områder hvor dette er normen. I figur 15 har flesteparten av husholdningene intervjuet av andre grupper like i nærheten minst tre barn, mens ikke én eneste av de 20 husholdningene intervjuet av Gaza9 har det.
Disse forskjellene er konsistente for alle fem lokasjonene og totalt 39 forskjellige PSUer intervjuet av 7 forskjellige grupper. Dette kan ikke plausibelt forklares av tilfeldige variasjoner, og antyder ikke-tilfeldig utvelgelse av husstander eller systematiske feil.
Det blir desto verre når vi undersøker de intervjuede husholdningene nærmere.
Husholdningene registrert av Gaza9 er ekstremt forskjellig fra Gazas befolkning
Når man sammenlikner husholdningene registrert av Gaza9 med husholdningene registrert av andre grupper (unntatt Gaza3) og husholdningene i Gazas befolkning for øvrig finner man ekstreme forskjeller.
Færre enn 6% av Gaza9s husholdninger hadde minst 3 barn før krigen, selv om disse utgjør 51% av Gazas husholdninger og 39% av husholdninger intervjuet av de øvrige gruppene. Husholdninger med minst 5 barn er relativt vanlige i Gaza (20%) og i de som er samplet av de øvrige gruppene (9%), men ikke én eneste av 210 husholdninger intervjuet av Gaza9 hadde fem eller flere barn.
I Gazas befolkning og husholdninger intervjuet av de andre gruppene er det relativt få husholdninger som består av to voksne (4-5%), og mange av disse (30-40%) er eldre par. Men Gaza9 intervjuet hele 41 (20%) husholdninger bestående av to voksne – likevel var det ikke ett eneste eldre par blant disse 41.
Husholdninger med to voksne og ett eldre (6+ år) barn er svært sjeldne både i Gazas befolkning (0.9%) og i husholdningene intervjuet av øvrige grupper (0.5%), men svært vanlige i Gaza9s husholdninger (14.3%), altså en andel 15-30 ganger høyere enn hva man ville forvente.
Og enda blir det verre. Hvis vi ser på husholdninger med to voksne 28-39 år og en person 7-23 år er slike husholdninger omtrent ikke-eksisterende i Gaza (0.00 – 0.06%). Men av dem som ble intervjuet av Gaza9 utgjorde slike husholdninger hele 17 av 210 (8.1%).
Dette er ikke realistisk. For å finne 17 av disse ekstremt sjeldne husholdningene vil man forvente å måtte intervjue titusenvis av husholdninger. Å finne 17 i et utvalg på 210 skal ikke kunne skje.
Hyppigheten av husholdninger i Gaza9s data som enten er svært sjeldne eller praktisk talt ikke-eksisterende i Gazas befolkning antyder sterkt at dataene er feilaktige.
Svært skjev andel gutter og jenter
Andelen gutter og jenter i husholdningene før krigen er svært skjev både for Gaza3 (62% jenter) og Gaza9 (61% gutter) – langt utenfor hva man vil forvente fra tilfeldigheter (se Figur 16).
Resultatet er enda mer oppsiktsvekkende for yngre barn, for selv om man skulle sample ikke-representative husholdninger vil man fortsatt forvente at det bør være et omtrent likt antall gutter og jenter blant de yngre barna. Men for barn under 10 år registrerer Gaza9 nær dobbelt så mange gutter som jenter, langt utenfor hva man vil forvente av tilfeldigheter (Figur 17).
Dette er ytterligere bevis for at husholdningene intervjuet av Gaza9 enten ikke er tilfeldig utvalgt eller at dataene er feilaktige.
Gaza9s høye antall dødsfall kan ikke forklares av enkelte PSU-er
Studien påstår at Gaza9s høye andel voldelige dødsfall ble undersøkt, og at man fant ut at 3 av PSU-ene var i leire som ga prioritet til familier som hadde mistet medlemmer i krigen, og at ytterligere 5 PSU-er var i områder hvor det hadde vært kraftige angrep. Disse 8 PSU-ene skulle angivelig være forklaringen for den høye andelen dødsfall hos Gaza9.
Denne forklaringen fungerer ikke.
For det første antyder forklaringen at av 21 PSU-er samplet av Gaza9 bør det være 13 normale og 8 unormale. Men dette er ikke tilfelle. Det finnes ingen normale PSU-er i dataene til Gaza9.
Som vist i Figur 18 har hver eneste PSU samplet av Gaza9 uvanlig få husholdningsmedlemmer og få antall barn i snitt, langt under medianen til PSU-ene samplet av øvrige grupper (utenom Gaza3).
Videre er raten av voldelige dødsfall høy for nær alle disse 21 PSU-ene, ikke bare 8 av dem.
Selv om man gir den påståtte forklaringen så gunstige antakelser som mulig og antar at PSU-ene det er snakk om er de 3 PSU-ene i tilfluktsleire og de 5 PSU-ene i «counting areas» som har høyest andel voldelige dødsfall, er andelen voldelige dødsfall for de gjenværende PSU-ene fortsatt så høy som 8.9%. Det er mer enn dobbelt så høyt som alle andre grupper utenom Gaza3.
Disse antakelsene er nesten sikkert for gunstige, da de tre PSU-ene med prioritet for familier med dødsfall neppe kan være de tre PSU-ene med flest voldelige dødsfall. For de sistnevnte inkluderer PSU-en kalt «Roni Salih 1» men ikke «Roni Salih 2». Men disse to PSU-ene er samplet i samme leir og ifølge GPS-dataene på samme lokasjon. Logisk bør enten begge PSU-ene være i leire for familier med dødsfall, eller ingen av dem.
Jeg har gjentatte ganger forespurt professor Spagat om hvilke 8 PSU-er som har blitt identifisert som årsak til Gaza9s høye andel dødsfall, men han nekter å oppgi disse.
Jeg har også spurt hva dødsraten blir når disse 8 PSU-ene ekskluderes, men professor Spagat nekter å svare.
At 8 PSU-er ble påstått å ha gode årsaker for høye antall dødsfall var artikkelens berettigelse for å kunne bruke Gaza9-dataene, til tross for at dataene er ekstremt forskjellig fra de andre gruppene. Nå som det er vist at dette ikke er i stand til å forklare resultatene er det ingen gjenværende berettigelse for å kunne bruke disse dataene.
Forfatternes manglende evne eller vilje til å identifisere disse 8 PSU-ene eller hva dødsraten blir når disse ekskluderes tilsier enten at forfatterne ikke har sjekket om deres forklaring fungerer, eller at de har sjekket og vet at den ikke gjør det.
Hva skjer når Gaza3 og Gaza9 ekskluderes
Dersom både data fra Gaza3 og Gaza9 ekskluderes fra analysen blir studiens estimat for voldelige dødsfall for studieperioden redusert til 59.182 (konfidensintervall 49.055-69.308), hvilket betyr at artikkelens oppgitte tall fra helsemyndighetene for samme periode på 49.090 er akkurat innenfor konfidensintervallet.
I tillegg har helsemyndighetenes tall for denne perioden, innen den tid artikkelen ble publisert i februar, blitt retroaktivt økt til minst 51.000.
Helsemyndighetenes tall skal heller ikke inkludere militante som ble drept inne i Israel den 7. oktober (estimert rundt 1600), men disse blir i praksis inkludert i studiens estimat. Den riktigste sammenlikningen blir da 49.055-69.308 fra studien (når Gaza3 og Gaza9 ekskluderes) sammenliknet med totalt 51.000-52.600 fra helsemyndighetene pluss militante drept i Israel, avhengig av hvor mange av disse som allerede er inkludert i helsemyndighetenes tall. Taller fra helsemyndighetene er da godt innenfor studiens konfidensintervall.
Å ekskludere Gaza3 og Gaza9 endrer hovedkonklusjonen til studien. Det estimerte antall voldelige dødsfall er nå konsistent med helsemyndighetenes tall.
Sammendrag
Det er nå vist at:
- Gaza3 og Gaza9 konsekvent sampler husholdninger som er ekstremt ikke-representative for Gazas befolkning. Dersom dette viser et underliggende problem med hvordan Gaza3 og Gaza9 sampler husholdninger vil ikke vektings-prosessen fikse dette.
- Gaza3 sampler stort sett enten et lite fåtall lokasjoner som hver tilskrives svært forskjellige PSU-er, eller svært forskjellige lokasjoner som tilskrives samme PSU. Dette kan ikke plausibelt forklares av unøyaktigheter eller feil i GPS-dataene.
- Til forskjell fra alle andre grupper ser det ut til at Gaza9 deler seg opp og gjennomfører intervjuer i svært forskjellige lokasjoner samtidig, hvilket strider mot den etablerte praksisen til organisasjonen som gjennomførte intervjuene. På en av dagene ser det ut til at de intervjuer tre lokasjoner samtidig, som er umulig for en gruppe på to personer.
- Gaza3 har minst 8 umulige husholdninger (menn og eldre kvinner som skal ha født barn). Antallet feilaktige husholdninger er sannsynligvis mye høyere, da det er usannsynlig at en gitt feil fører til at en husholdning blir umulig.
- Ikke én eneste av 90 husholdninger som Gaza3 intervjuet i løpet av studiens første tre dager hadde ett eneste barn før krigen. Dette er ikke i nærheten av å være plausibelt, og beviser at Gaza3-dataene er i stor grad eller fullstendig feilaktig og kan ikke brukes.
- Disse åpenbart feilaktige dataene ble av en eller annen grunn ikke oppdaget av den påståtte kvalitetssikringen. Det betyr at andre feilaktige data neppe heller ville blitt fanget opp av kvalitetssikringen.
- Hver gang Gaza9 gjennomfører intervjuer i samme område som andre grupper, registrerer de konsekvent betydelig lavere husholdningsstørrelse og antall barn enn alle andre grupper. Dette kan ikke plausibelt forklares av tilfeldig variasjon.
- Vanlige husholdningstyper i Gaza er sjeldne eller fraværende i Gaza9-datane. Husholdningstyper som er sjeldne eller omtrent fraværende i Gaza er vanlige i Gaza9-datane, i en grad som ikke er plausibel.
- Både Gaza3 og Gaza9 har svært ujevn fordeling av gutter og jenter. For Gaza9 er denne utenfor hva man kan forvente ut ifra tilfeldigheter.
- Å forklare den høye andelen voldelige dødsfall hos Gaza9 med at 8 av deres PSU-er skal ha gode årsaker for et høyt antall dødsfall fungerer ikke. Alle PSU-er samplet av Gaza9 har unormale husholdninger, ikke bare 8. Dødsraten forblir svært høy selv om man gir denne hypotesen mest mulig gunstige antakelser, og det er gode grunner for at disse gunstige antakelsene ikke stemmer. Professor Spagat nekter å identifisere de 8 PSU-ene.
Ut ifra disse fakta er det klart at Gaza3 og Gaza9 ikke burde vært inkludert i analysen. Når de to gruppene ekskluderes blir estimatet for voldelige dødsfall redusert slik at helsemyndighetenes tall er innenfor konfidensintervallet. Studiens hovedkonklusjon, at de sanne tallet på voldelige dødsfall er betydelig høyere enn helsemyndighetenes tall, er ikke lenger gyldig.
Artikkelen er basert på en X-tråd av undertegnede, som inneholder ytterligere detaljer og oppgir lenker til data.
