Update excess deaths data with 4 additional countries and more recent data.
[repo] / excess-deaths / README.md
1 # Excess Deaths During the Coronavirus Pandemic
2
3 The New York Times is releasing data that documents the number of deaths from all causes that have occurred during the coronavirus pandemic for 32 countries. We are compiling this time series data from national and municipal health departments, vital statistics offices and other official sources in order to better understand the true toll of the pandemic and provide a record for researchers and the public.
4
5 Official Covid-19 death tolls offer a limited view of the impact of the outbreak because they often exclude people who have not been tested and those who died at home. All-cause mortality is widely used by demographers and other researchers to understand the full impact of deadly events, including epidemics, wars and natural disasters. The totals in this data include deaths from Covid-19 as well as those from other causes, likely including people who could not be treated or did not seek treatment for other conditions. 
6
7 We have used this data to produce [graphics tracking](https://www.nytimes.com/interactive/2020/04/21/world/coronavirus-missing-deaths.html) [the oubreak’s toll](https://www.nytimes.com/interactive/2020/06/10/world/coronavirus-history.html) and stories about [the United States](https://www.nytimes.com/interactive/2020/05/05/us/coronavirus-death-toll-us.html), [Ecuador](https://www.nytimes.com/2020/04/23/world/americas/ecuador-deaths-coronavirus.html), [Russia](https://www.nytimes.com/2020/05/11/world/europe/coronavirus-deaths-moscow.html), [Turkey](https://www.nytimes.com/2020/04/20/world/middleeast/coronavirus-turkey-deaths.html), [Sweden](https://www.nytimes.com/interactive/2020/05/15/world/europe/sweden-coronavirus-deaths.html) and [other countries](https://www.nytimes.com/2020/05/12/world/americas/latin-america-virus-death.html). We would like to thank a number of demographers and other researchers, listed at the end, who have provided data or helped interpret it.
8
9 ## Country and City-Level Data
10
11 The number of all-cause deaths recorded in each area, by week or month, can be found in the **[deaths.csv](deaths.csv)** file. ([Raw CSV](https://raw.githubusercontent.com/nytimes/covid-19-data/master/excess-deaths/deaths.csv)) For weekly data, the first and last weeks of the year, which are often partial weeks, were excluded.
12
13 ```
14 country,placename,frequency,start_date,end_date,year,month,week,deaths,expected_deaths,excess_deaths,baseline
15 France,,weekly,2020-04-27,2020-05-03,2020,4,18,10498,10357,141,2010-2018 weekly average
16 ```
17
18 Some of the data is only available at the city level.
19
20 ```
21 country,placename,frequency,start_date,end_date,year,month,week,deaths,expected_deaths,excess_deaths,baseline
22 Turkey,Istanbul,weekly,2020-04-06,2020-04-12,2020,4,15,2193,1429,764,2018-2019 weekly average
23 ```
24
25
26 The deaths fields have the following definitions:
27
28 **deaths**: The total number of confirmed deaths recorded from any cause.  
29 **expected_deaths**: The baseline number of expected deaths, calculated from a historical average. See [expected deaths](#expected-deaths).  
30 **excess_deaths**: The number of deaths minus the expected deaths.  
31
32 The time fields have the following definitions:
33
34 **frequency**: Weekly or monthly, depending on how the data is recorded.  
35 **start_date**: The first date included in the period.  
36 **end_date**: The last date included in the period.  
37 **month**: Numerical month.  
38 **week**: Epidemiological week, which is a standardized way of counting weeks to allow for year-over-year comparisons. Most countries start epi weeks on Mondays, but others vary.  
39 **baseline**: The years used to calculate expected_deaths.  
40
41 ## Methodology
42
43 The data is the product of journalists in a number of countries who monitor official data releases and ask government officials for information. We have consulted with demographers, medical officials and local sources to confirm that this data is broadly representative of how many people have died. In some countries, the number of burials, hospital deaths or other factors are used to confirm that the underlying trends are representative.
44
45 But mortality data in the middle of a pandemic is not perfect. Many countries have not yet published any data on all-cause mortality. And during a pandemic, normal patterns of death registration may be disrupted, which could lead to changes in how many deaths are captured. 
46
47 Most of the countries in this dataset have widespread vital statistics coverage. But many low-income countries have [unreliable death registration systems](https://twitter.com/helleringer143/status/1261868447903948800), making it very difficult to assess their levels of excess mortality. A rough guide to the historical completeness of death registration systems by country is available from the United Nations:
48 https://unstats.un.org/unsd/demographic-social/crvs/documents/Website_final_coverage.xls
49
50 Some countries are publishing mortality data faster than normal in order to understand how mortality is changing. That means data, especially for recent time periods, may be revised. It is usually revised upwards as more deaths are reported.
51
52 Expected deaths  for [the United States](https://www.nytimes.com/interactive/2020/05/05/us/coronavirus-death-toll-us.html) were calculated with a simple model based on the number of all-cause deaths from 2015 to 2019 released by the Centers for Disease Control and Prevention, adjusted to account for trends, like population changes, over time.
53
54 Our analysis aims to show mortality statistics for as much of the country as possible, but it is limited to those states where mortality data is sufficiently complete.
55
56 Some states are so far behind in submitting death certificates to the C.D.C. that the C.D.C. does not recommend relying on their recent death reporting. In Pennsylvania and Ohio, for example, death reporting seems to be lagging far behind the normal rate all year, according to the C.D.C., even though their reporting is usually more timely, so we have excluded data from those states, in addition to Alaska, Connecticut, Louisiana, North Carolina, Puerto Rico, Rhode Island and West Virginia.
57
58 See [Data Sources](#data-sources) below for the source of data for each country and city in this dataset.
59
60 ## Expected Deaths
61
62 We have calculated an average number of expected deaths for each area based on historical data for the same time of year. These expected deaths are the basis for our [excess death calculations](https://www.nytimes.com/interactive/2020/04/21/world/coronavirus-missing-deaths.html), which estimate how many more people have died this year than in an average year.
63
64 To estimate expected deaths, we fit a linear model to the reported deaths in each country from earlier years to January 2020. The model has two components — a linear time trend to account for demographic changes and a smoothing spline to account for seasonal variation. For countries limited to monthly data, the model includes month as a fixed effect rather than using a smoothing spline. 
65
66 The number of expected deaths are not adjusted for how non-Covid-19 deaths may change during the outbreak, which will take some time to figure out. As countries impose control measures, deaths from causes like road accidents and homicides may decline. And people who die from Covid-19 cannot die later from [other causes](https://twitter.com/AndrewNoymer/status/1241620305350549504), which may reduce other causes of death. Both of these factors, if they play a role, would lead these baselines to understate, rather than overstate, the number of excess deaths.
67
68 The number of years used in the expected deaths calculation changes depending on what data is available. See Data Sources for the years used to calculate the baselines. 
69
70
71 ## Data Sources
72
73 **Austria**
74
75 Source: [Statistics Austria](http://www.statistik.at/web_de/statistiken/menschen_und_gesellschaft/bevoelkerung/gestorbene/index.html)  
76 Baseline years: 2015-2019  
77 Data frequency: weekly  
78
79 **Belgium**
80
81 Source: Sciensano publishes a [weekly report](https://covid-19.sciensano.be/fr/covid-19-situation-epidemiologique). More historical mortality data is from the [Belgian Mortality Monitoring](https://epistat.wiv-isp.be/momo/) dashboard.  
82 Baseline years: 2016-2019  
83 Data frequency: weekly  
84
85 **Bolivia**
86
87 Source: Civil Registry 
88 Baseline years: 2016-2019 
89 Data frequency:  monthly
90
91 **Brazil**
92
93 Source: [National Council of State Health Secretaries (CONASS)](https://www.conass.org.br/indicadores-de-obitos-por-causas-naturais/)  
94 Baseline years: 2015-2019  
95 Data frequency: weekly  
96
97 **Chile**
98
99 Source: [Data Portal of the Civil Registry and Identification Service](https://estadisticas.sed.srcei.cl/home)  
100 Baseline years: 2015-2019  
101 Data frequency: weekly  
102
103 **Colombia**
104
105 Source: [National Administrative Department of Statistics (DANE)](https://www.dane.gov.co/index.php/estadisticas-por-tema/demografia-y-poblacion/nacimientos-y-defunciones)  
106 Baseline years: 2015-2019  
107 Data frequency: weekly  
108
109 **Denmark**
110
111 Source: [Statistics Denmark](https://www.statbank.dk/dodc2)  
112 Baseline years: 2015-2019  
113 Data frequency: weekly  
114
115 **Ecuador**
116
117 Source: [General Direction of Civil Registry](https://www.registrocivil.gob.ec/cifras/)  
118 Baseline years: 2017-2019. 2019 data is only available for Jan.-April.  
119 Data frequency: monthly  
120
121 **Finland**
122
123 Source: [Statistics Finland](https://pxnet2.stat.fi/PXWeb/pxweb/en/Kokeelliset_tilastot/Kokeelliset_tilastot__vamuu_koke/statfin_vamuu_pxt_12ng.px/)  
124 Baseline years: 2015-2019  
125 Data frequency: weekly  
126
127 **France**
128
129 Source: INSEE (2018-2020 data can be found [here](https://www.insee.fr/fr/statistiques/4487988?sommaire=4487854))  
130 Baseline years: 2010-2019  
131 Data frequency: weekly  
132
133 **Germany**
134
135 Source: [Federal Statistics Office](https://www.destatis.de/EN/Themes/Society-Environment/Population/Deaths-Life-Expectancy/_node.html;jsessionid=91286BFEECCABAD3052B72D2C2760F99.internet8732)  
136 Baseline years: 2016-2019  
137 Data frequency: weekly  
138
139 **Jakarta, Indonesia**
140
141 Source: [Jakarta’s Department of Parks and Cemeteries](https://pertamananpemakaman.jakarta.go.id/v140/t15)  
142 Baseline years: 2010-2019  
143 Data frequency: monthly burials 
144
145 **Mumbai, India**
146
147 Source: Municipal Corporation of Greater Mumbai  
148 Baseline years: 2019  
149 Data frequency: monthly burials  
150
151 **Ireland**
152
153 Source: [Health Information and Quality Authority](https://www.hiqa.ie/sites/default/files/2020-07/Analysis-of-excess-all-cause-mortality-in-Ireland-during-the-COVID-19-epidemic.pdf)  
154 Baseline years: 2015-2019  
155 Data frequency: daily
156
157 **Israel**
158
159 Source: [Central Bureau of Statistics](https://www.cbs.gov.il/he/subjects/Pages/%D7%AA%D7%9E%D7%95%D7%AA%D7%94-%D7%95%D7%AA%D7%95%D7%97%D7%9C%D7%AA-%D7%97%D7%99%D7%99%D7%9D.aspx)  
160 Baseline years: 2015-2019  
161 Data frequency: weekly
162
163 **Italy**
164
165 Source: [The Italian National Institute of Statistics](https://www.istat.it/it/archivio/240401)  
166 Baseline years: 2015-2019 monthly average. Historical data is only available as a four-year average from January 1 through June 30.  
167 Data frequency: monthly  
168
169 **Tokyo, Japan**
170
171 Source: [Statistics of Tokyo](https://www.toukei.metro.tokyo.lg.jp/jsuikei/js-index2.htm)  
172 Baseline years: 2016-2019  
173 Data frequency: monthly  
174
175 **Mexico**
176
177 Source: [Mexican Government](https://www.insp.mx/micrositio-covid-19/boletin-estadistico-sobre-exceso-de-mortalidad-por-todas-las-causas-durante-la-emergencia-por-covid-19)  
178 Baseline years: 2015-2018  
179 Data frequency: weekly  
180
181 **Netherlands**
182
183 Source: [Statistics Netherlands](https://opendata.cbs.nl/#/CBS/en/dataset/70895ENG/table?ts=1588591754264)  
184 Baseline years: 2016-2019  
185 Data frequency: weekly  
186
187 **Norway**
188
189 Source: [Statistics Norway](https://www.ssb.no/statbank/table/07995/)  
190 Baseline years: 2015-2019  
191 Data frequency: weekly
192
193 **Peru**
194
195 Source: [Mortality Information System](https://www.minsa.gob.pe/defunciones/) SINADEF for 2017-2020; Health Ministry for 2016.  
196 Baseline years: 2017-2019  
197 Data frequency: monthly  
198
199 **Portugal**
200
201 Source: [Eurostat](https://ec.europa.eu/eurostat/web/population-demography-migration-projections/data/database)  
202 Baseline years: 2015-2019  
203 Data frequency: weekly  
204
205 **Moscow, Russia**
206
207 Source: [Moscow City Government](https://data.mos.ru/opendata/7704111479-dinamika-registratsii-aktov-grajdanskogo-sostoyaniya?pageNumber=13&versionNumber=3&releaseNumber=42&fbclid=IwAR23dK1YBLeGipw4UPg4hi_w6cDOE94fuZ0Z7lwx28u-rAZCEoqAAaIQpF8)  
208 Baseline years: 2015-2019  
209 Data frequency: monthly
210
211 **South Africa**
212
213 Source: [South African Medical Research Council](https://www.samrc.ac.za/reports/report-weekly-deaths-south-africa?bc=254)  
214 Baseline years: 2018-2019  
215 Data frequency: weekly  
216
217 **South Korea**
218
219 Source: [Statistics Korea](http://kosis.kr/statisticsList/statisticsListIndex.do?menuId=M_01_01&vwcd=MT_ZTITLE&parmTabId=M_01_01#SelectStatsBoxDiv)  
220 Baseline years: 2015-2019  
221 Data frequency: monthly    
222
223 **Spain**
224
225 Source: [Daily Mortality Surveillance System](https://momo.isciii.es/public/momo/dashboard/momo_dashboard.html#datos)
226 Baseline years: 2018-2019  
227 Data frequency: weekly 
228
229 **Sweden**
230
231 Source: [Statistics Sweden](https://www.scb.se/en/About-us/news-and-press-releases/statistics-sweden-to-publish-preliminary-statistics-on-deaths-in-sweden/)
232 Baseline years: 2015-2019  
233 Data frequency: weekly  
234
235 **Switzerland**
236
237 Source: [Federal Statistics Bureau](https://www.bfs.admin.ch/bfs/fr/home/statistiques/sante/etat-sante/mortalite-causes-deces.html)  
238 Baseline years: 2016-2019  
239 Data frequency: weekly  
240
241
242 **Thailand**
243
244 Sources: [Bureau of Registration Administration](https://www.cdg.co.th/website/en/industries/government/civil-registration-and-the-national-identification-card-system-the-bureau-of-registration-administration-the-department-of-provincial-administration-2/) [Department of Provincial Administration](https://www.dopa.go.th/main/web_index)  
245 Baseline years: 2015-2019  
246 Data frequency: monthly  
247
248 **United Kingdom**
249
250 Sources: [Office for National Statistics](https://www.ons.gov.uk/peoplepopulationandcommunity/birthsdeathsandmarriages/deaths/datasets/weeklyprovisionalfiguresondeathsregisteredinenglandandwales); [National Records of Scotland](https://www.nrscotland.gov.uk/covid19stats); [Northern Ireland Statistics and Research Agency](https://www.nisra.gov.uk/publications/weekly-deaths).  
251 Baseline years: 2010-2019  
252 Data frequency: weekly  
253
254
255 **United States**
256
257 Source: [Centers for Disease Control and Prevention](https://www.cdc.gov/nchs/nvss/vsrr/covid_weekly/)  
258 Baseline years: 2015-2019  
259 Data frequency: weekly  
260
261
262
263 ## Other Collections of All-Cause Mortality Data
264
265 [The Human Mortality Database](https://www.mortality.org/) includes recent all-cause deaths collected by demographers at the Max Planck Institute for Demographic Research and other institutions. [The Economist](https://github.com/TheEconomist/covid-19-excess-deaths-tracker) and the [Financial Times](https://github.com/Financial-Times/coronavirus-excess-mortality-data) are also publicly releasing their data on all-cause mortality.
266
267 ## License and Attribution
268
269 This data is licensed under the same terms as our Coronavirus Data in the United States data. In general, we are making this data publicly available for broad, noncommercial public use including by medical and public health researchers, policymakers, analysts and local news media.
270
271 If you use this data, you must attribute it to “The New York Times” in any publication. If you would like a more expanded description of the data, you could say “Data from The New York Times, based on reports from national and municipal health agencies.”
272
273 If you use it in an online presentation, we would appreciate it if you would link to our graphic tracking  these deaths [https://www.nytimes.com/interactive/2020/04/21/world/coronavirus-missing-deaths.html](https://www.nytimes.com/interactive/2020/04/21/world/coronavirus-missing-deaths.html).
274
275 If you use this data, please let us know at covid-data@nytimes.com.
276
277 See our [LICENSE](LICENSE) for the full terms of use for this data.
278
279 ## Contact Us
280
281 If you have questions about the data or licensing conditions, please contact us at:
282
283 covid-data@nytimes.com
284
285
286 ## Contributors
287
288 Allison McCann and Jin Wu have been leading our data collection efforts. 
289
290 Josh Katz contributed reporting from New York, Elian Peltier from Paris, Muktita Suhartono from Bangkok, Carlotta Gall from Istanbul, Anatoly Kurmanaev from Caracas, Venezuela, Monika Pronczuk from Brussels, José María León Cabrera from Quito, Ecuador, Irit Pazner from Jerusalem, Mirelis Morales from Lima and Manuela Andreoni from Rio de Janeiro.
291
292 Thank you to Stéphane Helleringer, Johns Hopkins University; Tim Riffe, Max Planck Institute for Demographic Research; Lasse Skafte Vestergaard, EuroMOMO; Vladimir Shkolnikov, Max Planck Institute for Demographic Research; Jenny Garcia, Institut National d'Études Démographiques; Tom Moultrie, University of Cape Town; Isaac Sasson, Tel Aviv University; Patrick Gerland, United Nations; S V Subramanian, Harvard University; Paulo Lotufo, University of São Paulo; and Marcelo Oliveira.