excess deaths
[repo] / README.md
index a7751b0..447cbe6 100644 (file)
--- a/README.md
+++ b/README.md
@@ -14,17 +14,29 @@ We have used this data to power our [maps](https://www.nytimes.com/interactive/2
 
 The data begins with the first reported coronavirus case in Washington State on Jan. 21, 2020. We will publish regular updates to the data in this repository. 
 
-## United States Data
+## Live and Historical Data
 
-Data on cumulative coronavirus cases and deaths can be found in three files, one for each of these geographic levels: U.S., states and counties.
+We are providing two sets of data with cumulative counts of coronavirus cases and deaths: one with our most current numbers for each geography and another with historical data showing the tally for each day for each geography.
+
+The historical data files are at the top level of the directory and contain data up to, but not including the current day. The live data files are in the [live/](live/) directory.
+
+A key difference between the historical and live files is that the numbers in the historical files are the final counts at the end of each day, while the live files have figures that may be a partial count released during the day but cannot necessarily be considered the final, end-of-day tally..
+
+The historical and live data are released in three files, one for each of these geographic levels: U.S., states and counties.
  
-Each row of data reports cumulative counts based on our best reporting up to the moment we publish an update. We do our best to revise earlier entries in the data when we receive new information. If a county is not listed for a date, then there were zero reported cases and deaths.
+Each row of data reports the cumulative number of coronavirus cases and deaths based on our best reporting up to the moment we publish an update. Our counts include both laboratory confirmed and probable cases using [criteria](https://int.nyt.com/data/documenthelper/6908-cste-interim-20-id-01-covid-19/85d47e89b637cd643d50/optimized/full.pdf) that were developed by states and the federal government. Not all geographies are reporting probable cases and yet others are providing confirmed and probable as a single total. Please [read here](https://github.com/nytimes/covid-19-data/blob/master/PROBABLE-CASES-NOTE.md) for a full discussion of this issue.
+
+We do our best to revise earlier entries in the data when we receive new information. If a county is not listed for a date, then there were zero reported confirmed cases and deaths.
 
 State and county files contain [FIPS codes](https://www.census.gov/quickfacts/fact/note/US/fips), a standard geographic identifier, to make it easier for an analyst to combine this data with other data sets like a map file or population data.
 
 Download all the data or clone this repository by clicking the green "Clone or download" button above.
 
-### U.S. National-Level Data
+---
+
+### Historical Data
+
+#### U.S. National-Level Data
 
 The daily number of cases and deaths nationwide, including states, U.S. territories and the District of Columbia, can be found in the [us.csv](us.csv) file.  ([Raw CSV file here.](https://raw.githubusercontent.com/nytimes/covid-19-data/master/us.csv))
 
@@ -34,7 +46,7 @@ date,cases,deaths
 ...
 ```
 
-### State-Level Data
+#### State-Level Data
 
 State-level data can be found in the [states.csv](us-states.csv) file. ([Raw CSV file here.](https://raw.githubusercontent.com/nytimes/covid-19-data/master/us-states.csv))
 
@@ -44,18 +56,41 @@ date,state,fips,cases,deaths
 ...
 ```
 
-### County-Level Data
+#### County-Level Data
 
 County-level data can be found in the [counties.csv](us-counties.csv) file. ([Raw CSV file here.](https://raw.githubusercontent.com/nytimes/covid-19-data/master/us-counties.csv))
 
 ```
 date,county,state,fips,cases,deaths
-2020-01-21,Snohomish,Washington,53061,1,0
+2020-01-21,Washington,Snohomish,53061,1,0
 ...
 ```
 
 In some cases, the geographies where cases are reported do not map to standard county boundaries. See the list of [geographic exceptions](#geographic-exceptions) for more detail on these.
 
+---
+
+### Live Data
+
+The files in the [live/](live/) directory are also available at three geographic levels and contain all the fields the historical data files have, but with only data for the current day. We try to update these files multiple times per day. 
+
+Because these are updated throughout the day, they can have inconsistent counts, are more likely to contain errors, and should be considered less reliable than the historical data. Different areas of the country update at different times and our data collection process can move at a different pace as well.
+
+In addition to the columns that are in the historical files, these files also include new columns that include detail on the number of confirmed and probable cases, separately.
+
+In the live files, the case and death fields have the following definitions:
+
+* **cases**: The total number of cases of Covid-19, including both confirmed and probable.
+* **deaths**: The total number of deaths from Covid-19, including both confirmed and probable.
+* **confirmed_cases**: The number of laboratory confirmed Covid-19 cases only, or blank if not available.
+* **confirmed_deaths**: The number of laboratory confirmed Covid-19 deaths only, or blank if not available.
+* **probable_cases**: The number of probable Covid-19 cases only, or blank if not available.
+* **probable_deaths**: The number of probable Covid-19 deaths only, or blank if not available.
+
+We understand this breakout would also be valuable historically, and are working toward providing that. Please bear with us as we roll out this new and more complicated data.
+
+The live data can be found in files at the U.S. level in the [us.csv](live/us.csv) file, at the state level in the [states.csv](live/us-states.csv) file, and at the county level in the [counties.csv](live/us-counties.csv) file.
+
 
 ## Methodology and Definitions
 
@@ -155,6 +190,10 @@ Additionally, from approximately April 12th through April 18th, the count of dea
 
 Numbers reflect the combined number of lab-confirmed and probable cases and deaths as reported by the state. On April 25th, the state revised downward the number of deaths after removing "about 29 duplicates" from the number of "probable deaths" included in the total.
 
+* Hawaii
+
+Numbers reflect the combined number of lab-confirmed and probable cases and deaths as reported by the state.
+
 * Idaho
 
 The total cases number includes only lab-confirmed cases, but the deaths number does include the deaths of probable Covid-19 cases.