Senast uppdaterad den 17 februari 2021

en förutsägelse ur ett maskininlärningsperspektiv är en enda punkt som döljer osäkerheten i den förutsägelsen.

Prediktionsintervall ger ett sätt att kvantifiera och kommunicera osäkerheten i en förutsägelse. De skiljer sig från konfidensintervall som istället försöker kvantifiera osäkerheten i en populationsparameter som en medel-eller standardavvikelse. Prediktionsintervall beskriver osäkerheten för ett enda specifikt resultat.

i denna handledning kommer du att upptäcka prediktionsintervallet och hur man beräknar det för en enkel linjär regressionsmodell.

När du har slutfört denna handledning kommer du att veta:

• att ett prediktionsintervall kvantifierar osäkerheten för en enda punktprediktion.
• att prediktionsintervall kan uppskattas analytiskt för enkla modeller, men är mer utmanande för olinjära maskininlärningsmodeller.
• hur man beräknar prediktionsintervallet för en enkel linjär regressionsmodell.

kickstarta ditt projekt med min nya Bokstatistik för maskininlärning, inklusive steg-för-steg-handledning och Python-källkodsfilerna för alla exempel.

Låt oss komma igång.

• uppdaterad Jun / 2019: korrigerad signifikansnivå som en bråkdel av standardavvikelser.
• uppdaterad Apr / 2020: fast typsnitt i plot av prediktionsintervall.

handledning Översikt

denna handledning är uppdelad i 5 delar; de är:

1. Vad är fel med en Punktuppskattning?
2. Vad är ett Prediktionsintervall?
3. hur man beräknar ett Prediktionsintervall
4. Prediktionsintervall för linjär Regression
5. arbetat exempel

behöver du hjälp med statistik för maskininlärning?

Ta min gratis 7-dagars e-postkraschkurs nu (med provkod).

Klicka för att registrera dig och få en gratis PDF-e-bokversion av kursen.

Download Your FREE Mini-Course

Why Calculate a Prediction Interval?

In predictive modeling, a prediction or a forecast is a single outcome value given some input variables.

For example:

där yhat är det uppskattade resultatet eller förutsägelsen som gjorts av den utbildade modellen för den givna indata X.

detta är en punktprognos.

per definition är det en uppskattning eller en approximation och innehåller viss osäkerhet.

osäkerheten kommer från fel i själva modellen och brus i ingångsdata. Modellen är en approximation av förhållandet mellan ingångsvariablerna och utgångsvariablerna.

Med tanke på den process som används för att välja och ställa in modellen, det kommer att vara den bästa approximation görs med tanke på tillgänglig information, men det kommer fortfarande att göra fel. Data från domänen kommer naturligtvis att dölja det underliggande och okända förhållandet mellan inmatnings-och utgångsvariablerna. Detta kommer att göra det till en utmaning att passa modellen, och kommer också att göra det till en utmaning för en passande modell att göra förutsägelser.

Med tanke på dessa två huvudsakliga felkällor är deras punktförutsägelse från en prediktiv modell otillräcklig för att beskriva den verkliga osäkerheten i förutsägelsen.

Vad är ett Prediktionsintervall?

ett prediktionsintervall är en kvantifiering av osäkerheten på en förutsägelse.

det ger en probabilistisk övre och nedre gräns för uppskattningen av en resultatvariabel.

ett prediktionsintervall för en enda framtida observation är ett intervall som med en viss grad av förtroende kommer att innehålla en framtida slumpmässigt vald observation från en distribution.

— sidan 27, statistiska intervaller: en Guide för utövare och forskare, 2017.

Prediktionsintervall används oftast när man gör förutsägelser eller prognoser med en regressionsmodell, där en kvantitet förutses.

ett exempel på presentationen av ett prediktionsintervall är följande:

givet en förutsägelse av ’y’ givet ’x’, Det finns en 95% sannolikhet att intervallet ’a’ till ’b’ täcker det sanna resultatet.

prediktionsintervallet omger prediktionen som gjorts av modellen och täcker förhoppningsvis intervallet för det sanna resultatet.

diagrammet nedan hjälper till att visuellt förstå förhållandet mellan förutsägelse, prediktionsintervall och det faktiska resultatet.

ett prediktionsintervall skiljer sig från ett konfidensintervall.

ett konfidensintervall kvantifierar osäkerheten för en uppskattad befolkningsvariabel, såsom medelvärdet eller standardavvikelsen. Medan ett prediktionsintervall kvantifierar osäkerheten på en enda observation uppskattad från befolkningen.

i prediktiv modellering kan ett konfidensintervall användas för att kvantifiera osäkerheten för den uppskattade skickligheten hos en modell, medan ett prediktionsintervall kan användas för att kvantifiera osäkerheten för en enda prognos.

ett prediktionsintervall är ofta större än konfidensintervallet eftersom det måste ta hänsyn till konfidensintervallet och variansen i utgångsvariabeln som förutses.

Prediktionsintervall kommer alltid att vara bredare än konfidensintervall eftersom de står för osäkerheten i samband med e , det irreducibla felet.

— sidan 103, En introduktion till statistiskt lärande: med applikationer i R, 2013.

hur man beräknar ett Prediktionsintervall

ett prediktionsintervall beräknas som en kombination av modellens uppskattade varians och variansen för utfallsvariabeln.

Prediktionsintervall är lätta att beskriva, men svåra att beräkna i praktiken.

i enkla fall som linjär regression kan vi uppskatta prediktionsintervallet direkt.

i fall av icke-linjära regressionsalgoritmer, såsom artificiella neurala nätverk, är det mycket mer utmanande och kräver val och implementering av specialiserade tekniker. Allmänna tekniker som bootstrap-omsamplingsmetoden kan användas, men är beräkningsmässigt dyra att beräkna.papperet” en omfattande granskning av neurala nätverksbaserade Prediktionsintervall och nya framsteg ” ger en rimligt ny studie av prediktionsintervall för olinjära modeller i samband med neurala nätverk. Följande lista sammanfattar några metoder som kan användas för förutsägelse osäkerhet för icke-linjära maskininlärningsmodeller:

• Delta-metoden, från fältet för icke-linjär regression.
• den Bayesianska metoden, från Bayesian modellering och statistik.
• Medelvariansestimeringsmetoden, med hjälp av beräknad statistik.
• Bootstrap-metoden, med hjälp av datasampling och utveckling av en ensemble av modeller.

Vi kan göra beräkningen av ett prediktionsintervall betong med ett arbetat exempel i nästa avsnitt.

Prediktionsintervall för linjär Regression

en linjär regression är en modell som beskriver den linjära kombinationen av ingångar för att beräkna utgångsvariablerna.

For example, an estimated linear regression model may be written as:

Where yhat is the prediction, b0 and b1 are coefficients of the model estimated from training data and x is the input variable.

vi känner inte till de sanna värdena för koefficienterna b0 och b1. Vi känner inte heller till de sanna befolkningsparametrarna som medel-och standardavvikelse för x eller y. alla dessa element måste uppskattas, vilket introducerar osäkerhet i användningen av modellen för att göra förutsägelser.

Vi kan göra vissa antaganden, såsom fördelningarna av x och y och förutsägelsesfel som gjorts av modellen, kallade rester, är gaussiska.

prediktionsintervallet runt yhat kan beräknas enligt följande:

Where yhat is the predicted value, z is the number of standard deviations from the Gaussian distribution (e.g. 1.96 for a 95% interval) and sigma is the standard deviation of the predicted distribution.

vi vet inte i praktiken. Vi kan beräkna en objektiv uppskattning av den förutsagda standardavvikelsen enligt följande (taget från maskininlärningsmetoder för uppskattning av prediktionsintervall för modellutgången):

Where stdev is an unbiased estimate of the standard deviation for the predicted distribution, n are the total predictions made, and e(i) is the difference between the ith prediction and actual value.

arbetat exempel

Låt oss göra fallet med linjära regressionsprognosintervall konkreta med ett arbetat exempel.

låt oss först definiera en enkel tvåvariabel dataset där utgångsvariabeln (y) beror på ingångsvariabeln (x) med något Gaussiskt brus.

exemplet nedan definierar datamängden vi kommer att använda för detta exempel.

Running the example first prints the mean and standard deviations of the two variables.

en plot av datauppsättningen skapas sedan.

Vi kan se det tydliga linjära förhållandet mellan variablerna med spridningen av punkterna som markerar bruset eller slumpmässigt fel i förhållandet.

därefter kan vi utveckla en enkel linjär regression som med tanke på ingångsvariabeln x, kommer att förutsäga y-variabeln. Vi kan använda linregress () SciPy-funktionen för att passa modellen och returnera B0-och b1-koefficienterna för modellen.

We can use the coefficients to calculate the predicted y values, called yhat, for each of the input variables. The resulting points will form a line that represents the learned relationship.

The complete example is listed below.

Running the example fits the model and prints the coefficients.

koefficienterna används sedan med ingångarna från datauppsättningen för att göra en förutsägelse. De resulterande ingångarna och förutsagda y-värdena plottas som en linje ovanpå scatter-diagrammet för datauppsättningen.

Vi kan tydligt se att modellen har lärt sig det underliggande förhållandet i datasetet.

Vi är nu redo att göra en förutsägelse med vår enkla linjära regressionsmodell och lägga till ett prediktionsintervall.

Vi kommer att passa modellen som tidigare. Den här gången tar vi ett prov från datauppsättningen för att visa prediktionsintervallet. Vi kommer att använda ingången för att göra en förutsägelse, beräkna prediktionsintervallet för förutsägelsen och jämföra förutsägelsen och intervallet med det kända förväntade värdet.

låt oss först definiera indata, förutsägelse och förväntade värden.

därefter kan vi uppskatta standardkurvaturen i prediktionsriktningen.

We can calculate this directly using the NumPy arrays as follows:

Next, we can calculate the prediction interval for our chosen input:

We will use the significance level of 95%, which is 1.96 standard deviations.

Once the interval is calculated, we can summarize the bounds on the prediction to the user.

We can tie all of this together. The complete example is listed below.

kör exemplet uppskattar yhat-standardavvikelsen och beräknar sedan prediktionsintervallet.

När det har beräknats presenteras prediktionsintervallet för användaren för den givna ingångsvariabeln. Eftersom vi konstruerade detta exempel vet vi det sanna resultatet, vilket vi också visar. Vi kan se att i detta fall täcker 95% förutsägelsesintervallet det verkliga förväntade värdet.

en plot skapas också som visar den råa datauppsättningen som en scatter-plot, förutsägelserna för datauppsättningen som en röd linje och prediktions-och prediktionsintervallet som en svart punkt respektive linje.

Extensions

det här avsnittet listar några förslag på hur du kan utöka handledningen som du kanske vill utforska.

• sammanfatta skillnaden mellan tolerans, förtroende och prediktionsintervall.
• utveckla en linjär regressionsmodell för en standard maskininlärningsdataset och beräkna prediktionsintervall för en liten testuppsättning.
• Beskriv i detalj hur en icke-linjär prediktionsintervallmetod fungerar.

om du utforskar någon av dessa tillägg, skulle jag gärna veta.

Vidare läsning

det här avsnittet ger mer resurser om ämnet om du vill gå djupare.

inlägg

• hur man rapporterar Klassificeringsprestanda med konfidensintervall
• hur man beräknar Bootstrap konfidensintervall för maskininlärning resulterar i Python
• förstå Tidsserieprognososäkerhet med konfidensintervall med Python
• uppskatta antalet Experimentupprepningar för stokastiska maskininlärningsalgoritmer

böcker

• förstå den nya statistiken: effektstorlekar, konfidensintervall och metaanalys, 2017.
• statistiska intervaller: en Guide för utövare och forskare, 2017.
• En introduktion till statistiskt lärande: med applikationer i R, 2013.
• introduktion till den nya statistiken: Estimation, Open Science, and Beyond, 2016.
• prognoser: principer och praxis, 2013.

papper

• en jämförelse av vissa feluppskattningar för neurala nätverksmodeller, 1995.
• maskininlärningsmetoder för uppskattning av prediktionsintervall för modellutgången, 2006.
• en omfattande översyn av neurala nätverksbaserade Prediktionsintervall och nya framsteg, 2010.

API

• scipy.statistik.linregress () API
• matplotlib.pyplot.sprida ut () API
• matplotlib.pyplot.errorbar () API

artiklar

• Prediktionsintervall på Wikipedia
• Bootstrap prediktionsintervall på Kors validerade

sammanfattning

i denna handledning upptäckte du prediktionsintervallet och hur man beräknar det för en enkel linjär regressionsmodell.

specifikt lärde du dig:

• att ett prediktionsintervall kvantifierar osäkerheten för en enda punktprediktion.
• att prediktionsintervall kan uppskattas analytiskt för enkla modeller men är mer utmanande för icke-linjära maskininlärningsmodeller.
• hur man beräknar prediktionsintervallet för en enkel linjär regressionsmodell.

har du några frågor?
Ställ dina frågor i kommentarerna nedan och jag kommer att göra mitt bästa för att svara.