L’auto-selezione rende più difficile la determinazione della causalità. Ad esempio, quando si tenta di valutare l’effetto di un corso di preparazione al test nell’aumentare i punteggi dei test dei partecipanti, punteggi dei test significativamente più alti potrebbero essere osservati tra gli studenti che scelgono di partecipare al corso di preparazione stesso. A causa di auto-selezione, ci possono essere una serie di differenze tra le persone che scelgono di seguire il corso e coloro che scelgono di non, come la motivazione, lo stato socioeconomico, o precedente esperienza di test-taking. A causa dell’auto-selezione in base a tali fattori, è stata osservata una differenza significativa nei punteggi medi dei test tra le due popolazioni indipendentemente da qualsiasi capacità del corso di effettuare punteggi più alti. Un risultato potrebbe essere che coloro che scelgono di fare il corso di preparazione avrebbe raggiunto punteggi più alti nel test vero e proprio in ogni caso. Se lo studio misura un miglioramento dei punteggi assoluti dei test a causa della partecipazione al corso di preparazione, possono essere distorti per mostrare un effetto più elevato. Una misura relativa di “miglioramento” potrebbe migliorare l’affidabilità dello studio in qualche modo, ma solo parzialmente.

Il bias di auto-selezione causa problemi per la ricerca su programmi o prodotti. In particolare, l’auto-selezione influisce sulla valutazione se un determinato programma abbia o meno un effetto e complica l’interpretazione delle ricerche di mercato.

Il modello Roy fornisce una delle prime illustrazioni accademiche del problema dell’auto-selezione.