Trattamento dei dati assenti - Metodi di imputazione e modelli sofisticati
Nel mondo della scienza dei dati, gestire i valori mancanti è un problema comune. Un approccio per superare questo ostacolo è l'utilizzo dei metodi di imputazione, che mirano a riempire i vuoti nei dataset.
Un tale metodo è l'Imputazione Iterativa. Per impostazione predefinita, l'Imputazione Iterativa utilizza la regressione bayesiana a radice come stimatore, ma questo può essere modificato in base alle esigenze specifiche del progetto. Il metodo modella relazioni complesse tra i valori noti e prevede le caratteristiche mancanti, utilizzando un processo in più passaggi che crea una serie di modelli per prevedere le caratteristiche mancanti.
Tuttavia, è importante notare che l'Imputazione Iterativa è computazionalmente costosa rispetto ad altri metodi di imputazione.
D'altra parte, ci sono modelli come XGBoost, Gradient Boosting a istogramma e LightGBM che possono gestire i dati mancanti senza la necessità di imputazione.
Sono stati condotti esperimenti per confrontare l'efficacia dei metodi di imputazione. Questi esperimenti hanno comportato la rimozione dei dati e quindi la loro imputazione, utilizzando tre dataset UCI e il calcolo dell'errore quadratico medio tra i dataset originali e imputati. I risultati indicano che l'imputazione è uno strumento efficace per gestire i valori mancanti nei progetti di scienza dei dati.
Quando si affrontano i dati mancanti, è fondamentale considerare la significatività dei dati mancanti stessi. Se il fatto che i dati sono mancanti è significativo, è meglio utilizzare modelli che consentono i dati mancanti durante l'addestramento e la previsione.
L'imputazione semplice è il metodo di imputazione più basilare, che imputa un valore costante o calcola la media, la mediana o il valore più frequente. Anche se l'imputazione semplice offre una soluzione rapida, la sua prestazione diminuisce rapidamente con molti valori mancanti.
Al contrario, l'imputazione KNN fornisce un approccio più dettagliato rispetto all'imputazione semplice, utilizzando i K-record più simili per modellare le dipendenze tra i valori mancanti e non mancanti. KNN improve la prestazione ma è più dipendente dalle distribuzioni dei dati sottostanti.
Quando una grande quantità di dati è mancante, è consigliato l'imputazione multipla. Questo metodo crea più versioni dei dati, ciascuna con valori imputati diversi, e quindi combina i risultati per fornire una rappresentazione più accurata dei dati originali.
È importante notare che ci sono molti altri metodi di imputazione che non sono discussi in questo articolo.
Infine, è importante menzionare che in
