Struttura dell'albero neurale focalizzata sul trattamento dei dati tabulari
Nel campo dell'apprendimento automatico, è emersa una nuova architettura che mira a colmare il divario tra l'apprendimento profondo e l'interpretabilità: gli Ensemble di Decisioni Neurali Obliqui (NODE). Proposta dai ricercatori di Yandex, questa architettura è progettata per catturare le interazioni e le dipendenze complesse nei dati tabellari mantenendo l'interpretabilità.
L'architettura NODE è un mix unico di Alberi Decisionali Neurali e dell'architettura DenseNet. A differenza degli alberi decisionali tradizionali, gli Alberi Decisionali Neurali sono morbidi e obliqui, utilizzano più variabili per prendere decisioni in ogni nodo e producono decisioni di ramificazione probabilistica. Al contrario della sigmoide, NODE utilizza alpha-entmax, che produce distribuzioni sparse e si rivela utile per la selezione di caratteristiche sparse e le probabilità di ramificazione.
NODE è strutturato come una rete a strati multipli, dove ogni strato contiene diversi alberi. Le uscite di questi alberi vengono concatenate e servono come input per gli strati successivi. L'uscita finale di un NODE a strati multipli viene ottenuta mediando l'uscita di tutti gli alberi di tutti gli strati.
Mentre NODE mostra risultati promettenti, richiede più tempo per l'addestramento rispetto ad alcuni modelli superficiali, anche quando si utilizzano GPU. Per affrontare il divario di interpretabilità, è stato proposto un modello successivo chiamato NODE-GAM.
NODE è stato testato contro modelli popolari come CatBoost, XGBoost, una rete neurale completamente connessa, mGBDT e DeepForest su sei diversi dataset. Con i parametri predefiniti, NODE ha superato tutti gli altri modelli. Con i parametri regolati, NODE ha superato la maggior parte degli altri modelli in 4 dei 6 dataset scelti.
Un nuovo articolo intitolato NODE-GAM è stato pubblicato alla International Conference on Learning Representations nel 2022. Gli autori dell'articolo, S. Popov, S. Morozov e A. Babenko, hanno reso disponibili anche il paper, il codice e l'implementazione di NODE.
È interessante notare che, mentre i modelli profondi sono meno efficaci dei modelli superficiali per i dati tabellari, l'ensembling di ODT, come dimostrato dagli sviluppatori di CATBoost, può migliorare le prestazioni e ridurre l'overfitting. Ciò suggerisce che l'integrazione di modelli interpretabili come NODE all'interno di un framework di rete neurale potrebbe portare a miglioramenti significativi.
L'apprendimento automatico, in particolare i modelli di apprendimento profondo neurali, ha registrato un aumento della popolarità. Questi modelli hanno superato i modelli superficiali come XGBoost per compiti complessi come l'elaborazione delle immagini e del testo. Tuttavia, per i dati tabellari, la situazione è diversa. Nessun approccio all'apprendimento profondo universale supera costantemente gli alberi di boosting del gradiente. Qui entra in gioco NODE, offrendo una soluzione promettente.
Se sei interessato all'apprendimento automatico interpretabile o alle previsioni di serie temporali, considera di seguire il profilo di Medium dell'autore per ulteriori approfondimenti. L'autore ha scritto diversi articoli sugli alberi decisionali neurali e altri argomenti correlati.
Leggi anche:
- Lo status del paese rimane incerto, poiché la Commissione non dispone di dettagli sull'attuale stato.
- I medici sostengono la collaborazione tra i paesi per affrontare i problemi sanitari
- La meravigliosa espansione della nebbia polverosa sconcerta gli astronomi vicino alle stelle supergiganti
- Intervista: una chiacchierata con Artur Tretjakevic di 18Peaches in the iGaming Sphere
