Interrogazioni accelerate di database Python attraverso piattaforma innovativa di scienza dei dati
In una svolta innovativa, i ricercatori di Brown University, MIT, dell'Università di Waterloo e dell'EPFL (École Polytechnique Fédérale de Lausanne) hanno presentato un nuovo framework di scienza dei dati chiamato Tuplex. Questo strumento innovativo, presentato al SIGMOD 2021, un'importante conferenza sul trattamento dei dati, promette di aumentare significativamente la produttività dei data scientist.
Tuplex elabora le query sui dati scritti in Python fino a 90 volte più velocemente dei sistemi di elaborazione dei dati standard dell'industria come Apache Spark o Dask. Questa velocità può ridurre i tempi di attesa per un output da 10 minuti a un solo secondo, secondo i ricercatori.
Il segreto delle prestazioni fulminee di Tuplex risiede nel suo metodo di elaborazione dei dati unico, chiamato elaborazione a doppio caso. Questo metodo suddivide i dati in due casi, semplificando il problema di compilazione preoccupandosi solo di un unico insieme di tipi di dati e di assunzioni di caso comune.
Uno dei principali vantaggi di Tuplex è la sua capacità di gestire i dati anomali in modo efficace. Invece di causare crash del programma, Tuplex mette da parte questi dati, offrendo un nuovo modo di gestire i dati imprevisti. Gli utenti hanno la possibilità di riparare i dati anomali dopo l'esecuzione del programma.
In Tuplex, Python, il linguaggio di programmazione principale utilizzato dai data scientist, non viene compilato in anticipo. Tuttavia, Tuplex compensa compilando un programma altamente specializzato per la query specifica e i dati di input del caso comune, mentre i dati di input insoliti vengono inviati a un interprete.
Lo sviluppo di Tuplex è stato sostenuto dal National Science Foundation (DGE-2039354, IIS-1453171) e dalla U.S. Air Force (FA8750-19-2-1000). Un recente sondaggio ha mostrato che il 66% degli utenti delle piattaforme dei dati utilizza Python come linguaggio principale, sottolineando l'importanza di Tuplex nella comunità della scienza dei dati.
Inoltre, l'elaborazione a doppio caso di Tuplex consente una alta produttività e una velocità di esecuzione rapida. Le funzioni definite dall'utente (UDFs) nella scienza dei dati, che specificano la logica personalizzata come l'estrazione del numero di camere da letto dal testo di un annuncio immobiliare per una query che cerca tutti gli annunci immobiliari negli Stati Uniti e seleziona quelli con tre camere da letto, traggono grande beneficio dall'efficienza di Tuplex.
Malte Schwarzkopf, professore associato di scienza
Leggi anche:
- Tre donne anziane, affezionatamente chiamate nonne di Kaha Aden, costituiscono una parte significativa della comunità.
- Le principali società di gioco DraftKings, FanDuel e Circa si appellano alle autorità del Missouri per ottenere una licenza per il mobile per le loro operazioni di scommesse sportive sul mobile nello stato.
- Accelerazione del tasso di crescita del mercato delle proteine vegetali, previsto al 6,7% entro il 2034
- Treyarch esprime l'ambizione di creare qualcosa di completamente diverso.
