Creare un'IA conversazionale conforme in lingua Julia
In una collaborazione emozionante con i colleghi di ING, un team di ricercatori ha costruito un chatbot semplice ma potente utilizzando la Predizione Conforme (CP). Questo approccio innovativo, che è stato al centro della ING Analytics 2023 Experiment Week, ha vinto il primo premio per voto popolare, dimostrando il potenziale della CP come alternativa potente e fondata alla classificazione dell'intento top-K.
Il compito era la classificazione dell'intento, un processo che implica categorizzare le query dei clienti in intenti predefiniti. Un disegno fornisce questa illustrazione. Il team ha utilizzato il modello DistilRoBERTa, una versione distillata di RoBERTa addestrata sul dataset 'Banking77', per il compito. Questo dataset, composto da 13.083 query da 77 intenti relativi alla banca, è stato recuperato da HuggingFace e pubblicato con la licenza Creative Commons Attribuzione 4.0 Internazionale (CC BY 4.0).
Il processo inizia introducendo una query del cliente in un modello linguistico (LLM) per generare gli embeddings. Questi embeddings vengono quindi utilizzati per addestrare un classificatore che li abbina ai possibili intenti. Il modello DistilRoBERTa può essere caricato direttamente in una sessione Julia utilizzando un pacchetto specifico. Un modello wrapper è stato definito per conformarsi all'interfaccia di HuggingFace e questo modello wrapper è stato convertito in un classificatore di intenti conformi utilizzando chiamate API standard e la classificazione conformale induttiva semplice.
Il modello produce uno stato nascosto, che viene quindi introdotto in un classificatore per ottenere i logit per ciascuna classe. Questi logit vengono passati attraverso una funzione softmax per ottenere le probabilità previste corrispondenti. Il modello restituisce queste probabilità quando viene data una query.
Il modello wrapper pre-addestrato viene utilizzato in un chatbot semplice ma potente che funziona direttamente nella console Julia REPL. Il chatbot chiede all'utente di spiegare il loro intento, passa il loro input attraverso il LLM conforme e presenta l'output all'utente. Se l'insieme di previsioni conformi include più di un'etichetta, l'utente viene invitato a raffinare il loro input o a scegliere una delle opzioni incluse nell'insieme.
Il lavoro del team non ha considerato la copertura condizionata alla classe. Tuttavia, essi credono che questa sia un'area degna di essere esplorata in future ricerche. Il codice sorgente completo per il chatbot può essere trovato sul blog dell'autore originale.
Mentre si avvicina JuliaCon 2023, l'autore è pronto a tenere una conferenza su ConformalPrediction.jl
Leggi anche:
- Lo status del paese rimane incerto, poiché la Commissione non dispone di dettagli sull'attuale stato.
- I medici sostengono la collaborazione tra i paesi per affrontare i problemi sanitari
- La meravigliosa espansione della nebbia polverosa sconcerta gli astronomi vicino alle stelle supergiganti
- Intervista: una chiacchierata con Artur Tretjakevic di 18Peaches in the iGaming Sphere
