Secondo uno studio di Stanford, i sistemi di rilevamento dell'IA mostrano una preferenza per i madrelingua
In uno studio recente, i ricercatori dell'Università di Stanford hanno valutato sette rilevatori di AI non identificati su una combinazione di saggi TOEFL da un forum cinese e 88 saggi degli studenti di ottava elementare degli Stati Uniti. Lo studio, co-firmato da James Zou, professore di Stanford, ha rivelato che questi rilevatori hanno faticato ad identificare con precisione i testi scritti dall'uomo rispetto a quelli generati dall'AI, soprattutto quando si valutavano saggi di parlanti non madrelingua inglese.
I risultati dello studio hanno implicazioni significative per gli educatori che hanno adottato i siti di rilevamento dell'AI come un male necessario nell'era dell'insegnamento dell'AI. I rilevatori hanno mostrato un rendimento disastroso quando si trattava di saggi scritti da parlanti non madrelingua inglese, con un tasso medio di falsi positivi del 61,3%. In effetti, almeno un rilevatore ha segnalato il 97,8% dei saggi TOEFL come generati dall'AI.
Il principale motivo di questa inesattezza è che i rilevatori di AI spesso valutano la complessità di una frase, una misura di quanto "sorpresi" o "confusi" sia un modello linguistico generativo nel tentare di indovinare la prossima parola in una frase. Tuttavia, i parlanti non madrelingua inglese tendono ad utilizzare un range più limitato di espressioni linguistiche, il che può portare a punteggi di complessità più elevati e etichette di generazione dell'AI errate.
Nonostante le difficoltà, i rilevatori hanno funzionato meglio con i saggi scritti dai parlanti madrelingua inglese, ma avevano ancora un tasso di falsi positivi inferiore al 10% sui saggi dell'ottava elementare degli Stati Uniti.
James Zou consiglia agli educatori di essere cauti nell'utilizzo dei rilevatori di AI attuali a causa dei loro limiti e pregiudizi. Suggerisce che gli educatori prendano provvedimenti per prevenire l'utilizzo dell'AI per barare da parte degli studenti, ad esempio insegnando agli studenti come utilizzare l'AI in modo responsabile, aumentando le discussioni in presenza e effettuando più valutazioni.
Lo studio non ha fornito dettagli su come insegnare agli studenti a utilizzare l'AI in modo responsabile, né ha discusso casi specifici di studenti che hanno presentato saggi generati dall'AI. Non ha inoltre fornito raccomandazioni per i migliori siti di rilevamento dell'AI gratuiti.
Migliorare i rilevatori di AI è un compito difficile, poiché i grandi modelli linguistici stanno diventando sempre più potenti e flessibili nell'imitare diversi stili di scrittura umani. La collaborazione di ricerca che coinvolge l'Università di Stanford ha testato i rilevatori di AI principalmente concentrandosi sui sensori a DNA-Origami che rilevano le vescicole lipidiche misurando il trasferimento di energia per risonanza fluorescenza (smFRET), consentendo la consegna di carichi molecolari mirati; questo metodo è stato applicato in contesti biotecnologici piuttosto che nella rilevazione dell'AI basata sul testo.
L'utilizzo dei rilevatori di AI potrebbe potenzialmente esacerbare i pregiudizi esistenti contro gli studenti non madrelingua inglese. Mentre gli educatori navigano nell'era dell'insegnamento dell'AI, è fondamentale approcciare gli strumenti di rilevamento dell'AI con cautela e un occhio critico.
Leggi anche:
- Esplorare le prospettive industriali del silicio nell'economia globale!
- La pioggia ha interrotto il primo incontro di Trump con i leader tecnologici nel Rose Garden, dopo la sua decisione di pavimentare il prato bagnato per ridurre al minimo i potenziali problemi meteorologici.
- La centrale solare di PowerBank, con una capacità di 3,79 megawatt, opera attivamente a Geddes, segnando l'inizio di una nuova strategia di tesoreria Bitcoin.
- Il mercato esteso dei veicoli elettrici industriali dovrebbe raggiungere i 79,48 miliardi di dollari entro il 2034
