u/AllSimply

Ciao a tutti. Vedo sempre più post di studenti disperati perché Turnitin o GPTZero li accusano di aver usato l'IA per le loro tesi, anche se hanno scritto tutto da soli.

Da ingegnere, mi sono messo ad analizzare come funzionano davvero questi algoritmi. La verità è che non "scoprono" nulla: misurano solo probabilità (nello specifico, Perplexity e Burstiness).

Il problema enorme è che un testo accademico, formale e rigoroso, ha per natura una "perplessità" molto bassa. Questo porta i detector a scambiare una scrittura umana di alta qualità (o quella di chi non è madrelingua inglese) per un testo generato da IA.

Se a questo applichiamo il Teorema di Bayes su un campione reale di studenti, si scopre che i falsi positivi sono catastrofici. Sanzionare una persona basandosi su queste percentuali è un errore statistico.

Ho scritto un'analisi completa con tutta la matematica dietro questo fallimento. Se vi interessa o se dovete difendervi da un'accusa ingiusta del vostro relatore, vi lascio il link nei commenti.

Voi avete avuto esperienze di falsi positivi in facoltà? Come si stanno comportando i vostri docenti?