La matematica prevede quando i chatbot possono diventare pericolosi

Una formula matematica è in grado di prevedere quando un chatbot basato sull'intelligenza artificiale rischia di cambiare il suo comportamento passando dal dare risposte appropriate al dare risposte potenzialmente pericolose , che inducono per esempio all' autolesionismo o al danneggiamento di terzi . Questo strumento, descritto sulla rivista Patterns, è stato sviluppato negli Stati Uniti da due fisici della George Washington University e in futuro potrebbe portare allo sviluppo di una sorta di spia integrata negli smartphone per avvertire l'utente quando la conversazione virtuale rischia di prendere una china pericolosa.

I chatbot sono soggetti a scarsi controlli di sicurezza volti a garantire che non forniscano informazioni o risposte potenzialmente in grado di incoraggiare l'autolesionismo, perdite finanziarie o idee estremiste, specialmente quando operano offline. Gli strumenti di sicurezza su cui le grandi aziende fanno affidamento per i propri algoritmi di IA si basano solitamente sul cloud, oppure rilevano un malfunzionamento dell'IA solo quando il dispositivo torna online e il danno è già stato fatto. I due fisici Neil F. Johnson e Frank Yingjie Huo hanno dunque cercato di prevedere il malfunzionamento prima che si verificasse.

" Abbiamo individuato la falla che fa sì che l'output di un'IA passi da ciò che si desidera a ciò che non si desidera: un output che può essere fattualmente corretto ma pericoloso, che si tratti di un incitamento all'autolesionismo o di consigli fuorvianti", spiega Johnson. "Finora nessuno sapeva dire quando si sarebbe verificato questo cambiamento".

Testando le loro previsioni su sette modelli di IA disponibili sul mercato e realizzati da tre aziende diverse, i ricercatori hanno riscontrato che il modello ha individuato correttamente la 'svolta critica' dell'IA in 18 casi su 19.