Questo chatbot non risponde coerentemente. Questo chatbot non è empatico. Questo chatbot non capisce i sinonimi e, ancor peggio, risponde in modo ambiguo. Per di più non viene mai utilizzato da nessuno. Un utente approccia un servizio chatbot/ voicebot con aspettative alte, per questo spesso il risultato non è soddisfacente e l’azienda ne risente in termini di customer satisfaction.
Come si misura il successo di un chatbot? Tanti sono i punti di vista che si possono adottare in fase di valutazione. L’importante è scegliere, prima di puntare ciecamente le dita, da quale angolatura puntare i propri occhi per esprimere il giudizio!
Perché il chatbot sia un successo per l’utente deve risultare prima di tutto di facile e rapido uso (usabilità); deve essere in grado di fornire risposte complete e adeguate (performance), far vivere un’esperienza positiva all’utente anche in termini emotivi e di coinvolgimento (empatia) e far quindi corrispondere le sue aspettative alle reali capacità (soddisfazione).
Una fondamentale prospettiva di valutazione da tenere in considerazione è quella riguardante l’Information Retrieval, che focalizza l’attenzione sulla capacità che il sistema ha di recuperare l’informazione, dando spazio a criteri di valutazione riguardanti l’accuratezza, che mira a testare la capacità di comprensione degli infiniti modi di formulare una richiesta; l’accessibilità, che testa la capacità di comprendere e rispondere adeguatamente anche in relazione al contesto; infine l’efficienza, ossia la capacità di svolgere il compito arrivando all’obiettivo senza spendere risorse in eccesso.
Dal punto di vista prettamente linguistico la valutazione si basa sulle 4 massime conversazionali di Grice:
- non essere reticente o ridondante, ossia non dire troppo né troppo poco
- sii sincero, non dare informazioni false o non provate
- sii pertinente all’argomento della conversazione
- sii chiaro, evita l’ambiguità
La prospettiva tecnologica prevede invece la misurazione del grado di umanità del chatbot, in parole povere la naturalezza con cui è in grado di sostenere una conversazione con un umano e solitamente per tale valutazione si ricorre al test di Turing.
Infine non di minore importanza per le aziende è il valore commerciale del chatbot, misurato in termini di efficacia (numero di utenti, durata e numero delle conversazioni) in relazione ai costi (numero di agenti, durata delle conversazioni, numero di conversazioni fallite, di risposte indesiderate e di domande ripetute).
La valutazione di un chatbot può avvenire prendendo in considerazione una o più prospettive. L’importante è contestualizzare il successo o il fallimento di un chatbot essendo capaci di dotarsi dei giusti occhiali!
