En 1904, un caballo llamado Clever Hans causó un enorme revuelo en la sociedad alemana. Hans, un caballo de la raza Orlov Trotter, era capaz de sumar, restar, multiplicar, dividir, calcular con fracciones, entender un calendario, deletrear, leer y entender alemán. Pericias nada desdeñables para un caballo, incluso para un caballo germano.

Tales habilidades no pasaron desapercibidas. En 1907, tras una gran presión mediática, el ministerio de educación alemán nombró una comisión de trece expertos en cuestiones equinas. Al frente de ellas, el filósofo y psicólogo Carl Stumpf. Su misión: determinar las capacidades reales del famoso caballo. Fueron conocidos como la “Hans Commission”.

El propietario de Hans era el profesor de matemáticas y entrenador de caballos Wilhelm von Osten. El señor Osten presumía de haber sido él personalmente quién había enseñado todas estas habilidades a su excepcional caballo. ¿Qué tipo de preguntas podía responder Hans? Por ejemplo esta:

“If the eighth day of the month comes on a Tuesday, what is the date of the following Friday?”

(Clever Hans) Wikipedia

Pacientemente Hans contestaba coceando en el suelo la respuesta correcta. Las preguntas se hacían de forma oral y escrita. El señor Oster nunca acepto dinero por enseñar en público las cualidades de Hans, vamos que no se hizo rico con tal prodigio de la naturaleza.

Tras un largo proceso, la “Hans Commission” concluyó que no existía engaño o truco en la actuación del caballo. Cuando Carl Stumpf leyó las conclusiones de su equipo, no se lo podía creer. Repasó una y otra vez la metodología empleada para conducir a tan sorprendente afirmación:

1. Se había aislado al caballo de espectadores para que no recibiera señales.
2. Las preguntas fueron realizadas por personas diferentes al señor Osten.
3. Los preguntadores a veces conocían la respuesta de antemano, otras no.
4. Usando, a veces, anteojeras el caballo podía ver al preguntador, otras no.

Fuente: wikipedia.com – Clever Hans

Stumpf repasó todos los datos, informes y apuntes. Realizó nuevas y detalladas pruebas con el caballo, su dueño y su equipo. Finalmente, Stumpf descifró el misterio.

Primero excluyó el fraude del enigma: Hans podía dar la respuesta correcta, aunque su dueño no fuera el preguntador. El señor Osten era un buen hombre que creía, de verdad, en las habilidades de su caballo. Posteriormente, Stumpf demostró que el caballo solo ofrecía la respuesta correcta si el preguntador conocía la respuesta y además tenía contacto visual directo con el preguntador o con su dueño, que al ser matemático calculaba la respuesta.

Clever Hans estaba respondiendo de manera involuntaria al lenguaje corporal de su dueño o al de su preguntador. Ni su dueño, ni el equipo de expertos eran conscientes de que estaban dando pistas al caballo para resolver el problema. Un pequeño movimiento muscular en sus caras, un leve desplazamiento provocado por la tensión de saber que el caballo estaba cerca de la respuesta correcta informaba a Clever Hans de que debía de parar de cocear el suelo.

Este caso da nombre al efecto conocido como “The Clever Hans effect” o “Experimenter´s bias”. Se trata de un sesgo subjetivo hacia un resultado esperado o deseado por parte del experimentador. Lo importante es que ocurre de manera inconsciente por parte del investigador.

Una experiencia personal con test de usuarios de guerrilla

No soy un experto en la preparación de test con usuarios, por cuestiones que no vienen ahora a cuento, he realizado unos cuantos test para un proyecto personal. Me empollé en profundidad el libro de Steve Krug: “Rocket Surgery Made Easy: The Do-It-Yourself Guide to Finding and Fixing Usability Problems”. Fantástico libro, muy rápido de leer y directo.

Realicé todos los test que tenía que hacer. Todas las respuestas reafirmaban mis suposiciones e hipótesis. Cuando había terminado todo el proceso, y tras un fin de semana de desconexión, volví a escuchar alguna de las entrevistas y en ellas había algo que no encajaba. Tuve la misma revelación que el profesor Stumpf: ¡La he cagado!

Primer fallo, hice los test con amigos y familiares. Ellos sabían en qué estaba trabajando. Sus respuestas no decían la verdad, querían agradarme y animarme con el nuevo proyecto. Además, en la discusión inicial hacía preguntas que contenían afirmaciones que claramente les influenciaba la respuesta. Por ejemplo:

“La mayoría de la gente con la que he estado hablando anteriormente estarían dispuestos a utilizar este servicio. ¿Estarías interesado en contratarlo tú también? Mi plan es cobrar XXX por este servicio y la respuesta ha sido positiva en la mayoría de los casos ¿tú qué piensas, es caro o barato? ¿Pagarías esa cantidad?”

Se pueden llamar test de guerrilla, pero en su preparación hay que ser tan cuidadoso y metódico como en cualquier otro test. Además deja a los amigos y familiares que te conozcan o sepan algo de tu proyecto fuera del estudio. Es más trabajo al principio, pero desde luego te ahorrarás tener que repetirlos. Justo lo que me toca hacer a mi.