miércoles, 18 de enero de 2012

El Juego de las Métricas

Las Métricas deben ser utilizadas para lograr mejoras, no como mediciones de rendimiento de las personas.

Una de las piedras angulares de los Sistemas de Calidad y de Six Sigma es la DATA: siempre insistimos en eso.  No nos diga cual piensa usted que es la situación; deje que la data hable.  En Dios confiamos – el resto debe proporcionar data.  Ya recibió el mensaje.

Un efecto secundario desafortunado de este énfasis es la proliferación de data inútil.  Si la data inútil no es utilizada, entonces la recolección de data no es más que una pérdida de tiempo.  Pero, si el rendimiento de la persona es medido en función de esa data, podríamos apostar hasta el último centavo en que esa data obtendrá la máxima atención, y va a tener una influencia considerable sobre el comportamiento de los involucrados.  Y mientras ese sea el sistema, se pueden conseguir otras maneras de hacer que las mediciones luzcan mejor: la técnica del engaño.

A veces suele ser de mucha utilidad emplear el Experimento “Cuentas Rojas del Dr. Deming” como apertura para las reuniones cara a cara, también ayuda a generar algunas ideas estadísticas.  El experimento no es más que un juego con reglas muy simples.  El juego consiste en recoger Cuentas Rojas de un barril lleno de Cuentas Rojas y Cuentas Blancas con una paleta con agujeros.  Además se cuenta con “Inspectores de Calidad” para chequear las muestras y registrar los resultados, y “Supervisores” para asistir a los más desafortunados.

El punto interesante es notar que antes de que el juego concluya, habrá algún participante que, al ver un montón de cuentas rojas en su paleta, rápidamente volcarán el contenido antes de que se realice el conteo.  Otro deliberadamente tomará cuentas rojas y las devolverá al barril.  Mientras que alguna otra persona mostrará sus paletas parcialmente llena.  En fin, muchas maneras de retar y engañar al sistema.  Y esto es justo lo que se busca del juego, mostrar lo que se es capaz de hacer cuando no está en juego ninguna apuesta.  Ahora, imagine lo que la gente será capaz de hacer están en juego valores tales como mejoras en el salario (pago) y promociones.

Estos juegos se ejecutan de manera más seria, probablemente, en países bajo régimen de gobierno totalitario, donde los gerentes de las fábricas son evaluados, y algunas veces hasta ejecutados, cuando los resultados se encuentran por debajo de las expectativas requeridas por las autoridades. 

De acuerdo al sitio History Learning Site (1), en la Rusia de Stalin:

Las fábricas tienden a inflar sus resultados de producción y los productos obtenidos son frecuentemente tan pobres que no pueden ser usados – incluso cuando la fábrica que los produce aparenta alcanzar la meta establecida.  Caso contrario, la pena por fallar podría ser muy severa.

EN EL LIBRO “Eat the Rich (Atlantic Monthly Press, 1999)”, su autor P. J. O´Rourke (2) dice con respecto a la ex USSR:

El problema no estaba en que los gerentes de las fábricas desobedecían las órdenes.  El problema estaba en que las obedecían de manera demasiado precisa.  Si a una fábrica de zapatos se le pedía que produjera 1000 zapatos, ellos producían 1.000 zapatos para bebé, por ser los más baratos y fáciles de elaborar.  Si se les pedía hacer 1.000 zapatos para hombre, los fabricaban todos en la misma talla.  Si se les pedía hacer 1.000 zapatos en varios modelos para hombres, mujeres y niños, ellos hacían 998 zapatos para bebé, unas zapatillas y un par de mocasines.  Si se les pedía hacer 3.000 kilos de zapatos, ellos producían un enorme par de zapatos de concreto.
        
Quizá el autor esté exagerando, pero el asunto es esencialmente válido: se puede jugar con las métricas. 

Una de las métricas más famosas es Partes Por Millón o PPM´s.  La fórmula es la siguiente:

PPM = (Defectos / Muestra) x 1.000.000

Si la evaluación de alguien está en juego por esta métrica, esa persona puede hacer que los resultados luzcan mejor reduciendo los defectos (numerador) o incrementando las oportunidades (denominador).

Por ejemplo, podríamos estar  interesados en el número de errores de mecanografía en este documento.  En ese caso, digamos que conseguimos en total 13 errores, el conteo de palabras, espacios, etc. Lo obtenemos a través de la herramienta de conteo de Word (hasta el párrafo anterior) como se muestra en el cuadro a continuación:


El resultado podría ser, según la fórmula mostrada:

PPM = (Errores / Palabras) x 1.000.000
PPM = (13 / 676) x 1.000.000 = 19.231

Pero si el resultado no es lo suficientemente bueno, entonces se puede cambiar la formula a:

PPM = (Errores / Caracteres sin espacios) x 1.000.000
PPM = (13 / 3.347) x 1.000.000 = 3.884

o

PPM = (Errores / Caracteres con espacios) x 1.000.000
PPM = (13 / 4.040) x 1.000.000 = 3.218

La solución para el juego de la métrica es utilizar estas para guiar hacia mejoras, no para evaluar el rendimiento de las personas.  Las métricas deberían estar limitadas a aquellos números que cuantifican un resultado o salida de relevancia o valores de entrada críticos para la calidad del resultado final.  La razón para cuantificar estas cosas es descubrir, validar y usar una funciones de o un modelos de relación causa efecto – para elaborar planes y actividades de mejora.  Cuando las métricas sirven para un propósito tan útil como este, la tendencia a manipular y jugar sí, no se elimina, al menos se reduce.
     

(2)    http://www.amazon.com/Eat-Rich-Treatise-Economics-ORourke/dp/0871137607




Fuente: Tom Pyzdek / © 2012 Quality Digest Magazine. All Rights Reserved