Desafíos y Problemáticas de la Evaluación Institucional
Para el profesor Sancho Gil, uno de los problemas más graves que plantea la evaluación es la emisión de un juicio sobre un hecho o situación conocida para evitar el prejuicio. Otros autores señalan la problemática al cuestionar la evaluación que suele realizar la administración pública con graves errores y limitaciones, al ser realizadas por imperativo legal, lo que provoca una escasa reflexión compartida. Al realizarse al final, impide servir como posible generador de cambio y termina siendo un documento burocrático.
La Cuestión de la Imparcialidad en la Evaluación
El tema de la imparcialidad es cuestionado, ya que, según Bater, la evaluación rara vez es neutral, pues implica intereses de uno o más grupos de personas. Lo recomendable es que pudiese ser dirigida de formas alternativas.
Motivos de Resistencia a la Evaluación en el Sistema Público (Canal y Noval)
Los motivos, según Canal y Noval, por los que el sistema público es reacio a cualquier evaluación son:
- La condición académica de casi todos sus trabajadores que, tras el paso por un número tan elevado de filtros, provoca resistencias a cualquier nueva indagación que pueda cuestionar su status.
- La infrecuencia de los ejercicios de autoevaluación, que son vistos como una moda de escasa virtualidad, y la ausencia de prácticas y programas operativos de evaluación de los profesionales y la inspección de servicios.
Existen otros factores impopulares como la exigua capacidad de la administración para considerar las aportaciones hechas a pie de obra por sus miembros. Sería necesario realizar una fase previa ante la implantación de cualquier proceso de evaluación institucional, creando un clima favorable hacia la misma y sensibilizando a cada uno de los implicados.
Los 8 Problemas Clave para la Implementación Exitosa (Evert Verdung)
Evert Verdung considera que los siguientes 8 problemas son de mayor relevancia para la implantación de la evaluación, y su resolución garantizará su éxito:
- Propósito de la Evaluación: ¿Para qué fines globales se pone en marcha?
- Quién Debería Llevar a Cabo la Evaluación: Y cómo debe organizarse, dependiendo si es interna o externa.
- La Intervención: Cómo crear una cultura evaluativa, abordando de forma más ligera la cuestión de describir la intervención, ya que son personas que están totalmente familiarizadas con el programa. No obstante, en la evaluación de efectos colaterales puede resultar conveniente describir la intervención en términos de fines y medios.
- La Implementación: A qué presiones o cometidos responde el Plan de Evaluación, en el que los evaluadores siguen el programa desde su nacimiento hasta el punto inmediatamente anterior a los outputs.
- Los Resultados: Saber cuáles son los outputs y los resultados inmediatos y últimos de la intervención, sean outputs solos o también con consecuencias, o estas solas.
- Qué Variables: Factores causales, fuerzas causales operativas que explican el resultado.
- Los Baremos: Este problema es común en todas las evaluaciones al no existir un consenso para la utilización de los distintos criterios de valor para calibrar la importancia de la intervención, las medidas de los elementos de medición, y los puntos fuertes en la intervención que puedan servir para una valoración retrospectiva de los resultados.
- La Utilización: Cómo debe utilizarse la evaluación y cómo se utiliza realmente.
Clasificación de las Evaluaciones (Stufflebeam y Shinkfield)
Ante estas cuestiones, Stufflebeam y Shinkfield llegan a clasificar las evaluaciones en tres categorías:
- Pseudoevaluación: Intentan conducir a conclusiones erróneas mediante investigaciones encubiertas o estudios basados en las relaciones jurídicas.
- Cuasievaluaciones: Dan respuestas a ciertas cuestiones de interés sin determinar su valor, como los estudios basados en objetivos y en la experimentación, así como los de comparación de programas y de responsabilidad o estudios de sistemas de información administrativa.
- Verdaderas Evaluaciones: Intentan examinar el valor y mérito de un objeto, como los estudios centrados en el cliente o los de orientación de la decisión, así como los políticos y los basados en el consumidor y en el método holístico.
Dificultades de la Evaluación Externa
Entendemos por evaluación externa aquella que es realizada por agentes externos a la intervención social. Pueden darse dos situaciones:
- Iniciativa de la Administración Pública: Si la iniciativa procede de los altos cargos de la Administración Pública, esta puede ser percibida por los implicados como un mecanismo de control debido a los diferentes intereses políticos y económicos. Esto puede hacer que los implicados consideren al evaluador como un representante de la jerarquía ante la cual hay que protegerse, creando una imagen distorsionada de la realidad del programa.