MODELOS NO EXPERIMENTALES - CIDE

Report
CLEAR-CIDE
Seminario Internacional
Cuarto Foro Global CLEAR
México, 18 y 19 de noviembre de 2013
Taller sobre evaluación cualitativa
Dra. Myriam Cardozo Brum
Universidad Autónoma Metropolitana
MÉTODO
 Procedimientos de investigación basados
en una postura epistemológica y un marco
teórico.
 Conjunto
de principios, normas y
operaciones que permiten seleccionar y
coordinar ciertas técnicas para alcanzar
sus objetivos.
MÉTODOS
 Polémica
cuanti-cualitativa.
Posición
de
exposición
 Algunos autores que presentan esta posición:
la
- Tarrés, María Luisa (2001), “Observar, escuchar y comprender.
Sobre la tradición cualitativa de la investigación social”, México:
COLMEX – FLACSO – M. A. Porrúa.
- Cortés, Fernando y otros (2008), “Método científico y política social.
A propósito de las evaluaciones cualitativas de programas sociales”,
México: El Colegio de México.
- Cardozo, Myriam (2012), “Evaluación y metaevaluación en las políticas
y programas públicos. El estado del arte”, México: UAM-X.
- Cardozo, Myriam (2012), “Sistematización de la experiencia de
evaluación de Evalúa DF en 2008. Metaevaluación y autoanálisis”,
México: UAM-X- Evalúa DF.
- Puerta, Juan Manuel (2013), participación en el panel CLAD-AEVAL
“Nuevos enfoques de evaluación de la acción pública Iberoamericana”,
XVIII Congreso Internacional del CLAD, Montevideo, Uruguay.
ENFOQUES TEÓRICOS Y MÉTODOS
Énfasis positivista: CONEVAL
Énfasis constructivista: EVALUA
Busca descubrir una verdad única y Considera que existen múltiples y subjetivas
objetiva con un método similar al de las verdades, identificables por métodos diversos en
ciencias físico-naturales.
ciencias sociales.
Considera que todos los programas deben Piensa que cada evaluación debe construirse en
ser evaluados en forma similar
función de las características específicas del
programa.
Aspira a la realización de estudios
experimentales como la forma más
rigurosa de identificar los impactos de un
programa
Considera que los estudios experimentales son
muy difíciles y costosos, no han dado los
resultados técnicos esperados y tienen
importantes connotaciones éticas negativas.
Valora la cuantificación (medición y Valora la contribución tanto de los métodos
pruebas) muy por encima de la aplicación cuantitativos como cualitativos
de métodos cualitativos.
Promueve la realización de trabajos por Realiza trabajos especializados pero promueve
expertos,
en
detrimento
de
la la participación social para generar aprendizaje
participación social.
ciudadano y credibilidad de la evaluación.
Prioriza el análisis disciplinario de corte Enfatiza la necesidad de contar con equipos
económico.
interdisciplinarios pertinentes al programa.
MÉTODOS
Métodos cuantitativos.
Métodos cualitativos.
observación
encuestas
entrevistas
grupos focales
método DELPHI
benchmarking
análisis de textos
CRITERIOS CUALITATIVOS
-
Calidad
Satisfacción del usuario
Congruencia
Oportunidad
Pertinencia
etc.
UNIDADES DE ANÁLISIS
 Objeto de la evaluación:
Organizaciones
Políticas
Programas
Familias
Ciudadanos
Beneficiarios
Evaluaciones
EVALUACIÓN EN EL PROCESO DE
POLÍTICAS Y PROGRAMAS PÚBLICOS
Gestación del
Problema Público
Ingreso a la
Agenda
Formulación de
la Política
Implementación
Evaluación
TIPOS DE EVALUACIÓN EX-POST
 De diseño o formulación
 De procesos, operación o implementación
 De resultados: logro de objetivos y metas
 De impacto: el conjunto de cambios o efectos
sobre el problema original provocados por la
acción evaluada
 Integral
EVALUACIÓN DEL DISEÑO
Coherencia externa:
 Pertinencia frente al problema social a enfrentar
 Coherencia con la filosofía de la institución y sus
otros planes y programas
Coherencia interna:
 Objetivos y metas bien definidos y jerarquizados
 Estrategias y acciones congruentes con los
anteriores
 Previsión de los recursos necesarios para su
implementación
 Diseño de mecanismos de seguimiento y evaluación
EVALUACIÓN DE LA IMPLEMENTACIÓN
 Dificultades para realizar lo formulado
 Disponibilidad de recursos (cantidad,








calidad,
oportunidad)
Eficiencia de la transformación de recursos en
productos, servicios o transferencias
Apego del funcionamiento a la normatividad
Organización,
coordinación
y
relaciones
interorganizacionales
Participación social
Sistema de información
Niveles de control y seguimiento
Grados de ajuste y desviación de lo planeado
Medidas de corrección adoptadas
EVALUACIÓN DE RESULTADOS E
IMPACTOS
 Outputs:
productos,
transferencias
servicios
o
impacto o conjunto
efectos provocados en el problema
de
 Outcomes:




Directos o indirectos
Previstos o imprevistos
Positivos o negativos
De corto, mediano y largo plazo
PROCESO DE EVALUACIÓN
INTEGRAL DE UN PROGRAMA
CONTEXTO INTERNACIONAL
CONTEXTO NACIONAL:
Condiciones económicas, políticas, sociales, otros programas,
etc.
DISEÑO DEL PROGRAMA (pertinencia, objetivos, estrategias)
RECURSOS:
(cantidad,
oportunidad)
- financieros
- humanos
- tecnológicos
- información
- tiempo
calidad,
PROCESOS:
(productividad,
calidad)
eficiencia,
- organización
- coordinación
- relaciones interorg.
- convocatorias
- selección beneficiarios
- participación social
PRODUCTOS:
(eficacia, oportunidad)
IMPACTO EN EL PROBLEMA
PÚBLICO:
- cobertura
- créditos
- subsidios
- servicios sociales
- incremento de empleo
- incremento de ingresos
- mejoramiento de la calidad
de vida
- satisfacción social
REQUISITOS Y EJEMPLOS
METODOS CUALITATIVOS
DE EVALUACIÓN
OBSERVACIÓN
 Definir que queremos y podemos observar
 Elaborar una guía de observación
 Tipos:
- tradicional
- participante
- investigación-acción
 Llevar
actualizado
observaciones
el
diario
de
OBSERVACIÓN
Ejemplo: línea basal de un programa socio-ambiental
Condiciones ambientales
 Limpieza del lugar
 Rastros de incendios
 Estado de conservación de especies
 Información ambiental para turistas
 Conducta ecológica del turismo
 Actividades de restauración
OBSERVACIÓN
Ejemplo: línea basal de un programa socio-ambiental
Condiciones socio-económicas
 Estado de conservación de las calles y viviendas







(paredes, pisos, techos)
Calidad y limpieza del vestido de los habitantes,
Comercios en la zona
Servicios: escuelas, hospitales, centros de salud
Existencia y estado de la plaza principal
Edificios de gobierno: oficina, muebles y equipos
Iglesias
Disposición de alumbrado, drenaje, telefonía,
agua potable, gas
ENCUESTA: UNIVERSO DE ESTUDIO
 Conjunto
de personas, familias u
organizaciones que comparten un
atributo. Ejemplo: ser receptores
de los servicios, transferencias o
bienes de un programa.
ENCUESTA: DISEÑO MUESTRAL
 Muestra: subconjunto de la población o
universo.
 Condiciones:
- Permitir la prueba de la hipótesis.
- Representatividad
resultados
obtenidos generalizables al universo.
DISEÑO MUESTRAL

Selección de la muestra:
1. Definición del marco muestral o universo.
2. Determinación del tamaño muestral.
3. Elección de las unidades que integran la
muestra:
- probabilística o aleatoria
- no probabilística
CONFECCIÓN DE LOS
INTRUMENTOS DE RECOLECCIÓN
DE LA INFORMACIÓN
Cuestionarios, guías de observación, de entrevista
Confección de instrumentos
provisorios de recolección de
información
Prueba piloto
Confección de instrumentos
definitivos para la recolección
de la información
APLICACIÓN Y PROCESAMIENTO DE LOS
INTRUMENTOS DE RECOLECCIÓN DE
INFORMACIÓN
 Selección y capacitación de encuestadores
 Organización y logística del trabajo de
campo
 Control de calidad de la información
recogida:
 Cuestionarios completos
 Datos dentro de intervalos aceptables
 Codificación de respuestas
 Aplicación de un paquete estadístico:
Excel, SPSS.
PLAN DE ANÁLISIS
 Síntesis
de
indicadores.
la
información
recogida
por
 Apreciación de la naturaleza de los indicadores y
las escalas de medición
intervalar, de razón)
(nominal,
ordinal,
 Seleccionar
las
herramientas
estadísticas
apropiadas en caso que se deseen aplicar.
 Análisis
de la distribución
existente entre variables.
y
de
la
relación
TÉCNICAS ESTADÍSTICAS
 Se aplican a los atributos de las unidades
de análisis (variables o indicadores).
 Dependen del nivel de medición:
-
nominal
ordinal
intervalar
de razón
TÉCNICAS ESTADÍSTICAS
Nivel de
Medición
Técnica
Estadística
Ejemplos
Nominal
No paramétricas
Frecuencia
Moda
Ordinal
No paramétricas
Mediana
Corr. Spearman
Intervalo
Paramétrica y no
paramétricas
Media
Desviación st.
Razón
Paramétrica y no
paramétricas
Media Geométr.
Coef. de Variac.
ENCUESTA
EJEMPLO DE PREGUNTAS PARA CONOCER PERCEPCIONES
SOBRE FUNCIONAMIENTO Y SATISFACCIÓN
 ¿Considera que el programa funciona bien
o mal y por qué?
 ¿Cuáles
cree que sean los principales
problemas del programa?
 ¿Se
considera
satisfecho
con
beneficios del programa?, ¿por qué?
los
 ¿Considera que el programa beneficia a
las personas más pobres?
 ¿Qué
recomendaría
programa?
para
mejorar
el
ENTREVISTAS
 Identificar a los informantes-clave
 Preparar un guión adecuado a cada caso
 Introducción para exponer el objetivo, la
difusión planeada y lograr confianza
 Autorización para grabar
 Arte de preguntar:
- seleccionar preguntas
- insistir sobre lo evitado
- aclarar lo dudoso
- solicitar documentos de apoyo
ENTREVISTAS
EJEMPLO DE TEMAS A TRATAR EN UNA EVALUACIÓN DE
OPERACIÓN
 Presupuesto anual autorizado y ejercido.
 Porcentaje
de
beneficiarios
presentan carencias extremas.
que
 Cobertura de beneficiarios alcanzada.
 Número de servicios y apoyos brindados
en el período evaluado.
 Nivel de cumplimiento de los objetivos y
metas anuales.
 Cumplimiento de la transparencia en la
selección de proyectos y beneficiarios.
GRUPOS FOCALES (focus groups)
 Discusión
y valoración del programa en
entrevistas colectivas con pequeños grupos (612 personas)
 Con un moderador que plantea las preguntas de
acuerdo a un guión preestablecido
 Duración aproximada: dos horas
 Discusiones grabadas para posterior análisis
 Grupos homogéneos o heterogéneos
GRUPOS FOCALES
Ejemplo: Evaluación de la operación de los servicios de salud
materno-infantil
 Una
sesión con cada grupo: médicos,
enfermeras y personal auxiliar
 Temas:
Disponibilidad de recursos
 Cantidad y calidad de las instalaciones
y equipos
 Porcentaje de ocupación
 Existencia de medicamentos
 Condiciones de trabajo
 Tiempo de espera

MÉTODO DELPHI
 Selección de un panel de expertos
 Preparación de un cuestionario
 Consulta por correo manteniendo anonimato
o
modificada
(presencial),
interacción de los participantes
pero
sin
 Búsqueda de consensos
 Diversas rondas de entregas de resultados
estadísticos
consultas
y
comentarios
para
nuevas
MÉTODO DELPHI
Ejemplo de evaluación del manejo del cambio climático
 Acuerdo o desacuerdo sobre la existencia del
cambio climático
 Opinión
sobre determinantes alternativos del
cambio climático
 Opinión
sobre
controlarlo
la
posibilidad
y
plazos
para
 Propuestas de buenas prácticas
 Selección de estrategias alternativas
 Valoración de las capacidades de gestión del
gobierno
BENCHMARKING



Identificar a la organización líder en el contexto
público
Recoger información de la misma
Identificar
resultados
causas
de
las
diferencia

Promover la emulación de las mejores prácticas

Ejemplos cercanos:
de
- Evaluación comparativa de la gestión social de las
delegaciones del DF
- Desempeño diferencial de programas de salud por
entidades federativas.
ANÁLISIS DE TEXTOS
 Método
hermenéutico de análisis
comprensión e interpretación de textos
estructural,
 Estudia el contenido de los mismos (hermenéutica
interna) y el entorno
(hermenéutica externa)
en
que
se
producen
 Busca “leer entre líneas” incluso lo que no está
escrito expresamente en programas, informes, etc.
 Permite contar la repetición de palabras, relevar
patrones o temas recurrentes, agrupar y separar
variables, relevar relaciones entre variables, etc.
 Utiliza programas de cómputo como Atlas y Nud*ist
ANÁLISIS DE TEXTOS
Ejemplo: Metaevaluación de evaluaciones de programas ambientales
 Base
teórica:
releva
paradigmas
implícitos de la política social y de la
justificación del programa.
 Naturaleza de la evaluación: muestra el
sesgo de los términos de referencia para
evaluar puntos específicos del programa.
 Instrumentos de evaluación: evidencian el
énfasis de las variables cuantificadas
para medir resultados.
MEDICIÓN DE IMPACTO:
MODELO EXPERIMENTAL Y CUASIEXPERIMENTAL
Ejemplo
Valores iniciales
Grupo Exp. X=10%
Grupo Test. Y=10%
Valores finales
X’=20%
Y’=14%
Impacto = (20-10)-(14-10) = 10-4 = 6%
MEDICIÓN DE IMPACTO:
MODELOS NO EXPERIMENTALES

* Falta alguna o ambas de las mediciones que
son requisito de la experimentación y
cuasiexperimentación:
- Medición en un grupo testigo para
comparar con el grupo experimental. Se
recomienda analizar la posible incidencia de
variables contextuales ajenas al programa.
-Medición del “antes” para el cálculo de la
diferencia “antes-después”. Se recomienda
reconstruir la situación inicial para estimar
el valor de partida.
Las
dos
anteriores.
recomendaciones previas
Ambas
MEDICIÓN CUALITATIVA DE IMPACTO
Ejemplo de TR de servicios de salud materno-infantil del Gobierno del
DF 2006-2012






Reconstruir el estado inicial de la población del DF a
partir de la información estadística disponible.
Analizar la evolución de los recursos, las acciones, los
servicios brindados y la situación de la población en el
período, con base también en información estadística.
OBSERVAR instalaciones de servicios de salud
seleccionadas
Levantar
una
ENCUESTA
de
percepciones,
representativa de la población del DF
Realizar ENTREVISTAS y GRUPOS FOCALES con
funcionarios, personal médico y de enfermería
Valorar el impacto provocado por los servicios,
deslindando hasta donde sea posible los efectos
provocados por causas ajenas a los servicios, como la
situación económica imperante en el país u otros
servicios ofrecidos.
MEDICIÓN CUALITATIVA DE IMPACTO
Ejemplo servicios de salud materno-infantil del Gobierno del DF
2006-2012: LIMITACIONES
 No se puso suficiente énfasis en el contraste de
la situación de 2006 y 2012, ya que la encuesta
recogió información fundamentalmente sobre la
situación al final, con lo cual servirá como línea
de base para futuras evaluaciones pero no
permitió analizar a fondo la evolución en el
período en estudio
 No se trató de deslindar los efectos provocados
por causas ajenas a los servicios del GDF
HACIA UN PROTOCOLO DE ESTÁNDARES DE UTILIZACIÓN DE
MÉTODOS CUALITATIVOS EN EVALUACIÓN
Formulación Implementación
Resultados Impactos
Observación
X
X
X
Encuestas
X
X
X
Entrevistas
X
X
X
X
Grupos foc.
X
X
X
X
T. Delphi
X
X
X
X
Bechmarking
X
X
Anál. textos
X
X

similar documents