La triangulación aplicada a la gestión: diagnóstico, monitoreo y evaluación de políticas públicas ¹

Adriana Fassio (•)
María Gabriela Rutty (••)
Universidad de Buenos Aires (Argentina)

(•) mailto: adrianafassio@yahoo.com
(••) mailto: irutty@econ.uba.ar

RESUMEN
En el ámbito de la ciencias sociales es frecuente la afirmación de la necesidad del control de sesgos y de superación de las limitaciones fácticas y éticas en la implementación de diseños de diagnóstico ex ante, monitoreo y evaluación de los procesos que se desarrollan a partir del planeamiento y ejecución de políticas públicas.

Este trabajo se propone una revisión de las diversas alternativas de triangulación (de métodos, de abordajes, de técnicas, de investigadores, de actores, etc.) aplicadas a la gestión y su utilidad para el aprendizaje y la mejora de la gestión de programas e instituciones. En primer término, se revén los conceptos de evaluación y triangulación y su articulación, y en segundo término se ilustra la utilización de la técnica de triangulación a partir del relato de dos experiencias distintas. Una realizada recientemente a partir de su aplicación en el ámbito de la gestión de las políticas sociales y la segunda en la evaluación de un programa educativo. Finalmente se reflexiona sobre las ventajas, limitaciones y desafíos que esta metodología aporta a la mejora de la gestión de las políticas públicas.

PALABRAS CLAVE: Triangulación; Políticas públicas; Evaluación y monitoreo.

ABSTRACT
In the field of Social Sciences is often mentioned the need of control of overcoming bias and factual and ethical constraints in the implementation of diagnosis, monitoring and evaluation processes of public policies.

The purpose of this paper is to offer a review of the various alternatives of triangulation (cross examination of methods, approaches, techniques, researchers, data, etc.) applied to the management to improving program management and institutions. The paper starts by defining the concepts of evaluation and triangulation, and their relationship. and then offering an analysis of recent program evaluation experiences in the field of social policy management and education. Finally, we reflect about the advantages, difficulties and challenges this methodology supports improving publics policies management.

KEY WORDS: Triangulation; Public policies; Evaluation and monitoring.

RECEPCIÓN: 06/08/12
ACEPTACIÓN FINAL: 17/12/12

1. ¿QUÉ SIGNIFICA MONITOREAR Y EVALUAR EN EL MARCO DE LAS POLÍTICAS PÚBLICAS?
A menudo, en la práctica, las instancias de evaluación son vividas por los evaluados con cierta prevención, temor o suspicacia, cuando se percibe como una fiscalización externa que no siempre genera información de utilidad. Evaluación, desde nuestro punto de vista, no significa plantearse solamente los errores cometidos en procesos complejos como los de implementación de políticas públicas, sino por el contrario, compartimos la visión de la evaluación como aprendizaje, es decir la de sistematizar las buenas prácticas y mejorarlas y de analizar lo que se considera que no resultó de acuerdo a lo esperado para superarlo.

La evaluación consistiría en un proceso a partir del cual se explora de manera sistemática y rigurosa el cumplimento de las actividades y de la entrega de productos o servicios en función del logro de un cambio sostenible. La evaluación se constituye en una herramienta básica de la gestión orientada a resultados que intenta medir la generación de valor social, es decir la mejora de la calidad de vida de la población sujeto de intervención. Desde esta concepción la evaluación integral trascendería el paradigma meramente administrativo que sólo indaga sobre el cumplimiento de las actividades y /o entrega de los productos y servicios (Mokate, 2003).

La información que se obtiene a través de la evaluación permite mejorar la efectividad cuantitativa de los programas (es decir, la cantidad de logros alcanzados, usuarios satisfechos, problemas resueltos, etc.), la calidad de los resultados, aumentar la eficiencia, adecuar los objetivos del servicio a las expectativas de la población objetivo, controlar la intervención de factores que dificultan la marcha o el logro y comprobar la relación entre el servicio con los resultados buscados. (Briones, 1999). Es decir, dar cuenta que los esfuerzos que se realizan están bien orientados y si es necesario, reajustar las acciones (función de retroalimentación de la evaluación).

Desde la década de los 90 en adelante el rol tradicional de la evaluación perseguía la indagación por los resultados, ocasionalmente los impactos, la rendición de cuentas (accountability) y las lecciones aprendidas.

Las lecciones aprendidas, se refiere al conocimiento ganado por medio de la reflexión sobre una experiencia o proceso a partir de la evaluación puesta en práctica. Permite la identificación de factores de éxito, de deficiencias, y de la resolución de problemas a través de nuevos cursos de acción. A su vez, mejora la toma de decisiones futuras y de esta manera contribuye a la realización de Buenas Prácticas, entendidas como soluciones eficientes para resolver un problema.

Las tendencias actuales en evaluación a nivel mundial han planteado un cambio importante en las prioridades dado que se enfatiza la necesidad de una mayor flexibilidad y métodos menos restrictivos para captar la complejidad de las iniciativas. La «querella de los métodos cuantitativos vs. cualitativos» que dominó el debate sobre evaluación dos décadas atrás, si bien no está totalmente saldada, perdió intensidad en los últimos años. Hoy la mayoría de los expertos en evaluación emplean ambos abordajes (Niremberg, 2009).

Era habitual que las evaluaciones fueran planeadas y puestas en marcha por las entidades financiadoras. Se reconoce la existencia de un incremento en el conjunto de consumidores de la evaluación, lo que implica la atención de distintos intereses, no sólo los de los financiadores de los proyectos. Hoy además de los «financiadores» están presentes en el diseño de las evaluaciones los intereses de los agentes públicos que desarrollan los proyectos y de la comunidad representada a través de sus organizaciones. Entre los nuevos intereses se privilegia, además del logro de los resultados, la efectividad de las acciones y la evaluación como un proceso de empowerment, donde ésta es vista como un medio a través del cual grupos marginales y sin poder son capaces de adquirir habilidades y acrecentar su influencia a través de su compromiso en la evaluación (Conlin y Stirrat, 2008) y/o los de los distintos actores involucrados en la implementación de la política, incluyendo las organizaciones intervinientes -no sólo las gubernamentales en sus diversos niveles, sino también las empresas y las organizaciones públicas no estatales- (Fassio, De Mendonça y Cavanagh, 2004; Nirenberg, 2009).

Luego de muchos años, en los cuales los especialistas intentaron convencer a los distintos auditorios sobre la necesidad de la evaluación, hoy se observa el advenimiento de una corriente crítica donde, algunos de los autores señalan como necesario, frente a una tarea de evaluación, volver a emplear la estrategia de la estimación previa de su «evaluabilidad» (Dahler-Larsen, 2007).

Esta toma de posición se asienta en la acertada comprensión de la evaluación como un fenómeno político, en tanto que presta sus servicios a los responsables de las decisiones, que se traducen en distribución de recursos (House, 1999). En ocasiones la evaluación ha sido utilizada al servicio de estructuras de poder que sirven a intereses ocultos en lugar de en beneficio de los programas que se evalúan.

La principal cuestión en la estimación de la evaluabilidad no es si se puede hacer una evaluación, sino, si es racional hacerla bajo las circunstancias del momento a la luz de las mejoras esperadas.

La evaluabilidad hace referencia a si existe una descripción clara del programa (si no existe, es mejor usar los esfuerzos para clarificar el programa), si está bien implementado el programa (si ya se sabe que no es el caso, la evaluación será siempre negativa), si existe una buena teoría del programa (si no la hay, mejor clarificar el marco teórico del programa),si existen metas plausibles y bien escritas (si no existen, el resultado de la evaluación es predecible), si hay datos relevantes accesibles (si no hay, los recursos de la evaluación podrían gastarse mejor en alternativas a la evaluación o en mejora de los registros), si se han identificado oportunidades para mejorar el programa (si los usuarios no son capaces o no utilizan los resultados de la evaluación, no tiene sentido realizarla). La idea que alimenta la evaluabilidad es que la evaluación debe ser utilizada solamente cuando sea conveniente y cuando la información que produzca sea utilizada para «marcar una diferencia» en provecho del cumplimiento de los objetivos propuestos en el programa (Fassio y Rutty, 2012).

2. LA TRIANGULACIÓN COMO HERRAMIENTA METODOLÓGICA QUE APORTA A LA EVALUABILIDAD
La triangulación es una alternativa de aplicación de distintos abordajes de investigación a partir de los cuales obtener datos complementarios que permitan un abordaje completo y complejo del objeto de estudio (Rodríguez Ruiz, 2005) a fin de lograr el conocimiento más profundo de un fenómeno dado a partir de una economía de recursos.

Se parte de la consideración que ninguna metodología de abordaje es superior a otra (Denzin, 1978), en tanto que la triangulación o validación convergente daría más validez a la contrastación de una hipótesis que el abordaje desde un único método, actor o tipo de datos.

Básicamente, consiste en utilizar en una misma investigación (Denzin, 1978; Fassio, Pascual y Suárez, 2004):

• Distintas fuentes de datos en el tiempo y en el espacio Con respecto a la diversidad de fuentes de datos, nos estamos refiriendo no sólo a datos producidos en el marco del diagnóstico ex ante, monitoreo y/o evaluación ex post sino también al uso de datos secundarios que podrían constituirse en proxy (aproximaciones) a las variables relevantes que interesa medir. En esta dirección se utiliza la explotación de bases de microdatos y/o registros continuos.
• En el primer caso se propone una comparación de resultados a través del tiempo (estudios longitudinales) o en un único momento (estudios transversales). En el segundo entre hechos sociales ocurridos en diversos espacios físicos (organizaciones, poblaciones, provincias, etcétera).
• Distintos niveles de análisis en función de las miradas de distintos actores (se recolecta información de usuarios, funcionarios de gobierno, técnicos, referentes políticos, productores de los bienes o servicios, etc.). Profundizando este eje, planteamos la inclusión de los actores en la toma de decisiones en la secuencia de diagnóstico, implementación y evaluación de una política pública como un eje altamente recomendable de la planificación. Es decir que la participación de los actores involucrados contribuiría al desarrollo del capital social dado que pone en juego sus capacidades en un marco en el que se evalúan positivamente las oportunidades que brinda la sociedad para ello (Sen, 1996).
• Distintos métodos y técnicas de recolección de la información (abordajes cuali-cuantitativos) (Fassio, Pascual y Suárez, 2004; Gallart, 1993) (entrevistas individuales y grupales, encuestas, observaciones, análisis de documentos varios, grupos focales, técnicas de taller, etc.). De esta manera, se trata de lograr la complementariedad de los enfoques cuantitativo y cualitativo, sirviéndose de cada uno de ellos, según convenga a los objetivos que se propone la evaluación.

La integración de métodos es llamada por algunos autores como Molina Azorín et al. (2011) «métodos híbridos o mixtos de investigación». De acuerdo con los autores, la utilización de la triangulación metodológica resulta ser una práctica común en el campo de las ciencias sociales, en especial sociología, educación y ciencias de la salud, como una forma de captar información en forma más amplia y profunda del objeto de evaluación. Sin embargo, esta práctica no es común en el ámbito de las investigaciones en gestión, donde prevalecen los estudios de tipo cuantitativos. En un rastreo que realizan los autores en la producción existente en el campo de la gestión en revistas especializadas observan que el porcentaje de trabajos que utilizan esta metodología es muy pequeño y señala que los resultados obtenidos desde este abordaje pueden jugar un papel beneficioso en los estudios de economía de empresas.

• Distintos investigadores que aborden el objeto de estudio, cuyos sesgos personales/disciplinares se neutralizarían, o por lo menos se minimizarían, a partir de una mirada común enriquecida.
• Distintos abordajes teóricos que permitan comprender/abordar diversos aspectos de la problemática considerada. Esto es especialmente relevante en el marco de programas sociales en la medida en que se puede plantear la resolución de un problema social dado a partir de diversos abordajes teóricos que deben ser explicitados, tanto en la planificación como en la ejecución y evaluación de la línea de acción.

Es necesario destacar que en ciencias sociales la triangulación se utilizó principalmente para validar con datos cuantitativos (en general provenientes de fuentes secundarias) los resultados de investigaciones desarrolladas con técnicas cualitativas. Posteriormente se ha incluido el abordaje cualitativo (mirada de los actores) para comprender en profundidad los hechos sociales descriptos o la relación entre sus componentes, evaluados a partir de técnicas cuantitativas y que aportarían mayor profundidad en el análisis de la realidad que se pretende valorar.

Sin embargo, la triangulación es una estrategia metodológica que supera las alternativas señaladas más arriba dado que permitiría dar cuenta de las diversas dimensiones de los distintos momentos de puesta en marcha de una política pública: a) sustantivas (eje central conformado por los servicios y/o bienes que se producen/distribuyen en cumplimiento de los objetivos; b) gerenciales o instrumentales (medios para el desarrollo de las líneas sustantivas relacionadas con la conformación de equipos de trabajo, forma de financiamiento, administración, gerenciamiento de las personas que llevan adelante la política, etc.) y c) estratégicas (relacionadas con la participación, la asociatividad, el sinergismo, la multidisciplinariedad, la promoción, etc.) (Niremberg, Brawerman y Ruiz, 2003a).

3. EJEMPLIFICANDO LA PUESTA EN JUEGO DE LA TRIANGULACIÓN EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS

3.1. EL CASO DEL PROGRAMA NACIONAL DE CUIDADOS DOMICILIARIOS
El Programa Nacional de Cuidados Domiciliarios,² dependiente de la Dirección Nacional de Políticas para Adultos Mayores (DINAPAM) del Ministerio de Desarrollo Social, es una política pública que tiene como objetivo la mejora de la calidad de vida de las personas mayores (en general mujeres) que habitan en sus hogares con algún grado de dependencia y que necesitan contar con apoyos para el desarrollo de las actividades básicas e instrumentales de la vida cotidiana, o eventualmente se orientan a relevar por algunas horas al cuidador informal principal de la persona mayor (habitualmente las mujeres de la familia: cónyuge, hijas, nueras) (CEPAL- CELADE, Ministerio de Desarrollo Social, UNFPA, 2009).

Se ha desarrollado casi sin interrupciones desde el año 1996 a partir de convenios del gobierno nacional con diversas áreas de gobierno, provinciales, municipales y organizaciones públicas no estatales, y tiene un alcance nacional.

Se lleva adelante en dos etapas diferenciadas: a) el Curso de formación de cuidadores domiciliarios, cuyo propósito es el de capacitar a las futuras cuidadoras³ para la implementación de servicios de cuidados en domicilio y, b) el Sistema de prestación de cuidados domiciliarios, en el que las cuidadoras capacitadas brindan cuidados a las personas mayores que no cuentan con cobertura de obra social, y que se encuentran en condiciones de vulnerabilidad, en función de una evaluación integral del caso. El programa produjo diversos protocolos que se fueron construyendo con el paso de los años que relevan el perfil de las futuras cuidadoras e indicadores para determinar la intensidad y tipo de cuidados requeridos por las personas mayores. Si bien se relevaron desde el inicio los datos de las cuidadoras formadas, pasaron varios años de gestión hasta la conformación de un padrón nacional de cuidadoras que permitiera consultar información respecto de la disponibilidad de cuidadoras formadas en los distintos lugares en los que el programa se había desarrollado.

En el año 2008 la CEPAL-CELADE propuso al gobierno argentino realizar una evaluación del programa a fin de promocionar su conocimiento y futura adopción por parte de los países de la región en el marco de un envejecimiento poblacional creciente. Aceptada la propuesta, la evaluación su evaluación⁴ se encuadra en un abordaje especialmente cualitativo. Sin embargo, se inicia con una descripción de su evolución tomando como base la cantidad de cursos de formación realizados, la cantidad de cuidadoras formadas y el número de personas atendidas en cada uno de los años entre 1996 y 2008 (triangulación de técnicas: utilización de datos cuantitativos y cualitativos). En 2008 las cuidadoras formadas sumaban aproximadamente 12 000 y las personas mayores que recibieron cuidados aproximadamente 24 000.⁵ Es significativo señalar que para los primeros años de desarrollo del programa no existen datos completos, a pesar que por las declaraciones de ejecución de las metas físicas se podría haber obtenido el dato.⁶ En esta dirección queda clara la disociación entre la declaratoria de los bienes y servicios producidos a partir de la inversión del crédito presupuestario y el reconocimiento y uso por parte de los organismos ejecutores de estos datos como significativos para la planificación.

El enfoque de la evaluación es participativo en la medida que se indaga sobre la propia mirada de los diversos actores (coordinadores generales (5), coordinadores de casos (6), destinatarios de la prestación (31), gerenciadores provinciales (2), y cuidadoras domiciliarias (3 grupos focales) (triangulación de actores).

Se utilizaron diversas técnicas de registro de datos: el uso de registros para dar cuenta del alcance del programa y el cumplimiento de sus metas físicas (en los años más recientes). La entrevista individual en profundidad (44 en total) y la entrevista grupal (3 en total) (triangulación de fuentes).

Trabajaron en el proceso de evaluación diversos actores: consultores entrevistadores contratados a tal fin, referentes del programa para la concertación de las entrevistas y grupos focales, y una analista y redactora del informe final.

El trabajo de campo se llevó a cabo en la Ciudad Autónoma de Buenos Aires y en el Aglomerado del Gran Buenos Aires (Lomas de Zamora y Florencio Varela), en la provincia de Córdoba (Villa Allende, Río Ceballos y Tulumba) y en la provincia de Jujuy (Palpalá y Abra Pampa). Es decir que se tomaron en consideración diversas localidades del país, de distinto tamaño e incluso una perteneciente al ámbito rural, como lo es Abra Pampa en la Puna jujeña (triangulación de lugares).

Se indagó, en el marco del componente de capacitación de cuidadoras, con relación al perfil de la alumna, a la función de los coordinadores, a la capacitación de las cuidadoras, a los alcances del curso de cuidadoras, a las dificultades para la realización de los cursos, a las demandas de contenidos teóricos y acerca de las prácticas de las cuidadoras. Con respecto al segundo componente del programa (sistema de prestación de cuidados domiciliarios), se indagó sobre las características de los personas mayores destinatarias de la prestación, sus principales necesidades, las redes de apoyo familiar con las que contaban, la forma de selección de los destinatarios de la prestación, las características e impactos de la propia prestación de los cuidados, la efectividad de las estrategias de capacitación continua de las cuidadoras y la supervisión del cuidado.

La utilización de distintas técnicas (información cualitativa y cuantitativa) la consulta con distintos actores en diversos espacios territoriales y con diferentes fuentes de datos (utilización de datos primarios y secundarios) permitió, no sólo describir sino también conocer en profundidad el alcance de sus logros, proporcionando una mirada global y enriquecida del programa (a diferencia de lo que se hubiera obtenido, si su abordaje se hubiera ceñido estrictamente a un enfoque puramente cuantitativo o cualitativo).

Como parte de la evaluación se identifican fortalezas y debilidades del programa, las primeras relacionadas con su impacto en la mejora de la calidad de vida de las cuidadoras, las personas mayores cuidadas y sus familias; a su carácter federal y a su capacidad de transformación y adecuación a la diversidad del territorio argentino; a la articulación de recursos y actores; a su continuidad en el tiempo, y a su institucionalización como política social.

Entre las debilidades se enuncian las dificultades para definir el rol de las cuidadoras domiciliarias; los efectos negativos de la terminación de la prestación a pesar que la necesidad de cuidados subsista; la insuficiencia del monto de las becas que reciben las cuidadoras como forma de pago por su trabajo; el escaso involucramiento de algunos coordinadores; los límites cuantitativos de impacto del programa y la discontinuidad entre las formación, la prestación y la renovación de las prestaciones.

Se concluye que el programa es exitoso en lo referente al primer componente de capacitación y presenta algunas vulnerabilidades en relación a la prestación a partir de las dificultades de implementación y continuidad, a partir de las cuales se realizan recomendaciones de mejora.

Es de destacar que a tres años de esta evaluación el programa está abocado sólo a la ejecución del primer componente, es decir la capacitación y ha suspendido el segundo componente, la prestación. Ésta es realizada en algunos casos por las áreas provinciales de adultos mayores y en la mayoría por parte de las obras sociales que tienen como población objetivo las personas mayores (nacionales como el Instituto de Servicios Sociales para Jubilados y Pensionados) y provinciales.

3.2. EL CASO DEL PROGRAMA DE EDUCACIÓN SAVE OUR SCHOOLS
La utilización del multimétodo, constituye una herramienta potente para los evaluadores que contribuye al fortalecimiento de los juicios de evaluación y poder dar respuesta a los encargados de la gestión de las políticas, sin embargo, a veces su utilización genera resultados incongruentes, en tanto que puede ocurrir que la información que proviene de la utilización de las distintas técnicas no sea coincidente, generando dificultades para presentar una valoración global de la efectividad de una intervención.

El caso que se expone a continuación resulta de interés en tanto que presenta una estrategia metodológica para resolver este tipo de situaciones en las que se obtienen resultados incongruentes con la aplicación de triangulación metodológica y poder alcanzar conclusiones de síntesis aceptables.

Presentado por McConney, Rudd y Ayres (2002), se trata de la evaluación de un programa de educación compensatoria en escuelas primarias con abordaje multimétodo que presenta inconsistencias. El método utiliza un set de criterios y técnicas analíticas para evaluar el valor de cada fuente de dato y establecer su aporte a la valoración de la efectividad del programa. De esta manera, se sintetiza la información obtenida y se clasifican las conclusiones de la evaluación.

El programa piloto de educación compensatoria Save Our Schools⁷ en educación primaria estaba dirigido a alumnos con problemas de aprendizaje, y/o necesidades especiales y con problemas de comportamiento. Este programa utilizaba un currículo estructurado en forma de módulos para enseñar y desarrollar habilidades de aprendizaje en los estudiantes. Se centraba en 26 habilidades intelectuales claves para el aprendizaje (adquisición, almacenamiento, evaluación y uso de la información). Los alumnos asistían a las clases de 30 minutos de duración del programa, dos veces por semana, durante siete meses. El programa se aplicó durante 4 años, en el primer año a 4 escuelas y se extendió a 17 escuelas en los años siguientes.

El propósito de la evaluación fue determinar la efectividad del Programa SOS Model School. Dicha efectividad se definió sobre la base de los resultados esperados en línea con los acuerdos de los actores comprometidos⁸ en su desarrollo, a saber: la mejora en el rendimiento académico de los alumnos, una disminución de las derivaciones de educación especial, la disminución de las sanciones disciplinarias, el aumento de rendimiento académico en inglés, como segunda lengua y la mejora de la asistencia a la escuela. El trabajo de evaluación se propuso comparar el desempeño de los niños en estas áreas clave, comparando entre los alumnos que hubieran participado o no del programa en cada campo.

El enfoque multimétodo de evaluación supuso la utilización un diseño cuasi experimental, combinado con entrevistas con los docentes, entrevistas de focus group y observación en campo. Se obtuvo una variedad de información cualitativa y cuantitativa con el empleo de una variedad de técnicas de recolección de información.

La información sobre el desempeño académico de los alumnos fue relevada, con la colaboración del Departamento de Educación del Estado, a partir de los registros escolares y estadísticas educativas oficiales. Se desarrollaron especialmente los instrumentos para la obtención de datos cuantitativos sobre el comportamiento de los estudiantes, y sobre la demanda de asistencia psicopedagógica, el desempeño en inglés como segunda lengua y la asistencia escolar.

Para la recolección de información cualitativa se realizaron visitas a todas las escuelas en tres oportunidades, la realización de focus groups, con el staff de la escuela, y entrevistas abiertas con los docentes. Esta evaluación tuvo lugar durante los cuatro años en que se implementó el programa piloto. La conclusión fue que el programa SOS no era tan efectivo como se esperaba, y que no había alcanzado las metas previstas en su diseño inicial. La conclusión de la poca eficacia del programa se basó en una importante cantidad de información y su análisis, ordenado en base a las metas previstas del programa.

Durante cada año de evaluación se obtuvo información contradictoria o divergente en relación con los logros del programa, dependiendo del tipo de fuente de datos que se examinara. Los datos estandarizados a nivel estatal así como los datos cuantitativos obtenidos en las escuelas arrojaban resultados negativos sobre el desempeño del programa. En sentido contrario, los instrumentos de relevamiento de información cualitativa produjeron información de neutral a positiva acerca de la efectividad del programa. A partir de ello se procedió a aplicar un método que permitiera sintetizar la información obtenida. El método empleado se sugiere como útil en situaciones donde resultados de diferentes métodos de recolección de datos aparecen en conflicto

El método opera de la siguiente manera, en primer lugar clasifica cada parte de evidencia proveniente de cada técnica usando un criterio de valor predefinido (en inglés Criteria of worth: COW), alineado en los objetivos del programa que se evalúa, una vez que las evidencias se encuentran en una escala común, se agrega la información de manera de arribar a una conclusión de síntesis.

a) En primer lugar, se clasifica los efectos del programa de acuerdo con un conjunto de evidencia, (efecto positivo, no efecto, o efecto negativo), en relación con los objetivos previstos y/o resultados alcanzados. Por ejemplo, en cuanto al objetivo logros académicos, como se observa en la tabla a continuación.

Tabla 1
Objetivos del programa: Logros académicos

Fuente: tomado de McConney, Rudd, Ayres (2002).

b) En segundo lugar, clasifica el valor de la evidencia en relación con varios criterios de calidad. Se clasifica cada conjunto de datos, o fuente, o tipo de evidencia según un criterio de valor acordado para el programa bajo evaluación. Los autores sugieren los siguientes criterios: precisión, confiabilidad, proximidad a los afectados, relevancia, representatividad, adecuación del relevamiento.

Tabla 2
Criterios de valor para el programa bajo evaluación.

Fuente: tomado de McConney, Rudd, Ayres, (2002).

Como se muestra en la tabla a continuación, se aplica la clasificación a uno de los objetivos del programa el Logro de las metas de rendimiento de los estudiantes. El puntaje obtenido en cada ítem se suma como puntaje total para esa fuente de datos:

Tabla 3
Objetivo del programa: logros académicos

Fuente: tomado de McConney, Rudd, Ayres (2002).

En síntesis, en los pasos a y b cada conjunto de datos es clasificado según lo que pueden decir sobre los efectos del programa en términos de calidad de la evidencia.

c) Luego se combinan los efectos del programa con la valoración de la información. Utilizando las escalas creadas para los pasos 1 y 2, se realiza la agregación de los datos a través de la aplicación de una ecuación para cada objetivo o resultado en consideración de cada set de información.

Y1 = E1 * ΣCOW 1 + E2 * ΣCOW 2 + E3 * ΣCOW 3 .... Ei * ΣCOW i

La ecuación es una estimación de la efectividad del programa para cada resultado. La suma de cada uno de los grupos de información puede traducirse en un rango numérico de la efectividad del programa que podría oscilar por ejemplo entre -150 y + 150. Donde entre - 50 y + 50 se caracteriza como neutral.

Aplicado al ejemplo se muestra de la siguiente manera; obteniendo un resultado positivo.

Y logros académicos= 0* 13 + 1 * 13 + 2 * 9 + 2 * 8 + 1 * 11 = 58

En cambio, este mismo procedimiento aplicado al objetivo de conducta escolar obtiene un valor de 29, es decir, neutral.

d) Finalmente, se promedia la información en una síntesis, o un índice. Lo cual no implica descartar la riqueza de los datos mixtos que se reunieron en torno a cada objetivo del programa Este índice arroja información interesante como para ser utilizada como una línea de base o punto de partida en la evaluación del programa. En el caso de ambos objetivos, logros académicos y comportamiento escolar, se obtiene un valor de 43. Esta medida también puede calcularse con algún tipo de apreciación sobre la forma de implementación del programa. A través de la utilización de este método la efectividad del Programa SOS ha sido clasificada ni como positiva ni como negativa.

En muchos procedimientos de síntesis de información que se utilizan en las ciencias sociales, opera algún grado de subjetividad del evaluador y también, implican alguna pérdida de información. Pero, señalan los autores, que en este caso la medida que se obtiene no debe reemplazar las otras obtenidas por otros medios, sino, en todo caso, agregar un nuevo punto de vista que permita tomar decisiones frente a información con resultados contradictorios.

4. COMENTARIOS FINALES
Hemos realizado una revisión del concepto de evaluación articulándolo con la utilidad del uso de múltiples abordajes que denominamos triangulación, como una forma de obtener una mirada integral de la política pública evaluada y de neutralizar los sesgos de un único abordaje. Asimismo, incorporamos a la discusión el criterio de «evaluabilidad» como la pertinencia del uso de recursos en el proceso de evaluación a partir del análisis crítico de la posibilidad de obtener información relevante para la mejora de la política pública y por lo tanto de la calidad de vida de su población objetivo.

Luego presentamos dos ejemplos de implementación de la triangulación en dos casos reales indicando la utilidad de los procesos que se llevaron a cabo. El primero de los ejemplos describe el tipo de información y técnicas que es posible poner en combinación y el segundo presenta una estrategia posible para resolver alguno de los problemas que pueden ocurrir con la aplicación de esta técnica.

Concluimos que la utilización de la triangulación en sus distintas versiones abre un interesante repertorio de posibilidades frente a la evaluación de políticas públicas. Asimismo consideramos que cabe a los investigadores y evaluadores la adaptación de las técnicas disponibles según las características y circunstancias que presentan los objetos de evaluación. El campo presenta ya una interesante experiencia acumulada que invita a la utilización de potentes herramientas para acompañar y generar información útil para la gestión que resulta conducente considerar.

NOTAS
¹ Las autoras agradecemos a Silvina Alegre, docente de Métodos de Investigación y Estadística de la Universidad Nacional Arturo Jauretche y Beatriz Sauber, ex docente de Matemática de la Universidad de Buenos Aires, por su colaboración en la revisión de los procedimientos matemáticos y metodológicos de uno de los casos presentados en este artículo. A su vez, valoramos la utilidad del proceso de arbitraje desarrollado por esta Revista, al que se sometió el presente artículo, por su contribución a la mejora de la versión final del mismo.

² Cabe aclarar que una de las autoras, Adriana Fassio, trabajó en la DINAPAM en el momento de la evaluación del Programa y tuvo a su cargo la revisión de los términos de referencia de la evaluación y la articulación de la investigación con los consultores contratados por CEPAL-CELADE.

³ Dado que la mayoría de las personas formadas y que brindan cuidados son mujeres, a partir de este momento se utilizará la denominación de «cuidadoras domiciliarias».

⁴ Proyecto 06/07/B «Taking Stock- Development Account Project on Strengthening Social Inclusion, Gender Equality and Health Promotion in the MDGs». CELADE-DINPAM-MDS. Es de destacar también que es la única experiencia de evaluación externa realizada por CEPAL-CELADE sobre una política pública orientada a las personas mayores.

⁵ Las personas cuidadas pueden ser menos puesto que no se identifica si una misma persona mayor ha recibido el servicio en más de una oportunidad, en cuyo caso aparecería contada tantas veces como servicios de prestación hubiera recibido a lo largo del tiempo.

⁶ La falta de registros se ha constituido históricamente en una de las vulnerabilidades en la gestión de las políticas públicas que se han ido mejorando progresivamente a fin de poder lograr al evaluabilidad discutida en el primer ítem de este artículo.

⁷ Si bien el programa tuvo aplicación real, no se revela la identificación del Estado donde fue aplicado.

⁸ Nivel político y de gerencia del programa.

BIBLIOGRAFÍA
1. Cohen, E. y Franco, R. (1997). Evaluación de proyectos sociales. Buenos Aires: Siglo XXI Editores.         [ Links ]

2. Briones, G. (1999). Evaluación Educacional Formación de docentes en investigación educativa. Bogotá: Convenio Andrés Bello.         [ Links ]

3. CEPAL-CELADE, Ministerio de Desarrollo Social, UNFPA (2009). Envejecimiento y sistemas de cuidados: ¿oportunidad o crisis? Santiago de Chile.         [ Links ]

4. Conlin, S. y Stirrat, R.L (2008). «Current Challenges in Development Evaluation». En Evaluation, Sage Publication, 14(2) pp. 193-208.         [ Links ]

5. Dahler-Larsen, P. (2007). «¿Debemos evaluarlo todo? o De la estimación de la evaluabilidad a la cultura de la evaluación. Evaluación de políticas públicas». En Ice, nº 836, mayo-junio. España, pp. 93-104.         [ Links ]

6. Denzin, N. (1978). The Research Act. New York: McGraw-Hill.         [ Links ]

7. Fassio, A. de Mendonça, A. y Cavanagh, P. (2004). El saber administrativo en las organizaciones de la sociedad civil. Buenos Aires: Instituto de Investigaciones Administrativas. Facultad de Ciencias Económicas. Universidad de Buenos Aires.         [ Links ]

8. Fassio, A., Pascual L. y Suárez, F. (2004). Introducción a la metodología de la investigación aplicada al saber administrativo y al análisis organizacional. Buenos Aires: Macchi.         [ Links ]

9. Fassio A. y Rutty, M.G. (2012). «El diseño experimental en el contexto de la gestión: notas sobre su implementación en la evaluación de políticas públicas. Experiencias, alcances y limitaciones». Ponencia presentada en I Jornada Interdisciplinaria de Métodos Experimentales aplicados a la Gestión y Economía, IADCOM-FCE-UBA.         [ Links ]

10. Feinstein, O. (2007). «Evaluación pragmática de políticas públicas». ICE, n° 836, mayo- junio. España, pp. 19-31.         [ Links ]

11. Gallart, M.A. (1993). «La integración de métodos y la metodología cualitativa. Una reflexión desde la práctica de la investigación». En Forni, F., Gallart, M.A. y Vasilachis de Gialdino, I. Métodos cualitativos II. La práctica de la investigación. Buenos Aires: CEAL, pp. 107-151.         [ Links ]

12. Gómez Serra, M. (2004). Evaluación de los servicios sociales. Madrid: Gedisa.         [ Links ]

13. House, E. Howe, K. (2001). Valores en evaluación e investigación social. Madrid: Morata.         [ Links ]

14. Ministerio de Educación (2011). Operativo Nacional de Evaluación 2010. Censo de Finalización de la Educación Secundaria. Informe de Resultados. Buenos Aires.         [ Links ]

15. Mokate, K. (2003). Convirtiendo al monstruo en aliado: la evaluación como herramienta de la gerencia social. Washington DC: Documentos de trabajo del INDES.         [ Links ]

16. Molina Azorín, J., López Gamero, M., Pereira Moliner, J., Pertuza Ortega, E. y Tarí Guilló, J. (2012). «Métodos Híbridos de investigación y dirección de empresas: ventajas y desventajas». Cuadernos de Economía y Dirección de la Empresa. Universidad de Alicante, pp. 55-62. Disponible en http://www.elsevier.es/sites/default/files/elsevier/eop/S1138-5758- %2812%2900003-5.pdf (consultado 1/8/2012).         [ Links ]

17. McConney, A. Rudd, A., Ayres, R. (2002). «Getting to the bottom line: a method for synthesizing findings within mixed-method program evaluation». American Journal of Evaluation, 23, pp. 121-140.         [ Links ]

18. Niremberg, O., Brawerman, J. y Ruiz, V. (2003a). Evaluar para la transformación. Buenos Aires: Paidós.         [ Links ]

19. Niremberg, O., Brawerman, J. y Ruiz, V. (2003b). Programación y evaluación de proyectos sociales. Buenos Aires: Paidós.         [ Links ]

20. Niremberg, O. (2009). «Evaluación y participación: orientaciones conceptuales». En Chiara, M. y Di Virgilio, M. (orgs.). Gestión de la política social. Conceptos y herramientas. Buenos Aires: Prometeo-UNGS, pp. 273-306.         [ Links ]

21. Rodríguez Ruiz, O. (2005). «La Triangulación como Estrategia de Investigación en Ciencias Sociales». En Revista de Investigación en Gestión de la Innovación y Tecnología, nº 31. Disponible en http://www.madrimasd.org/revista/revista31/tribuna/tribuna2.asp#principio (consultado 15/08/2012).         [ Links ]

22. Sen, A, (1996). «Capacidad y bienestar». En Nussbaum M. y Sen, A. (comps.). La calidad de vida. México: Fondo de Cultura Económica, pp. 54-83.         [ Links ]