# data[].attributes.body
Establece que la evaluación debe centrarse o focalizarse en aspectos y dimensiones concretas del objeto o fenómeno a evaluar, de tal manera que, quienes participan o sean actores de la misma se involucren para favorecer los resultados obtenidos y que estos permitan reflexionar y tomar medidas sobre su acción.

Por ejemplo, si un docente utiliza determinado método de estudio para analizar obras literarias y emprende una investigación evaluativa para valorar y determinar lo eficaz de ésta estrategia con la finalidad de hacer correcciones pertinentes o en su defecto continuar de la misma manera, pueda evaluar su propia acción y ser participante activo de la misma.

En cuanto a la metodología a utilizar para la evaluación-acción es indiferente que se adopte del paradigma cuantitativo o cualitativo, es más, según esta concepción lo ideal sería que existiera un acercamiento entre estas dos, porque el fin primordial es que mediante este estudio se mejore la calidad de la acción

# data[].attributes.body
Representa un modelo evaluativo concebido con la intención de desarrollar en toda su extensión las posturas cualitativas de la evaluación; su fundamento se centra en procesos de investigación y evaluación en el aula de clase siguiendo procedimientos y metodologías naturalistas, pues considera la realidad como un todo dinámico necesitado de orientaciones sobre el cómo proceder y qué decidir.

Entre variados aspectos que considera se destaca que involucra interpretaciones y puntos de vista expresados por los sujetos evaluados a través de procesos de negociación, entendida esta como consensos sobre los productos de lo investigado y evaluado donde se respeten opiniones.

El propósito primordial de la evaluación bajo esta concepción, más allá de reducirse a procesos cognitivos y valoración de lo aprendido, se focaliza en facilitar y promover cambios para la transformación real de creencias, modos y actuaciones desarrollados por programas educativos. El evaluador cumple funciones de orientación y promoción de acciones que favorezcan discusiones, disertaciones y diálogos.

# data[].attributes.body
El modelo que se apoya en dos componentes primordiales de un proceso evaluativo, como lo son la descripción y el juicio.

El propósito fundamental de esta visión evaluativa es describir y juzgar un programa educacional a través de procesos formales de razonamiento, en tal sentido, se enfatiza en recabar datos descriptivos y de juicio procedentes de diversos usuarios, esto para ser procesado a través de dos matrices, una llamada matriz de descripciones y la otra matriz de juicios. A su vez, cada matriz se divide en dos más, para el caso de la matriz de las descripciones se configuran las matrices de las intenciones y las observaciones; y para la segunda, las matrices de los estándares y los juicios, como se muestra en la siguiente

# data[].attributes.body
Este modelo surge como una respuesta que enfrenta lo que se considera como tergiversación y estructuración cerrada planteada por la evaluación centrada en el logro de objetivos previamente establecidos. Algunos expertos aseguran que significó un primer intento de atribuirle rigor intelectual al avasallante y establecido campo de la investigación.

Scriven fue quien planteó este enfoque que pretende llenar el vacío de la visión evaluativa orientada hacia la consecución de las metas, al proponer imparcialidad ante los eventos que van surgiendo Guerra (2007).

A partir de las décadas de los sesenta y setenta surgen los llamados modelos emergentes de investigación y evaluación en oposición a los modelos cuantitativos, hecho que ocurre debido a las limitaciones y desventajas que presenta el método clásico por excelencia de investigación como lo es el método científico.

Por ser la educación una acción intencional en las dimensiones cultural, social, política y económica de los grupos sociales, amerita estudios más profundos y particulares del desempeño del ser humano, aspecto que consideran los modelos emergentes.

Sobre este particular, quien evalué tendrá mayores posibilidades de tomar en cuenta efectos y factores del contexto que desde el punto de vista de las metas preestablecidas resulta imposible. Precisamente, este es el momento en que se incorpora la evaluación formativa en el campo educativo.

En sí, el modelo evaluativo sin referencia a objetivos minimiza la alteración de la investigación, puesto que, propone que el evaluador desconozca en forma intencionada los objetivos que se persiguen, por lo que debe indagar sobre los productos deliberadamente esperados y por los inesperados, dado que las consecuciones tienen prioridad sobre las intenciones. Por eso, este se considera un modelo de transición entre los cuantitativos y los cualitativos.

# data[].attributes.headline
Modelo de Evaluación para la Toma de Decisiones (CIPP)

# data[].attributes.subject
Modelo de Evaluación para la Toma de Decisiones (CIPP)

# data[].attributes.body
El modelo CIPP desarrollado por Stufflebeam contempla en su estructura básica a los cuatro elementos que conforman sus siglas: la evaluación del contexto como ayuda para la designación de las metas, la evaluación de entrada como ayuda para dar forma a las propuestas, la evaluación del proceso como guía de su realización y la evaluación del producto al servicio de las decisiones de reciclaje. La principal orientación de la evaluación del contexto es identificar las virtudes y defectos de algún objeto, como una institución, un programa, una población escogida o una persona y proporcionar una guía para su perfeccionamiento.

La principal orientación de una evaluación de entrada es ayudar a prescribir un programa mediante el cual se efectúen los cambios necesarios. Esto lo realiza identificando y examinando críticamente los métodos potencialmente aplicables.

En esencia una evaluación del proceso es una comprobación continua de la realización de un plan. Uno de sus objetivos es proporcionar continua información de los administrativos y al personal acerca de hasta qué punto las actividades del programa siguen un buen ritmo, se desarrollan tal como se había planeado y utilizan los recursos disponibles de una manera eficiente.

El propósito de una evaluación del producto es valorar, interpretar y juzgar los logros de un programa. La continua información acerca de estos logros es importante tanto durante el ciclo de un programa como en su final, y la evaluación de producto debe, a menudo, incluir una valoración de los efectos a largo plazo.

Busca el perfeccionamiento de los programas para que estos funcionen de manera efectiva aprovechando de la mejor manera los recursos y obteniendo mejores resultados.

La evaluación es un instrumento para ayudar a que los programas sean mejores para la gente a la que debe de servir. En este modelo de evaluación se exploran aspectos del contexto, de los procesos y de los productos que se han obtenido, por lo que implica un análisis profundo de varios niveles del programa y de la organización.

Criterios de Evaluación

Se tienen claros el contexto, el estado actual del programa, los procesos que lo integran y los productos que se derivan de este.

Busca el perfeccionamiento.

Propone alternativas de mejora.

Se tiene conocimientos de cómo se dan los procesos.

Los productos son los contemplados desde los objetivos.

Se respetan las cuestiones éticas

# data[].attributes.headline
Modelo de Evaluación como Análisis de Sistemas

# data[].attributes.subject
Modelo de Evaluación como Análisis de Sistemas

# data[].attributes.body
Este modelo centra su atención en los resultados que se obtienen luego de que determinados insumos franquean una serie de procesos interrelacionados. Es por ello, que la evaluación se focaliza en datos cuantitativos obtenidos al final de una serie de pasos o fases; evaluar bajo este enfoque conduce a indagar relaciones de causa y efecto mediante variables cuantificables.

De manera que se trata de una visión de la evaluación donde lo primordial es el resultado o producto final del desarrollo de ciertos procesos a que son sometidos unos insumos, esto con la finalidad de obtener frutos eficientes y eficaces, donde estos a su vez puedan ser retomados como elementos de entrada.

En educación, lo que se pretende con esta visión es relacionar estándares o normas con diferencias encontradas, esto mediante las variaciones establecidas por los indicadores y puntuaciones de los test, por lo que, la técnica estadística de correlación constituye el principal operador de este enfoque; donde los resultados son presentados en forma de equivalentes en la curva normal (distribución Normal), con la implicación de que el resultado de la evaluación de cualquier estudiante estaba asociado o en función del rendimiento del grupo al que pertenecía, es decir, al sistema particular (grupo común) del que forma parte.

# data[].attributes.attachment_link.title
Modelo de evaluación por análisis de sistemas

# data[].attributes.headline
Modelo de Evaluación como logro de objetivos

# data[].attributes.subject
Modelo de Evaluación como logro de objetivos

# data[].attributes.body
onstituye el modelo de mayor incidencia en la gran mayoría de prototipos que se han desarrollado posteriormente, su principal proponente fue Tyler, se fundamenta en la pre especificación de los objetivos a lograr, por esta circunstancia, el propósito fundamental de la evaluación consiste en determinar en qué medida se consiguen dichos objetivos. Hace mayor énfasis en los productos que en los procesos, no considera directamente lo realizado durante un proceso ni la influencia de otros factores que puedan intervenir durante el mismo; simplemente centra su atención en la verificación, comprobación o medición de dichos objetivos.

La evaluación basada en este enfoque describe si los evaluados han logrado los objetivos propuestos o no, facilitando que los resultados informen sobre el cómo manejar una nueva estrategia instruccional su revisión, adopción o rechazo; en este sentido, se puede incurrir en pasar por alto productos parciales o beneficios inesperados más allá de los fines originales, Guerra (2007).

Este modelo concibe los procesos de instrucción como un conjunto de técnicas y procedimientos que apoyados en tecnologías conducentes a propósitos previamente formulados y establecidos; por tal razón, los aprendizajes son entendidos como el dote de conocimientos instituidos por la instrucción, en consecuencia, la evaluación de esos aprendizajes se limita a la verificación del logro de esos objetivos.

# data[].attributes.body
Generalmente este modelo se visualiza desde la corriente conductista, donde se considera que los procesos de instrucción están sustentados en adiestramientos y acondicionamientos del individuo, de modo que respondan a estímulos externos a través de conductas manifiestas que puedan ser observadas; razón por la cual, el recurso didáctico por excelencia constituye la instrucción programada operacionalizada mediante diseños instruccionales focalizados en establecer conductas manifiestas motivadas por agentes ambientales externos, implicando mediciones en función de dichas conductas. (Serrano, 1990).

Por ello, en esta postura se considera que el aprendizaje se determina al medir productos, y por ende la evaluación también, desde ésta concepción el estudiante al ser entendido como un sujeto pasivo asimilador y receptor de influencias guiadas deliberadamente desde el medio externo para poderlas reproducir mediante respuestas o conductas observables sin considerar otros aspectos tan importantes en la adquisición de aprendizajes, es visto como un ente factible de medición.

# data[].attributes.body
Llegado este punto, se ha transitado de lo general a lo específico en términos de la fundamentación teórico-metodológica de las evaluaciones. Siguiendo a De Miguel (2000) para que un modelo pueda servir de guía (arquetipo),además de estar fundamentado sobre una teoría… Exige, además, especificar operacionalmente las variables con el fin de probar la validez empírica del modelo y la posibilidad de generalizar su aplicación”

# data[].attributes.body
La evaluación participativa, es un enfoque muy posicionado en los procesos evaluativos; el texto de J. Bradley Cousins y Elizabeth Whitmore (2004), describe dos líneas principales: la evaluación participativa práctica y la evaluación participativa transformadora. La primera, fue impulsada en EE. UU. y Canadá - década de 1970- cuando evaluadores(as) incluyeron a las comunidades involucradas en la toma de decisiones, bajo la premisa de que la participación de las y los interesados en la evaluación, mejorará su relevancia, apropiación y, por ende, su utilización. La segunda, parte de los principios y acciones para democratizar el cambio social desarrollado en los contextos políticos latinoamericanos. Este enfoque, ofreció una reacción a las posturas positivistas en investigación y se nutre de las propuestas teóricas de Paulo Freire, Gramsci, Habermas, Adorno, entre otros; con un fuerte arraigo en el desarrollo comunitario e internacional, la educación de personas adultas y los movimientos feministas (Cousins y Whitmore, 2004).

# data[].attributes.attachment_link.readable_text
Por J. Bradley Cousins y Hind Al Hudib
Universidad de Ottawa, Canadá

EvalParticipativa - ¡qué espacio tan asombroso! Desde hace mucho tiempo que somos fanáticos investigadores y consultores en evaluación participativa. Sin embargo, desde nuestra experiencia, EvalParticipativa no tiene paralelo como espacio para el intercambio profesional, el desarrollo de capacidades y el aprendizaje en este campo. Es un gran honor para nosotros poder contribuir y formar parte de la comunidad EvalParticipativa.

La evaluación participativa es algo muy querido y cercano a nuestros corazones desde hace mucho tiempo. Uno de nosotros (Cousins) ha estado escribiendo sobre este tema durante casi tres décadas. Si bien nuestras contribuciones han sido principalmente investigaciones sobre la evaluación participativa, siempre hemos tenido interés en llevar a la práctica ese conocimiento basado en la investigación. Por ello, ¡qué gran oportunidad brinda EvalParticipativa en este sentido! Pero, quizás aún más desafiante, es la fabulosa oportunidad de convertir la práctica experimentada en investigación! Las lecciones aprendidas que en esta comunidad se comparten sin duda harán avanzar la teoría y la práctica de la evaluación.

La definición fundamental de evaluación participativa, tal como se ha dejado muy claro en este sitio web, implica el trabajo asociado entre evaluadores y miembros de la comunidad a fin de producir conocimiento evaluativo. No solo se consulta a los interesados en el programa por sus puntos de vista y opiniones, sino que en realidad ellos participan como miembros del equipo de evaluación. Nos gustaría situar en este breve artículo a la evaluación participativa dentro del panorama de la evaluación en general, y considerar qué implicaciones tiene ello para la práctica.

Con el tiempo hemos llegado a entender que la evaluación participativa es miembro de la familia de distintos tipos de evaluación a la que hemos llamado Enfoques Colaborativos de Evaluación (los CAEs, por sus siglas en inglés). Todos los miembros de esta familia, por ejemplo la evaluación participativa práctica, la evaluación participativa transformadora, la evaluación para el empoderamiento, la investigación acción participativa, la evaluación democrática, la técnica del cambio más significativo, la evaluación centrada en la utilización, comparten la misma definición fundamental mencionada anteriormente. Dicha característica básica distingue a los CAEs de los enfoques de evaluación más tradicionales, convencionales y dirigidos por el evaluador.

¿Por qué hacerlo? Desde nuestra perspectiva, los objetivos o justificaciones predominantes para los CAEs son: prácticos (resolver problemas de los programas, mejorarlos), políticos (disminuir la injusticia social), filosóficos (desarrollar una comprensión profunda y pertinente del contexto) y éticos (asegurar la equidad). Cualquier justificación de los CAEs ha de basarse en alguna o en todas estas categorías, pero en general, se hará hincapié en una o dos de ellas. Por ejemplo, la evaluación participativa práctica está muy orientada a mejorar el uso de la evaluación a fin de aprovechar el cambio en el programa y aumentar el aprendizaje sobre el programa y su contexto. Se basará principalmente en la justificación pragmática, si bien las otras categorías también están implicadas. Por otro lado, la evaluación participativa transformadora, que trata principalmente de la inclusión social y el empoderamiento de grupos marginados, depende en gran medida de la justificación política, pero también depende en cierta medida de las otras categorías.

¿Cómo se ve en la práctica? Sabemos que los CAEs pueden adoptar muchas formas diferentes, pero ellas pueden describirse en tres dimensiones fundamentales:

el control de la toma de decisiones técnicas de la evaluación (¿es el evaluador quien decide? ¿los actores sociales interesados (stakeholders)? ¿una mezcla de ellos?);

la diversidad de las partes interesadas (¿es un grupo reducido de partes interesadas los que participan? ¿una gama más amplia de miembros de la comunidad del programa? ¿algo intermedio?); y

la profundidad de la participación (¿se trata de una consulta sin mayor compromiso? ¿o bien las partes interesadas participan en la mayoría o en todos los aspectos metodológicos de la evaluación?).

Por ejemplo, la evaluación participativa práctica es (i) a menudo codirigida por el/la evaluador/a y las partes interesadas participantes, y (ii) generalmente involucra solo a un pequeño grupo de partes interesadas, aquellas que tienen el poder de realizar cambios reales en el programa (por ejemplo, los diseñadores del programa, administradores). Generalmente, (iii) las partes interesadas están profundamente involucradas en todos o la mayoría de los aspectos de la metodología de la evaluación participativa práctica. Por otro lado, si bien el control puede permanecer equilibrado, es más probable que la evaluación participativa transformadora involucre a una gama más amplia de partes interesadas, incluidos los beneficiarios previstos del programa, y ​​puede o no involucrarlos en todos los aspectos de la evaluación.

Principios para guiar la práctica. Nuestra premisa es que los objetivos y los procesos específicos de los CAEs surjan de un análisis de las influencias y factores contextuales del programa, ya sean sociales, históricos, económicos o políticos. Los CAEs son fundamentalmente enfoques de evaluación, en contraposición a modelos o prototipos que están destinados a encajar a la fuerza en solicitudes particulares de evaluación. Cualquiera de los CAEs pueden ser seleccionados para su aplicación en las distintas circunstancias de evaluación de un programa; o bien, atendiendo al contexto se podría desarrollar otro enfoque alternativo que adhiera a la definición básica de los CAEs.

Para guiar la toma de decisiones y la aplicación práctica de los CAEs, desarrollamos y validamos sistemáticamente un conjunto de principios generales que cubren a todos los miembros de esta familia de enfoques colaborativos. Estos principios se aplican de manera más útil cuando son tomados en su conjunto (a diferencia de la simple selección de ellos como si fuera un menú), están interconectados y siguen una secuencia temporal flexible. Los principios y las preguntas prácticas sugeridas asociadas con cada uno se presentan a continuación.

Este conjunto de principios basados ​​en la evidencia es particularmente útil para planificar, desarrollar e implementar los enfoques colaborativos de evaluación. A su vez también podría usarse de otras formas, tales como el diseño de capacitaciones para evaluadores y miembros de la comunidad del programa, la revisión retrospectiva de evaluaciones ya completadas, y el aporte de insumos para el desarrollo de políticas de evaluación organizacional. En su conjunto también podría proporcionar un marco conceptual valioso para la investigación y la indagación en la evaluación.

¿Hasta qué punto estos principios se articulan con las metas, objetivos, actividades y productos de EvalParticipativa? ¿Es posible imaginar cómo estos principios podrían haber funcionado en algunos de los fabulosos proyectos y experiencias de aprendizaje que se han publicado en este sitio web? ¿Puede alguno/a de ustedes imaginar el uso de estos principios para guiar su propia evaluación participativa u otros proyectos relacionados con los enfoques colaborativos de evaluación? Confiamos que encuentre beneficiosos a estos principios y que, mediante su aplicación y uso, resulten de gran valor para esta increíble comunidad. ¡Bravo EvalParticipativa!
Referencias

Cousins, J. B., & Chouinard, J. A. (2012). Participatory evaluation up close: A review and integration of the research base. Charlotte, NC: Information Age Press.

Cousins, J. B., Whitmore, E., & Shulha, L. M. (2013). Arguments for a common set of principles for collaborative inquiry in evaluation. American Journal of Evaluation, 34(1), 7-22. doi: 10.1177/1098214012464037

Cousins, J. B., Shulha, L. M., Whitmore, E., Gilbert, N., & Al Hudib, H. (2015). Evidence-based principles to guide collaborative approaches to evaluation. CRECS Ten Minute Window, 3(4)

Cousins, J. B., Shulha, L. M., Whitmore, E., Al Hudib, H., & Gilbert, N. (2016). How do evaluators differentiate successful from less-than-successful experiences with collaborative approaches to evaluation? Evaluation Review, 40(1), 3-28. doi: 10.1177/0193841X16637950

Shulha, L. M., Whitmore, E., Cousins, J. B., Gilbert, N., & Al Hudib, H. (2016). Introducing evidence-based principles to guide collaborative approaches to evaluation: Results of an empirical process. American Journal of Evaluation, 37(2), 193-215. doi: 10.1177/1098214015615230

Whitmore, E., Al Hudib, H., Cousins, J. B., Gilbert, N., & Shulha, L. M. (2017). Reflections on the meanings of success in collaborative approaches to evaluation: Results of an empirical study. Canadian Journal of Program Evaluation, 31(3), 328-349. doi: 10.3138/cjpe.335

Cousins, J. B. (Ed.). (2020). Collaborative approaches to evaluation: Principles in use. Thousand Oaks, CA: SAGE

# data[].attributes.attachment_link.description
Por J. Bradley Cousins y Hind Al Hudib Universidad de Ottawa, Canadá EvalParticipativa - ¡qué espacio tan asombroso! Desde hace mucho tiempo que somos fanáticos investigadores y consultores en evaluación participativa. Sin embargo, desde nuestra experiencia, EvalParticipativa no tiene paralelo como espacio para el intercambio profesional, el desarrollo de capacidades y el aprendizaje en este...

# data[].attributes.headline
Enfoque Evaluación para la transformación

# data[].attributes.subject
Enfoque Evaluación para la transformación

# data[].attributes.body
Enfoque Evaluación para la transformación Olga Nirenberg, Josette Brawerman y Violeta Ruiz (2005), afirman que laresistencia a los procesos evaluativos y las dificultades para incorporar susrecomendaciones en la gestión de las intervenciones públicas tienen que ver con“la resistencia al cambiocomo sociedad, siempre han existido fuerzas o impulsos tendientes acambiar los modos de relacionarnos, de mejorar nuestras instituciones,nuestras formas organizativas, nuestras formas de expresión

# data[].attributes.attachment_link.title
Evaluar para la transformación (Resumen)

# data[].attributes.headline
Enfoque Evaluación para la justicia social

# data[].attributes.subject
Enfoque Evaluación para la justicia social

# data[].attributes.body
Ernest House, influenciado por la concepción de justicia de J. Rawls plantea que en los procesos evaluativos influye la concepción de justicia (implícita o por regla) de quien evalúa y de los actores que contratan las evaluaciones, y que ésta atraviesa toda la evaluación incluida la construcción del discurso evaluativo (House, 1980). Para House, la evaluación como una actividad política en tanto sus resultados derivan en decisiones que redistribuyen recursos (bienes y servicios) en la sociedad por lo que la evaluación no sólo debe ser veraz, sino justa (1980). House y Howe proponen tres dimensiones para la evaluación a saber (Vargas, 2001): Deliberación, corresponde al razonamiento reflexivo con respecto a los aspectos relevantes que incluyen la identificación de preferencias y valores de las personas involucradas en relación con lo evaluado. 28 Estadounidense especialista en evaluación y política educativa; cuyos aportes más sustantivos se registran entre las décadas del 70 y el 80 . Quien desarrolla aportes importantes en torno a la justicia política como equidad en sociedades con regímenes democráticos. 38 Inclusión, constituye la aclaración y consideración de los intereses de las personas interesadas a quienes afecta, de una u otra forma, lo evaluado. Diálogo, es el establecimiento de espacios para que, tanto los actores involucrados como las personas evaluadoras, puedan intercambiar, discutir sus intereses y presentar sus ideas con respecto a lo que se evalúa.

# data[].attributes.body
Elliot W. Eisner propone un enfoque de evaluación en donde el rol de quien evalúa es central. Este autor apunta a que “…sólo un experto que ha pasado toda una vida en el campo puede proporcionar evaluaciones mediante el uso sistemático de la sensibilidad perceptiva, la organización de la experiencia previa y la refinación de ideas perspicaces o intuiciones que serían imposibles de obtener de otra forma” (Valdés, 1999, p.7). Su postura construida a partir de sus aportes a la “enseñanza como un arte”27 plantea que la persona evaluadora “…es una especie de experto en educación que tiene que interpretar lo que observa, tal y como sucede en un medio saturado de significados” (Fonseca, 2007, p. 428).

# data[].attributes.attachment_link.title
Modelo de Evaluación Orientado a la Experiencia de Elliot W. Eisner

# data[].attributes.headline
 Enfoque Evaluación orientada a la utilización

# data[].attributes.subject
 Enfoque Evaluación orientada a la utilización

# data[].attributes.body
El enfoque de evaluación centrada en el uso -de Michael Quinn Patton - se postula como una alternativa ante la ciencia experimental como fuente privilegiada para proporcionar información útil para la toma de decisiones siendo un “…un intento de ir más allá de los modelos formales en los que estaba inmersa la práctica de la evaluación” (Izquierdo, 2008, p. 123). En la misma línea que Weiss, Wholey, este enfoque justifica la evaluación en virtud de su utilidad, es decir “el esfuerzo por evaluar un programa sólo se justifica si resulta en productos que se utilizan”

# data[].attributes.attachment_link.readable_text
En diversos ámbitos de las intervenciones de desarrollo ha venido teniendo mucha fuerza el trabajo sobre la noción de "mejores prácticas". La misma refiere a determinadas iniciativas (proyectos, programas) que son identificadas como valiosas, positivas, y dignas de ser replicadas. De ese modo, dichas prácticas son rápidamente convertidas en estándares, con la expectativa de alcanzar cierta escala e ir más allá de la "práctica" inicial.

Esto presenta diversos problemas, entre los cuales encontramos claramente que los estándares (como tales) tienden a desprenderse de su contexto de origen, y pasan a ser entendidos como cuasi-universales, vale decir, aplicables en todo ámbito y tiempo, por distante que sea con aquel que le dio origen. Además de implicar que efectivamente sabemos cuál es la mejor manera de hacer las cosas, y de incluso desalentarnos a buscar otras maneras de hacerla, un punto crítico apunta a la complejidad: no siempre sabemos porqué algo funciona, aunque lo haga exitosamente.

Ya comentamos anteriormente cómo la ciencia de la complejidad puede aportar valiosos insumos y perspectivas enriquecedoras para entender el enmarañado proceso de cambio social y del desarrollo. La perspectiva de la complejidad facilita superar la visión de considerar a la pobreza, la vulnerabilidad, y la enfermedad como rompecabezas, y a las organizaciones de desarrollo como las piezas que faltan para completarlo. Esto, además de dar a las intervenciones externas una mayor importancia de la que tienen, distorsiona la naturaleza de los problemas que enfrentamos, presentando de manera simple el flujo del desarrollo. En lugar de abordar e involucrarnos con la complejidad, la misma es descartada o relegada a un lugar marginal, lo que es facilitado por las herramientas y técnicas que muchas veces usamos. El punto clave es que tratamos a las cosas complejas como si fueran simplemente complicadas.

Ante esto, recientemente han ido surgiendo enfoques y métodos de evaluación orientados a reconocer el carácter complejo de distintos contextos de implementación de programas y políticas. Entre ellos me parece que tres aportes infaltables son los siguientes: Purposeful Program Theory , de Sue Funnell y Patricia Rogers, Systems Concepts in Action, de Bob Williams y Richard Hummelbruner, y Developmental Evaluation, de Michael Quinn Patton.

El enfoque de Patton (quien aquí comentó sobre tendencias actuales de la evaluación) está explícitamente orientado a articularse y apoyar procesos de desarrollo emergentes, innovadores y transformacionales. De algún modo, procura atender a la necesidad de evaluar un programa mientras el mismo se está desarrollando, en el sentido de que se está generando y configurando en su mismo desarrollo. Entonces, en ese contexto, aparece la necesidad de adecuar el enfoque de evaluación, respondiendo a diversas demandas: dar cuenta hacia los administradores y/o financiadores de resultados e impactos que se hubieran predeterminados, a la vez que requiere generar aprendizajes y lecciones de la experiencia en curso. ¿Qué sugiere Patton que se puede hacer? Algo de lo siguiente:

Documentar los principios que impulsan el programa, y utilizarlos para organizar la puesta en acto en otros escenarios donde se va a desenvolver.

Identificar los factores que dan cuenta de que determinada área está lista para ejecutar el programa.

Compartir las lecciones aprendidas con los actores o interesados principales (los stakeholders) en áreas de implementación posibles.

El punto es que la Developmental Evaluation no es solamente difícil de traducir (¿evaluación en desarrollo?), sino que es problemática en cuanto atiende a un conjunto complejo de condiciones y resultados que, en gran medida, desafían la ortodoxia en investigación y evaluación. Patton es muy conocido por diversos aportes, entre los cuales resalta su proceso de evaluación focalizada en la utilización. En este nuevo giro de tuerca, Patton hace uso de conceptos del paradigma de la complejidad para dar cuenta de situaciones de dinamismo y novedad, incertidumbre y construcción en proceso. Y si bien en aquel enfoque brindó una guía o serie de pasos a seguir, estos ahora no están tan claramente estipulados. Justamente, no podría haber una "receta" para una metodología orientada a abordar la complejidad, con atención a la emergencia de nuevos patrones, la tarea de darles sentido para entenderlos en el contexto de su aparición, así como a rescatar al contexto de generación de los descubrimientos. Estos elementos caracterizan y distinguen a la Developmental Evaluation de otros enfoques de investigación y evaluación.

Valgan estas pocas líneas para una primera aproximación a este enfoque. La presentación in-extenso de Developmental Evaluation puede estudiarse en el libro homónimo. Y si quieren ver y escuchar un par de presentaciones del mismo Patton dando cuenta del enfoque y su articulación con los contextos de complejidad, pueden visitar My M&E y tendrán acceso a la grabación de dos video-conferencias y sus respectivas presentaciones: la primera de ellas es (justamente) sobre la Developmental Evaluation, mientras que la segunda apunta a How to evaluate interventions in complex dynamic environments.

Una inquietud final que me surge, la cual seguramente valdría la pena explorar, es cuáles son los puntos de contacto y distancia entre el enfoque de Patton y los aportes que el movimiento de la sistematización ha realizado en América Latina? Quizás algun@ de los amig@s del grupo Sistematización y Evaluación pueda darnos algunas pistas en los comentarios...
ACTUALIZACION:
Michael Q. Patton tuvo la gentileza de leer este post, y me envió la siguiente comunicación:

Pablo,

Thank you for sharing your posting. I had a colleague translate it for me over the phone. Very impressive and useful.

Mucho gracias,

Michael

Michael Quinn Patton

Utilization-Focused Evaluation

Saint Paul, MN

Sociologist, evaluator, and something else... Family man, guitar learner, compulsive reader... Blogging and tweeting about Development, Evaluation and Complexity issues... Ver todas las entradas de Pablo Rodriguez-Bilella

Publicado

# data[].attributes.attachment_link.title
Developmental Evaluation: una breve introducción

# data[].attributes.attachment_link.description
En diversos ámbitos de las intervenciones de desarrollo ha venido teniendo mucha fuerza el trabajo sobre la noción de "mejores prácticas". La misma refiere a determinadas iniciativas (proyectos, programas) que son identificadas como valiosas, positivas, y dignas de ser replicadas. De ese modo, dichas prácticas son rápidamente convertidas en estándares, con la expectativa de alcanzar...

# data[].attributes.body
https://youtu.be/DARlWXPJ7nw

La evaluación iluminativa, parte de la premisa de que la evaluación es un proceso que facilita el aprendizaje de la sociedad sobre sí misma, favoreciendo un “…proceso democrático, pluralista iluminando con su información a los participantes. El evaluador es principalmente un educador cuyo éxito será medido por lo que de él se aprenda”

# data[].attributes.attachment_link.title
Resumen: Evaluación Iluminativa de Parlett y Hamilton

# data[].attributes.headline
 Enfoque Evaluación libre de objetivos (centrada en la valoración)

# data[].attributes.subject
 Enfoque Evaluación libre de objetivos (centrada en la valoración)

# data[].attributes.body
https://www.tdx.cat/bitstream/handle/10803/5036/jjma08de16.pdf.PDF
Michael Scriven17 , filósofo y matemático estadounidense, junto con H.J. Brown y Wildavsky impulsaron un enfoque de evaluación libre de objetivos desde el cual, se toman -como objeto- los resultados de efecto generados por la intervención -tanto los previstos en el diseño, como los no planeados18 - (Neirotti, 2007). De acuerdo con este planteamiento, “…la evaluación debe partir de un planteamiento pragmático para conocer los efectos de un programa sin preocuparse por saber la medida en que los objetivos fueron alcanzados” (Vargas, 2001, p. 5). La crítica principal de este enfoque, respecto al “centrado en objetivos” recae en que La tendencia a evaluar los programas en función de los objetivos de sus responsables y técnicos es la otra principal causa de sesgo en la valoración, según Scriven …la evaluación debe servir para identificar todos los efectos, intencionados o no, que puedan ayudar a resolver los problemas sociales. Los grandes objetivos de un programa normalmente son vagos y abstractos dado que lo que pretenden es obtener apoyo político, mientras que los objetivos que se fijan profesionales y técnicos para un programa también suelen estar sesgados dado que se seleccionan aquellos que es más factible conseguir

# data[].attributes.headline
Enfoques Evaluación centrada en objetivos

# data[].attributes.subject
Enfoques Evaluación centrada en objetivos

# data[].attributes.body
La Evaluación centrada en objetivos, es un enfoque inicialmente desarrollado por Ralph W. Tyler15 educador estadounidense en el primer decalustro del siglo XX. En Iberoamérica, es conocido especialmente por sus “Principios básicos del currículo” (1949/1986)16 , siendo uno de los trabajos más influyentes en el diseño y la práctica curricular mundial (Cordero y García, 2004); su propósito fue determinar la medida en que se alcanzaban los objetivos educacionales planteados (Vargas, 2001). Este enfoque (más allá de su cuño educativo), se caracteriza por utilizar como punto (parámetro) de referencia los objetivos de la intervención a evaluar, realizando análisis comparativos entre los propósitos y lo que se logró. De manera que se orienta a “…determinar la congruencia entre los resultados alcanzados y los propuestos, por un lado, y entre el trabajo (las operaciones) y los objetivos por el otro” (Neirotti, 2007, p. 27).

# data[].attributes.attachment_link.readable_text
En la planificación y ejecución de políticas, programas o proyectos es común distinguir entre la gestión por objetivos y la gestión del proceso. En el primer concepto se hace hincapié en que la planificación se dirige hacia un objetivo predeterminado; en el segundo el acento se pone en ajustar el rumbo del programa según la experiencia adquirida en su transcurso. De igual forma, en el trabajo de evaluación podemos distinguir entre el enfoque por objetivos y el enfoque por procesos:

Evaluación de objetivos: Análisis de los efectos de una intervención considerados en relación con los objetivos establecidos en la misma; es decir, en qué medida los impactos son causados por la intervención o se deben a factores externos.

Evaluación de procesos: Análisis de una intervención y de cómo ésta funciona en un contexto social, a fin de comprender los procesos generados y sus consecuencias en el sentido más amplio.

Con el enfoque por objetivos el principio fundamental es formular hipótesis sobre la base de una teoría establecida, imaginando sus consecuencias, por ejemplo, en forma de objetivos; aquéllas son después contrastadas con la realidad observable en el momento de realizarse la evaluación. Una ventaja encontrada en este enfoque es que, en gran medida, toma como punto de partida la experiencia existente, lo que facilita la selección de datos y las posibilidades de interpretación.

La principal crítica a este enfoque es que puede fácilmente conducir a una situación en que tanto los temas como las áreas problema están tan estrictamente delimitadas que podrían pasarse por alto aspectos importantes. En ocasiones, los programas cuentan con objetivos poco claros o formulados inadecuadamente; además, las intervenciones normalmente dan lugar a impactos no previstos -tanto positivos como negativos- que pueden dejarse de lado si la evaluación se centra únicamente en lo que se ha identificado previamente como el objetivo de la intervención.

Por contraste el enfoque por procesos no se establece sobre un conjunto de teorías o hipótesis acerca del desarrollo. El investigador comienza con una actitud abierta e interrogante. A través de la observación y la investigación, surgen temas que sucesivamente demandan nuevos conocimientos, conduciendo de manera gradual a nuevas revelaciones. Este enfoque consume tiempo y demanda mucho esfuerzo. Una de las objeciones principales es que, a fin de evitar desviaciones subjetivas, es a menudo necesario conceder un énfasis especial a la selección de datos, perspectivas y métodos y explicar estos aspectos en detalle.

En la práctica los enfoques de evaluación por objetivos y por procesos pueden complementarse (NORAD-UD, 1997). En la planificación y ejecución esto puede hacerse analizando de nuevo y, si es necesario, redefiniendo la formulación de la intervención sobre la marcha, a medida que se adquiere nueva experiencia. Esto permite asegurar el grado de flexibilidad necesario en la gestión y dirección de programas. En ese caso, los estudios de proceso pueden ser de considerable valor.

En el trabajo de evaluación, esto se puede conseguir ampliando la perspectiva más allá del marco que fue inicialmente planificado -productividad y eficacia- para incorporar varios aspectos imprevistos o difícilmente predecibles como los impactos, pertinencia y viabilidad. En el fondo se trata de estar abiertos a las necesidades de evaluación que se puedan presentar y abordarlas de la forma que mejor se considere dentro del marco previsto de objetivos, tiempos y recursos inicialmente programados para la evaluación.

Complementación del enfoque por objetivos con el enfoque por procesos para la mejor adecuación a las necesidades de evaluación de los programas

Referencias citadas:

NORAD-UD (1997). Evaluación de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. Agencia Noruega de Desarrollo-Unidad de Evaluación del Ministerio Noruego de Asuntos Exteriores. Instituto Universitario de Desarrollo y Cooperación (IUDC) - Universidad Complutense de Madrid - Fundación Centro Español de Estudios de América Latina (CEDEAL). Madrid.

# data[].attributes.attachment_link.title
Complementación de enfoques: La evaluación de objetivos frente a la evaluación de procesos - Evaluación y Desarrollo

# data[].attributes.attachment_link.description
En la planificación y ejecución de políticas, programas o proyectos es común distinguir entre la gestión por objetivos y la gestión del proceso. En el primer concepto se hace hincapié en que la planificación se dirige hacia un objetivo predeterminado; en el segundo el acento se pone en ajustar el rumbo del programa según la experiencia adquirida en su transcurso.

# data[].attributes.body
El paradigma interpretativo constructivista (o naturalista), reconoce la realidad como dinámica, cambiante y múltiple, síntesis de realidades complejas y subjetivas generales, la finalidad es interpretar la realidad a partir de contextos históricos, sociales, económicos, culturales, políticos particulares. Desde este paradigma, quien conoce (evalúa) no es ajeno a la realidad (objeto por conocer), sino que se reconoce como parte de la realidad objeto de estudio de manera que se pretende superar la dicotomía sujeto-objeto y ubicar la construcción de conocimiento como una acción permeada por las subjetividades de quienes hacen parte de los procesos. La evaluación naturalista se orienta a …establecer el significado de las acciones y actividades que se desarrollan dentro del proyecto; su enfoque es global, holístico, sin referencia a factores causales ni a variables particulares... Sin duda, la aplicación de estos modelos al momento de evaluar no es lineal, puesto que, en la dinamicidad de la realidad social, no siempre será posible ceñir lo que teóricamente se propone en su formulación. (Valdés, 1999, p. 6) construidas por las personas. De ahí que, lejos de pretender la verificación de leyes

# data[].attributes.body
Este es quizá el paradigma que ha tenido menor desarrollo -hasta el momento- en el ámbito de la evaluación. Sus postulados básicos son que la realidad es la síntesis de procesos sociales, políticos e históricos que no admiten una “verdad única” sino que son producto de una “… construcción subjetiva y dada en determinada época y contexto …instalada históricamente por los centros de poder, que condicionan la verdad según sus conveniencias e intereses” (Robert, 2016, p. 4). Por lo tanto, desde este paradigma, se cuestionan las “verdades únicas y absolutas” y se comprende la producción de conocimiento científico como una vía para la transformación de la realidad, entendiéndolo como un proceso inacabado (Robert, 2016), en donde lo teórico-práctico se asume como una unidad dialéctica

# data[].attributes.body
Este paradigma ha acompañado el desarrollo teórico-metodológico de la evaluación, sobre todo asumiendo los postulados de la sociología positivista desde la cual, se planteó que los objetos de estudio de las Ciencias Sociales -como lo propuso Comte- podían ser abordados como los de las Ciencias Naturales (Vargas, 2001). Desde esta perspectiva, la realidad es concebida como predecible y verificable lo que deriva en que, las y los evaluadores, se aboquen a buscar métodos que, 17 precisamente, les permitan medir, estandarizar y precisar sus metodologías, a fin de dotar de objetividad a sus resultados. Lo anterior implica que, en apego al método deductivo y sobre la base de leyes universales, la evaluación se orienta a demostrar la regularidad y la normalización desde una visión estática de la realidad en la que se insertan los objetos de la evaluación (Valdés, 1999). El positivismo, parte de una relación “sujeto que conoce-objeto, por conocer” marcada por la enajenación en función de que se postula y defiende una distancia argumentada en virtud de la imparcialidad y objetividad. En los procesos de evaluación, para la emisión de sus juicios de valor

# data[].attributes.attachment_link.title
Evolución de la evaluación del aprendizaje de un paradigma positivista a un paradigma exolicativo

# data[].attributes.headline
 Articulación entre paradigma, enfoque y modelo en evaluación

# data[].attributes.subject
 Articulación entre paradigma, enfoque y modelo en evaluación