La evaluación de materiales educativos debe considerar y determinar qué objetivos persigue dicha evaluación, así como quién la realizará, bajo qué condiciones y tiempo de duración. La evaluación de materiales, debe partir de una reflexión y perspectiva teórica, como hemos mencionado antes. Podríamos decir que la actividad adquiere. Entonces, un sentido más amplio) tanto de evaluación como de valoración en la que se pueden y deben considerar criterios dé orden cuantitativo como cualitativo respectivamente. La evaluación de materiales educativos se puede hacer por diversas razones. 

Por ejemplo, en una editorial, para comercializar materiales específicos especializados y generalmente por convenio con alguna institución educativa que los demanda y en muchas ocasiones los coedita. Esta evaluación incluye entre otras revisiones, revisión de contenidos, psicopedagógica, de estilo y diseño y maquetación; además de un análisis prospectivo detallado de mercado para conocer y determinar su comercialización. 

Cuando se realiza una evaluación de materiales educativos, resulta importante discriminar si son materiales que se están elaborando por primera vez, o si son materiales que ya existen y serán utilizados y/o recomendados para el seguimiento de un curso o asignatura, así como el número de ediciones del mismo. Cuando son materiales que se están elaborando por primera vez, se pueden hacer diversos cambios y/o ajustes para que queden bajo criterios específicos a cubrir demandas concretas, y es posible en muchos casos sugerir cambios, añadir actividades o ejercicios determinados, cambios en la maquetación y diseño, así como la inclusión de contenidos específicos. 

Entre los principios más fundamentales que se deben aclarar antes de realizar cualquier actividad de evaluación, será la perspectiva teórica de aprendizaje de la que se parte, la misma que permitirá conceptualizar el tipo de alumno al que está dirigido el material, sus posibles estilos de aprendizaje, sus habilidades, destrezas, recursos y formas de actuación para aprender, así como los posibles logros de las metas de aprendizaje Además de la perspectiva teórica, se pueden considerar (Parcerisa, 1999) cuatro ámbitos generales de análisis para los materiales educativos: 

• En función de las intenciones educativas.

• En función de los requisitos para el aprendizaje. 

• En función de la atención a la diversidad del alumnado.

• En función de los aspectos formales.

 

• Análisis en función de las intenciones educativas. Es indispensable conocer el proyecto curricular y el contexto en el que se enmarcan los materiales educativos, con la finalidad de dar respuesta a las siguientes preguntas: o ¿qué se pretende enseñar? (contenidos) o ¿qué objetivos se persiguen conseguir con el material? (metas de aprendizaje) o ¿cómo se lograrán los objetivos? (actividades de aprendizaje) 

• Análisis en función de los requisitos para el aprendizaje. Es esencial contar con todos los materiales de aprendizaje. Tantos materiales básicos y complementarios. En ambos tipos de materiales, se pueden buscar ciertos indicadores necesarios para el aprendizaje significativo. O Adecuación de nivel lingüístico para los destinatarios. o Estructura de material. O Consideración de pre-requisitos de aprendizaje o Aspectos relacionados con la motivación para el aprendizaje o Elementos contextualizadores del aprendizaje o Posibles aplicaciones de conocimiento y/o habilidades. o Contenidos de aprendizaje y apoyo bibliográfico pertinente, actualizado tanto de material básico como complementario. 

• Análisis en función de la atención a la diversidad del alumnado. Es indispensable considerar el tipo y la organización de las actividades de enseñanza-aprendizaje. Entre los elementos más destacados para evaluar son: o Si las actividades son básicas o complementarias. O Desarrollo de las actividades, posibles soluciones, así como criterios generales para evaluación (auto e inter-evaluación). 

• Análisis en función de los aspectos formales. Además de los diversos criterios psicopedagógicos para el análisis del contenido de aprendizaje, es recomendable tener en cuenta aspectos relacionados con el diseño y maquetación de la información que se presenta en los materiales didácticos, relacionados con: o Formato y encuadernación o Maquetación o Tipografía o ilustraciones, cuadros, tablas, esquemas y otros elementos gráficos que apoyan el contenido del texto.

 

Podemos decir que la evaluación se encuentra aquí para quedarse. Ahora bien, una vez colocada en el centro de la escena, no debemos olvidar, siguiendo el símil cinematográfico, que el encuadre, el ángulo y los movimientos de cámara pueden ofrecemos perspectivas muy diferentes de la evaluación. Así McCormick y James (1995) establecen dos polos alternativos de evaluación: la rendición de cuentas, el modelo dominante, que surge precisamente en los años 70, supone la aplicación de sistemas que se encuentra la educación; el modelo de desarrollo profesional, en cambio parte de la especificidad de cada contexto organizativo y supone la iniciativa de sus protagonistas en la mejora de la práctica mediante espirales consecutivas de reflexión y acción. 

El modelo que sugieres la Unidad Técnica de Investigación Formación en Materia Didáctico del IUED se acerca más al desarrollo profesional en la medida que es congruente con nuestra propuesta de re consideración del paradigma industrialista que ha dominado y domina a gran parte de las instituciones de Educación a distancia. Aunque se aleja de los propósitos de este artículo, un breve repaso a las críticas al modelo industrialista pueden servir demarco explicativo a nuestra propuesta de evaluación. 

 

 

De hecho, el texto en las formas estandarizadas de Educación a Distancia tiende a ser exclusivamente nomológico por cuanto se arguye que la distancia posibilita el diálogo. Incluso puede hablarse de textos cerrados en la medida que excluyen la participación del receptor y animan a la reproducción de formas fijas de comunicación. En cambio, los textos abiertos se muestran hasta ciertos puntos ambiguos, indeterminados, e invitan a la interpretación. 

 

El marco didáctico y organizativo que hemos desarrollado esquemáticamente hasta el momento marca unas pautas respecto a la evaluación de materiales didácticos para la Educación a Distancia que podemos desgranar a través de una ¡e de preguntas: ¿Por qué evaluar? ¿Qué se evalúa? ¿Cómo se hace? ¿Quién lleva cabo la evaluación? Parte de las respuestas se hallan en la exposición ante- mientras que otras se desarrollarán en el resto del artículo. 

 

En primer lugar, debemos evaluar porque se trata de una demanda social legítima de la  gestión de calidad total (Mills y Paul) 1993, sin olvidar que tal demanda externa puede y debe complementarse con un desarrollo de y desde la propia institución en el sentido de la mejora de su práctica docente, en ese caso concreto, de la producción, adaptación o adopción de materiales didácticos. Por otro lado, la relativa novedad de la Educación a Distancia y su especificad frente a los modelo educativos tradicionales demanda unos procedimientos de evaluación diseñados para desvelar la potencia de los programas de Educación a Distancia. En otras palabras, los mecanismos evaluadores que se utilizan en otras áreas pueden no resultar pertinentes en cuanto que desatienden aspectos tan relevantes en Educación a Distancia como, por ejemplo las posibilidades y limitaciones en la interacción entre profesor y alumno, o entre éstos últimos. 

 

Los materiales didácticos han de ser objeto prioritario de evaluación ya que, como señala Rowntree (1998), si bien todo tipo de enseñanza recurre a ellos, la Educación a Distancia en concreto depende fundamentalmente de los materiales, hasta tal punto que no puede entenderse sin ellos. En efecto, una parte considerable de cualquier tipo de comunicación educativa se realiza mediante materiales que ofrecen distintas posibilidades, que van desde la mera transmisión de contenidos hasta la oportunidad de reflexionar creativamente. En el caso de la Educación a Distancia, además de estas funciones, los materiales asumen -al menos parcialmente- otras que en los modelos tradicionales quedan a cargo de la interacción personal o de otros dispositivos: así ocurre, por ejemplo, con la orientación para el estudio o con la evaluación y autoevaluación. 

Una vez reconocida la importancia de los materiales didácticos, una advertencia es de rigor. Como ya hemos señalado, conviene estar prevenido contra los diseños que primen una dependencia excesiva de los textos en detrimento entre la comunicación enriquecida de tipo bi- y multidireccional, entre profesor y alumno(s), así como entre alumnos. En un sentido más amplio, los materiales no ben evaluarse aisladamente del diseño didáctico en que se inserten (Tho 1993; Moore y Kearsley, 1996; Rowntree, 1998; Reigeluth, 2000), por lo que habrá que atender a variables tales como el contexto de la actuación, el alumnado al que se dirigen, el tipo de apoyos o tutorías que se prevén, costes, etc.

 

En los años setenta, la obra pionera de Parlett y Hamilton (citado en Ro tree, 1992) supuso una crítica demoledora a lo que sarcásticamente denomina modelo investigador y evaluador agrícola-botánico, consistente en distribuir aleatoriamente tratamientos (suelos y abonos, originariamente) a distintos signos (plantas) para observar sus rendimientos (crecimiento). Esta propuesta resulta particularmente inadecuada en el área de las ciencias sociales en la medida en que no atiende a la multitud de variables que intervienen en cada fenómeno cultural, desperdiciando información muy valiosa que nutre cualquier realidad humana moldeada desde el diseño pedagógico, no deja de ser un fenómeno que difícilmente se deja reducir a un análisis de input (características del material) y output (resultados en términos de calificaciones, tasas de abandonos, etc.). El modelo que aquí presentamos apuesta por una evaluación de tipo formativo, en el sentido de fomentar unos procesos reflexivos de mejora y desarrollo continuos en manos de diseñadores y usuarios de los materiales. Así mismo, sin renunciar a la información cuantitativa como complementaria, defendemos una aproximación de tipo cualitativo en la recogida de datos que dé cuenta de la riqueza del fenómeno educativo mediante procedimientos tales como la observación del uso de los materiales, la recopilación de información sobre satisfacción con los mismos, el análisis de los procesos cognitivos que desencadenan, etc. 

 

En coherencia con la propuesta que vamos desgranando, la Unidad Técnica de Investigación y Formación en Material Didáctico defiende una aproximación multimodal respecto a la responsabilidad de la evaluación. La labor de agencias externas y expertos resulta ineludible desde el modelo de rendición de cuentas ante instancias superiores y la sociedad en general, pero si pretendemos cumplir con objetivos de desarrollo institucional autogenerado, esas intervenciones han de contemplarse como apoyos a un proceso de formación dentro de la propia institución. Idealmente, los propios responsables del diseño de materiales deberían iniciar una reflexión sobre su práctica en la que interviniera la revisión de bibliografía actualizada y formación ad hoc, en paralelo al análisis de su producción didáctica en la línea ya apuntada más arriba. El resultado cristalizaría en equipos de diseñadores que compartieran su experiencia con vista a la mejora continua de producción. 

 

Los instrumentos de evaluación más utilizados son:

ü  Protocolo para el análisis de los materiales didácticos

ü  Protocolo para el análisis del desarrollo del curso en la plataforma (comunicación e interacción profesor/alumno y alumnos entre sí).

ü  Protocolo para el análisis del uso de la plataforma virtual 

ü  Encuestas a alumnos y profesores. 

ü  Protocolo para la evaluación de los antecedentes académicos del docente.

 

1-Protocolo para el análisis de los materiales didácticos Los materiales de didácticos de éste curso están compuestos por:

a) Módulo de estudio que es elaborado por un autor de reconocida trayectoria académica en la temática, luego procesado pedagógicamente por especialistas y diseñado en formato PDF; finalmente puestos a disposición en la plataforma en formato digital. 

 

b) La Bibliografía Obligatoria que también es puesta a disposición en la plataforma en formato digital. Para realizar ésta evaluación se ha tomado como referencia los aspectos que proponen BAUTISTA y otros (2001:10 y ss.): 

 

En los Materiales didácticos:

ü  Identificar la función de los materiales didácticos: básico, complementario, informativo o de consulta (esto se aplica a los módulos y la bibliografía. 

En los Módulos de estudio:

Valoración de los componentes: introducción, objetivos, elementos facilitadores del aprendizaje, estructura, tipo y variedad de actividades, tipo y criterio de evaluación. 

La valoración general se realizará en función de indagar si es adecuado a la metodología de enseñanza, analizar la interrelación de objetivos-contenidos actividades y evaluación; y adecuado al alumno al que está dirigido

La potencialidad didáctica implica indagar si favorece el aprendizaje significativo, fomenta toma de decisiones de los alumnos, desarrolla el papel activo del alumno, desarrolla el pensamiento divergente, facilita la autocomprobación del aprendizaje y si favorece la planificación del aprendizaje.

Se indagará sobre el tipo de formato en que son ofrecidos los materiales. 

En el caso de materiales dispuestos en el campus virtual e indagar la accesibilidad a los mismos.

 

2-Protocolo para el análisis del desarrollo del curso en la plataforma (propuesta de actividades y participación del profesor, comunicación e interacción profesor/alumno y alumnos entre sí).

Para la evaluación del desarrollo del curso, se realizará un análisis de las actividades del Profesor desde tres aspectos: disciplinar, tipo de intervención y afectivo.

Desde lo disciplinar indagar si ha realizado una propuesta de plan de trabajo o cronograma, actividades individuales y/o grupales, encuentros online, foros, intervención en los foros (participando y cerrando) y eficiencia en tiempo de respuesta (o participación en los espacios del campus), tipo de evaluación y si propone auto evaluación. 

Para el análisis de la comunicación e interacción, se tomarán los Foros como referente, si bien es cierto que el profesor utiliza el correo electrónico para comunicarse también con los alumnos, tomaremos el Foro por ser un espacio abierto y claramente propuesto por el docente como espacio de intercambio y comunicación.

 

3-Protocolo para el análisis del uso de la plataforma virtual.

En este aspecto se deben tomar en cuenta los siguientes indicadores:

-Idioma en el cual está disponible la plataforma, el demo y los instructivos de uso. Los perfiles de acceso a la plataforma: alumno, profesor y administrador.

-Las herramientas de comunicación disponibles: sincrónica (videoconferencias, audio conferencias, chat, audio o video chat). Asincrónica (aula virtual, foros, correo electrónico, listas de discusión y grupos de discusión).

-La información es compartida con distintas herramientas (ficheros adjuntos, repositorio de ficheros, pizarra, transferencia de ficheros, blogs, búsqueda en la plataforma, wiki, álbum de fotos, cmap y lista de usuarios).

-Para realizar trabajos colaborativos dispone de espacios de trabajo en grupos. 

-En tanto la interacción con los contenidos de aprendizaje, diseñar el curso, habilitar portafolio, faqs, mapa de navegación, anotaciones, referencias, bases de datos, creación de materiales, creación de itinerarios, glosario y links. 

-El acceso del docente a la administración le permite habilitar la inscripción de alumnos, gestión de alumnos, elaboración de listas, generar la consulta del expediente académico y otorgar privilegios de accesos.

-En la gestión, desarrollo y evaluación del curso se puede realizar el seguimiento y progreso de los alumnos, generar informes y visualizar estadísticas, acceder al calendario, gestionar y editar pruebas y ejercicios de evaluación y auto evaluación. 

 

4-Encuestas a alumnos y profesores. 

En las encuestas se ha pretendido indagar sobre tres dimensiones centrales del modelo pedagógico: los materiales didácticos, la comunicación e interacción que se ha producido en el entorno virtual (los roles de los profesores y alumnos en dicho entorno) y los recursos tecnológicos que se dispone, centralmente la usabilidad del campus virtual.

 

a) Encuesta a alumnos: al finalizar el curso se envía una encuesta a los alumnos que habían realizado el curso, la realización es de carácter optativo para los alumnos. 

 

En la encuesta se pretende indagar sobre los aspectos centrales que serán tenidos en cuenta en la evaluación del curso. Por ello se pregunta sobre los materiales de estudio que se han utilizado, el Módulo de estudio (didácticos y claros, adecuados, poco comprensibles, otros) y la Bibliografía que se ha propuesto como obligatoria y complementaria (adecuada a la materia o excesiva, si aporto conocimientos nuevos, otros). 

Otro aspecto central es indagar cómo ha sido la comunicación en el curso: las respuestas del profesor, el trabajo en foros, la interacción con el profesor. 

 

b) Encuesta a Profesores: al finalizar el curso se administra la encuesta al profesor del curso. 

En algunos aspectos, ésta resulta ser una auto evaluación del docente, pues indaga aspectos de su propia práctica, además de los recursos que ha tenido disponibles y el uso que ha hecho de ellos. 

El Profesor coloca sus datos personales y debe indicar si es el autor del Módulo de Estudio que se utilizó en el curso. 

El profesor del curso emite opinión sobre los Materiales didácticos, es de considerar que el profesor pudo haber sido el autor de los mismos, en este caso sería una auto evaluación de su tarea como autor y en el dictado como profesor. De igual forma el profesor ha de evaluar la bibliografía que ha propuesto en el curso. 

 

5-Protocolo para la evaluación de antecedentes del docente. 

La evaluación de los antecedentes del docente del curso, nos permite por un lado conocer la calidad del docente del curso y en un futuro poder realizar comparaciones de datos con otros docentes de la modalidad de estudios a distancia. 

 

Los indicadores, tomados del informe UNFPA (2004), tratan de aportar una perspectiva estructural de la docencia al margen de la mera enumeración de cifras que por sí solas no aportan elementos de análisis para una evaluación de estas características. 

- Edad 

- Contratado o de Planta 

- Grado académico máximo alcanzado 

- Títulos que posee (cantidad de años desde que egreso) 

- Numero de Instituciones públicas y privadas en las que ha trabajado 

- Antigüedad en la docencia 

- Número de ponencias presentadas 

- Número de seminarios a los que asistido 

- Experiencia en formación virtual (como docente, alumno o asistente en congresos virtuales)