Autoevaluación

Releyendo mi primera actividad y la última realizada en el Módulo 3 del Curso “La inclusión de las TIC en el diseño de propuestas de evaluación” del CITEP, me asombro de la enorme diferencia entre la evaluación real (expuesta al describir los criterios de evaluación que utilizamos en las materias en las que doy clases) y  la evaluación posible (utilizando rúbricas para evaluar de una manera más objetiva, transparente y justa)

Como afirma Camilloni (1998: 2), “Si (…) se resuelve producir modificaciones en los sistemas de calificación y promoción, éstos tienden a desarrollar una indudable influencia sobre las estrategias de enseñanza de los docentes y, particularmente, sobre las estrategias de aprendizaje de los alumnos, con un efecto denominado de ‘validez retroactiva’”. Creo que, aunque puede no ser lo ideal, pensar en modificar nuestras prácticas evaluativas, nos hace repensar nuestras prácticas de enseñanza… y eso sí que está bueno!!

Las rúbricas permiten que la evaluación sea más objetiva, ya que obliga al docente a clarificar los criterios que utilizará para valorar el trabajo de sus alumnos y, al ser compartidas previamente con estos últimos, les permite conocer de manera clara y precisa qué es lo que se espera de ellos en una determinada situación de aprendizaje, facilitando así el proceso de evaluación de su propio trabajo (autoevaluación) y del trabajo de sus compañeros (coevaluación). Además, los alumnos pueden tomar los criterios –establecidos para evaluar– a modo de pautas que los guíen para alcanzar más fácilmente los objetivos de aprendizaje, ayudándolos a situar con precisión las dudas y problemas que se les plantea en el transcurso de la actividad. Es por ello que las mismas se convierten en un recurso importante para lograr una evaluación formativa e integral.

Poder recuperar el sentido pedagógico de la evaluación, a través de la utilización de rúbricas, constituye una propuesta posibilitadora de transformaciones en todo el proceso educativo, a través de la toma de conciencia del aprendizaje y la enseñanza por parte de alumnos y docentes.

Rúbrica para MIS alumnos

La rúbrica de ID 2388154 publicada en: http://rubistar.4teachers.org/index.php?screen=ShowRubric&module=Rubistar&rubric_id=2388154& está pensada para evaluar proyectos grupales en la asignatura Estadística I de la carrera de Licenciatura en Turismo que se dicta en la Facultad de Ciencias de la Administración de la Universidad Nacional de Entre Ríos. Dicha materia está dedicada al análisis de datos de tipo descriptivo y tiene como objetivo introducir al alumno en el razonamiento estadístico, haciendo especial hincapié en la resolución de ejercicios que pongan de manifiesto la utilidad de esta disciplina en el análisis de la realidad del sector turístico. 

El objetivo principal para el trabajo con proyectos será que los alumnos sean capaces de aplicar los conocimientos estadísticos a situaciones reales y significativas para ellos, promoviendo una actitud reflexiva, crítica y creativa.  

En general, los grupos de alumnos son numerosos (más de treinta) y heterogéneos, con edades que varían entre los 20 y 45 años. Además, aproximadamente la mitad proviene de la R.O. del Uruguay, dado que se trata de una licenciatura que se dicta en convenio con la Universidad de la República. 

Comparando rúbricas...

A continuación compararé mi rúbrica publicada en: http://rubistar.4teachers.org/index.php?&screen=ShowRubric&rubric_id=2387790& con la de mi compañera Liliana Radice, cuya dirección es: http://rubistar.4teachers.org/index.php?&screen=ShowRubric&rubric_id=2387305&

Me resulta realmente interesante realizar esta comparación ya que ambas rúbricas, a primera vista, parecen ser muy diferentes…

Si bien las dos utilizamos niveles de desempeño cualitativos, yo utilicé mayor cantidad de niveles que Liliana, aunque las dos respetamos las sugerencias propuestas en la bibliografía sobre el tema, donde se sugiere entre 3 y 5 niveles de desempeño, con mayor cantidad de niveles para la aprobación. También utilizamos una cantidad de categorías diferentes, ya que yo usé 6 categorías y Liliana 4. Si bien los nombres que hemos utilizado para representar cada una son distintos, en sus descripciones se puede notar que hemos considerado aspectos relativamente parecidos las dos. Creo que la rúbrica de Liliana presenta de una manera más general los aspectos a evaluar, y en la mía existe una mayor diferenciación de los mismos.

Además, me parece que la descripción de las categorías “Exposición Oral” y “Cierre de la Presentación”, que presenta Liliana, tienen puntos comunes, ya que en ambas se habla de la “presentación del contenido”. Supongo que ello se podría diferenciar un poco más, para que no se evalúe lo mismo dos veces.  Y respecto a la categoría “Aspectos comunicacionales” que utiliza Liliana, no me queda claro a qué se refiere con “comunicación con sus compañeros”, ya que podría tratarse de la comunicación con compañeros de grupo, en el caso de que la exposición sea grupal, o la comunicación con los compañeros que conforman la audiencia, y en ese caso se podría referir a las posibles preguntas que ellos pudieran hacerle al expositor.

Mis criterios de evaluación

Trataré de explicitar los criterios que utilizo al momento de la evaluación… En primer lugar, les cuento un poquito sobre mi trabajo (aunque ya algo comenté en un post anterior). Me desempeño como auxiliar de 1era. y JTP en materias del área matemática y estadística. Como no soy titular en ninguna de ellas, me ajusto a las indicaciones de los docentes titulares, y en general, doy la práctica. Las materias en las que me encuentro, son todas promocionales desde este año, la mayoría cuatrimestrales con un régimen de promoción a través de un examen parcial y un recuperatorio al finalizar el cuatrimestre. Muchas veces me encargo de armar la parte práctica de los exámenes parciales, y también corrijo dicha parte. Pensando en los criterios que utilizo para evaluar, me encontré con que se me hace bastante difícil explicitarlos y me pregunto: si a mí, docente, me cuesta explicitarlos, ¿qué pueden esperar los alumnos? Bueno, soy consciente de que todos deberíamos explicitar nuestros criterios de evaluación, y me pregunto cuántos de nosotros lo hacemos realmente... Entiendo que la explicitación de dichos criterios permite que la evaluación deje de ser “misteriosa” y, como dice Camilloni, se garantice la transparencia y la justicia de la decisión. 

Leyendo la serie de preguntas propuestas para la tarea 1 con el propósito de reflexionar sobre los criterios que ponemos en juego a la hora de evaluar, me doy cuenta que, en general, como evalúo la resolución de problemas prácticos de respuesta única, uso un “modelo de respuesta” que tengo a la vista, y que se trata del examen, generalmente resuelto por mí. Lo que siempre busco en las resoluciones de los alumnos, es comprender el camino que siguieron para resolver el problema. Si bien los problemas tienen una única respuesta, no siempre el camino a seguir es uno sólo. Entonces, lo que analizo es dicho recorrido, por lo que, si “embocaron” la respuesta, pero la resolución es incorrecta, el ejercicio estaría mal. Por el contrario, si la resolución en general está bien, pero existe algún error de cálculo o algún dato mal copiado, les considero el ejercicio regular, o “casi” bien, dependiendo de la cantidad de errores de ese tipo cometidos.  

Por otro lado, la parte teórica de los exámenes, cuenta con preguntas de respuesta abierta, y otras de verdadero-falso y múltiple choice. Si bien yo no corrijo esa parte, puedo decir que las preguntas abiertas buscan evaluar el entendimiento de ciertos conceptos por parte del alumno, y se corrigen en tal sentido. Se hacen preguntas que requieran de algo más que la simple “memorización” de la respuesta. Sin embargo, las preguntas de verdadero-falso y múltiple choice se evalúan de acuerdo a si el alumno tildó la respuesta correcta, ya que no siempre se les pide que justifiquen la elección. 

Aclaro que solamente hablé de la instancia de evaluación sumativa, ya que la evaluación formativa -al menos en las materias donde estoy- se la tiene poco en cuenta para determinar la promoción de las mismas. Ello no es “culpa” de los docentes, o no de ellos solamente, ya que el sistema universitario promueve ese tipo de situaciones a través de sus regímenes de promoción -consistentes en exámenes parciales y finales- que solamente permiten evaluar conocimientos y resultados finales, dejando de lado los procesos que llevan adelante los alumnos en la construcción de sus conocimientos.

Síntesis sobre el uso de Formularios

El uso de la herramienta “Formulario”, que desconocía, fue una experiencia realmente enriquecedora para mí…

Desde el rol de docente, su construcción me permitió dar cuenta de la necesidad de plantear preguntas claras para que nuestros alumnos las comprendan y sus respuestas se ajusten a lo que se pretende evaluar. Por lo que si en algún momento vuelvo a usar la herramienta, usaría el “texto de ayuda”, ya que permite clarificar las preguntas que se hacen. Si bien en general mis alumnos comprendieron las preguntas del formulario, una de ellas no cumplió con su objetivo, ya que dos alumnos contestaron algo que no tenía relación con lo que buscaba evaluar... También me permitió dar cuenta de lo importante que es respetar el “objeto de estudio” que va a ser evaluado, es decir, no irnos más allá de lo que dijimos que íbamos a evaluar. Creo que es sumamente valioso lo que nos plantearon en el punto 1 de la Actividad 2, respecto a: ¿Qué entra en el examen?

“Esta es una pregunta fundamental tanto para el docente como para el alumno;  es parte de una conexión que hace posible que la evaluación se produzca; de un pacto ético pues evaluador y evaluado saben el límite; se evalúa sobre un determinado objeto, no sobre ‘todo’”. 

No digo que no sea bueno pretender que los alumnos investiguen por su cuenta, y amplíen las lecturas, pero no al momento de la evaluación!! Pobres alumnos!! 

Y desde el rol de alumna, me permitió observar cómo a partir de un mismo texto se pueden generar pruebas tan diferentes, tanto en sus objetivos como en el tipo de habilidades de pensamiento que promueven las preguntas. Realmente muy interesante!! Retomo nuevamente la necesidad de respetar el objeto de estudio, ya que en los casos en los que me encontré frente a preguntas que iban más allá del texto propuesto, me quedé con esa sensación amarga porque el material de estudio lo leí muy atentamente (como se pedía), y al final no me sirvió para contestar algunas preguntas que se planteaban... Y por último, señalar la importancia de indicarles a los alumnos el objetivo del examen... Me pasó de encontrarme con pruebas que no especificaban cuál era su objetivo. Me imagino esa situación en un examen “real”, sumado a preguntas que traspasan los límites del objeto de estudio, y concluyo nuevamente: ¡¡Pobres alumnos!!  

Moraleja: “siempre hay que tratar de ponerse en el lugar del otro” ;-)

Análisis de los resultados del examen construido utilizando “formularios” de Google.

Después de haber leído detenidamente las respuestas de mis alumnos, puedo concluir que, en general, el examen cumplió con su objetivo: evaluar al grupo de alumnos (sin pensar en una calificación). Varias de mis preguntas eran para emitir una opinión o juicio personal, por lo que no tienen una única respuesta. Algunos dejaron incompletas las preguntas de respuesta abierta y es entendible, más que nada para los que no estamos en tema y nos resulta un poco ajeno a nuestra disciplina (por ello no las exigí como preguntas obligatorias, aunque reconozco que me hubiese gustado que las completaran). Las preguntas que tenían una determinada respuesta “correcta” que surgía del texto leído, en general las contestaron bien.

Respecto a la herramienta  en sí, me resultó muy interesante, ya que permite crear formularios muy variados con preguntas de diferentes tipos que se pueden usar como pruebas con objetivos múltiples, como ya lo comprobamos. El ser “alumna” de varios docentes, me permitió ver cómo es posible, a partir del mismo texto, construir pruebas tan diferentes, priorizando en algunos casos las habilidades de orden superior y en otros las de orden inferior.

Algo que me llamó la atención y que muchas veces repetimos en la práctica (me incluyo), es que algunas pruebas hacían referencia a cuestiones que iban más allá del texto leído, pero a mí (alumna) "me dijeron" que la prueba era sobre el contenido de ese texto únicamente (o al menos eso interpreté). Ello tiene sus pros y sus contras… por un lado está bueno buscar que los alumnos amplíen las lecturas, recurran a otros materias, etc, etc, pero hay que ser explícito con esas pretensiones, y más aún si los vamos a calificar!! Si la prueba había que realizarla sobre el texto leído, y luego se pregunta sobre otras cuestiones que no hemos estudiado, creo que estamos traicionando a nuestros alumnos. Muchas veces nos pasa, como docentes, que tomamos cuestiones que fueron desarrolladas tangencialmente en clase o que no se dieron, pero que creemos que las deberían saber porque están relacionadas con los temas dados. Mmm… pretender que los alumnos “adivinen” lo que puede ser tomado en las pruebas, no está bueno… Ojo! con esto no quiero generar ningún tipo de conflicto, es una crítica que espero sea constructiva… vivir dicha situación como “alumna” en esta actividad, me sirvió hasta a mí!!, ya que me ha pasado de tomar cuestiones que apenas desarrollamos en clase, esos temas sobre los que los alumnos concluyen: “esto seguramente no va a entrar en el examen”. Porque los exámenes también se tratan de eso: especulaciones sobre el qué y el cómo, no??

Y por último, pienso en las respuestas que he leído, más que nada en las pruebas que completé como “alumna” y cuyas respuestas de mis compañeros me compartieron los “profes”… realmente me sorprendió ver tantas respuestas copiadas textualmente del pdf… Sin intención de culpar y ofender a nadie, como dice la Dra. Juana Sancho: “cualquier examen que puede contestar Google, es un examen que merece ser copiado”, interesante, no?? Por un lado creo que un alumno que estudia de memoria, sin entender lo que dice el texto, puede aprobar un examen donde se prioriza la categoría “recordar” de la taxonomía de Bloom (después habría que ver si eso es lo que pretendemos… ese es otro tema). Pero nosotros, que estamos del “otro lado” (somos todos docentes), creo que hubiésemos podido responder elaborando respuestas propias, sin necesidad de “copiar y pegar” (me parece que nos tomamos muy a pecho nuestro rol de “alumno” jaja). Por supuesto que comparto -como ya he leído de alguien- que si ello no se especifica en la pregunta, no tenemos por qué adivinarlo… nuevamente volvemos a estas cuestiones donde el docente pretende una cosa, el alumno entiende otra, y los dos terminan con un sabor amargo… y en el peor de los casos: el alumno reprobando el examen!!

Formulario

Mis prácticas de evaluación

Antes de escribir sobre las acciones habituales que realizamos al momento de EVALUAR en las cátedras donde me desempeño como docente, quiero aclarar que soy auxiliar de 1era y JTP en materias del área de matemática -en carreras no afines al área- y por lo tanto “mis” prácticas de evaluación son las determinadas por los titulares de las materias, que deben ajustarse al régimen de evaluación por parciales de la facultad. 

Como considero que las prácticas evaluativas deben ser coherentes con las propuestas de enseñanza, les comento brevemente cómo se desarrollan las clases… Los titulares dan la parte teórica de la materia, en general, utilizando presentaciones en Power Point y el pizarrón para realizar aclaraciones, ejemplos, etc. Yo me encargo de la parte práctica de alguna de las comisiones, que consiste en desarrollar los ejercicios de los trabajos prácticos. En general, si se trata del comienzo de un práctico, desarrollo algunos ejercicios tipo y luego los dejo que trabajen “solos”, incentivándolos a que lo hagan en grupos. 

Respecto a la evaluación, y como es de esperar para el tipo de enseñanza realizada, la misma consiste en exámenes escritos con ejercicios teórico – prácticos (para las materias promocionales) y únicamente prácticos en el caso de las materias que no se promocionan.  Dichos exámenes se toman en la “semana de parciales”, al finalizar el cuatrimestre, y en el caso de las materias promocionales determinan la acreditación de las mismas. 

Si bien al momento de corregir los exámenes se tiene en cuenta el concepto que se tiene del alumno, únicamente en una de las asignaturas en las que me encuentro, ese concepto se hace explícito en un registro que llevamos los diferentes docente de la materia, y la calificación final se realiza a partir del examen parcial y la nota conceptual, que asigna un máximo de un punto, sobre la calificación del parcial. Ese “punto” se obtiene a partir de los resultados de parcialitos (que se toman durante la cursada), entrega de trabajos prácticos y participación en las clase áulicas.

Por lo expuesto, en general la evaluación es de carácter sumativa, salvo en el caso de la materia donde tomamos “parcialitos” durante la cursada, que intenta ser una evaluación más formativa que sumativa.

En general, se evalúan contenidos (parte teórica de los exámenes) y la habilidad de aplicar los conocimientos para resolver los problemas (parte práctica). Hace no mucho tiempo que una de las titulares de dos de las materias en las que estoy, comenzó a evaluar la teoría, a través de preguntas que intentan reflejar la comprensión que los alumnos tienen de los contenidos desarrollados. En el resto, la teoría sigue siendo evaluada a través de preguntas que pueden ser contestadas con la simple memorización de los contenidos.  Por lo tanto,  los procesos cognitivos privilegiados son: en algunas materias el recuerdo, en otras la comprensión, y a través de los problemas prácticos, se privilegia la aplicación en todas las asignaturas.

En este contexto, la consecuencia más importante de la evaluación para el alumno, en el caso de aprobar el o los exámenes, es la regularización o acreditación de la asignatura. Lamentablemente es muy poca la realimentación que se hace, en general se acuerda un día y hora para “mostrar” los parciales, donde los alumnos pueden consultar sobre sus errores, y aclarar dudas e inquietudes. Para el docente la consecuencia de la evaluación es la medición de conocimientos y resultados finales. 

En cuanto a los criterios de corrección, los exámenes se corrigen de acuerdo a un puntaje fijado por el docente titular. En algunas de las materias se da igual puntaje a los diferentes ítems, en otras la cuestión es más subjetiva, y el docente da mayor puntaje a los puntos que considera más difíciles o más largos. El alumno desconoce el puntaje asignado a cada ítem al momento de resolver el examen. 

Les dejo un modelo de examen de la materia Estadística de la carrera de Contador Público.