Actividad de cierre: ¡¡Mi Portfolio!!

Como actividad final del curso "La inclusión de las TIC en el diseño de propuestas de evaluación", les presento mi Portfolio: https://sites.google.com/site/recuperandoelsentidoevaluativo/home

Espero comentarios :)

Comentario sobre la Rúbrica: Evaluación de Portfolio

Después de una lectura minuciosa de la rúbrica que se utilizará para evaluar los portfolios, me surgieron demasiadas dudas...

En principio, y como ya expusieron varios de mis compañeros, el nivel de desempeño Regular no queda del todo claro al analizar en conjunto todas las categorías. Ya que en el Regular se incluye desde no cumplir con lo pedido (categoría “Organización, Secuencia”) hasta cumplir con lo solicitado (categoría “Conceptos sobre la aplicación de TIC en procesos de evaluación educativa”) y para el resto de las categorías, un Regular está determinado por un cumplimiento parcial. Supongo que se debería revisar ese nivel, para que tanto alumnos como docentes tengamos claro qué representaría un desempeño Regular, y si este significa que Aprobó o No aprobó. Hablo de aprobar o no aprobar, porque la presentación de esta actividad (concreción de un portfolio) es una condición para acreditar el curso.

Por otro lado, algunas de las categorías propuestas me generan un total desconcierto en relación a su aplicación a nuestros portfolios… Si la rúbrica propuesta es para evaluar dichos portfolios, y después de haber leído toda la bibliografía del módulo a partir de lo cual entendí que un portfolio no cuenta con, por ejemplo, foros de discusión… ¿cómo aplicaríamos la categoría “Colaboración con pares”? O sea…la rúbrica, ¿evalúa el Portfolio o todo lo que escribimos en la plataforma del curso? Entiendo que el portfolio debe reflejar lo realizado en el curso y lo aprendido, pero cómo se podría aplicar esa categoría al portfolio mismo si, por ejemplo, un alumno optó como eje organizador de su portafolio el de “estrategias de aprendizaje” (eje propuesto en el texto “Una introducción a la enseñanza de la diversidad”).  O no podemos optar por UN eje organizador?? Uyyy… pareciera que entiendo poco y nada sobre lo que hay que hacer, a pesar de haber leído todo el material propuesto… Y eso me desespera bastante!

Y por último, en la categoría “Conceptos sobre la aplicación de TIC en procesos de evaluación educativa” los niveles de desempeño Muy bueno y Excelente me parece que dicen lo mismo pero con diferentes palabras, con lo cual, si tuviera que aplicar dicha rúbrica no sabría cómo distinguir esos niveles.

Espero, antes que finalice el curso, comprender qué se pretende (de mí) en esta actividad de cierre! :-S

Autoevaluación

Releyendo mi primera actividad y la última realizada en el Módulo 3 del Curso “La inclusión de las TIC en el diseño de propuestas de evaluación” del CITEP, me asombro de la enorme diferencia entre la evaluación real (expuesta al describir los criterios de evaluación que utilizamos en las materias en las que doy clases) y  la evaluación posible (utilizando rúbricas para evaluar de una manera más objetiva, transparente y justa)

Como afirma Camilloni (1998: 2), “Si (…) se resuelve producir modificaciones en los sistemas de calificación y promoción, éstos tienden a desarrollar una indudable influencia sobre las estrategias de enseñanza de los docentes y, particularmente, sobre las estrategias de aprendizaje de los alumnos, con un efecto denominado de ‘validez retroactiva’”. Creo que, aunque puede no ser lo ideal, pensar en modificar nuestras prácticas evaluativas, nos hace repensar nuestras prácticas de enseñanza… y eso sí que está bueno!!

Las rúbricas permiten que la evaluación sea más objetiva, ya que obliga al docente a clarificar los criterios que utilizará para valorar el trabajo de sus alumnos y, al ser compartidas previamente con estos últimos, les permite conocer de manera clara y precisa qué es lo que se espera de ellos en una determinada situación de aprendizaje, facilitando así el proceso de evaluación de su propio trabajo (autoevaluación) y del trabajo de sus compañeros (coevaluación). Además, los alumnos pueden tomar los criterios –establecidos para evaluar– a modo de pautas que los guíen para alcanzar más fácilmente los objetivos de aprendizaje, ayudándolos a situar con precisión las dudas y problemas que se les plantea en el transcurso de la actividad. Es por ello que las mismas se convierten en un recurso importante para lograr una evaluación formativa e integral.

Poder recuperar el sentido pedagógico de la evaluación, a través de la utilización de rúbricas, constituye una propuesta posibilitadora de transformaciones en todo el proceso educativo, a través de la toma de conciencia del aprendizaje y la enseñanza por parte de alumnos y docentes.

Rúbrica para MIS alumnos

La rúbrica de ID 2388154 publicada en: http://rubistar.4teachers.org/index.php?screen=ShowRubric&module=Rubistar&rubric_id=2388154& está pensada para evaluar proyectos grupales en la asignatura Estadística I de la carrera de Licenciatura en Turismo que se dicta en la Facultad de Ciencias de la Administración de la Universidad Nacional de Entre Ríos. Dicha materia está dedicada al análisis de datos de tipo descriptivo y tiene como objetivo introducir al alumno en el razonamiento estadístico, haciendo especial hincapié en la resolución de ejercicios que pongan de manifiesto la utilidad de esta disciplina en el análisis de la realidad del sector turístico. 

El objetivo principal para el trabajo con proyectos será que los alumnos sean capaces de aplicar los conocimientos estadísticos a situaciones reales y significativas para ellos, promoviendo una actitud reflexiva, crítica y creativa.  

En general, los grupos de alumnos son numerosos (más de treinta) y heterogéneos, con edades que varían entre los 20 y 45 años. Además, aproximadamente la mitad proviene de la R.O. del Uruguay, dado que se trata de una licenciatura que se dicta en convenio con la Universidad de la República. 

Comparando rúbricas...

A continuación compararé mi rúbrica publicada en: http://rubistar.4teachers.org/index.php?&screen=ShowRubric&rubric_id=2387790& con la de mi compañera Liliana Radice, cuya dirección es: http://rubistar.4teachers.org/index.php?&screen=ShowRubric&rubric_id=2387305&

Me resulta realmente interesante realizar esta comparación ya que ambas rúbricas, a primera vista, parecen ser muy diferentes…

Si bien las dos utilizamos niveles de desempeño cualitativos, yo utilicé mayor cantidad de niveles que Liliana, aunque las dos respetamos las sugerencias propuestas en la bibliografía sobre el tema, donde se sugiere entre 3 y 5 niveles de desempeño, con mayor cantidad de niveles para la aprobación. También utilizamos una cantidad de categorías diferentes, ya que yo usé 6 categorías y Liliana 4. Si bien los nombres que hemos utilizado para representar cada una son distintos, en sus descripciones se puede notar que hemos considerado aspectos relativamente parecidos las dos. Creo que la rúbrica de Liliana presenta de una manera más general los aspectos a evaluar, y en la mía existe una mayor diferenciación de los mismos.

Además, me parece que la descripción de las categorías “Exposición Oral” y “Cierre de la Presentación”, que presenta Liliana, tienen puntos comunes, ya que en ambas se habla de la “presentación del contenido”. Supongo que ello se podría diferenciar un poco más, para que no se evalúe lo mismo dos veces.  Y respecto a la categoría “Aspectos comunicacionales” que utiliza Liliana, no me queda claro a qué se refiere con “comunicación con sus compañeros”, ya que podría tratarse de la comunicación con compañeros de grupo, en el caso de que la exposición sea grupal, o la comunicación con los compañeros que conforman la audiencia, y en ese caso se podría referir a las posibles preguntas que ellos pudieran hacerle al expositor.

Mis criterios de evaluación

Trataré de explicitar los criterios que utilizo al momento de la evaluación… En primer lugar, les cuento un poquito sobre mi trabajo (aunque ya algo comenté en un post anterior). Me desempeño como auxiliar de 1era. y JTP en materias del área matemática y estadística. Como no soy titular en ninguna de ellas, me ajusto a las indicaciones de los docentes titulares, y en general, doy la práctica. Las materias en las que me encuentro, son todas promocionales desde este año, la mayoría cuatrimestrales con un régimen de promoción a través de un examen parcial y un recuperatorio al finalizar el cuatrimestre. Muchas veces me encargo de armar la parte práctica de los exámenes parciales, y también corrijo dicha parte. Pensando en los criterios que utilizo para evaluar, me encontré con que se me hace bastante difícil explicitarlos y me pregunto: si a mí, docente, me cuesta explicitarlos, ¿qué pueden esperar los alumnos? Bueno, soy consciente de que todos deberíamos explicitar nuestros criterios de evaluación, y me pregunto cuántos de nosotros lo hacemos realmente... Entiendo que la explicitación de dichos criterios permite que la evaluación deje de ser “misteriosa” y, como dice Camilloni, se garantice la transparencia y la justicia de la decisión. 

Leyendo la serie de preguntas propuestas para la tarea 1 con el propósito de reflexionar sobre los criterios que ponemos en juego a la hora de evaluar, me doy cuenta que, en general, como evalúo la resolución de problemas prácticos de respuesta única, uso un “modelo de respuesta” que tengo a la vista, y que se trata del examen, generalmente resuelto por mí. Lo que siempre busco en las resoluciones de los alumnos, es comprender el camino que siguieron para resolver el problema. Si bien los problemas tienen una única respuesta, no siempre el camino a seguir es uno sólo. Entonces, lo que analizo es dicho recorrido, por lo que, si “embocaron” la respuesta, pero la resolución es incorrecta, el ejercicio estaría mal. Por el contrario, si la resolución en general está bien, pero existe algún error de cálculo o algún dato mal copiado, les considero el ejercicio regular, o “casi” bien, dependiendo de la cantidad de errores de ese tipo cometidos.  

Por otro lado, la parte teórica de los exámenes, cuenta con preguntas de respuesta abierta, y otras de verdadero-falso y múltiple choice. Si bien yo no corrijo esa parte, puedo decir que las preguntas abiertas buscan evaluar el entendimiento de ciertos conceptos por parte del alumno, y se corrigen en tal sentido. Se hacen preguntas que requieran de algo más que la simple “memorización” de la respuesta. Sin embargo, las preguntas de verdadero-falso y múltiple choice se evalúan de acuerdo a si el alumno tildó la respuesta correcta, ya que no siempre se les pide que justifiquen la elección. 

Aclaro que solamente hablé de la instancia de evaluación sumativa, ya que la evaluación formativa -al menos en las materias donde estoy- se la tiene poco en cuenta para determinar la promoción de las mismas. Ello no es “culpa” de los docentes, o no de ellos solamente, ya que el sistema universitario promueve ese tipo de situaciones a través de sus regímenes de promoción -consistentes en exámenes parciales y finales- que solamente permiten evaluar conocimientos y resultados finales, dejando de lado los procesos que llevan adelante los alumnos en la construcción de sus conocimientos.

Síntesis sobre el uso de Formularios

El uso de la herramienta “Formulario”, que desconocía, fue una experiencia realmente enriquecedora para mí…

Desde el rol de docente, su construcción me permitió dar cuenta de la necesidad de plantear preguntas claras para que nuestros alumnos las comprendan y sus respuestas se ajusten a lo que se pretende evaluar. Por lo que si en algún momento vuelvo a usar la herramienta, usaría el “texto de ayuda”, ya que permite clarificar las preguntas que se hacen. Si bien en general mis alumnos comprendieron las preguntas del formulario, una de ellas no cumplió con su objetivo, ya que dos alumnos contestaron algo que no tenía relación con lo que buscaba evaluar... También me permitió dar cuenta de lo importante que es respetar el “objeto de estudio” que va a ser evaluado, es decir, no irnos más allá de lo que dijimos que íbamos a evaluar. Creo que es sumamente valioso lo que nos plantearon en el punto 1 de la Actividad 2, respecto a: ¿Qué entra en el examen?

“Esta es una pregunta fundamental tanto para el docente como para el alumno;  es parte de una conexión que hace posible que la evaluación se produzca; de un pacto ético pues evaluador y evaluado saben el límite; se evalúa sobre un determinado objeto, no sobre ‘todo’”. 

No digo que no sea bueno pretender que los alumnos investiguen por su cuenta, y amplíen las lecturas, pero no al momento de la evaluación!! Pobres alumnos!! 

Y desde el rol de alumna, me permitió observar cómo a partir de un mismo texto se pueden generar pruebas tan diferentes, tanto en sus objetivos como en el tipo de habilidades de pensamiento que promueven las preguntas. Realmente muy interesante!! Retomo nuevamente la necesidad de respetar el objeto de estudio, ya que en los casos en los que me encontré frente a preguntas que iban más allá del texto propuesto, me quedé con esa sensación amarga porque el material de estudio lo leí muy atentamente (como se pedía), y al final no me sirvió para contestar algunas preguntas que se planteaban... Y por último, señalar la importancia de indicarles a los alumnos el objetivo del examen... Me pasó de encontrarme con pruebas que no especificaban cuál era su objetivo. Me imagino esa situación en un examen “real”, sumado a preguntas que traspasan los límites del objeto de estudio, y concluyo nuevamente: ¡¡Pobres alumnos!!  

Moraleja: “siempre hay que tratar de ponerse en el lugar del otro” ;-)

Análisis de los resultados del examen construido utilizando “formularios” de Google.

Después de haber leído detenidamente las respuestas de mis alumnos, puedo concluir que, en general, el examen cumplió con su objetivo: evaluar al grupo de alumnos (sin pensar en una calificación). Varias de mis preguntas eran para emitir una opinión o juicio personal, por lo que no tienen una única respuesta. Algunos dejaron incompletas las preguntas de respuesta abierta y es entendible, más que nada para los que no estamos en tema y nos resulta un poco ajeno a nuestra disciplina (por ello no las exigí como preguntas obligatorias, aunque reconozco que me hubiese gustado que las completaran). Las preguntas que tenían una determinada respuesta “correcta” que surgía del texto leído, en general las contestaron bien.

Respecto a la herramienta  en sí, me resultó muy interesante, ya que permite crear formularios muy variados con preguntas de diferentes tipos que se pueden usar como pruebas con objetivos múltiples, como ya lo comprobamos. El ser “alumna” de varios docentes, me permitió ver cómo es posible, a partir del mismo texto, construir pruebas tan diferentes, priorizando en algunos casos las habilidades de orden superior y en otros las de orden inferior.

Algo que me llamó la atención y que muchas veces repetimos en la práctica (me incluyo), es que algunas pruebas hacían referencia a cuestiones que iban más allá del texto leído, pero a mí (alumna) "me dijeron" que la prueba era sobre el contenido de ese texto únicamente (o al menos eso interpreté). Ello tiene sus pros y sus contras… por un lado está bueno buscar que los alumnos amplíen las lecturas, recurran a otros materias, etc, etc, pero hay que ser explícito con esas pretensiones, y más aún si los vamos a calificar!! Si la prueba había que realizarla sobre el texto leído, y luego se pregunta sobre otras cuestiones que no hemos estudiado, creo que estamos traicionando a nuestros alumnos. Muchas veces nos pasa, como docentes, que tomamos cuestiones que fueron desarrolladas tangencialmente en clase o que no se dieron, pero que creemos que las deberían saber porque están relacionadas con los temas dados. Mmm… pretender que los alumnos “adivinen” lo que puede ser tomado en las pruebas, no está bueno… Ojo! con esto no quiero generar ningún tipo de conflicto, es una crítica que espero sea constructiva… vivir dicha situación como “alumna” en esta actividad, me sirvió hasta a mí!!, ya que me ha pasado de tomar cuestiones que apenas desarrollamos en clase, esos temas sobre los que los alumnos concluyen: “esto seguramente no va a entrar en el examen”. Porque los exámenes también se tratan de eso: especulaciones sobre el qué y el cómo, no??

Y por último, pienso en las respuestas que he leído, más que nada en las pruebas que completé como “alumna” y cuyas respuestas de mis compañeros me compartieron los “profes”… realmente me sorprendió ver tantas respuestas copiadas textualmente del pdf… Sin intención de culpar y ofender a nadie, como dice la Dra. Juana Sancho: “cualquier examen que puede contestar Google, es un examen que merece ser copiado”, interesante, no?? Por un lado creo que un alumno que estudia de memoria, sin entender lo que dice el texto, puede aprobar un examen donde se prioriza la categoría “recordar” de la taxonomía de Bloom (después habría que ver si eso es lo que pretendemos… ese es otro tema). Pero nosotros, que estamos del “otro lado” (somos todos docentes), creo que hubiésemos podido responder elaborando respuestas propias, sin necesidad de “copiar y pegar” (me parece que nos tomamos muy a pecho nuestro rol de “alumno” jaja). Por supuesto que comparto -como ya he leído de alguien- que si ello no se especifica en la pregunta, no tenemos por qué adivinarlo… nuevamente volvemos a estas cuestiones donde el docente pretende una cosa, el alumno entiende otra, y los dos terminan con un sabor amargo… y en el peor de los casos: el alumno reprobando el examen!!

Formulario