El poder de la evaluación

La evaluación puede ser usada de dos maneras: “sumativa” y “formativa”.

  • La evaluación sumativa tiene el fin de medir el conocimiento/habilidades obtenido hasta el momento.
  • La formativa tiene el fin de asistir en el proceso de aprendizaje, y corregir o mejorar el resultado durante el proceso. ( Conole y Warburton, 2005)

El tipo de evaluación que implementan los maestros para cada curso tiene poder sobre el aprendizaje mismo.

“… lo que influyó más a los estudiantes no era el método de enseñanza, sino la evaluación. Los estudiantes describieron todos los aspectos de su estudio – a qué cursos asistieron, cuánto trabajo hicieron y qué método de estudio aplicaron – como dominados completamente por las demandas que percibían del sistema de evaluación.” (Snyder, Miller & Parlett, cited by Gibbs and Simpson, PAG 2004-2005)

Como se puede observar, los estudiantes, intuitivamente, afrontan la evaluación como un juego estratégico: descubren lo que miden los maestros y, basados en ello,deciden donde poner sus esfuerzos y donde no. El método de enseñanza resulta secundario. Si una actividad se evalúa y otra no, una antes y otra después, una más que otra… esto determina qué se estudia y cómo.

En ese sentido, el diseño de la evaluación implica diseñar un sistema de motivación. Si el objetivo es promover aprendizaje, no sólo la obtención de calificaciones, ya sea utilizando un esquema de evaluación formativa o sumativa, éste debe incluir mecanismos de retroalimentación.  

Es por ello que un curso en Aprendiz  incluye:  

  1. a) pruebas de opción múltiple,  
  2. b) misiones, es decir, tareas y actividades diseñadas por el profesor  
  3. c) muro de retroalimentación en el que puede retroalimentar el profesor pero en el cual puede haber retroalimentación entre iguales, para juzgar o reflexionar sobre su  desempeño en la misión.

Pruebas

Las pruebas de opción múltiple  pueden utilizarse tanto para medir avances, conocimientos adquiridos (evaluación sumativa) como para hacer comprobaciones de lectura o visionado de materiales audiovisuales en casos en que estos se asignan previamente a actividades en el aula (por ejemplo en el modelo flipped classroom) así como para practicar habilidades que a veces son mecánicas o aburridas para los alumnos. (Por ejemplo, la ortografía, el aprendizaje de conjugaciones en una segunda lengua, la comprensión y/o la memorización de datos históricos, etc.)

Mientras los clickers o student response systems ya permiten realizar  este tipo de pruebas, en Aprendiz, las pruebas se ven como una forma de aprender. Es decir, Aprendiz es un sistema para la evaluación formativa.

El sistema permite la repetición de la prueba  y premia al alumno dando puntos extra por cada vez que la repite,  lo cual le  será útil para subir de nivel.  El subir de nivel por sí mismo no es lo motivante, sino la mejora en los amuletos.  

El éxito de esta mecánica de juego está en que el profesor diseñe  pruebas que permitan la práctica más que la memoria. Esto se puede hacer  haciendo una base de datos mayor a las preguntas que el profesor decida desplegar en la prueba. Por ejemplo 15 ó más  preguntas si el examen será de 10 preguntas. El sistema elegirá de manera aleatoria qué preguntas presentar al alumno las siguientes veces que presenta la prueba. El alumno continuará ganando puntos las primeras 5 veces que la presente. Pero el profesor podrá siempre consultar en las métricas, cuál fue el desempeño de cada uno de los intentos y decidir cuál toma en cuenta para reportarle una calificación, si hará alguna estimación o promedio, etc. Otra manera de aprovechar esta mecánica  son los exámenes tipo TOEFL que miden o permiten practicar ciertas habilidades pero con un número variado de reactivos y con maneras distintas de medirlos, a pesar de que las respuestas son en todos los casos de opción múltiple.  

Misiones

Misiones en un contexto de aprendizaje híbrido y de aprendizaje transmedia.

Las misiones  en Aprendiz pueden incluir todo tipo de actividades. Pueden pedirse los clásicos resúmenes o ensayos. Se pueden asignar ejercicios de solución de problemas o elaboración de proyectos.

Estamos conscientes que actualmente, tanto  los materiales de clase que se usan para la comprensión, el análisis y la conceptualización, así como las actividades que se asignan a los alumnos,  pueden  tener distintos formatos gráficos, visuales, audiovisuales o multimedia.  Creemos que  las diversas plataformas especializadas tienen un diseño de interacción de acuerdo a lo que promueven y que no tiene caso crear un complicado sistema que emule o permita incrustar contenidos sólo de algunas plataformas, pues la variedad de plataformas y usos de acuerdo al nivel educativo, estilo del profesor y propósito del curso pueden ser muy variadas. Hemos comprobado por experiencia propia con los manejadores de contenidos educativos  que esto complica el uso y hace lenta la navegación. Creemos que se debe promover un aprendizaje  transmedia en el que el profesor incluya el uso de diferentes medios y plataformas según el objetivo de uso del medio o plataforma:

«A Transmedia Learning World is a paradigm for learning that combines the capabilities of ubiquitous technologies, real-life experiences, and learner-focused pedagogies, making for profoundly productive and powerful learning experiences. This dynamic ecosystem allows for the creation of a synergy between varieties of learning models and a range of pedagogies that will take students and teachers around the world into new realms. The United States Department of Education (2011) has recognized the power of using a transmedia approach in learning by declaring that it presents children with multiple entry points to learning, and that it enables educators to use individual media for the functions for which they are best suited.» (https://www. ed.gov/oii-news/why-use-transmedia-early-learning. (Fleming, 2013)

Esto implica promover:

  • El uso de materiales disponibles en la red. El profesor se convierte en un curador que selecciona materiales de buena calidad.
  • La elaboración de materiales cuando es necesario, como siempre se ha hecho, pero compartidos en la red.
  • Promover una alfabetización, tanto para alumnos como para profesores, que contemple habilidades de cultura participativa.

Como dice Jenkins et al (2009):

  • Distributed cognition The ability to interact meaningfully with tools that expand mental capacities.
  • Judgment The ability to evaluate the reliability and credibility of different information sources.
  • Transmedia navigation The ability to follow the flow of stories and information across multiple modalities.
  • Networking The ability to search for, synthesize, and dissemi-nate information.
  • Negotiation The ability to travel across diverse communities, discerning and respecting multiple perspectives, and grasping and following alternative norms.

Como lo explica Fleming:

«Transmedia techniques in particular are helping to propel the traditional educational model into the twenty-first century by reaching out to learners on their own terms, creating, enhancing and spreading content in a rich and fruitful way, and creating opportunities for exploration, interpretation, and expansion. When we combine transmedia with a pedagogy that is transformative, that shifts the locus of control in learning firmly from the teacher towards the learner, we begin to morph the concept of StoryWorld, familiar to transmedia producers, into something that is powerful for learning in the digital age, the Transmedia LearningWorld (TLW). This new model of learning goes beyond the confines of a classroom, and instead creates a TLW that allows content to flow fluidly across the curriculum and from one media to the next.» (Fleming, 2013)

Por tanto, consideramos que cada curso  en Aprendiz puede integrar el uso de diferentes plataformas. En Aprendiz, los alumnos y profesores solo necesitarán compartir el hipervínculo al video subido en Youtube o Vimeo, a la fotografía compartida en Flickr o Instagram, al mapa multimedia realizado en Prezi o a las lecturas compartidas en una carpeta de Dropbox o los artículos de investigación en Mendeley.  

Esta caracteristica de Aprendiz lo hace útil para cursos híbridos, presenciales o totalmente en línea, porque no prioriza albergar contenidos, sino la comunicación, la retroalimentación sencilla e inmediata y la evaluación.

El rol de la retroalimentación

En una síntesis de 87 meta-análisis hecho en 1987, John Hattie descubrió que “el moderador más poderoso que mejora el desempeño, es la retroalimentación”. La retroalimentación durante la evaluación inevitablemente confiere a los estudiantes un rol protagónico en su proceso de aprendizaje, pues representa una oportunidad para que se evalúen a sí mismos y regulen su desempeño.

En el presente, hay una oportunidad especial para obtener retroalimentación de los iguales, adicionalmente a la retroalimentación provista por el profesor. Existen espacios de aprendizaje informales, llamados  “espacios de afinidad” (Gee, 2004) , donde los adolescentes desarrollan sus habilidades del aprendizaje entre iguales. Aunque, por definición, no se puede obtener el 100% de la autenticidad en el espacio escolar de un espacio de afinidad espontáneo, sí es posible comprender si algunas dinámicas estimulantes que suceden en estos pueden replicarse en espacios formales. En nuestro caso, proponemos que los profesores abstraigan e integren, por ejemplo,  las dinámicas de retroalimentación y la lectura beta, surgidas en las comunidades de fan fiction:

En su rol de lectores de los fan fiction creados por la propia comunidad, los miembros
pueden tener diferentes roles:

  • Lurkers. Se llama así a quienes solo leen las ficciones, son observadores que realizan una participación silente (Guerrero-Pico, 2016).  
  • Lectores beta. Se llama así a quienes antes de que el fan fiction sea publicado
    participan en un proceso de edición.  
  • Retroalimentadores. Lectores que de manera espontánea dan retroalimentación al escritor en cuestión. (Lugo, 2016).

Black (2008) encontró también que el tipo de retroalimentación es gentil, y en el que se expresan emociones con exageración, con frases como OMG (oh my god) , lo cual coincide con Samutina (2016) en cuanto a su visión de las expresiones emocionales en la comunidad de Harry Potter. Mientras este tipo de retroalimentación da la apariencia de no ser “crítica”, tanto Parrish (2007) como Black (2008) descubren que el tono amistoso, constructivo, emocional y lúdico en realidad apoya a los participantes a no sentir la escritura como una tarea escolar y a mejorar en el primer caso, las habilidades de las participantes como escritoras en general, y en el segundo, a desarrollar sus habilidades como escritoras de una lengua extranjera así como a desarrollar una imagen positiva en cuanto a la propia identidad. Todo esto hace pensar  que aunque cada uno de esos comentarios al no ser críticos no tienen una función de  mejorar el texto, a largo plazo tienen una función más importante que consiste en otorgar confianza en la propia capacidad de los participantes para escribir, comunicar y crear. (Lugo, 2016).

En Aprendiz, el profesor puede gestionar la retroalimentación a las misiones por parte de los mismos alumnos  simplemente indicando qué tipo de retroalimentación espera de ellos hacia sus compañeros, ya sea una retroalimentación crítica, basada en conceptos estudiados, o bien, más informal y emocional como en la lectura beta.

Uno de nuestros modelos más importantes es Stack Overflow, un sistema de distribución del conocimiento muy exitoso que implementa mecánicas de juego para instar a los participantes a participar más y mejor, resolviendo dudas de las personas que entran a preguntar. En lo particular, además de las típicas “badges” o insignias que son sólo símbolos sin mayor capacidad de motivación intrínseca, concede facultades de edición, administración y moderación. Es decir, conforme un usuario va subiendo de nivel, va adquiriendo permisos de hacer cosas como clasificar preguntas y respuestas, evaluar respuestas ajenas, evaluar preguntas nuevas y “redirigirlas” a preguntas idénticas hechas con anterioridad. Es decir, no sólo confiere premios virtuales, sino un cambio de status y rol en la comunidad que se puede poner a prueba.

Como primer mecánica inspirada en ello, el sistema tiene una mecánica que permite a los alumnos mismos premiar las misiones mejor desempeñadas. Los alumnos podrán votar, en un porcentaje que aumenta con su nivel, por las misiones de sus compañeros. Cada voto se convierte en puntos, también en cantidades mayores con cada nivel, los cuales ayudarán a sus compañeros a subir de nivel. Esta mecánica tiene como fin empoderar a los alumnos, y aumentar su reputación dentro del grupo. El aumento de nivel, frente a las misiones, sirve para tener mayor facultad de ayudar a los demás.

A nivel usabilidad e interacción hemos probado el sistema y realizado mejoras que permitan a los profesores dar retroalimentación o participar en las conversaciones de manera muy sencilla y rápida.

Bibliografía (básica) utilizada y consultada para el desarrollo.

  • Black, R. W. (2008). Adolescents and online fan fiction (Vol. 23). Peter Lang.
  • Conole, G. y Warburton B. A review of computer-assisted assessment. ALT-J, Research in Learning Technology Vol. 13, No. 1, March 2005, pp. 17–31. DOI: 10.1080/0968776042000339772
  • Dicheva, D., Dichev C., Agre G., & Angelova G. (2015). Gamification in Education: A Systematic Mapping Study. Educational Technology & Society, 18 (3), 75–88.
  • Conditions Under Which Assessment Supports Students’ Learning. GRAHAM GIBBS1 & CLAIRE SIMPSON2 1 Oxford University, 2 Open University, UK
  • Fleming, L. (2013). Expanding learning opportunities with transmedia practices:
    Inanimate Alice as an exemplar. Journal of Media Literacy Education,  5(2), 3.
  • Guerrero-Pico (2016). Historias más allá de lo filmado: Fan fiction y narrativas transmedia en series de televisión. Tesis doctoral. Universidad Pompeu Fabra. Barcelona.
  • Jenkins, H., Clinton, K., Purushotma, R., Robinson, A., & Weigel, M. (2009). Confronting the challenges of participatory culture: media education for the 21st century. An occasional paper on digital media and learning, John D. and Catherine T. McArthur Foundation (Retrieved from: http://digitallearning. macfound. org/atf/cf/% 7B7E45C7E0-A3E0-4B89-AC9CE807E1B0AE4E%7D/JENKINS_WHITE_PAPER. PDF).
  • Hattie, J., & Jaeger, R. (1998). Assessment and classroom learning: A deductive approach. Assessment in Education, 5(1), 111-122.
  • Hunicke, R., LeBlanc, M., y Zubek, R. (2004) MDA: A Formal Approach to Game  Design and Game Research. Documento presentado en el Taller AAAI sobre los retos en el Juego AI, San Jose, CA. (http://goo.gl/jYFt4W)
  • Kress, G. R., & Van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication. London: Arnold.
  • Parrish, J. J. (2007). Inventing a universe: Reading and writing Internet fan fiction(Doctoral dissertation, University of Pittsburgh).
  • Scolari, C. (2016) Transmedia Literacy. Rethinking media literacy in the new media ecology. Artículo en proceso de revisión.
  • Laborda, J. G., Sampson, D. G., Hambleton, R. K., Guzman, E. (2015). Guest Editorial: Technology Supported Assessment in Formal and Informal Learning. Educational Technology & Society, 18 (2), 1–2.  
  • Lugo, N. (2016). Diseño de narrativas transmedia para la transalfabetización. Tesis doctoral. Universidad Pompeu Fabra. Barcelona.