Éxito y Fracaso en un MOOC, Algunas Reflexiones

fail_or_successSegún el Diccionario de la R.A.E. el éxito es el ‘resultado feliz de un negocio, actuación, etc…’ y también, en su segunda acepción, ‘buena aceptación que tiene alguien o algo’. Por el contrario, el fracaso se define ‘malogro, resultado adverso de una empresa o negocio’ y ‘suceso lastimoso, inopinado y funesto’.

Evidentemente casi en cualquier actividad relativamente compleja inciden tal cantidad de variables que el éxito y el fracaso, como observaciones discretas, no son más que los dos extremos de un continuo en el que es complicado establecer una frontera entre ‘ha merecido la pena’ y ‘no deberíamos haber realizado esta actividad’.

En el caso de los MOOC el tema se torna aún más difícil, ya que ni siquiera cuando hablamos de MOOC estamos todos hablando de lo mismo. Una búsqueda en la web nos devuelve un amplio abanico de actividades en línea, desde las que simplemente se pueden catalogar como Recursos Educativos Abiertos [Open Educational Resources, OER] hasta los cursos conectivistas, todas ellas bajo el paraguas de la palabra de moda: MOOC.

Las cifras que habitualmente se barajan en los cursos abiertos masivos no llega al 8% de alumnado que finaliza todo el itinerario formativo, lo cual para las métricas habituales de la formación on-line sería un auténtico fracaso. Claro que, un 8% de 10.000 inscritos en un curso masivo representa un total de 800 alumnos finalizados, lo cual como cifra absoluta no está nada mal, máxime cuando los presupuestos que se están liberando por parte de las administraciones, que son las que más están apostando por este formato, son en muchos casos inferiores a los cursos on-line tradicionales, pero con un evidente mayor alcance.

En este sentido si calculáramos el coste medio del curso por alumno finalizado probablemente tendríamos un argumento para decidir que no ha sido un fracaso que solo termine el 8%. Por lo tanto o eliminamos como indicador de éxito el porcentaje de finalizados o bien tendremos que rebajar sensiblemente el valor de referencia, ya que un MOOC [ya sea conectivista o no conectivista] nada tiene que ver con un curso on-line ‘convencional’ en este aspecto.

Por otra parte un curso masivo supondría un coste excesivo si quisiéramos tutorizar bajo el modelo convencional de formación on-line, de modo que aparte de que tenemos que reinventar el papel de los equipos docentes en un MOOC, es preciso olvidar cuestiones relacionadas con el grado de interacción con el equipo docente como parte de la evaluación de los MOOC. Vaya, otro indicador por la ventana.

¿Qué otras cuestiones podemos medir en un MOOC para intentar evaluar el grado de éxito [o fracaso] del mismo?

cae6002xEn la edición de verano del Research & Practice in Assesment Journal se publicó el artículo Learning in the Worldwide Classroom: Research Into edX’s First MOOC [pdf], un interesante artículo en el que varios investigadores de Harvard y del MIT analizan la edición de 2012 del curso de Circuitos y Electrónica del MIT el cual, por cierto, finalizó solamente el 4,5% de los 154.763 alumnos matriculados. El foco de esta investigación estaba en aislar los factores que presentaban en común los alumnos ‘exitosos’.

El director del curso [y presidente de edX], Anant Agarwal, reconocía en su participación en la SXSWedu Conference que durante los primeros días del curso le preocupaba especialmente cómo responder las cuestiones de los más de 150.000 inscritos, con la sorpresa de que los alumnos colaboraban de una forma muy activa en el foro contestando las dudas de sus compañeros, y en la mayor parte de las ocasiones con un alto grado de corrección en la respuesta.

Y de hecho esta es una de las conclusiones de la investigación: los alumnos y alumnas con más éxito en el curso eran quienes desarrollaban estrategias para implicar a sus compañeros en su propio aprendizaje.

En este sentido, la actividad que más eventos generó en la plataforma fue la participación en el Foro [tal y como se puede ver en la imagen bajo este párrafo], por delante de la revisión de tutoriales, el visionado de vídeos o el acceso a la wiki, un hecho más interesante aún teniendo en cuenta que la participación en el Foro era algo totalmente voluntaria, ya que este recurso no formaba parte del diseño instruccional del curso.

6002x_tasks_events

Aún más, la participación [o mejor dicho, el número de eventos generados] en el Foro aumentó considerablemente antes de los exámenes, en detrimento de los vídeos y otras tareas y recursos del MOOC, si bien hay que especificar que el 90% de esta actividad se debió a estudiantes que simplemente consultaron la información de los distintos hilos de discusión, sin publicar preguntas, respuestas o comentarios. Esto deja un 10% de participación en conversaciones, un porcentaje que aún dobla el número de alumnos que completaron satisfactoriamente el curso.

En cualquier caso, este estudio destaca la participación en comunidades de aprendizaje como un importante componente del diseño instruccional de un MOOC.

Por otra parte, y al margen de este estudio, los concursos propuestos para que los estudiantes implementaran soluciones reales a problemas desarrollados durante el curso demuestran el nivel de compromiso de los participantes, más allá de cumplir con las actividades propuestas, mostrando trabajos realmente interesantes y que dejan evidencia de los aprendizajes desarrollados durante el curso [puedes acceder a ellos a través de la wiki].

Puede ser interesante, por tanto, contemplar como indicador de éxito de un MOOC el nivel de interacción entre los participantes, y aún mejor el número de comunidades de aprendizaje que se generan durante el curso. Y si además estas comunidades se construyen en espacios distribuidos en la red ¿sería posible que algunas de ellas continuaran con su actividad de intercambio de información y creación de conocimiento?

Y por otra parte, ¿y si esa actividad creativa que se puede generar en un MOOC se orienta hacia la resolución de problemas que tengan un impacto real entre las comunidades profesionales a las que se convoca al MOOC, introduciendo el aprendizaje basado en problemas como parte del diseño instruccional?

Sugiero, finalmente, la lectura del artículo 16 cosas aprendidas sobre los MOOCs de Andrés Pedreño, al que llegué gracias a una recomendación de Fernando Trujillo, que aporta algunas ideas más para reflexionar.

Por cierto, Agarwal ha publicado estos últimos días en su Twitter el lanzamiento de una iniciativa libre basada en edX para que cualquiera pueda crear y publicar MOOC, se trata de Open edX.

imagen | editada a partir de la imagen original Day 56 of 365: beka por Arek Olek con licencia CC-by-sa

7 Comentarios respuesta

  • aaraguz19 septiembre, 2013 at 7:40 pm

    Es cierto que ese 8% de participantes que acaba el curso suena descorazonador. Pero pensemos la alternativa, los cursos clásicos en los que los profesores participamos para conseguir unos puntos para traslados y sexenios. Los acabamos todos, pero… ¿aprendemos algo útil para nuestros alumnos?¿Los disfrutamos?¿Hay un antes y un después de ellos?

    Participé en el MOOC Gamification de Coursera. Los contenidos me parecieron interesantes, claro, por eso me apunté. Pero la sorpresa fue disfrutar, sin querer, de un curso conectivista. Para mí, hubo un punto epifánico en la experiencias: http://cloudthinking.wordpress.com/2013/04/23/lo-que-aprendi-de-coursera/

    Así que, en mi opinión, los MOOC, bien planteados, pueden ser un éxito absoluto independientemente del número de personas que decidan (o puedan) terminarlo.

  • Carlos Bravo Reyes20 septiembre, 2013 at 6:41 pm

    También habrá que pensar, las Univ que no pueden acceder a los sitios como Coursera y otros, estarán marginadas de los Moocs.
    Recientemente concluimos un Mooc, el análisis está en este dirección (son varios artículos, solo cito el último) http://366-dias.blogspot.com/2013/08/desnudando-el-mooc-la-organizacion.html
    pero en próximos días empezaremos otro más…
    Ojalá sea de utilidad el análisis que les presento.

  • Eduardo Díaz23 septiembre, 2013 at 12:18 pm

    Hola, David, señalas que: Puede ser interesante, por tanto, contemplar como indicador de éxito de un MOOC el nivel de interacción entre los participantes, y aún mejor el número de comunidades de aprendizaje que se generan durante el curso. Y si además estas comunidades se construyen en espacios distribuidos en la red ¿sería posible que algunas de ellas continuaran con su actividad de intercambio de información y creación de conocimiento?

    Siento discrepar, esos no pueden ser indicadores de éxito si el objetivo es aprender, solo serían indicadores de éxito si el objetivo del MOOC fuera generar interacción y crear comunidades, pero no es ese el objetivo de un curso (si acaso son medios), el objetivo de un curso (sin entrar en disquisiciones conceptuales) no puede ser otro que aprender y eso es precisamente lo que se ha de medir: cómo varia la variable conocimientos (iniciales-finales), ese es el indicador a utilizar para medir el éxito.

  • Eduardo Díaz23 septiembre, 2013 at 12:24 pm

    Hola, David, señalas: Puede ser interesante, por tanto, contemplar como indicador de éxito de un MOOC el nivel de interacción entre los participantes, y aún mejor el número de comunidades de aprendizaje que se generan durante el curso. Y si además estas comunidades se construyen en espacios distribuidos en la red ¿sería posible que algunas de ellas continuaran con su actividad de intercambio de información y creación de conocimiento?

    Siento discrepar, esos no pueden ser indicadores de éxito si el objetivo es aprender, solo serían indicadores de éxito si el objetivo del MOOC fuera generar interacción y crear comunidades, pero no es ese el objetivo de un curso, el objetivo de un curso (sin entrar en disquisiciones conceptuales) no puede ser otro que aprender y eso es precisamente lo que se ha de medir: cómo varia la variable conocimientos (iniciales-finales), ese es el indicador a utilizar para medir el éxito.

  • J.A. González Vegas21 agosto, 2015 at 5:09 pm

    El éxito de los MOOCs no debería medirse por el porcentaje de terminación de los cursos, este es un dato de importancia, solo si se equiparan los MOOCs con la educación formal. Pareciera que el gran impacto de estos programas, fuera el hecho de que permiten aprender como adultos, fuera de la educación formal, lo cual no siempre lleva a la terminación de los cursos, pero si comporta un aprendizaje de aquello en lo que la persona está interesada, ya sea esto solo una parte del curso, y cuente como un fracaso de aprobación. Quizás los MOOCs están en evolución: son recursos que cuentan con avales académicos serios y eso es una gran parte de su atractivo para personas que desean saber de algo, sin aspirar a certificaciones, pero proveniente de una fuente confiable. Es posible que el involucramiento comunitario sea expresión de esto en un foro calificado. Es bastante difícil y toma tiempo medir los resultados y el impacto de estas experiencias en el corto plazo, apostaría a que los MOOCs tendrán un gran impacto global en los próximos 25 años, son algo como la inversión en políticas de salud, los efectos toman algún tiempo en manifestarse.