ARTÍCULOS ORIGINALES

Aprendizaje y Percepciones de Docentes y Alumnos

Rendimiento estudiantil en tiempo de pandemia: percepciones sobre aspectos con mayor impacto  

Student performance in times of pandemic: perceptions of aspects with the greatest impact  

Silvana Temesio¹, Sofía García¹, Alen Perez¹

¹ Universidad de la Republica, Facultad de Información y Comunicación, Montevideo, Uruguay  

silvana.temesio@fic.edu.uy, sofia.garcia@fic.edu.uy, alen.garcia@fic.edu.uy

Recibido: 14/12/2020 | Aceptado: 13/01/2021

Cita sugerida: S. Temesio, S. García and A. Perez, “Rendimiento estudiantil en tiempo de pandemia: percepciones sobre aspectos con mayor impacto,” Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, no. 28, pp. 359-369, 2021, doi: 10.24215/18509959.28.e45

 

Resumen

En este artículo se analizan los resultados de una encuesta realizada a estudiantes de grado respecto de su tránsito por el primer semestre en contexto de emergencia sanitaria en la Universidad de la República en Uruguay. Se observa que los estudiantes asocian su rendimiento en primer lugar a aspectos vinculados a su participación y dificultades para llevar a cabo esa participación. Respecto de los aspectos del diseño de los procesos de enseñanza por parte de los equipos docentes, se destacan el tiempo disponible para realizar las evaluaciones, la diversidad de actividades propuestas, los espacios de interacción docente-alumnado, la explicitación de objetivos y la coherencia de la planificación. Se observa, asimismo, la necesidad de interacción con los equipos docentes, presentando insatisfacción cuando esa interacción no es fluida, no hay respuesta a los mensajes o retroalimentación a las tareas.

Palabras clave: Rendimiento estudiantil; Pandemia; Ciencia de datos; Análisis de sentimientos.

Abstract

This article analyzes the results of a survey of undergraduate students regarding their transit through the first semester in the context of a health emergency. It is observed that students associate their performance in the first place with aspects related to their participation and difficulties in carrying out that participation. Regarding the aspects of the teaching design, the time available for assessments, the variety of the proposed activities, the teacher-student interaction, the explanation of objectives, and coherent planning stand out. Likewise, the need for interaction with the teaching teams is observed, showing dissatisfaction when that interaction is not fluid, there is no response to the messages or feedback to the tasks.

Keywords: Student achievement; Pandemic; Data science; Sentiment analysis.

 

1. Introducción

En el marco de la emergencia sanitaria, los cursos de la Universidad de la República en Uruguay debieron rápidamente adaptar su modalidad de dictado, pasando de formatos presenciales o híbridos a una modalidad completamente a distancia. La adecuación realizada rápidamente por los equipos docentes dio resultados diversos. En algunos casos se mantuvo la modalidad de enseñanza, solamente adecuando la mediación, en otros, se buscó una replanificación de los cursos para proponer un curso en línea, con las especificidades que ello conlleva.

El entorno virtual de aprendizaje (EVA) puede funcionar como un repositorio y las clases estar centradas en instancias magistrales de videoconferencia, o se pueden implementar diferentes prácticas de enseñanza que incluyan la interacción, la evaluación formativa, el aprendizaje colaborativo, promoviendo un cambio de paradigma en la enseñanza que incluya la incorporación de metodologías activas, donde el docente transforma su rol para convertirse en mediador en el proceso de enseñanza y aprendizaje y el estudiante en protagonista activo de su propio proceso educativo [1].

El cambio forzado de modalidad recogió diversas respuestas desde los equipos docentes, que en algunos casos plantearon cambios en el diseño instruccional y en otros mantuvieron la estructura cambiando el medio. En 2008, [2] plantea el concepto de diseño tecnopedagógico, que incluye las dos dimensiones indisociables del proceso de educación mediada: la dimensión tecnológica y la pedagógica.

Por su lado, los estudiantes también deben realizar adecuaciones en sus modos de aprender. En primer lugar, porque desde el punto de vista práctico, debido a que aspectos prácticos e infraestructurales ahora estaban puestos en juego, como el acceso a dispositivos digitales, la conectividad disponible, la infraestructura doméstica y los cambios de rutinas en el hogar, entre otros. Situaciones que en la presencialidad se resolvían institucionalmente de una manera uniforme en esta coyuntura dan cuenta de la diversidad de condiciones previas a la acción educativa. Asimismo, su nuevo rol en el proceso educativo, supone adaptaciones que en algunos casos no fueron explícitas: los estudiantes debieron tomar las riendas de su propio proceso de aprendizaje de manera activa.

En el caso analizado, la Institución se propone conocer cómo transitaron los estudiantes el primer semestre en contexto de emergencia sanitaria a través de una encuesta de participación voluntaria, cuyos resultados puedan constituirse en insumo de la mejora de la práctica docente futura.

La encuesta realizada por la Unidad de Apoyo a la Enseñanza (UAE) fue de participación voluntaria y se difundió a través de la página web, redes sociales y correos electrónicos institucionales. Se recogieron datos durante 12 días, recibiendo 844 respuestas, de las cuales el 6% fueron descartadas ya que referían a estudiantes que no estaban cursando unidades curriculares del semestre impar.

El objetivo general del presente trabajo es, entonces, identificar qué factores favorecieron o dificultaron el acceso y seguimiento de cursos en modalidad virtual en la Facultad de Información y Comunicación (FIC) en el contexto de la emergencia sanitaria COVID-19.

Este reporte contiene el modelo conceptual, aspectos relacionados a la ética y privacidad de datos, detalles de la metodología, los resultados obtenidos en el análisis de datos y de textos, las conclusiones y bibliografía.

Como antecedentes en el tema se pueden señalar algunos estudios – sin pretender ser exhaustivos - sobre las emociones en ambientes elearning [3], sobre la retención estudiantil [4], sobre actitudes de docentes y estudiantes respecto a las TIC [5] y sobre percepciones de alumnos universitarios en la virtualidad [6].

2. Modelo conceptual

Kirschner [7] destaca la importancia de contar con una visión teórica para poder realizar una analítica del aprendizaje y en ese sentido es que se desarrolla un modelo conceptual de la situación analizada.  

El escenario educativo como plantea Pardo [8] (figura 1), refiere tres entidades interrelacionadas entre sí: estudiante, profesor y entorno virtual de aprendizaje o Learning Management System.

Figura 1. Escenario educativo Pardo [8]

A partir de esta conceptualización se analizan estas entidades en el contexto del formulario utilizado para el relevamiento.

El formulario que recabó información sobre los estudiantes de la FIC contiene los siguientes elementos:

Estudiantes

• Información general:

• Identificador.

• Área de domicilio: Montevideo, área metropolitana, interior urbano, interior rural, exterior.

• Responsabilidades de cuidados: sí, no.

• Discapacidad y/o dificultad de lectoescritura.

Información de cursada:

• Carrera: Archivología, Bibliotecología, Comunicación.

• Semestres que están cursando: Primero a octavo.

• Dispositivo principal de conexión: PC/notebook, Tablet, celular.

Percepción de actuación:

• Rendimiento: nulo, bajo, bueno, muy bueno, excelente.

• Cumplimiento de actividades: nulo, 30, 50, 80, 100.

• Participación webconferencias: nulo, 50, 80, 100.

• Frecuencia de participación en EVA: todos los días, regularidad, 2/sem, 1/sem, nunca.

Propuestas docents

• Valoraciones de las actividades propuestas y el diseño general: número actividades, coherencia, participatividad, interacción, diversidad de actividades, explicitación de objetivos, trabajo colaborativo, orientaciones.

• Valoración de las evaluaciones propuestas: cantidad, instrumentos, tiempo, objetos de evaluación, modalidad, diversidad.

 Dificultades

• De acceso y particulares (refieren a la entidad Estudiante).

• De Uso (refieren a la entidad LMS).

• Referidas a la modalidad de enseñanza (refieren a la entidad Docente).

La entidad estudiante tiene una serie de caracterizaciones o perfiles que modelan las condiciones de dispositivos, conectividad, responsabilidades o cuidados y accesibilidad, que son las condiciones detalladas que modelan el acceso y las posibles dificultades que puedan darse.

El perfilado de los aspectos señalados representa grupos de estudiantes que se caracterizan por una serie de atributos que no son vistos como sujetos individuales sino como miembros de una representación de situaciones que la Institución tendrá que resolver brindando las herramientas o servicios que se requieran.

Se plantean además otras caracterizaciones como la carrera que cursa, el semestre que cursa y el lugar de donde proviene. Asimismo, el estudiante tiene una percepción sobre su desempeño en los cursos que realiza y sobre la evaluación que le es realizada.

Otra faceta recabada es el relato que realiza sobre su actividad en la realización de la experiencia educativa y su interacción con el diseño instruccional (figura 2).

Figura 2. Estudiante y sus relaciones en el proceso educativo

Por otra parte el entorno virtual (LMS) tiene una serie de cursos y cada uno de estos cursos tiene un diseño instruccional que contiene elementos como:

• Contenido: archivos, enlaces, videos.

• Actividades: foros, tareas, cuestionarios.

• Webconferencias.

En el caso del formulario no se establece una diferenciación de los elementos del diseño instruccional por curso y se hace en forma general para todos los cursos. Este problema genera una limitación, ya que no es posible distinguir claramente la situación: un estudiante puede realizar dos cursos y tener una opinión del diseño instruccional de un curso y otra totalmente diferente del otro, y en el formulario propuesto no queda claro si contesta por uno, otro o el promedio. Esta situación aparece evidenciada en algunos comentarios y surge claramente como un problema a partir del diseño conceptual.

3. Privacidad y ética

En Uruguay rige para la protección de datos personales la Ley N° 18331 que incluye la definición clara de la finalidad para la que se recaban, almacenan y utilizan los datos. En el caso analizado, la finalidad planteada por la Institución es conocer cómo transitaron los estudiantes el primer semestre en contexto de emergencia sanitaria, para constituirse en insumo de la mejora de la práctica docente futura.

La base de datos es entregada al equipo de investigación anonimizada, tanto en lo referente a los estudiantes que completaron la encuesta como en las menciones a docentes y unidades curriculares específicas. El equipo de investigación firma asimismo un compromiso de confidencialidad para el tratamiento de la información y sus resultados.

4. Metodología

El término Big Data refiere a un conjunto de datos que es grande en términos de volumen (cantidad de datos), velocidad de crecimiento y variedad de formatos. Su procesamiento debe realizarse con técnicas complejas de minería de datos (para preservar la precisión y economía de procesamiento), y debe tenerse en cuenta la veracidad de cada dato para el análisis.

 En Gutierrez [9] se recoge el concepto de datos del punto de vista académico como colecciones de medidas e información de hechos que son base para la investigación, y por otro lado, el enfoque desde la computación de que los datos son entidades básicas abstractas para gestionar electrónicamente.

El tratamiento de los grandes volúmenes de datos puede orientarse desde las analíticas del aprendizaje o desde la minería de datos educacional. La primera refiere a “utilizar los datos para informar y empoderar a docentes y estudiantes”, mientras que la segunda “coloca el énfasis en utilizar los datos para automatizar el aprendizaje” [10].

En este proyecto se trabajará con analíticas del aprendizaje que son “la medición, recolección, análisis y reporte de datos sobre estudiantes y sus contextos, con el propósito de entender y optimizar el aprendizaje y los entornos en los que este ocurre” [11].

Dentro del ciclo de analíticas del aprendizaje planteado por [12] se incluyen las etapas:

• Recolección

• Almacenamiento

• Limpieza

• Integración

• Análisis

• Representación y visualización

• Acción

El presente estudio se enfocará en los pasos de limpieza y análisis, así como representación y visualización, constituyendo una modalidad de analítica descriptiva de una situación: ¿qué funcionó y qué falló?

La pregunta general planteada es: ¿Qué factores favorecieron o dificultaron el acceso y seguimiento de cursos en modalidad virtual en la FIC en el contexto de la emergencia sanitaria COVID-19? Lo que deriva en las siguientes preguntas específicas:

¿Qué elementos de acceso y particulares de los estudiantes, de las propuestas de enseñanza y del LMS influyen en la percepción del rendimiento?

¿Cuál es el sentimiento derivado de los comentarios abiertos de los estudiantes respecto de los conceptos trabajados?

La falta de granularidad del formulario respecto a recabar las percepciones sobre cada curso, dificulta la explicitación por la variabilidad de los distintos cursos en sus abordajes. Esta dificultad ya fue señalada en el modelo conceptual.

El siguiente comentario que aparece en un formulario lo expresa claramente:

He puesto parcialmente de acuerdo en casi todo, porque estoy cursando más de una asignatura.  No quiero indicar que estoy totalmente de acuerdo ni en total desacuerdo. Existen asignaturas que las docentes plantearon los trabajos, modalidad de ejercicios, evaluaciones, consultas en forma perfecta. Existen docentes que dan las clases y siempre repiten lo mismo o hacen catarsis, Otros te mandan mail con los materiales. Otros te mandan tanto para leer que es imposible ponerse a día. Personalmente me llevo bastante bien con la tecnología, para mí las clases que fueron correctas fueron muy llevaderas. Pero hay asignaturas que es imposible.

Un área de estudio relacionada a la minería de contenidos es la minería de opinión o análisis de sentimiento según señala [13]. Esta disciplina utiliza el procesamiento del lenguaje natural y las técnicas de minería de opinión para identificar o reconocer opiniones y emociones en el texto que se derivan de las entradas o comentarios. En este trabajo se aplicará esta técnica a los comentarios abiertos recogidos en el formulario. Asimismo, se aplicarán las técnicas de minería de texto para construir un mapa mental que revele los principales temas mencionados.

Respecto a la metodología de trabajo, la limpieza inicial de datos se realiza a partir del marco conceptual planteado en la planilla original provista por la UAE.

Los datos brindados por la UAE llegan al equipo anonimizados en cuanto a estudiante que completó la encuesta, así como docentes y unidades curriculares mencionadas.

Se procede a un reordenamiento de la información, ya que para las preguntas que admitían más de una respuesta, la celda de respuesta consignaba valores separados por coma dentro del mismo espacio. Para solucionar esto se definió separar las opciones en columnas e indicar “sí” o “no” para cada opción, de modo que se tratarán como datos independientes.

 La base de datos contiene 33 variables a partir de las cuales se construyen algunas más, mediante cálculos, reclasificaciones o reducción de categorías.  El conjunto de variables puede agruparse en tres grandes grupos:

• Información general del estudiante: residencia, carrera, semestre, acceso y conectividad.

• Información sobre su percepción de propuestas de equipos docentes.

• Información sobre dificultades planteadas.

La variable dependiente u objetivo de los modelos predictivos es: Rendimiento. Las cinco posibles respuestas (nulo, bajo, bueno, muy bueno, excelente) se agrupan en tres categorías: 0: bajo (nulo y bajo), 1: medio (bueno), 2: alto (muy bueno y excelente).

Para el procesamiento de los datos, se utiliza el software Orange¹, que es parte de Anaconda, el principal sistema de gestión de paquetes de ciencia de datos y aprendizaje automático, de software libre, basado en Python.  Orange es un software de analítica, visualización y minería de datos, mediante una clara y accesible interfase visual interactiva, desarrollado en la Universidad de Ljubljana. Orange utiliza las principales bibliotecas de Python para computación científica, tales como Numpy, Scipy y Scikit-learn y permite instalar diversas extensiones entre las que se destacan las que permiten la minería y analítica de textos (figura 3).

Figura 3. Imagen de proceso en Orange para procesamiento de datos

Se exploran los modelos Regresión Logística (Logit) y Bosques Aleatorios (Random Forest) para identificar las variables que mejor predicen el rendimiento académico autopercibido y elaboración de un modelo predictivo.  La selección de estos modelos a aplicar en este caso, no se centró en la capacidad predictiva de las tres categorías de clasificación de la variable dependiente de tipo ordinal, sino en su potencial como modelo de regresión que selecciona, ordena, puntúa y estandariza el peso de cada una de las variables independientes, en el modelo a los efectos de permitirnos vislumbrar un modelo explicativo.

El modelo de Regresión Logística o Logit tiene sus raíces claramente establecidas en las ciencias sociales aplicadas a la investigación educativa. Es uno de los más potentes del conjunto de Modelos Lineales Generalizado, de los últimos algoritmos de clasificación que supimos “calcular a mano” y de los que sientan las bases de lo que dió lugar a las Redes Neuronales. Su ventaja principal es que las estrategias interpretativas de la relación funcional de las variables explicativas con la probabilidad de la dependiente son ampliamente conocidas y bien fundamentadas. 

En este caso utilizamos el modelo Logit Multinomial, el cual permite predecir las probabilidades de los resultados posibles de una variable dependiente de tipo categórica y el método de análisis de regresión LASSO (Least Absolute Shrinkage and Selection Operator) para la selección de variables y su regularización a los efectos interpretativos.

 El modelo seleccionado finalmente para desarrollar el capítulo analítico fue el de Random Forest. Este algoritmo desarrollado por Kam Ho en 1995 y completado en su versión actualmente utilizada por Leo Breiman en 2001, es uno de los algoritmos de regresión y clasificación más utilizados. Se basa en la combinación de técnicas de Árboles de Clasificación y Regresión (CART) con la técnica de “Bagging” o empaquetado, propuesta por el propio Breiman. A partir de múltiples “árboles de decisión” elaborados a un subgrupo de datos, mediante selección aleatoria de las variables se obtienen un conjunto de clasificadores que luego se combinan en un clasificador final.

La evaluación de resultados de los modelos predictivos se realizó mediante validación cruzada a partir de la división de los datos originales en 10 grupos aleatorios dejando un grupo para testeo y usando los datos para entrenamiento, en cada una de las 10 iteraciones.

4.1. Minería de textos

Por otra parte, para el análisis de textos, inicialmente se explora la opción text de la herramienta Orange realizando diversas pruebas (figura 4).

Figura 4. Imagen de procesamiento en Orange para minería de textos

El análisis de sentimientos se puede realizar en inglés de acuerdo a Liu o Vader y desde marzo 2020 hay una opción de “sentimiento multilingüe” en el que se ofrece español y dio un resultado tentativo que se muestra en la figura 5.

Figura 5. Análisis de sentimientos

Se realiza además un tratamiento sobre la misma columna de comentarios que se detalla a continuación.

Primero se realiza un procesamiento sintáctico usando Freeling, para etiquetar el Part Of Speech ( PoS) de las palabras de los comentarios.

 Luego se utilizan los nombres y verbos para extraer términos que permitan establecer una taxonomía de los comentarios.

Se utilizan los adjetivos y adverbios que son palabras que expresan sentimiento para entrenar el lexicón de sentimientos utilizando el contexto. En el caso del adjetivo el contexto es el nombre al que califica y en el caso del adverbio el contexto es el verbo.

Se realiza la asignación manual de polaridad a las palabras expresivas de polaridad (adjetivos y adverbios) aportando el valor positivo, negativo o neutro. Las palabras a anotar  aparecen con el contexto correspondiente:

• Adjetivo (nombre)

• Adverbio (verbo)

No se realiza una gradación de polaridad -positivo, muy positivo-. El procesamiento de comentarios utiliza el lexicón de polaridad generado a partir de los mismos comentarios. Para cada comentario se toman las palabras que detentan polaridad (adjetivos y adverbios) y se suman las polaridades que aparecen en el lexicón.

 Se realiza un ajuste de la polaridad tomando en cuenta características especiales como el tratamiento de la negación. En caso de que aparezca la palabra “no” se invierte la polaridad del comentario.

El lexicón de polaridad se construye sobre el conjunto de comentarios y luego sobre el mismo conjunto de comentarios se usa el lexicón para determinar la polaridad de los mismos. Esto constituye una dificultad metodológica ya que se aplica sobre el mismo conjunto de datos pero también es un elemento de interés porque se entrena con el contexto del conjunto.

Para determinar el sentimiento se suman las polaridades de las palabras en la oración aunque esto es una simplificación. [14] establece que un elemento sobre el que se manifiesta un sentimiento, en realidad tiene diversas características y plantea una función para obtener la opinión de las distintas características o facetas de un objeto. En una oración s se pueden manifestar un conjunto de características f {f1, …fn} y un conjunto de palabras o frases que denotan opinión o {op1, ….opn} con su ranking de polaridad. La orientación de la opinión para cada característica fi en la oración s se forma con una función que realiza la sumatoria de las palabras de opinión por su ranking de polaridad dividido la distancia entre la característica y la palabra de opinión. Por ejemplo dentro de la evaluación, los cuestionarios (f1) se consideran correctos (op1) pero el tiempo (f2) asignado a los mismos no (op2).

En el estudio no se toman en cuenta las características, sino el objeto con sus características como un todo y la opinión es una opinión global.

En este caso a diferencia de la opción de Orange se busca sólo dar una indicación de la polaridad, no su gradación, por tanto las palabras de opinión se tomarán como positivas (1), negativas (-1) o neutras (0).

Luego de calcular la polaridad de la oración se tomará en cuenta la negación que aplicada a una oración tiene implicancia sobre su polaridad.

El tratamiento de la negación es utilizado en forma muy primaria, invirtiendo la polaridad si aparece la partícula “no”. Si la oración da polaridad positiva y contiene una partícula “no”, entonces el resultado final se torna polaridad negativa.

No se analizan cláusulas subordinadas (pero, aunque, etc.) donde generalmente subyacen dos opiniones antagónicas, una en la oración independiente y otra en la subordinada y resulta complejo extraer una opinión general.

Este análisis es una primera aproximación al análisis de polaridad, no se realiza un análisis más detallado como señala [15] en el tratamiento de la negación. Tampoco se analizan aspectos como el uso del subjuntivo que denota alta probabilidad de expresar sentimientos, el uso de cláusulas subordinadas o asuntos más complejos de detectar como la ironía.

Por otra parte la minería de textos se ha usado en la construcción de mapas conceptuales como expresa [16] y para diagnosticar los problemas en elearning de modo de descubrir las barreras de los estudiantes  [17].

Se utiliza Orange con la herramienta Hierarchical clustering sobre los comentarios (Figuras 6, 7, 8) y luego se revisan los clusters para construir un mapa mental de los conceptos que aparecen en los comentarios.

Figura 6. Proceso en Orange

 

Figura 7. Hierarchical clustering

 

Figura 8. Resultado Hierarchical clustering

Se utilizó la herramienta Antconc² que resultó también adecuada (Figuras 9 y 10).

Figura 9. Antconc ranking de frecuencias con stoplist

 

Figura 10. Concordancias en índice KWIC para uno de los términos más usados

Para la reproductibilidad se documentaron los pasos realizados detalladamente para favorecer la reproducibilidad del estudio en otro contexto y para la replicabilidad la documentación permitirá replicar la investigación con la misma encuesta en el siguiente semestre. Los procesos y programas se depositaron en Zenodo bajo el DOI 10.5281/zenodo.3967301

5. Resultados

5.1. Análisis de datos

Se realiza un procesamiento de la información utilizando el software Orange, utilizando herramientas de visualización, por un lado y de procesamiento de datos por otro.

Los experimentos realizados incluyeron la realización de regresiones logísticas y aplicación de random forest, para identificar las variables, o combinaciones de variables, que favorecieron o dificultaron el seguimiento de los cursos en modalidad virtual.

En primer lugar se analiza la distribución de la variable dependiente: Rendimiento, donde (0) Bajo incluye las respuestas “Nulo” y “Bajo”, (1) Medio incluye la respuesta “Bueno” y (2) Alto incluye las respuestas “Muy bueno” y “Excelente”.

Como puede observarse en la Figura 11, hay un desbalance de las categorías con distribución en apariencia normal. La diferencia entre las categorías 0 y 2 posiblemente tenga explicación en el sesgo de participación voluntaria de la encuesta: quienes no pudieron completar las actividades y/o se desvincularon de la institución, menos probablemente habrían completado esta encuesta. En las visualizaciones descriptivas se mantuvo el (des)balance original. Para la aplicación del modelo se utilizó la técnica de sobremuestreo sintético de minorías (Chawla et. al. 2010) para crear nuevos casos minoritarios mediante la interpolación de casos entre los minoritarios existentes. (Synthetic Minority Over-sampling Technique (SMOTE³).  

Figura 11. Distribución de rendimiento por clase

Aplicadas la regresión logística y el conjunto de árboles de decisión Random Forest se observa una mayor precisión en este último, como se muestra en la Figura 12:

Figura 12. Comparación Random Forest - Regresión Logística

Si se analizan las curvas ROC⁴ (receiver operating characteristic curve), se ve la superioridad en términos de exactitud diagnóstica de Random Forest versus Regresión Logística (figuras 13, 14 y 15).

Figura 13. ROC Clase 0 (Bajo)

 

Figura 14. ROC Clase 1 (Medio)

 

Figura 15. ROC Clase 2 (Alto)

La matriz de confusión obtenida con la aplicación de Random Forest se presenta en la Figura 16:

Figura 16. Matriz de confusión

Como puede observarse, el sistema tiene mayor precisión para identificar a los estudiantes de rendimiento bajo, seguido por rendimiento alto. Los errores entre las categorías extremas son menores, siendo mayor la confusión entre estas categorías y la central (1: Bueno).

En la tabla 1 se muestran las características que más aportan para la predicción del rendimiento. Como se desprende de ella, el factor que más se relaciona con la percepción de rendimiento es la percepción del propio estudiante respecto del cumplimiento de actividades. De hecho, los primeros cuatro ítems refieren o bien a su nivel de participación (Nivel de cumplimento de actividades, Nivel de participación en webconferencias) o bien a dificultades o no en el uso del EVA o en la modalidad.

Tabla 1. Características con mayor importancia para elaboración de árboles de decisión

Respecto a los aspectos vinculados a las propuestas docentes, los más relevantes para la variable dependiente (percepción de rendimiento) fueron los tiempos de evaluaciones, la diversidad de actividades, las instancias de interacción, la explicitación de plan de actividades y la planificación coherente.

A continuación se analizan algunos de estos aspectos en relación a la percepción de rendimiento.

Como puede verse en la Figura 17, quienes reportan un muy alto porcentaje de cumplimiento de actividades, también entienden que su rendimiento fue alto (2). A la inversa, quienes reportan un bajo porcentaje de cumplimiento de actividades, entienden que su rendimiento fue bajo o nulo (0). Quienes reportan un cumplimiento alto de actividades, mayormente perciben su rendimiento como bueno (1).

Figura 17. Cumplimiento de actividades (y) contra Rendimiento (x)

En la Figura 18 se evidencia que quienes no presentaron dificultades para seguir el curso en EVA reportan un rendimiento alto (2), mientras que a la inversa, quienes sí las presentaron reportan un rendimiento nulo o bajo (0).

Figura 18. Dificultades para seguir curso en EVA (y) contra Rendimiento (x)

Respecto a la participación en clases por webconferencia (Figura 19), quienes reportan participación en 80% o más de las clases, indican un rendimiento alto (2), mientras que quienes no participaron mayormente reportan un rendimiento bajo (0).

Figura 19. Participación en webconferencias (y) contra Rendimiento (x)

En la Figura 20 se observa cómo quienes más están de acuerdo con que “la modalidad de evaluación es acorde a la modalidad de enseñanza” son quienes perciben que tuvieron un Muy Buen rendimiento, mientras que en los estudiantes que perciben su propio rendimiento como “Bajo”, tienden a estar en desacuerdo o parcialmente en desacuerdo con la afirmación de que la modalidad de evaluación estuvo acorde a la de enseñanza.

Figura 20. Modalidad (y) contra Rendimiento (x)

5.2. Tratamiento de los comentarios

Un primer resultado fue una nube de palabras como se muestra en la figura 21.

Figura 21. Nube de palabras

A partir del tratamiento con Orange Hierarchical Clustering se extrajeron los principales conceptos que se detallan en el mapa mental (Figura 22).

Figura 22. Mapa mental de conceptos

Si bien los comentarios refieren específicamente a la evaluación surgen elementos que refieren al diseño instruccional en general como las estrategias pedagógicas (v.g. interactividad) o los contenidos entre otros que podrían ser objeto de un análisis más detenido (tabla 2).

Tabla 2. Sentimientos en los comentarios

Conclusiones y trabajos futuros

Del análisis realizado surge que los estudiantes asocian su rendimiento en primer lugar a cuestiones vinculadas a la propia participación y a las dificultades que encontraron para participar. Respecto de los aspectos del diseño de la enseñanza por parte de los equipos docentes, se destacan el tiempo en las evaluaciones, la diversidad de actividades propuestas, los espacios de interacción docente-alumnado, la explicitación de objetivos y la planificación coherente.

Del análisis de los textos de la pregunta abierta, surge también fuertemente la necesidad de interacción con los equipos docentes, presentando insatisfacción cuando esa interacción no es fluida, no hay respuesta a los mensajes o retroalimentación a las tareas.

Otro de los temas emergentes del proceso analítico es la necesidad de problematizar el marco institucional de los principios y buenas prácticas en el manejo de los datos de las plataformas y la necesidad de contar a la vez con sistemas continuos de analíticas de aprendizaje que cuenten con los necesarios consentimientos informados y políticas inscriptas en un marco normativo ético explícito.

Desde un punto de vista operativo se recomienda rediseñar los instrumentos de recolección de opiniones, actitudes y predisposiciones de los estudiantes hacia los entornos virtuales de aprendizaje y el diseño instruccional tomando en cuenta la granularidad de los cursos.

Notas

¹ https://orange.biolab.si/

² https://www.laurenceanthony.net/software/antconc/

³ https://imbalanced-learn.readthedocs.io/en/stable/over_sampling.html#smote-adasyn

⁴ https://en.wikipedia.org/wiki/Receiver_operating_characteristic

Referencias

[1] J. Quiroz and D. Maturana, “Una propuesta de modelo para introducir metodologías activas en educación superior,” Innov. educ. vol. 17, no.73, 2017.

[2] C. Coll, T. Mauri and J. Onrubia, “Los entornos virtuales de aprendizaje basados en el análisis de casos y la resolución de problemas,” in Psicología de la Educación Virtual. C. Coll and C. Monereo, Eds., Madrid: Morata, 2008, pp. 213-232.

[3] E. Lovos, L. Aballay, “Deserción Académica y Emociones en Ambientes E-learning,” Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, no. 27, pp. 89-94, 2020, doi: 10.24215/18509959.27.e10

[4] M. Castro, “El impacto de propuestas educativas mediadas por TIC en la retención estudiantil. Un estudio de caso de los estudiantes de Ingeniería de la Universidad Nacional del Noroeste de la Provincia de Buenos Aires,” Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, no. 26, pp. 112-113, 2020, doi: 10.24215/18509959.26.e13

[5] G. Assinnato, C. Sanz, G. Gorga and V. Martin, “Actitudes y percepciones de docentes y estudiantes en relación a las TIC. Revisión de la literatura,” Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, no. 22, pp. 7-17, 2018, doi: 10.24215/18509959.22.e01

[6] E. Arellano Becerri, M. G. Gómez Zermeño, I. A.  García Mejía, “Implementación y evaluación de un curso de Matemáticas en modalidad b-learning: percepciones de alumnos universitario,” Revista Iberoamericana De Tecnología En Educación Y Educación En Tecnología, no. 14, pp. 29-36, 2014, doi: https://doi.org/10.24215/18509959.0.p.29-36

[7] P. Kirschner, Learning Analytics: Utopia or Dystopia. Keynote, LAK, 2016.         [ Links ]

[8] A. Pardo, “Effective adoption of Learning Analytics in Educational Institutions,” Learning Analytics Summer Institute Spain 2020 (LASI Spain 20). [Online]. Available: https://eu.bbcollab.com/collab/ui/session/playback (desde minuto 17)

[9] C. Gutierrez, “LEARN Final Conference,” University of London, 2017.

[10] G. Chen, V. Rolim, R. F. Mello and D. Gaševic, “Let's shine together! a comparative study between Learning Analytics and Educational Data Mining,” in LAK20 Conference Proceedings. M. Scheffel, V. Kovanović, N. Pinkwart and K. Verbert, Eds., Association for Computing Machinery (ACM), 2020, pp. 544-553.

[11] G. Siemens, [Data Analytics and Learning MOOC]. Introduction to Learning Analytics [Archivo de video]. Solar, 2014. [Online]. Available: https://youtu.be/idHxNSTZhNM        [ Links ]

[12] G. Siemens, Making sense of Learning Analytics as a field [Archivo de video]. LAK 2013. [Online]. Available: https://www.youtube.com/watch?v=KqETXdq68vY&t=867s        [ Links ]

[13] A. Kleftodimos, G. Evangelidis, “An overview of web mining in education,” in Proceedings of the 17th Panhellenic Conference on Informatics, 2013, pp. 106-113.

[14] Ch. Liu, NLP Handbook, University of Illinois, Chicago, 2010.         [ Links ]

[15] D. Vilares, M. A. Alonso, C. Gómez‐Rodríguez, “On the usefulness of lexical and syntactic processing in polarity classification of Twitter messages,” Journal of the Association for Information Science and Technology, vol. 66, no. 9, pp. 1799-1816, 2015.

[16] C. Romero, S. Ventura, “Educational data mining: a review of the state of the art.,” IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), vol. 40, no. 6, pp. 601-618, 2010.

[17] C. H. Lee, G. G. Lee and Y. Leu, “Application of automatically constructed concept map of learning to conceptual diagnosis of e-learning,” Expert Systems with applications, vol. 36, no. no. 2, pp. 1675-1684, 2009.

 

Información de Contacto de los Autores:

Silvana Temesio
Montevideo
Uruguay
silvana.temesio@fic.edu.uy,
ORCID iD: https://orcid.org/0000-0002-3932-8615

Sofía García
Montevideo
Uruguay
sofia.garcia@fic.edu.uy,
ORCID iD: https://orcid.org/0000-0003-3809-1510

Alen Perez
Montevideo
Uruguay
alen.garcia@fic.edu.uy
ORCID iD: https://orcid.org/0000-0002-4050-2481