ARTÍCULOS ORIGINALES

Trabajo colaborativo mediado por tecnología informática en espacios educativos. Metodología de seguimiento y su validación

Collaborative work mediated by computer technology in educational spaces. Monitoring methodology and its validation

María Alejandra Zangara¹, Cecilia Sanz¹

¹ Instituto de Investigación en Informática LIDI (III LIDI), Facultad de Informática, Universidad Nacional de La Plata, La Plata, Argentina

azangara@lidi.info.unlp.edu.ar, csanz@lidi.info.unlp.edu.ar

Recibido: 11/09/2019 | Aceptado: 05/03/2020

Cita sugerida: M. A. Zangara, C. Sanz, “Trabajo colaborativo mediado por tecnología informática en espacios educativos. Metodología de seguimiento y su validación,” Revista Iberoamericana de Tecnología en Educación y Educación en Tecnología, no. 25, pp. 8-20, 2020. doi: 10.24215/18509959.25.e01

 

Resumen

En este artículo se aborda la conceptualización y valoración del trabajo colaborativo con fines educativos. El objetivo final es presentar una metodología de seguimiento del trabajo colaborativo mediado por tecnología informática en espacios educativos, que incluye una matriz de indicadores de colaboración como componente clave. Se presenta también la validación de esta matriz mediante el juicio de expertos y los resultados obtenidos. Se inicia con una diferenciación de trabajo grupal y colaborativo, una definición propia de este último concepto y una propuesta didáctica, construida en etapas. Luego se presenta la metodología de seguimiento, con la descripción de sus componentes: objeto, etapas, actores, modelo teórico, indicadores, espacios de construcción, instrumentos y tecnología. Se describen sus componentes y los pasos en su construcción. La matriz de indicadores y su operacionalización constituye la parte central de esta metodología. Como tal, es sometida al juicio de expertos. En el artículo se incluye la estrategia de validación completa: selección de expertos según diferentes criterios, comunicación, instrumento utilizado, seguimiento y resultados. A partir de este punto, las conclusiones incluyen la mejora de la matriz, en base al comentario de los expertos y la presentación de la metodología completa.

Palabras clave: Trabajo colaborativo mediado por tecnología informática; Metodología de seguimiento del trabajo colaborativo; Indicadores de seguimiento del trabajo colaborativo.

Abstract

This article deals with the conceptualization and evaluation of collaborative work for educational purposes. The objective is to present a methodology for monitoring collaborative work mediated by computer technology in educational contexts, which includes a matrix of collaboration indicators as a key component. It is also presented the validation of this matrix through expert judgment and its results. It begins with the definition of collaborative work, and a didactic proposal built in stages. Then the monitoring methodology is presented, with the description of its components: object, stages, actors, theoretical model, indicators, instruments and technology. The matrix of indicators and their operationalization are the central part of this methodology. This matrix is submitted to expert judgment. The article includes the complete validation strategy: selection of experts according to different criteria, communication, instrument used, monitoring and results. From this point, the conclusions include the improvement of the matrix, based on comments of the experts and the presentation of the complete methodology.

Palabras clave: Collaborative work mediated by information technology; Monitoring methodology of collaborative work; Indicators of collaborative work monitoring.

 

1. Introducción

Los inicios de la conceptualización y estudio del trabajo grupal pueden instalarse en los años ´60. En ese momento, desde la Psicología y la Educación se comienza a pensar en el individuo en contexto y en el grupo como reunión de personas en confluencia de tiempo y espacio. Ante la pregunta qué es un grupo, se define como un gradiente que va de menor a mayor integración en los componentes que ya comienzan a delinearse como fundantes:

- Objetivos/fines comunes.

- Identidad compartida.

- Estructura interna necesaria para su funcionamiento.

- Tareas comunes.

- Conciencia de grupo (característica asociada a la metacognición grupal).

- Sostenimiento en el tiempo de cada uno de estos componentes.

En cuanto a los componentes epistemológicos necesarios para estudiar un grupo, [1] presenta tres vertientes: la primera considera al grupo como más que la suma de sus partes. El segundo aborda la estructura, las invariantes del grupo, los aspectos formales y organizacionales. El tercero intenta desentramar el tránsito del objeto discreto al objeto colectivo y trabaja, entonces, en dos dimensiones: la del individuo y la del grupo. En las dos primeras vertientes el objeto de estudio es el grupo en sí, como un objeto único y la preocupación está centrada en delimitarlo, recortarlo y estudiarlo en lo que es y hace. En la tercera perspectiva, en la que estaría incluida la tensión individuo-grupo, se analizan los entrecruzamientos propios de la comunicación grupal. Entonces, el campo de “lo grupal” se resignifica como un campo de tensiones, atravesado por la tensiones propias de los individuos más las propias del grupo. A decir de Marta Souto [2], pág. 54: “se piensa en Lo Uno y Lo Múltiple al mismo tiempo”.

Agregando el componente tecnológico a la Psicología, la idea de cognición distribuida [3] sostiene que el “conocimiento se construye socialmente por medio de esfuerzos conjuntos dirigidos a metas compartidas, o de diálogos y cuestionamientos que nacen de las diferencias que existen entre las perspectivas de las personas”. Aprender en grupo supone que, a través de una serie de interacciones, se enriquece la actividad cognitiva a partir de la confrontación de ideas con otros, ya sea por la generación de un conflicto o por la simple presentación de las propias ideas a los pares.

En estos últimos años, el término trabajo colaborativo se utiliza como una especie de paraguas terminológico para cubrir aquellas actividades que implican la colaboración dentro de un contexto educativo. Siguiendo a [4] un primer acercamiento a este concepto podría ser: “collaborative learning is a situation in which two or more people learn or attempt to learn something together”. [5] presenta una posible línea de conceptualización de este proceso en su aparición en la escena educativa. Se presentan compiladas en la tabla 1.

Tabla 1. Conceptualizaciones de Trabajo Colaborativo [5]

Del análisis de las definiciones anteriores surgen elementos comunes que fortalecen la idea de colaboración:

- El individuo aprende más y mejor en estos procesos de lo que podría hacerlo solo/a. Por eso, la idea de interacción aparece íntimamente vinculada con la colaboración.

- En la interacción se fortalecen las dimensiones social y afectiva de los miembros del grupo.

- Cobran importancia las competencias de planificación.

- Dentro de la dimensión afectiva, el compromiso del trabajo propio y del trabajo con otros asoma como central. 

El trabajo colaborativo se presenta, entonces, como un tipo especial de trabajo en grupo que promueve el desarrollo de habilidades de aprendizaje, personales y sociales, en el que cada miembro expresa compromiso tanto con su propio aprendizaje como con el de los demás miembros de su grupo. Son elementos básicos la interdependencia positiva, la interacción, la contribución individual y las habilidades personales y de grupo. Este tipo de actividades puede ser mediada por herramientas tecnológicas digitales. En los espacios colaborativos online, existen factores claves como el establecimiento de protocolos y sesiones de comunicación tanto sincrónicas como asincrónicas.

2. Propuesta Didáctica de Trabajo Colaborativo

Desde el punto de vista didáctico, este tipo de trabajo debe ser considerado en etapas [6]:

- una primera individual, para que cada miembro del grupo tenga una actividad y espacio individual para organizar el conocimiento/tarea que aportará al grupo,

- luego una etapa (con sub etapas) de trabajo grupal colaborativo y

- una última etapa de cierre de proceso y autoevaluación (individual y grupal) en términos de la producción y proceso de trabajo grupal.

En la Tabla 2 se enuncian las etapas que, se propone, sean consideradas en la planificación didáctica de una actividad colaborativa.

Tabla 2. Abordaje didáctico de una actividad colaborativa

Se describen sintéticamente a continuación: 1. Determinación de los objetivos didácticos de la actividad de trabajo colaborativo: se analizan qué objetivos se persiguen con la realización del trabajo colaborativo y se toman decisiones metodológicas iniciales. Básicamente cuáles serán sus etapas y qué relación habrá entre el trabajo individual y grupal; 2. Diseño de la consigna: se diseña una consigna que permita desarrollar los objetivos planteados. La idea cave en esta etapa es diseñar una actividad que no pueda ser completada sin la actividad equilibrada de todos los integrantes del grupo en cuestión, para atender a la mirada sistémica (el grupo es más que la suma de sus partes) y favorecer redes de cognición distribuida. Aquí deberán ser consideradas las etapas mencionadas en la tabla 2: individual, grupal y cierre; 3. Armado de grupos: se realiza el armado de grupos basado en la característica de grupalidad, que representa la potencialidad de un conjunto de personas de convertirse en un grupo [7]. En esta condición coexisten competencias individuales y la mirada proyectiva de cómo esas personas funcionarán en un colectivo. Schmuk marca algunas características a tener en cuenta, en las dimensiones presente (individual) y futura (grupal) que se presentan en la Tabla 3; 4. Tareas del docente en cada etapa: la intervención docente puede resultar dilemática y se relacionará con el grado de colaboración y autorregulación que presenten los equipos de trabajo. Sus tareas varían, de acuerdo con las fases de trabajo. En la etapa de trabajo individual puede ser fuente de consulta en la comprensión de la consigna y/o  en la búsqueda de material. Durante la fase de  trabajo en equipo, debe estar atento/a a las posibles dudas acerca del alcance de la producción colaborativa (en tiempo y forma), herramientas, tiempos, tareas de cada integrante del equipo, qué hacer con los alumnos que no habían participado, etc. En el momento de la evaluación debe realizar el seguimiento de cada entrega, tanto de las evaluaciones individuales como las grupales; 5. Auto-evaluación del trabajo individual y grupal: la tarea consiste en definir la metodología de evaluación, los instrumentos de evaluación individual y grupal y las herramientas seleccionadas. Finalmente 6. Cierre del trabajo final de cada grupo: en esta etapa  se organiza la entrega de cada trabajo final su evaluación y devolución. Respecto de la devolución, será doble: a) de calidad de producto, en qué forma responde a la consigna y b) de calidad del trabajo colaborativo, cuánto demuestra la participación y cohesión grupal.

Tabla 3. Condiciones de grupalidad (Tomado y modificado de [7])

3. Presentación de la Metodología de Seguimiento del Trabajo Colaborativo mediado por Tecnología Informática

La metodología propuesta tiene como objetivo realizar el seguimiento del trabajo colaborativo mediado por tecnología informática. Con estas palabras se forma el acrónimo que le da el nombre: MetSCIn (Metodología de Seguimiento del Trabajo Colaborativo mediado por Tecnología Informática) [8]. Está constituida por los siguientes componentes:

- Objeto (con sus dimensiones de análisis)

- Etapas

- Actores

- Modelo teórico subyacente

- Indicadores

- Espacios de construcción colaborativa y seguimiento del trabajo, según etapas

- Instrumentos

- Tecnología involucrada

El objeto es el qué de la metodología. En este caso, el trabajo colaborativo mediado por tecnología informática configura el objeto de la metodología de seguimiento. Siguiendo los trabajos de [2], [9], [10], [11], se visualiza este objeto con dos dimensiones o perspectivas de análisis: individual y grupal.

El cuándo está definido por los pasos que se establecen para acercarse al objeto de estudio que, a su vez, organiza la tarea de los involucrados en la implementación de la metodología. En este caso, las etapas de trabajo colaborativo desde el punto de vista didáctico  funcionan como organizadoras de las etapas metodológicas de su estudio. La metodología contempla un análisis del trabajo individual (coincidente con la etapa individual del trabajo colaborativo) y un análisis individual y grupal de lo construido durante el trabajo en grupo (fase colaborativa en sí). Además, considera un análisis de las condiciones de entrada de los participantes de la actividad a través de la indagación de la autopercepción sobre habilidades de autorregulación para el estudio y trabajo en equipo [12], [13], [14], [15], [16], [17], [18], [19], [20], [21]. Ante la pregunta de cuándo analizar la producción del grupo colaborativo, hay opciones de análisis una vez que la actividad ha finalizado (o en el momento post mortem de la actividad). Esto permitiría aprovechar la trazabilidad que ofrecen las herramientas informáticas para recuperar el corpus de conocimiento intercambiado por los participantes para ofrecer información de retorno una vez finalizado el proceso. Existen otras posturas, vinculadas con evaluaciones de “caja blanca” [22] que ofrecen abrir el proceso en cada etapa e ir informando a los participantes acerca de su performance individual y grupal. Incluso autores reconocidos como [23] sostienen la hipótesis de que esta información podría favorecer tanto el trabajo del grupo en sí como el de los coordinadores que lo supervisan y orientan. Las estructuras de visualización, con representaciones adecuadas, pueden ayudar a los estudiantes en el desarrollo metacognitivo y, posteriormente, en la regulación de la actividad de colaboración. Para atender a esta idea, MetSCIn propone la implementación de una estrategia de seguimiento y visualización online de indicadores (denominada mirroring según [23]. En este caso, la tarea de seguimiento y publicación de la información se debe llevar adelante al mismo tiempo en que la actividad se está desarrollando.

Los actores son quiénes implementan la metodología. Por la perspectiva necesaria para el análisis, debería ser implementada por un investigador (vinculado o no con la propuesta didáctica) y/o por los docentes que lleven adelante esta propuesta. El tema de los modelos teóricos subyacentes está relacionado con la (¿falsa?) antinomia entre los modelos cuanti y cualitativos [24]. Autores reconocidos [24], [25], [26], [27], [28], [29], proponen la integración y complementación de ambos modelos. La metodología propuesta combina la perspectiva cuantitativa con la cualitativa. Se toma en cuenta tanto información objetiva –paradigma cuantitativo– como algunas interpretaciones de la realidad desde contextos particulares –paradigma cualitativo–. El componente central de esta metodología está constituido por una matriz de indicadores que incluye las dimensiones individual y grupal, y cada uno de los espacios de construcción en la operacionalización de estos indicadores (se verá en detalle en el apartado siguiente y en los subsiguientes se describirá su estrategia de validación). Como espacios de construcción colaborativa se considera el espacio de construcción de cada una de las herramientas disponibles para la tarea colaborativa: sincrónicos-asincrónicos, públicos-privados, simétricos-asimétricos. Deben considerarse los espacios tecnológicos que la consigna didáctica haya puesto a disposición para el trabajo colaborativo y los que cada grupo haya decidido usar: mensajes electrónicos (dentro o fuera de un EVEA), foros, wikis, blogs, videoconferencia y/o documentos colaborativos (si los hubiera) donde se hayan alojado diálogos. La metodología funcionaría siempre que el evaluador/investigador tenga acceso al contenido producido en cada uno de estos espacios. En cuanto a la tecnología involucrada, tanto el trabajo en sí (el qué de esta metodología) como la metodología de seguimiento en sí misma se enmarcan en entornos digitales. Por esto, las herramientas utilizadas para indagar en el trabajo colaborativo son digitales. La metodología MetSCIn propone dos encuestas en formato electrónico y un sitio online de seguimiento que posibilita la estrategia de mirroring. En la Tabla 4 se presenta la metodología completa, con sus componentes y descripción breve.

Tabla 4. Componentes de la Metodología MetSCIn

4. Matriz de Indicadores de MetSCIn

Un componente clave de MetSCIn que funciona como un faro, iluminando qué mirar a cada paso y qué elementos del trabajo individual y grupal considerar es la matriz de indicadores de colaboración. Esta matriz propone comprender el trabajo colaborativo desde dos puntos de vista complementarios: desde el punto de vista comunicacional y educativo y desde la interpretación de la información recogida por las herramientas tecnológicas utilizadas. Propone un modelo que organiza esta información desde ambos aspectos, cada uno con su propio significado. Desde el punto de vista psicológico-educativo se ofrece información sobre el desempeño de cada miembro del grupo y las herramientas tecnológicas reflejan la interdependencia que es necesaria en cualquier grupo de trabajo colaborativo. La matriz de indicadores de MetSCIn abreva en las siguientes fuentes:

- La autorregulación en el aprendizaje [12], [13], [14], [15], [16], [17], [18], [19], [20], [21], [30]. Se trata de un componente individual que oficia como requisito de entrada al trabajo grupal.

- Las dimensiones individual y grupal del concepto de interdependencia positiva de [10].

- La compilación de indicadores de desempeño individual, según tipos de mensajes de [31], [32].

- El concepto de entendimiento compartido o grounding, de [33] en relación con el concepto de granularidad de los mensajes [34].

- El concepto de conexión semántica de [34].

- La idea de cohesión de la comunicación de Reyes & Tchounikine [36].

- El modelo de argumentación de Toulmin [37].

En la Figura 1 se presenta la matriz de indicadores completa.

Figura 1. Matriz de Indicadores de MetSCIn

Como se visualiza en la Figura 1, la matriz cuenta con cuatro componentes metodológicos: objeto de estudio, dimensiones, indicadores y operacionalización.

En cuanto al objeto, ya se ha mencionado que es el trabajo colaborativo con sus dos dimensiones: la colaboración y la interdependencia positiva.  En cuanto a las dimensiones de la interdependencia positiva, se sigue a [10], [31] en la idea de las dimensiones individual y grupal como capas del trabajo colaborativo. Se describirán los indicadores y su operacionalización en el apartado siguiente.

4.1 Indicadores de las dimensiones individual y grupal de la matriz MetSCIn

En la búsqueda de indicadores, la dimensión individual del trabajo colaborativo podría definirse como lo que cada uno de los integrantes del grupo hace en forma solitaria, a su propio ritmo y con sus habilidades cognitivas y metacognitivas [10]. Se inicia esta matriz con un componente central: la autorregulación en el aprendizaje [12], [13], [14], [15], [16], [17], [18], [19], [20], [21]. Se trata de un componente individual que oficia como requisito de entrada al trabajo grupal. En este sentido, la metodología incluye la implementación de una e-encuesta de autopercepción sobre autorregulación, que se propone implementar previamente al inicio del trabajo colaborativo, con vistas a mejorar la grupalidad. Los indicadores que siguen en esta dimensión están basados en los tipos de mensaje que los integrantes de un grupo intercambian por medio de herramientas informáticas. Se sigue a [31], [32] y se construyeron las siguientes categorías:

- Mensajes de organización (Función metacognitiva). Relacionados con la forma en la que se lleva adelante la tarea: aclaraciones sobre la consiga, manejo del tiempo, organización de las sub tareas, división de roles en el grupo, responsables de cada tarea, indicadores de avance, eventos de comunicación grupal, herramientas a utilizar, estrategias de repaso y entrega de la tarea, etc.

- Mensajes de contenido (Función cognitiva). Vinculados al contenido de la actividad que se debe hacer. Pertenecen a esta categoría los mensajes referidos a las fuentes de información, lecturas, manejo conceptual, relación entre conceptos, construcción del discurso grupal (generación de hipótesis, aceptación o rechazo de éstas), consistencia de la actividad completa y sus partes, existencia de todas las perspectivas de análisis, etc.

- Mensajes de afectividad (Función afectiva). Vinculados a los componentes afectivos del aprendizaje: motivación, empatía, solidaridad, comprensión, ayuda, etc.

En cuanto a la dimensión grupal, la matriz intenta discriminar los elementos que forman parte de la construcción colaborativa. Así, se integran los trabajos de distintos autores, de diferentes disciplinas, que contribuyen a entender esta construcción. Se retoman los estudios de Baker et al. [33] quienes sostienen que para aprender en colaboración se necesita algún tipo de entendimiento compartido o grounding. En [34] se reafirma esta concepción, al presentar a la colaboración como un proceso de construcción de significados compartidos. A este concepto se asocia el de cadenas de sentido de Stahl [34]. El autor las presenta diciendo: “la creación de sentido no es únicamente la expresión de las representaciones mentales de los participantes individuales, es un logro interaccional”. El logro de aprendizaje colaborativo implica fenómenos como la negociación y el intercambio de significado. Este indicador se definió en la matriz como conexión semántica. La cohesión de la comunicación es el segundo de los indicadores grupales construidos en esta matriz. Se trata de otro aspecto de la construcción comunicativa que contribuye a su calidad. Se sigue a [38] y se considera tanto desde el punto de vista semántico (de qué habla el grupo) como pragmático (cuán eficiente es para orientarse al objetivo y proceder en consecuencia). Se toma el concepto de cohesión de estos autores entendido como la dispersión de información en el grupo. Esto significa cuán eficiente resulta el grupo para llegar, en cada línea de comunicación, a cada tema clave y tomar las decisiones correspondientes. El tercer indicador de la construcción grupal es el de la argumentación. Esto significa valorar la construcción colaborativa en función de su entramado argumentativo. Se revisaron trabajos de la corriente “Arguin to learn” [34], [39], [40], [41]. Para la construcción de este indicador se tomó el modelo de argumentación de según el modelo de Stephen Toulmin [37] que contiene los siguientes elementos:

- Argumento (Claim): es el punto de partida. Argumento inicial. Puede ser una afirmación, premisa o idea.

- Evidencia (Ground): son datos empíricos o evidencias que fundamentan el argumento inicial.

- Garantía (Warrant): vínculo de la evidencia a la idea inicial. Ofrece mayor fundamento.

- Respaldo (Backing): establece la confiabilidad y relevancia de la garantía.

- Calificador (Qualifier): cuando está presente, modifica el argumento a través de la forma en la que está presentado.

- Refutaciones (Rebuttal): admisión de argumentos que refutan la afirmación inicial.

4.1.1. Operacionalización de los Indicadores

La matriz continúa con la operacionalización, o implementación empírica de cada uno de los indicadores

4.1.1.1. Indicadores de la dimensión individual

En la dimensión individual, los indicadores se observan y analizan en base a dos estrategias. Las condiciones de entrada y autopercepción se trabajan a partir de la implementación de una encuesta en formato digital. El indicador de cantidad y tipos de mensajes se observa a partir de los mensajes intercambiados y su tipología. Sobre este corpus de comunicación, la metodología propone dos tipos de análisis: cuantitativo y cualitativo. En cuanto al análisis cuantitativo, MetSCIn propone registrar y analizar:

a. Cantidad de mensajes electrónicos enviados durante todo el tiempo de la tarea.

b. Cantidad de mensajes electrónicos enviados por cada miembro de cada grupo.

c. Promedio de mensajes electrónicos enviados (número de mensajes en relación con el número de días de trabajo).

d. Cantidad de mensajes electrónicos enviados en cada etapa de la resolución de la tarea y promedio.

e. Comparación entre grupos.

En cuanto al análisis cuanti-cualitativo, se propone registrar y analizar:

a. Cantidad de mensajes electrónicos según su tipo: organización, contenido, afectividad.

b. Cantidad de mensajes electrónicos por tipo y por etapa.

Para realizar esta tarea se propone el análisis de los intercambios de mensajes en los siguientes términos:

- Objetivo y contenido (el título del aporte puede dar cuenta de este aspecto)

- Relación con la tarea/etapa del trabajo,

- Función dentro de la cadena de sentido: abre un tema, desarrolla o cierra (a-b-c),

- Sujeto de la enunciación (quién escribe explícitamente),

- A quiénes va dirigido (cómo se refiere al grupo, uso de metáforas),

- Componentes emocionales (mensajes afectivos),

- Coherencia y sentido del texto (dice lo que se propone decir),

- Palabra/s clave (la metodología de análisis por unidades semánticas propone trabajar con una lista de palabras.

- Puntos de gramática (los signos de puntuación, uso de pronombres inclusivos),

- Fin del mensaje (compromisos, promesas).

Si bien el análisis de contenido es subjetivo, resulta de gran utilidad recurrir a una herramienta que auxilia en la detección de cada tipo de mensaje y su contenido. Se trata de una lista de palabras clave (metodología en la que se siguió a [42] que se corresponde con cada componente de los mensajes

4.1.1.2. Indicadores de la dimensión grupal

Para el análisis de la conexión semántica, y tal como se presenta en la matriz de indicadores, la unidad de análisis es el mapa conceptual de tópicos abordados por el grupo. No se toman, entonces, los mensajes en sí (como en la dimensión individual) sino el entramado de construcción resultante de esa interacción. Allí se definen los tópicos de conexión semántica, que son temas estructurales de la comunicación que permiten avanzar con la tarea encomendada. A través de estos tópicos es posible identificar cómo se generan y comparten conocimientos.

En la cohesión de la comunicación la unidad de análisis es, nuevamente, el mapa conceptual del trabajo del grupo. Allí se analizan las cadenas de comunicación en términos de tópicos vinculados directamente a la tarea a realizar y no vinculados (de dispersión). Cuánto más cohesionado es el grupo, más tópicos tendrán vinculación directa con la tarea y habrá menos tópicos de dispersión. Reyes & Tchounikine [36] lo mencionan como “on” y “off topics” y [32], [43] como “on” y “off task”. En la metodología se toman como indicadores de cohesión grupal tanto los mensajes referidos a la planificación (task) como al contenido del trabajo (topics).

Finalmente, en el análisis de la argumentación se toman en cuenta los mensajes compartidos en diferentes espacios de interacción según su granularidad [35]. Para el análisis de la argumentación, se propone tomar las cadenas de mensajes como unidad de análisis y analizar sus componentes en términos de entramado argumentativo, según el modelo de Stephen Toulmin [37]. Como este análisis resulta subjetivo, se propone utilizar el mismo método que en los dos indicadores semánticos anteriores, de palabra clave y análisis de contenido [42]. La idea que sustenta el modelo es que el razonamiento argumentativo es una construcción individual en primera instancia y luego colaborativa, refinada a partir de la interacción entre argumentos y contra argumento.

5. Validación de la Matriz de Indicadores de la Metodología a través del Juicio de Expertos

Un componente central de la metodología descripta es la matriz de indicadores de colaboración. Por esta razón se tomó la decisión metodológica de someterla a juicio de expertos para analizar su validez.

El juicio de expertos consiste en solicitar a una serie de personas la emisión de un juicio hacia un objeto, instrumento, material, o su opinión respecto a un aspecto concreto de un objeto sometido a evaluación [44]. En el contexto de cambios y subjetividades que se presentan en los entornos educativos con uso de tecnología digital, resulta un mecanismo de gran utilidad, ya que permite evaluar opiniones acerca de objetos simbólicos, invisibles (como metodologías, matrices de análisis, modelos de trabajo, etc.) con anterioridad a su aplicación [45]. Esto permite obtener una opinión calificada que anticipa algunos escenarios temidos en tanto amenazas teóricas o metodológicas.

Para la consulta a los expertos se trabajó con el modelo de “Agregación individual de los expertos” [46], [47]. Los autores coinciden en que es un modelo económico, ya que no es necesario hacer coincidir a los expertos en tiempo y lugar. También hay acuerdo en que la construcción del instrumento de indagación se convierte en una herramienta clave, ya que no habría otra interacción con los expertos más que el envío y recepción del instrumento completo.

En la consideración de qué es un experto, se siguió a [48], quienes retoman a [49] y definen como experto al individuo que es capaz de proporcionar valoraciones confiables sobre un problema en cuestión y, al mismo tiempo, hacer recomendaciones en función de un máximo de competencia. En la metodología implementada, se consideró como experto al profesional  que reuniera las siguientes cualidades:

Conocimientos y competencias

- Emisión de juicios y toma de decisiones. Puede analizarse en este caso: grado académico, investigaciones, publicaciones, posición, experiencia, premios obtenidos, etc.

- Reputación en la comunidad académica.

- Habitualidad de respuesta a encuestas e instrumentos de indagación, digitales en este caso.

Experiencia

- Experiencia en la enseñanza e investigación (resulta de gran importancia en este tema en particular).

Condiciones personales y predisposición

- Objetividad (no estar vinculado/a con la construcción del instrumento objeto del análisis ni en la investigación completa).

- Confianza en sí mismo/a y adaptabilidad a la forma de trabajo de la metodología de juicio de expertos implementada.

- Grado de compromiso con la indagación y el trabajo futuro. Cumplimiento de los tiempos de completamiento del instrumento de indagación.

- Toma de decisiones en situaciones de estrés.

En cuanto a la cantidad de expertos consultados, se siguió a [50], quienes relacionan el número de expertos con la tarea a realizar. Sus conclusiones indican que sobre un número mayor a 7 expertos, los resultados de la consulta no varían significativamente. Para este trabajo se contactaron 10 expertos y, pérdida muestral mediante, terminaron respondiendo 7. Según los estándares presentados por [50] es un número aceptable, dado la especificidad y el objetivo de la consulta.

La metodología se puso en práctica para medir la validez de la matriz de indicadores construida. La validez indica la capacidad del instrumento para medir lo que se pretende, se refiere al grado de confianza que se tiene de que la medición corresponde a la realidad del fenómeno que se está midiendo [51]. La tabla 5 presenta los componentes en los que se ha desagregado la validez para este estudio.

Tabla 5. Componentes de la evaluación de validez mediante el Juicio de Expertos

5.1. Implementación del Juicio de Expertos

En la tabla 6 se presentan los pasos del juicio de expertos. 

Tabla 6. Pasos de la implementación del Juicio de Expertos

Los tres primeros pasos fueron mencionados en la descripción general, en el apartado anterior. Se describirán en este apartado las decisiones fundamentales a partir del paso 4. En lo referido a la selección de expertos [52] recopila bibliografía y presenta dos formatos para la selección de jueces: el biograma y el coeficiente de competencia experta. El biograma consiste en elaborar una biografía del experto, incorporando diversos aspectos: formación de grado y postgrado, años de experiencia profesional -en general y en el tema en particular-, formación académica, lugar de trabajo, experiencia en investigación, experiencia como experto en diversos juicios, etc. El coeficiente de competencia experta, conocido como Factor K [44], [48] se obtiene a partir de la autovaloración realizada por la persona para determinar su competencia experta en la materia. Se han tomado en cuenta ambos formatos para la selección de los expertos. Los expertos seleccionados fueron considerados atendiendo al constructo multidimensional que significa el trabajo colaborativo mediado por tecnología informática. Se consideraron expertos:

Perspectiva de comunicación, educación y el trabajo grupal: 4 expertos.

Perspectiva de herramientas informáticas y entornos de groupware: 3 expertos.

Perspectiva de construcción colaborativa mediada por tecnología digital: 3 expertos.

El instrumento tomó la forma de encuesta de opinión en formato digital. Se administró en forma remota mediante un formulario en GoogleForm. Consideró las siguientes secciones:

SECCIÓN 1: Datos básicos. Se requirió información complementaria al biograma.

SECCIÓN 2: Conceptos básicos: Se indagaron opiniones acerca de los conceptos asociados a trabajo cooperativo y colaborativo. Mediante tres preguntas, se indagó el concepto de trabajo colaborativo y sus componentes conceptuales, específicamente el concepto soporte establecido en el marco teórico de interdependencia positiva y sus dimensiones.

SECCIÓN 3: Análisis de la dimensión individual: En esta sección se requirió opinión sobre los indicadores construidos para el análisis de la dimensión individual del componente de interdependencia positiva en el trabajo colaborativo.

SECCIÓN 4: Análisis de la dimensión grupal: En esta sección se solicitó opinión sobre los indicadores construidos para el análisis de la dimensión grupal del componente interdependencia positiva en el trabajo colaborativo.

SECCIÓN 5: Matriz completa y su operacionalización: Una vez que se hubo “diseccionado” el fenómeno conceptualmente y en sus indicadores, la última sección buscó reconstruir la matriz y avanzar sobre la operacionalización de estos indicadores. Esto significó indagar acerca de qué documentos de los producidos por un grupo colaborativo deben ser analizados para encontrar la información requerida por esta matriz.

SECCIÓN FINAL: Agradecimiento y despedida

Respecto de los tipos de ítems o preguntas, se incluyeron preguntas cerradas, que se respondían indicando el grado de acuerdo con cada uno de los enunciados. Al final de cada sección se incluyó un set de dos preguntas, para registrar alguna opinión que no hubiera sido considerada y su argumentación por parte del experto. En cuanto a la escala, se utilizó una de las llamadas “tipo Likert”:

GRADO 1: Completo desacuerdo

GRADO 2: Algo en desacuerdo

GRADO 3: Ni acuerdo ni desacuerdo

GRADO 4: Algo de acuerdo

GRADO 5: Completo acuerdo

Antes de su aplicación en el juicio de expertos, este instrumento fue sometido a una prueba piloto (con expertos de un perfil similar a los incluidos en la muestra, pero que no habían sido seleccionados para constituirla) para verificar el cumplimiento de criterios de calidad.

5.2. Análisis de los resultados del Juicio de Expertos

Siguiendo a Maldonado Mahuad [52], una aproximación inicial es calcular el porcentaje de acuerdo. Este valor se denomina factor de concordancia. Una medida de acuerdo alta indica consenso en el proceso de clasificación o asignación de puntajes entre los evaluadores. Se presenta, entonces, la concordancia por ítem y sección. La presentación de los resultados se divide en dos partes: 5.2.1. análisis del factor de concordancia K, en su componente Kc (indagado en la primera sección del instrumento) y 5.2.2. el análisis de las secciones 2 a 5, compilado por sección.

5.2.1. Análisis de los resultados del Juicio de Expertos

Los resultados arrojados por las preguntas de valoración del coeficiente de competencia experta fueron los siguientes:

GRADO 2: Conozco de este tema, como de otros de mi especialidad (14%)

GRADO 3: Investigo y estudio el tema (57%)

GRADO 4: Investigo y he escrito sobre el tema, con gran in-fluencia en la comunidad científica (29%)

Teniendo en cuenta la especificidad del tema, se considera adecuado que un 57% de los indagados se considere conocedor y un 29% se vea como experto.

5.2.2. Análisis de la concordancia de respuesta por sección del instrumento

Para proporcionar una mejor visión de esta concordancia, se presenta, en las figuras 2 a 5, la concordancia de cada sección, considerando las respuestas de los siete expertos en cada uno de los ítems que conforman cada una de las secciones.

Figura 2. Concordancia de la sección 2. Concepto de Trabajo Colaborativo. Media: 4.61 (sobre 5)

 

Figura 3. Concordancia de la sección 3. Indicadores de la dimensión individual del Trabajo Colaborativo. Media: 4.52 (sobre 5)

 

Figura 4. Concordancia de la sección 4. Indicadores de la dimensión grupal del Trabajo Colaborativo. Media: 4.38 (sobre 5)

 

Figura 5. Concordancia de la matriz completa. Media: 4.14 (sobre 5)

En la figura 2 se presenta la concordancia de la sección 2: concepto de trabajo colaborativo, que obtuvo una media de respuestas de 4.61 sobre 5. En la figura 3 se hace lo propio con la sección 3: Indicadores de la dimensión individual del trabajo colaborativo. En la figura 4 se presenta la concordancia  de la sección 4: indicadores de la dimensión grupal del trabajo colaborativo. Finalmente, en la figura 5 se presenta la concordancia de respuestas sobre la matriz completa de indicadores y su operacionlización.

Conclusiones

Este trabajo aborda la conceptualización de trabajo colaborativo y  propone un itinerario didáctico para el diseño de actividades colaborativas con fines educativos mediadas por tecnología digital. Luego, se enmarca en la presentación de una propuesta metodológica para su seguimiento: la metodología MetSCIn. Como elemento central de esta metodología se presenta una matriz de indicadores de colaboración y su operacionalización. Por esta razón, esta matriz se somete al juicio de expertos. El artículo aborda, entonces, la metodología utilizada y sus principales resultados. Como síntesis de este último apartado, puede mencionarse el énfasis explicitado por uno de los expertos sobre la autopercepción individual de autorregulación como factor inicial de la construcción colaborativa. Otro de los expertos propuso descomponer el indicador de cohesión grupal en subindicadores y tres expertos mencionaron el componente del diálogo y la argumentación como esenciales de la matriz. Como consecuencia del juicio de expertos se validó la composición y los indicadores de la matriz y se completaron algunos aspectos, ya presentados en la metodología MetSCIn. A continuación se presentan las conclusiones centrales del juicio de expertos:

- El concepto de trabajo colaborativo como un espacio de construcción con dos dimensiones: individual y grupal. Sus elementos básicos son la interdependencia positiva, la interacción,  la contribución individual y la construcción grupal.

- La doble dimensión del concepto de interdependencia positiva, individual (lo que cada miembro aporta) y grupal (lo que el grupo construye en su interacción y mediante las herramientas tecnológicas).

- La interdependencia desde la perspectiva individual, considerando cantidad y tipos de mensajes que se intercambian.

- El concepto de cohesión de la comunicación como un indicador de la construcción grupal: "la cohesión de la comunicación  representa la difusión de la información en el grupo: cuanto más cohesionada, mejor fluye la información entre todos los miembros del grupo". Tomado de [36].

- La cohesión de la comunicación con dos componentes: cantidad y tiempo de temas trabajados en el grupo y análisis de los mapas conceptuales como indicadores de los temas que se compartes y construyen.

- La construcción de la matriz completa.

- La participación de las herramientas tecnológicas como hipótesis performativas de la construcción grupal en espacios digitales.

Agradecimientos

Proyecto de Investigación del IIILIDI: 11/F016-Tecnologías para sistemas de software distribuidos. y procesos. Escenarios educativos mediados por TICs. Acreditado por la UNLP. (2014 – 2017).

Proyecto RefortiCCA: RECursos para el Empoderamiento de FORmadores en TIC, Ciencias y Ambiente. Proyecto que se desarrolla en el marco de los Proyectos de Innovación y Transferencia en Áreas Prioritarias de la Provincia de Buenos Aires (PIT-AP-BA=. Período: 2017-2018

Referencias

[1] A. M. Fernández, El campo grupal, notas para una genealogía. Buenos Aires: Nueva Visión, 1989.         [ Links ]

[2] M. Souto de Asch, “El grupo de aprendizaje como unidad de operación educativa,” Revista Argentina de Educación, Año V, no. 8, 1987.

[3] G. Salomon, Comp., Cogniciones distribuidas: consideraciones psicológicas y educativas (Colección Agenda Educativa). Buenos Aires: Amorrortu, 2001.         [ Links ]

[4] P. Dillenbourg, “What do you mean by collaborative leraning?,” in Collaborative-learning: Cognitive and Computational Approaches, P. Dillenbourg, Ed., Oxford: Elsevier, 1999, ch 1, pp.1-19.

[5] M. M. Pérez, “El trabajo colaborativo en el aula universitaria,” Laurus, vol. 13, no. 23, pp. 263-278, 2007.

[6] C. Sanz, M. A. Zangara, and C. Manresa-Yee, “E-activities in teaching processes using ICTS collaborative activity as a case study,” in EDULEARN12 Proc., pp. 2034-2041, 2012.

[7] R. A. Schmuk, and P. A. Schmuk, Group processes in the classroom. Dubuque, Iowa: WM. C. Brown Company Publishers, 1975.         [ Links ]

[8] M. A. Zangara, and C. Sanz, “Displaying the collaborative process as meta-knowledge. Description of a mirroring strategy and its results,” Communications in Computer and Information Science (CCIS), vol. 790, pp. 79-89. Springer, 2017.

[9] M. Souto, Hacia una didáctica de lo grupal. Buenos Aires: Miño y Dávila Editores, 1993.         [ Links ]

[10] M. P. Discoll, and A. Vergara, “Nuevas Tecnologías y su impacto en la educación del futuro,” Pensamiento Educativo, no. 21, 1997.

[11] J. Castaño, J. M. Duart, and T. Sancho-Vinuesa, “Determinants of Internet use for interactive learning: an exploratory study,” Journal of New Approaches in Educational Research, vol. 4, no. 1, p. 24, 2015.

[12] M. Moore, “Towards a theory of independent learning and teaching,” Journal of Higher Education, no. 44, pp. 661-679, 1973.

[13] M. Moore, Ed., Readings in Principles of Distance Education (Readings in Distance Education Series No. 1). American Center for the study of Distance Education. College of Education. Pennsylvania State University, 1989.         [ Links ]

[14] M. Moore, Ed., Contemporary Issues in American Distance Education, Great Britain: Pergamon BPCC Wheatons, 1990.         [ Links ]

[15] M. Moore, Distance Education: A Systems View. USA: Wadsworth, 1996.         [ Links ]

[16] M. Moore, Ed., Handbook of Distance Education. Routledge, 2013.         [ Links ]

[17] B. Zimmerman, “A social cognitive view of self-regulated academic learning,” Journal of Educational Psychology, no. 81, pp. 329-339, 1989.

[18] B. Zimmerman, “Developing self-fulfilling cycles of academic regulation: an analysis of exemplary instructional models,” in Self-regulated learning: From teaching to self-reflective practice, D. D. Schunk, B. Zimmerman, USA: Guilford Press, 1998, pp. 1-19.

[19] B. Zimmerman, “Attaining Self-regulation,” in Handbook of Self-regulation, M. Boekaerts, P. Pintrich, M. Zeidner, USA: Academic Press, 2000, pp. 13-40.

[20] B. Zimmerman, “Theories of self-regulated learning and academic achievement: an overview and analysis,” in Self-regulated learning and academic achievement: theoretical perspectives, B. Zimmerman, D. Schunk, USA: Laurence Erlbaum Associates, 2001, pp. 1-37.

[21] R. L. Shearer, “Theory to practice in instructional design,” in Handbook of distance education, 3rd ed., 2013, pp. 251-267.

[22] A. Fidalgo-Blanco, D.  Lerís, M. L. Sein-Echaluce, and F. J. García-Peñalvo, “Indicadores para el seguimiento y evaluación de la competencia de trabajo en equipo a través del método CTMTC”, 2013. [Online] Available in: https://gredos.usal.es/handle/10366/122531

[23] A. Dimitracopoulou, “Designing collaborative learning systems: current trends & future research agenda,” in Proceedings of the 2005 conference on Computer support for collaborative learning: learning 2005: the next 10 years!, International Society of the Learning Sciences, 2005, pp. 115-124.

[24] T. D. Cook, and C. S. Reichardt, Qualitative and quantitative methods in evaluation research. Beverly Hills, CA: Sage publications, 1979.         [ Links ]

[25] L. Cohen, and L. Manion, Métodos de investigación educativa. Madrid: Editorial La Muralla, 2002.         [ Links ]

[26] R. Cohen, and M. Swerdlik, Pruebas y evaluación psicológicas: Introducción a las pruebas y a la medición. Mexico: Mc Graw Hill, 2001.         [ Links ]

[27] C. A. Monje Alvarez, Metodología de la investigación cualitativa y cuantitativa. Guía Didáctica. Universidad Surcolombiana. Facultad de Ciencias Sociales y Humanas. Programa de Comunicación Social y Periodismo, 2011.         [ Links ]

[28] E. Rockwell, “Etnografía y teoría en la investigación educativa,” Revista Dialogando, no. 2, pp. 29-45, 1980.

[29] J. Salinas, “La investigación ante los desafíos de los escenarios de aprendizaje futuros,” RED. Revista de Educación a Distancia, no. 11, pp. 32-37, 2012.

[30] V. Mehdinezhad, and Z. Bamari, “The Relationship between Test Anxiety, Epistemological Beliefs and Problem Solving among Students,” Journal of New Approaches in Educational Research, vol. 4, no. 1-2, 2015.

[31] C. N. Gunawardena, C. A. Lowe, and T. Anderson, “Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing,” Journal Educational Computing Research, vol. 17, nro. 4, pp. 397- 431, 1997.

[32] A. Ingram, and L. Hathorn, “Methods for Analyzing Collaboration in Online Communications,” in Online Collaborative Learning: Theory and Practice. T. Roberts, ed., USA: Idea Group Inc., 2004, pp. 215-241.

[33] M. Spermon, I, Schouten, and E. van den Hoven. “Designing interaction in digital tabletop games to support collaborative learning in children,” International Journal of Learning Technology, vol. 9, no. 1, pp. 3-24, 2014.

[34] G. Stahl, Group cognition: Computer support for building collaborative knowledge. Cambridge, MA: MIT Press, 2006.         [ Links ]

[35] M. T. H. Chi, “Quantifying qualitative analyses of verbal data: A practical guide,” Journal of the Learning sciences, vol. 6, pp. 271–315, 1997.

[36] A. Dimitrakopoulou, A. Petrou, A. Martinez, J. Marcos, V. Kollias et al., “State of the art of interaction analysis for Metacognitive Support & Diagnosis,” in EU Sixth Framework programme priority 2, Information society technology, Network of Exc, 2006.

[37] J. Karbach, “Using Toulmin's model of argumentation,” Journal of Teaching Writing, vol. 6, no. 1, pp. 81-92, 1987.

[38] A. Dimitracopoulou, “Designing collaborative learning systems: current trends & future research agenda,” in Proceedings of th 2005 conference on Computer support for collaborative learning: learning 2005: the next 10 years! International Society of the Learning Sciences, 2005, pp. 115-124.

[39] D. H. Jonassen, and B. Kim, “Arguing to learn and learning to argue: Design justifications and guidelines,” Educational Technology Research and Development, vol. 58, no. 4, pp. 439-457, 2010.

[40] A. Weinberger, and F. Fischer, “A framework to analyze argumentative knowledge construction in computer-supported collaborative learning,” Computers & education, vol. 46, no. 1, pp 71-95, 2006.

[41] C. J. G.  Carrasco, and P. M. Martínez, “Historical Skills in Compulsory Education: Assessment, Inquiry Based Strategies and Students' Argumentation,” Journal of New Approaches in Educational Research, vol. 5, año 2, p.130, 2016.

[42] P. Cáceres, “Análisis cualitativo de contenido: Una alternativa metodológica alcanzable,” Psicoperspectivas. Individuo y Sociedad, vol. 2, año 1, pp. 53-82, 2008.

[43] T.S Roberts, Ed., Online collaborative learning: Theory and practice. IGI Global, 2004.         [ Links ]

[44] J. Cabero Almenara, and M. D. C. L Cejudo, “La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información y comunicación (TIC)”. Revista Eduweb, vol. 7, no. 2, pp.11-22, 2013.

[45] M. G. Ferrando, J. Ibáñez, and F.A. Martín, El análisis de la realidad social: métodos y técnicas de investigación. Madrid: Alianza, 1996.         [ Links ]

[46] Y. Corral, “Validez y confiabilidad de los instrumentos para la recolección de datos,” Revista ciencias de la educación, 2009. [Online]. Available: http://servicio.bc.uc.edu.ve/educacion/revista/n33/art12.pdf Consultado en mayo 2020.

[47] J. Escobar Pérez, and A. Cuervo-Martínez, “Validez de contenido y juicio de expertos: una aproximación a su utilización,” Avances en medición, no. 6, pp. 27-36, 2008.

[48] J. Cabero Almenara, and J. B. Barroso Osuna, “La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta,” Revista de pedagogía, vol. 65. no. 2, pp. 25-38, 2013.

[49]  S. Mengual, La importancia percibida por el profesorado y el alumnado sobre la inclusión de la competencia digital en Educación Superior. Alicante, España: Departamento de Didáctica General y Didácticas específicas de la Facultad de Alicante. España, 2011.         [ Links ]

[50]  L. García, and S. J. Fernández, “Procedimiento de aplicación del trabajo creativo en grupo de expertos,” Ingeniería Energética, vol. 29, no. 2, pp. 46-50, 2008.

[51] L. M. E. Mayaute, “Cuantificación de la validez de contenido por criterio de jueces,” Revista de Psicología, vol. 6, no. 1-2, pp. 103-111, 1988.

[52]  J. Maldonado Mahauad, “Desarrollo de un Marco de Análisis para la Selección de Metodologías de Diseño de Objetos de Aprendizaje (OA) basado en criterios de calidad para contextos educativos específicos,” Tesis de Maestría en Tecnología Informática aplicada en Educación, Facultad de Informática, Universidad Nacional de La Plata, Argentina, 2015. [Online]  Disponible: http://sedici.unlp.edu.ar/handle/10915/45063. Consultado en mayo 2020.

 

Información  de Contacto de los Autores:

María Alejandra Zangara
50 y 120
La Plata
Argentina
azangara@lidi.info.unlp.edu.ar

Cecilia Sanz
50 y 120
La Plata
Argentina
csanz@lidi.info.unlp.edu.ar

 

María Alejandra Zangara
Ciencias de la Educación-Universidad Nacional de La Plata. Magister en Política y Gestión de la Ciencia y la Tecnología – Centro de Estudios Avanzados – Universidad de Buenos Aires. Doctora en Ciencias Informáticas – Facultad de Informática – UNLP. Docente e investigadora de la Facultad de Informática de la UNLP.

Cecilia Sanz
Doctora en Ciencias de la Facultad de Ciencias Exactas de la UNLP. Directora de la Especialización y Maestría en Tecnología Informática Aplicada en Educación. Profesor Titular Dedicación Exclusiva de la Facultad de Informática de la UNLP.