Introducción

La evaluación es un proceso complejo que incluye la subjetividad de las partes implicadas. Es necesario analizarla profundamente no solo porque pueden existir discrepancias con los resultados alcanzados durante el proceso, sino también para identificar las posibles desviaciones que se puedan haber cometido durante su transcurso. ¹

De este modo surge el interés de comparar los resultados obtenidos por docentes y alumnos de diferentes Facultades de Odontología para implementarle validez y fiabilidad.

Según Stufflebeam, ² el objetivo primordial de la evaluación es comparar los resultados de los estudiantes con los estándares preestablecidos y determinar si estos han sido logrados. La problemática surge a partir de valorar si dichos estándares preestablecidos son universales o por el contrario reflejan solo miradas personales. Al respecto, el Comité Conjunto de Estándares para la Evaluación Educativa en su segunda edición señala que la evaluación en sí misma debe ser formativa y sumativa. Asimismo, debe ser analizada en relación con estándares ya preestablecidos para que su conducta sea guiada en forma apropiada y completa, a fin de que puedan examinarse detenidamente sus fortalezas y sus debilidades. ¹

La realización de una correcta práctica odontológica requiere de conocimientos y habilidades que son adquiridos durante la etapa estudiantil, en cada una de las asignaturas, para lograr el título que acredita y certifica el ejercicio de la profesión con idoneidad. Legalmente dicho título universitario habilita para realizar tratamientos en un amplio espectro de las diferentes disciplinas odontológicas, incluida la endodoncia, especialidad a la que nos referiremos en el presente artículo.

En la literatura se encuentran trabajos publicados que evalúan, por medio de imágenes radiográficas, la calidad de los tratamientos endodónticos realizados por alumnos de grado en el área preclínica y clínica. ^3-11 Si bien entendemos que la radiografía posoperatoria no es un elemento determinante por si solo para valorar la calidad del tratamiento endodóntico, es en general el instrumento utilizado para tal fin. ¹² Además, es imprescindible considerar que su análisis varía de acuerdo con quien lo realiza. ^13-14

Durante el desarrollo curricular, los estudiantes reciben información teórica y práctica sobre los estándares de calidad que deben alcanzar para considerar correcto el tratamiento endodóntico efectuado y los docentes evalúan los tratamientos realizados por los alumnos a través de las imágenes radiográficas obtenidas.

Es importante enfatizar en el modelo educativo la importancia de la evaluación formativa como una herramienta pedagógica de aprendizaje de uso continuo. ^{15, 16}

En relación con ello, Barell ¹⁵ destaca como estrategia que los alumnos y los docentes realicen la misma evaluación por separado, empleando los mismos criterios y al final se reúnan, comparen y lleguen a un acuerdo.

El objetivo del presente estudio fue analizar el grado de concordancia entre alumnos y docentes de diferentes unidades académicas en la evaluación radiográfica de tratamientos endodónticos realizados en dientes humanos “ex vivo”.

Materiales y métodos

Se evaluaron por medio de radiografías peripicales 357 tratamientos endodónticos realizados por alumnos de grado de la Cátedra de Endodoncia I de la Escuela de Odontología de la Universidad del Salvador/Asociación Odontológica Argentina durante los años 2015, 2016 y 2017 en incisivos, caninos y premolares inferiores y superiores con uno o dos conductos radiculares, de dientes humanos que habían sido extraídos por motivos de ortodoncia o periodontales. Las piezas dentarias debían presentar raíces completamente desarrolladas, sin reabsorciones apicales, con coronas clínicas íntegras o restauración coronaria, sin tratamientos endodónticos previos y/o instrumentos fracturados.

Al inicio del año lectivo los alumnos reciben información teórica sobre los contenidos de la asignatura, luego realizan sus prácticas sobre dientes humanos extraídos y documentan cada caso con las radiografías correspondientes (preoperatoria, intraoperatoria y posoperatoria).

Para este estudio los alumnos habían realizado los tratamientos endodónticos según los pasos que se describen en los párrafos siguientes.

Los dientes fueron montados en un arco de acrílico a fin de facilitar el procedimiento endodóntico. ¹⁷

Se tomaron radiografías preoperatorias en sentido de las caras libres y proximales y se descartaron aquellas piezas dentarias que presentaban un alto grado de complejidad (conductos calcificados, con doble curvatura, etc.). Posteriormente, se realizaron las aperturas coronarias convencionales con alta velocidad y refrigeración, localización, acceso a los conductos radiculares y cateterismo con limas tipo K (Dentsply Maillefer, Ballaigues, Suiza), seleccionadas de acuerdo al calibre del conducto radicular.

Para los incisivos y caninos superiores e inferiores la preparación del tercio cervical del conducto radicular se realizó con fresas Gates Glidden (Dentsply Maillefer). Luego se efectuó la conductometría electrónica y/o radiográfica, instrumentación manual con limas tipo K (Dentsply Maillefer) del tercio apical, con movimiento horario-antihorario. La última lima utilizada fue seleccionada según el calibre y la anatomía del conducto radicular. Posteriormente, se procedió a la técnica del paso atrás con limas tipo K (Dentsply Maillefer) de mayor calibre hasta unificar la conicidad de los diferentes tercios.

Los premolares superiores e inferiores con uno o dos conductos radiculares fueron instrumentados con el sistema ProTaper Universal (Dentsply Maillefer), siguiendo las indicaciones del fabricante. La última lima empleada fue seleccionada en relación con el calibre del conducto radicular. En todos los grupos dentarios, la irrigación se llevó a cabo con agua destilada a cada cambio de instrumento y al finalizar la preparación quirúrgica. A continuación, los conductos radiculares fueron secados con conos de papel absorbentes y posteriormente obturados con la técnica de condensación lateral o con la técnica híbrida de Tagger. ¹⁸ El sellador usado fue el cemento de Grossman (Farmadental Laboratorio Ultra D SRL, CABA, Argentina). En el transcurso del procedimiento endodóntico se tomaron las radiografías correspondientes (conductometría, conometría y prefinal). Al finalizar la obturación se cortaron los conos de gutapercha con un atacador caliente en la entrada del conducto radicular, se limpiaron las cavidades de acceso, se obturaron con CavitTM G (3M ESPE AG, Seefeld, Alemania) y se tomaron las radiografías posoperatorias en sentido ortorradial. Las radiografías pre y posoperatorias de los 357 tratamientos realizados fueron incluidas como diapositivas en una plantilla del programa de presentaciones PowerPoint (versión 2007, Microsoft®) en formato 16x9.

Se envió el material a 7 unidades académicas: dos cátedras de Endodoncia de Argentina y una de México, Ecuador, España, Chile y Portugal. A los fines del registro y análisis de los datos y del informe de los resultados, esas unidades fueron identificadas con las letras A a G, asignadas de forma aleatoria. Un docente y un alumno de cada unidad, que ya había cursado la asignatura (preclínica o clínica), evaluaron las imágenes radiográficas de los tratamientos endodónticos y de acuerdo con su juicio individual, determinaron si podían ser considerados “correctos” o “incorrectos”. No se dio ningún criterio pautado, solo se les especificó que quienes habían realizado los tratamientos endodónticos eran alumnos de grado.

Para el análisis estadístico de la concordancia entre la evaluación de cada docente y el correspondiente alumno se calculó el valor de Kappa y el respectivo intervalo de confianza (95%), así como la frecuencia relativa (porciento) de concordancia total y según categorización.

Resultados

Los resultados obtenidos se expresan en las Tablas 1 y 2.

Tabla 1 Resultados descriptivos de frecuencias absolutas de presencia y ausencia de concordancia entre docentes y alumnos en la categorización para cada una de las unidades académicas incluidas en el análisis, así como los correspondientes valores de coeficiente Kappa y los valores mínimos y máximos para los intervalos de confianza (95%). 

Tabla 2 Frecuencia relativa (porciento sobre el total de casos) de concordancia según categorización de correcto e incorrecto. 

Puede observarse que en dos de las unidades académicas (B y D) la presencia de concordancia no es estadísticamente significativa (valor del límite inferior del intervalo asociado al valor de Kappa con signo negativo). En las restantes esa concordancia puede ser considerada estadísticamente significativa aunque de baja magnitud (valores de Kappa entre 0,07 y 0,20).

Discusión

Los resultados de frecuencia indican que en las distintas unidades académicas hubo en la mayoría de los casos concordancia entre el criterio de categorización entre docentes y alumnos (más del 60% de casos con concordancia). Sin embargo, es importante destacar que en un porcentaje de entre un cuarto y un tercio de los casos esa concordancia estuvo ausente. Si se parte de la suposición de que la categorización realizada por el docente representa una aproximación a la realidad (tal como es entendida en función de los criterios establecidos por la unidad académica), puede considerarse que es necesario en el proceso de enseñanza-aprendizaje poner mayor énfasis en la capacitación y en la evaluación de los resultados de los tratamientos, ya que ello puede derivar en decisiones clínicas incorrectas.

Asimismo, es interesante observar que ese valor porcentual está representado en su mayor parte por concordancia en la categorización del tratamiento como correcto (véase la columna correspondiente en la tabla 2). Seguramente debido a que la muestra de casos seleccionados incluía una amplia mayoría de procedimientos correctamente realizados. Esto explica los bajos valores de coeficiente Kappa obtenidos (Tabla 1), ya que este procedimiento estadístico realiza una corrección en función de la probabilidad de concordancia por azar, que es alta cuando los casos incluidos corresponden mayoritariamente a una de las categorías. Un valor de Kappa más representativo del nivel de concordancia podría obtenerse con una muestra con distribución más simétrica de casos en la categorización dicótoma (correcto/incorrecto).

También es importante destacar que en este estudio los resultados solo se refieren a la concordancia entre un alumno y uno de los docentes que se desempeñaron en su capacitación. Por ello es aventurado generalizar esta situación a la totalidad de los alumnos y docentes que forman parte de cada uno de los procesos educativos en las diferentes unidades académicas incluidas en el análisis.

Debido a los resultados obtenidos sería oportuno profundizar futuras investigaciones sobre evaluación.

El examen radiográfico posoperatorio representa la forma más utilizada por los profesionales para identificar errores o impedimentos que puedan ocurrir durante la intervención endodóntica.

En la formación universitaria tradicional el docente es el encargado de fijar los criterios y fundamentos de la evaluación radiográfica, el alumno recibe esa información, muy probablemente la repita en un examen, pero no tenemos la certeza de que su interpretación y su valoración del tratamiento realizado coincidan con la información recibida.

La evaluación que realizan los docentes de diferentes latitudes está vinculada a su propia formación académica y a la de su entorno. Prima en esas circunstancias el criterio personal de valoración de sus propios tratamientos endodónticos y el de sus alumnos. La pregunta que surge es si se puede aplicar el mismo juicio en ambas situaciones.

En base a la disparidad de resultados obtenidos en este estudio no sería posible aplicar un razonamiento adecuado que nos permita fundamentar cómo han valorado docentes y alumnos los tratamientos endodónticos analizados. De modo tal que no resulta sencillo establecer un resultado lógico de estos datos en el sentido de que el docente fija un mayor nivel de exigencia que el alumno en la evaluación radiográfica en la enseñanza de grado, o bien el alumno malinterpreta en las imágenes posoperatorias elementos que no tienen relevancia clínica e incrementa la exigencia en su autoevaluación.

Al respecto, AlRahabi et al. ¹⁹ encontraron una diferencia significativa entre la autoevaluación realizada por estudiantes de grado y docentes de la disciplina en relación con tratamientos endodónticos efectuados por los primeros. La evaluación de los estudiantes mostró una fiabilidad débil comparada con la de los docentes, por lo cual recomiendan intensificar en la educación preclínica el entrenamiento de los estudiantes en la autoevaluación de sus tratamientos.

Asimismo, estos autores consideraron diferentes ítems para la evaluación: preparación de la cavidad de acceso, determinación de la longitud de trabajo, densidad de la obturación, longitud de la obturación y su conicidad. En contraposición, en el presente estudio se establecieron solo dos niveles de categorización: correcto o incorrecto, a fin de disminuir las variables a considerar por alumnos y docentes.

Es preocupante observar publicaciones científicas de diferentes países en las que se destaca un alto porcentaje de tratamientos endodónticos realizados en pacientes juzgados como deficientes. ^20-23 Esto permite suponer que además de la falta de capacitación de quienes realizaron esas prácticas, probablemente también podrían existir diferentes interpretaciones sobre qué se considera correcto e incorrecto en el análisis radiográfico final. A la luz de los resultados del presente estudio, se resalta en la discrepancia entre docentes y alumnos de la misma unidad académica la diferencia existente entre lo que se enseña y lo que el alumno aprende de ese mensaje. ^{24, 25} En relación con ello, Ali y Feil ²⁶ señalan que en los primeros años de grado los estudiantes tienen dificultad para juzgar con exactitud sus resultados, por lo cual las habilidades de la autoevaluación deben ser enseñadas y aprendidas. Es importante citar también en este aspecto la subjetividad del evaluador, ya mencionada en diferentes publicaciones. ^13-14 Al respecto, Reit y Hollender ¹⁴ observaron que un mismo evaluador puede dar dos opiniones opuestas al analizar una misma radiografía en el transcurso del tiempo.

En relación con la interpretación radiográfica en el diagnóstico de las enfermedades periapicales, Reit ²⁷ señala la importancia de la calibración de los observadores a fin de mejorar la concordancia. En dicho estudio se evaluaron dos grupos sometidos a diferentes métodos de calibración y otro no calibrado. El autor observó mayor concordancia en ambos grupos calibrados y menor en el no calibrado. Esta situación relacionada con los resultados obtenidos en el presente estudio nos refiere a la necesidad de establecer un estándar universal, aceptado por las diferentes unidades académicas formadoras de profesionales, a fin de generar un cuadro de valoración precisa que permita establecer qué se entiende radiográficamente por un tratamiento endodóntico correcto o incorrecto.

En ese sentido, Anijovich y Cappelletti ¹⁸ resaltan el concepto de que la evaluación constituye la oportunidad de observar los propios procesos de enseñanza para poder reconstruir los procesos de aprendizaje de los estudiantes.

Sería recomendable elaborar un protocolo de evaluación radiográfica que promueva la concordancia, con el fin de establecer estándares universales de valoración en el ámbito universitario.

Conclusión

El nivel de concordancia en la categorización del resultado de la evaluación radiográfica de tratamientos endodónticos varía entre alumnos de grado y docentes de las distintas unidades académicas.