ARTÍCULOS

Propuesta para el cálculo del Índice Dm para la validez de los ítemes

Proposal for the calculation of the Dm Índex for the validity of the items

 

Sergio Dominguez Lara*

*MA en Psicología Clínica y de la Salud. Docente investigador en la Facultad de Psicología y Trabajo Social de la Universidad Inca Garcilaso de la Vega. Lima, Perú. E-Mail: sdominguezmpcs@gmail.com

 

---

Resumen

Se presenta un programa en formato MS Excel para calcular el índice Dm para la validez de los ítemes. La validez es un proceso de acumulación de pruebas para apoyar la interpretación y el uso de las puntuaciones de los tests psicológicos, siendo las relaciones de los puntajes con otras variables externas una importante fuente de validación. Una variante es la llamada validez relacionada al criterio, en la cual se espera una correlación significativa con aquellos criterios externos que son teóricamente relevantes. Para ello se consideró el índice Dm. En tal sentido, el uso adecuado de estos métodos y su falta de implementación en los paquetes estadísticos tradicionales justifica su construcción como una herramienta adecuada para el investigador en Psicología y específicamente en Psicometría, disciplina en la cual es común el uso de correlaciones como un indicador absoluto de validez, sin considerar otros aspectos conceptuales. Se discute el uso y las limitaciones de la herramienta.

Palabras clave: Psicometría; Validez de los ítemes; Correlaciones; Índice Dm.

Abstract

The aim of this paper was to propose a program in MS Excel for quick calculation of Dm index, which could be used in psychometrics to evaluate the item validity of psychological instruments. Validity is a process of accumulating evidence to support the interpretation and use of psychological test scores, with scores relations with other external variables an important source of validation. A variant is called criterion-related validity, which seeks to demonstrate the accuracy of the hypothesized relationships between measurements made with other measurements, using correlations or other measures that indicate some kind of relationship. This was considered the Index Dm, which is expected to be significantly correlated with those external criteria that are theoretically relevant, so achieving specify prior, as a hypothesis, what direction it will take and what the correlation coefficient is expected. Dm index indicates a measure of the absolute deviation of the observed correlations regarding hypothesized values. In this index, we then consider the number of external criteria, the correlation coefficient between the item and the external criterion, the squared distance between the coefficient of correlation and .50 by the sign of the correlation coefficient between the item and the criterion external. In social sciences rarely expect a correlation greater than .50, although this constant researcher can vary depending on the background you have about the test to investigate and the relationship you have with other constructs. The range of this indicator ranges from 0 to 1, with the result 1 when there is perfect andcriterion validity is obtained when each observed correlation is hypothesized correlations like. As such, the proper use of these methods and their lack of implementation in traditional statistical packages justifies its construction as a tool for researchers in Psychology, and specifically in Psychometrics, discipline which is common to use correlations as an indicator absolute validity, without considering other conceptual aspects. One advantage of this program is that it provides a quick calculation of a useful procedure when you do not have the number of data required for more sophisticated procedures such as factor analysis. Furthermore, it gives more relevance to the findings of previous form as defined a network of concepts expressed by measurements, which correspond to the instrument you want to work, all expressed by correlations. It exemplified the use of the tool with data presented in research presented at an event, where we explored the validity of the items of School Burnout Inventory (SBI) in a sample of adolescents, using external criteria the complete Magallanes Anxiety Scale (MAS) and State-Trait Depression Inventory (STDI). The latter has four scales: Eutimic State and Eutimic Trait (both positive affect) and Dysthymia State and Dysthymia Trait (both negative affect). In this regard, being a measure of stress burnout is hypothesized positive direction between items of School Burnout Inventory (SBI) and Magallanes Anxiety Scale (MAS), subscales Dysthymia State and Dysthymia Trait (both negative affect) from State-Trait Depression Inventory, and negative between the subscales Eutimic State and Eutimic Trait (both positive affect) from State-Trait Depression Inventory. Data have been entered, the calculation of Dm index from the expression is performed automatically, and finally to the index and the level that has this indicator. You can display the graph to see the differences between the hypothesized and observed correlations. The findings presented by the tool match background research. The main limitation of the tool is that it can be used Microsoft Office must be installed on the computer, so it is recommended to interested researchers expand the scope of this tool to other formats or by some programming strategy that is wider dissemination and outreach.

Keywords: Psychometry; Item validity; Correlations; Dm index.

---

 

Aspectos conceptuales básicos de validez

La validez puede entenderse como el grado en que la evidencia empírica y la teoría apoyan la interpretación de las puntuaciones de los tests relacionada con un uso específico, considerándola entonces como un proceso de acumulación de pruebas para apoyar la interpretación y el uso de las puntuaciones, siendo las relaciones de los puntajes con otras variables externas una importante fuente de validación (Prieto & Delgado, 2010).
En este sentido se refiere a la correspondencia directa que existe entre el constructo a evaluar y el instrumento a utilizar para evaluarlo, es decir, que el instrumento debe considerar aspectos esenciales del constructo, tanto en la estructura del mismo, como en función de la relación con otras variables teóricamente relacionadas.
Frecuentemente se utilizan diversas estrategias para encontrar evidencias de validez, siendo una variante de esta la llamada validez relacionada al criterio. En esta estrategia se busca demostrar la precisión de las relaciones hipotetizadas entre la medición realizada con otras mediciones (Carmines & Zeller, 1979), mediante correlaciones u otras medidas que indican algún tipo de relación (Hollenbeck & Whitener, 1988).

El índice Dm

Considerando lo anterior, cuando se habla de la validez relacionada al criterio (validez de constructo - Taras & Kline, 2010) se espera una correlación significativa con aquellos criterios externos que son teóricamente relevantes (Westen & Rosenthal, 2003), en vista que el objetivo de validación de constructo es el de insertar una medida de un constructo en una red nomológica, esto es, para establecer su relación con otras variables con las cuales debería, en teoría, estar asociado positivamente, negativamente, o sin relación aparente, con los elementos de dicha red (Cronbach & Meehl, 1955). No obstante, además de un simple coeficiente de correlación es necesario especificar previamente como hipótesis, qué dirección tomará dicha correlación y qué coeficiente se espera.
Una revisión de este último punto puede verse más detallamente en otras investigaciones (Piazza, 1980; Taras & Kline, 2010; Westen & Rosenthal, 2003), mas en este trabajo, por ser de corte técnico, se considerará el índice Dm (Taras & Kline, 2010).
En dicho indicador se considera además del número de criterios externos (K), el coeficiente de correlación entre el ítem y el criterio externo r_j (1 j k), la distancia al cuadrado entre dicho coeficiente de correlación y .50 por el signo de r_j, (sgn(r_j) 0.5). De acuerdo con Taras y Kline (2010), en ciencias sociales raramente se puede esperar una correlación superior a .50, aunque el investigador puede variar esta constante dependiendo de los antecedentes que posea sobre el test a investigar y la relación que tenga con otros constructos. La expresión matemática se muestra en el siguiente esquema adaptado de Taras y Kline (2010):

sgn(r_j) 0.5 es la constante de 0.5 con el signo que represente la dirección de la relación (efecto positivo o negativo),r_j es la correlación observada entre el ítem del test y la variable exógena y K es el número de criterios externos.

Dicho resultado indica una medida de la desviación absoluta de las correlaciones observadas con respecto a los valores hipotetizados. El rango de dicho indicador va de 0 a 1, siendo el resultado 1 cuando se da una perfecta validez de criterio y es obtenido cuando cada correlación observada es igual que las correlaciones hipotetizadas (Taras & Kline, 2010).
En tal sentido, el objetivo del trabajo que se informa fue proponer un programa en formato MS Excel para el cálculo rápido del índice Dm, el cual podría ser aplicado en Psicometría para obtener la validez de los ítemes de instrumentos psicológicos.

Propuesta de la herramienta: Su aplicación

La herramienta está basada en el trabajode Taras y Kline (2010) que permite el cálculo rápido del índice Dm.
Para ejemplificar se trabajó con datos presentados por Merino, Caballero y Delgadillo (2012) y los mismos fueron procesados con el programa propuesto¹.
Los autores exploraron la validez de los ítemes del School Burn out Inventory (SBI) en una muestra de adolescentes, utilizando como criterios externos la Escala Magallanes de Ansiedad (EMANS) y el Inventario Depresión Rasgo - Estado (IDER). Este último presenta cuatro escalas: Eutimia estado, Eutimia rasgo (ambas de afecto positivo) y Distimia estado y Distimia rasgo (ambas de afecto negativo).
En este sentido, siendo el burnout una medida de estrés, se hipotetizó una dirección positiva entre los ítemes del SBI y la EMANS, las subescalas Distimia estado y Distimia rasgo del IDER, y una negativa entre las subescalas Eutimia estado y Eutimia rasgo del IDER.
En el procedimiento realizado por Merino y colaboradores (2012), en el ítem 1 (Agobiado, sobrecargado por mis estudios), se hallaron correlaciones de .22 con la EMANS, de .225 con Distimia estado, de -.168 con Eutimia estado, de .256 con Distimia rasgo y de -.10 con Eutimia rasgo. Reportaron un índice Dm de .6889. Los autores citados trabajaron con la constante .5 al momento de procesar los datos, mas este indicador puede variarse en el programa dependiendo de las necesidades del investigador.
En primer lugar, se precisó el número de criterios y el nombre de los mismos (ver Tabla 1). Después se especificó la dirección de las hipótesis y la magnitud estimada de las mismas. Luego se consigna la correlación del ítem con el criterio a evaluar (ver Tabla 2).

 

Tabla 1. Presentación de módulo de cálculo del índice Dm. Índice de validez del ítem ¿Cuántos criterios externos se usarán? 5

 

Tabla 2. Vista de las hipótesis, dirección y correlación ítem-criterio

 

Una vez consignados tales datos, el cálculo del índice Dm a partir de la fórmula descrita anteriormente se realiza de modo automático (ver Tabla 3), para llegar finalmente a dicho índice y al nivel que presenta dicho indicador (ver Tabla 4), el cual coincide con el presentado por Merino y colaboradores (2012), quienes usaron ese método en su trabajo. Puede visualizarse el gráfico para observar las diferencias entre las correlaciones hipotetizadas y observadas (ver Figura 1).

 

Tabla 3. Cálculo automático a partir de la expresión matemática

 

Tabla 4. Vista del índice Dm y su nivel

 

Figura 1. Vista del gráfico de las correlaciones

 

Una de las ventajas de este programa es que brinda un cálculo rápido de un procedimiento útil cuando no se cuenta con el número de datos necesarios para procedimientos más sofisticados tal como el análisis factorial. Además de ello, le da mayor relevancia a los hallazgos en tanto previamente se define una red de conceptos, expresados con mediciones, que corresponde al instrumento con el cual se quiere trabajar, todo ello expresado mediante correlaciones.

Limitaciones de la herramienta

Al estar elaborada en formato Excel, la principal limitación de la herramienta es que para que pueda ser utilizada, debe estar instalado Microsoft Office en el computador. Ante ello, se recomienda a los investigadores interesados ampliar el alcance de esta herramienta a otros formatos tales como el Visual Basic o a alguna estrategia de programación que sea de mayor difusión y alcance.

Notas:

_¹ La propuesta es una hoja de cálculo en formato de Microsoft Excel, compatible con todas las versiones de Windows y puede ser solicitada gratuitamente al autor.

Referencias bibliográficas

1. Carmines, E. & Zeller, R. (1979). Reliability and validity assessment. Thousand Oaks: Sage.         [ Links ]

2. Cronbach, L. & Meehl, P. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281-302. http://dx.doi.org/10.1037/h0040957        [ Links ]

3. Hollenbeck, J. R. & Whitener, E. M. (1988). Criterion-related validation for small sample contexts: An integrated approach to synthetic validity. Journal of Applied Psychology, 73(3), 536-544. http://dx.doi.org/10.1037/0021-9010.73.3.536        [ Links ]

4. Merino, C., Caballero, R. & Delgadillo, A. (octubre, 2012). Validez de los ítems del School Burnout Inventory (SBI) en una muestra de adolescentes [School Burnout Inventory (SBI) items validity in adolescent sample]. Trabajo presentado en la IV Jornada Interuniversitaria de Innovación en Investigación Psicométrica, Facultad de Psicología, Universidad Nacional Mayor de San Marcos. Perú         [ Links ].

5. Piazza, T. (1980). The analysis of attitude items. American Journal of Sociology, 86(3), 584-603.         [ Links ]

6. Prieto, G. & Delgado, A. (2010). Fiabildad y validez [Fiability and validity]. Papeles del Psicólogo, 31(1), 67-74.         [ Links ]

7. Taras, V. & Kline, T. (2010). Scale validation via quantifying item validity using the Dm Index. Psychological Reports, 107(2), 535-546. http://dx.doi.org/10.2466/03.PR0.107.5.535-546        [ Links ]

8. Westen, D. & Rosenthal, R. (2003). Quantifying construct validity: Two simple measures. Journal of Personality and Social Psychology, 84(3), 608-618. http://dx.doi.org/10.1037//0022-3514.84.3.608        [ Links ]

Universidad Inca Garcilaso de la Vega
Lima - Perú

Fecha de recepción: 4 de febrero de 2013
Fecha de aceptación: 27 de agosto de 2013