DOSSIER - ARTÍCULOS
¿Cómo medir el impacto de las políticas de ciencia y tecnología?
José Luis Villaveces (jlvillaveces@ocyt.org.co)
Luis Antonio Orozco
Doris Lucía Olaya
Diego Chavarro
Elizabeth Suárez
Observatorio Colombiano de Ciencia y Tecnología, Colombia
El objetivo de este trabajo es hacer una revisión conceptual de la noción de impacto asociada a las políticas de ciencia y tecnología, así como proponer algunas estrategias para su medición. Se presentan, además, algunas aplicaciones empíricas de este concepto, tomando como ejemplo el impacto de dos programas nacionales de ciencia y tecnología en Colombia: el Programa Nacional de Biotecnología y el Programa Nacional de Ciencias Humanas.
Palabras clave: Impacto social; Políticas de ciencia y tecnología; Indicadores y medición del impacto.
The goal of this article is to perform a conceptual revision of the concept of impact related to science and technology policies, as well as proposing strategies for its measurement. In addition, there are presented some empirical applications of this concept, taking as example the impact of two national programs of science and technology in Colombia: the National Program for Biotechnology and the National Program for Human Sciences.
Key words: Social impact; Science and technology policies; Indicators and impact measurement.
Sobre la noción de impacto
Es natural que un sistema social se pregunte por el efecto de la ciencia y la tecnología, y a esto hace referencia la noción de impacto.1 El uso de este término parece provenir de una metáfora balística, cargando así con el poder y las debilidades de esta metáfora. En este sentido, denota los efectos sobre un ente externo al que produce la causa: el cazador dispara y el "impacto" recae sobre su presa o se pierde provocando un "impacto" positivo o nulo. Por el contrario, si hiere a su compañero de cacería tal vez se hablará de "impacto" negativo. En cualquiera de los casos, el término hace alusión a una acción premeditada con efectos deseados que pueden lograrse o no.
En el marco de estas ideas, el análisis de impactos debe tener en cuenta las consecuencias buscadas, las actividades programadas y realizadas con los medios adecuados, los resultados producidos por tales actividades, y la relación entre éstos y las intenciones declaradas. Así, mejor que estudiar el impacto de la ciencia y la tecnología sobre la sociedad como un conjunto vago de actividades, parece más interesante estudiar el impacto de las políticas de ciencia y tecnología. Esta óptica será desde la cual se abordarán las ideas de este trabajo.
Un análisis de impacto debe incluir: un estudio del programa de trabajo, esto es, de la expresión de unas intenciones originales y sus propósitos; un análisis de los medios puestos en obra y de su adecuación frente a los propósitos expresados; y un recuento de los resultados obtenidos después de un tiempo prudencial.2 Aun así, la noción de impacto es imprecisa. Cabe destacar que está relacionada con la noción de efecto y que también supone la noción de causa. No hay efectos sin causa y no hay impactos sin programa intencionado que los busque.
Los resultados como medida del impacto
Para medir impactos es necesario poner atención en las consecuencias de la acción intencional cuyo impacto interesa. Así, el impacto se mide constatando los resultados y poniéndolos en correlación con la intención inicial.
Hay resultados tangibles e intangibles, previstos e imprevistos, que afectan sólo al grupo que los produjo o que afectan a grupos más amplios de la sociedad. Llamaremos productos a los resultados tangibles, verificables y puestos en circulación, que son sin duda los más fáciles de medir; logros a los resultados previstos y obtenidos, cuyo indicador es la medida del grado de acuerdo entre lo previsto y lo obtenido; y, por último, denominaremos efectos a los resultados cuyo ámbito trasciende al del grupo de referencia, teniendo en cuenta, además, que los efectos más importantes son los que se hacen sentir en toda la sociedad.
La medición de impactos centra una importante atención sobre los productos. Su primera característica es que son claramente medibles y se puede asegurar su existencia, su cantidad y su calidad. El punto central es el énfasis en las condiciones de tangibilidad, verificabilidad y circulación de los productos. Para asegurar la calidad de la información que se tiene sobre los productos hay que realizar un control de calidad en, al menos, tres niveles: el nivel de la calidad formal del dato, es decir, qué tan coherente y completa es la información que se tiene de un objeto en su estructura interna (por ejemplo, un artículo sin identificación de ISSN de la revista en que se publicó, ni título, no podría ser tenido en cuenta); el nivel de la existencia del producto (es decir, la verificación directa o indirecta de su existencia real); y el nivel de la circulación (hay distintas formas de circulación dependiendo del tipo de producto al que nos enfrentemos). Varios tipos de productos de la ciencia y la tecnología satisfacen estas condiciones y presentan características propias. Los más típicos son los productos publicados, los productos registrados, las normas y leyes, y las mercancías. La noción de "normalización" está muy ligada al control de la calidad. Solamente si se aceptan como norma ciertos lineamientos, ciertos parámetros, se puede generar información sobre un objeto. Por supuesto, las normas toman tiempo en ser asimiladas por la comunidad.
Un elemento importante en la determinación de un efecto es la existencia de un cambio, de una transformación cualitativa o estructural en la sociedad o en un grupo social amplio. Los cambios más fáciles de ver tienen relación con la economía, pero los más importantes afectan las condiciones de vida de las personas, y los más profundos afectan la cultura. Entre los cambios más notables en el nivel micro están las transformaciones internas de las comunidades científicas, comenzando por la aparición de grupos humanos dedicados a un campo de la ciencia en particular y continuando con la consolidación a través de la producción y de la generación de mecanismos de construcción de comunidad, tales como las revistas, las asociaciones, los congresos e, incluso, los pregrados y postgrados. Todos estos elementos son evidencias tangibles y verificables del desarrollo de la comunidad y de los cambios cualitativos ocurridos en ella por acción de la política.
En un momento más avanzado emergen nuevas relaciones y fenómenos que pueden registrarse. Por ejemplo, la aparición de redes que demuestran las distintas formas de cooperación de los miembros de la comunidad es evidencia de la maduración de ella. La red ha puesto en tensión a una gran cantidad de actores entre los cuales hay expertos, científicos, técnicos y demás actores, que son igualmente necesarios para la construcción de un nuevo objeto o una nueva noción. Así, un impacto de importancia sería la transformación del campo de trabajo.
Los logros pueden ser fuente de la más clara medida de impacto. Sin embargo, es necesario tener en cuenta que una medida de logro es una medida de segundo orden: no se mide directamente el resultado como tal, sino el grado de acuerdo entre lo propuesto y lo obtenido. Así, es preciso considerar dos observaciones: el resultado y la intención declarada y, luego, el grado de acuerdo entre ambos. Por este motivo es que resulta tan importante concretar las medidas de impacto de la ciencia y la tecnología a las del impacto de las políticas bien expresadas, en las cuales es factible medir este acuerdo. Una de las principales herramientas para ello ha sido el análisis de las actas de los Consejos de los Programas Nacionales de Ciencia y Tecnología. En las actas se deja constancia de la formulación de preguntas, de las discusiones y de la toma de decisiones. Además, son el espacio en el cual los distintos actores se encuentran, por lo que se constituyen en un elemento importante a la hora de relacionar las políticas con los proyectos, los resultados de los grupos, la capacitación, la generación de redes y la aparición de productos. El acuerdo entre lo propuesto y lo obtenido pasa primero por una discusión en la que entran intereses personales y colectivos y, de alguna manera, reflejan las tensiones y las ambivalencias que deben terminar en una decisión. Las actas pueden ser definidas como un texto informativo que pretende dar cuenta de una serie de argumentaciones de distintos actores en torno a un problema específico y, por lo tanto, los análisis que se hacen deben ser discursivos. Algunas de las preguntas que pueden responder las actas de los Consejos de Ciencia y Tecnología son ¿quiénes participan?, ¿qué proponen?, ¿cuáles son las discusiones? y ¿cómo se desarrollaron en el tiempo?
Este marco de referencia sirve apara contextualizar los proyectos que son financiados, y que materializan en gran parte los acuerdos de voluntades que se dan en los Consejos. A partir del seguimiento de esos proyectos se pueden ubicar sus productos y a partir de estos buscar los efectos que son evidentes cuando se encuentran sus usuarios.
Es importante tener en cuenta que aunque los impactos deben analizarse a partir de actividades programadas e intencionalmente dirigidas, muchas de ellas no alcanzan el impacto esperado porque encuentran obstáculos de distinta índole, o porque se desvían ya sea por mala planeación, por circunstancias cambiantes o por cualquier otra razón.
En cualquier caso, lo que cabe resaltar es que un programa es un motor que genera actividades, y son éstas las que generan productos que al llegar a usuarios propician la aparición de efectos. Sólo una fracción de estos efectos está relacionada con el impacto deseado.
Multicausalidad de los impactos
El análisis de impactos de la ciencia y la tecnología a partir de resultados conlleva una dificultad adicional a las que hemos mencionado: su multicausalidad. Esto quiere decir que cada uno de los resultados que puede llamar nuestra atención depende o puede depender de muchas causas, algunas explícitas y otras implícitas; unas bien identificadas y otras desconocidas. Así, si se busca analizar el impacto de la ciencia y la tecnología locales parece necesario aislar, dentro de esta multicausalidad, la fracción de interés, lo cual es una tarea difícil e, incluso, en muchos casos imposible. Como dice Callon (2001), para que la aviación ingrese a una sociedad como medio de comunicación con impacto social no basta con tener un avión, sino que hay que tener aeropuertos, radiofaros, torres de control, agencias de viajes, etc. Es decir, hay que construir de manera completa la red social tecno-económica que permita la utilización completa de la nueva tecnología. Este es el "capital social" que permite la endogenización de la ciencia y la tecnología en una nación.
Ciencia relevante
Se ha hecho frecuente vincular la idea de impacto de la ciencia y la tecnología con la idea de ciencia relevante o pertinente. Pero la relevancia o la pertinencia pueden ser entendidas de muchas maneras distintas y no son cualidades objetivas, medibles o verificables en ausencia de un contexto preciso y particular. La relevancia o la pertinencia son características esencialmente subjetivas, dependientes de un enfoque particular: se es pertinente con relación a una política peculiar o a un sistema de valores caracterizado previamente. La pertinencia depende de las opciones ideológicas de quien la define. Una vez más, si se quiere vincular la noción de impacto con la de relevancia o pertinencia de las actividades de ciencia y tecnología como se hace en gran parte de la literatura, lo indicado es medir el impacto de unas políticas con respecto a las cuales puede haber o no relevancia.3 Por tal motivo, más que mirar efectos concretos es preferible pensar de manera general. Tal como ha propuesto Hebe Vessuri, los indicadores del impacto de la ciencia y la tecnología sobre el desarrollo en los países periféricos deberían ser pensados como "indicadores de capacidad científica y tecnológica". Estos indicadores medirían la forma en que crece la capacidad local de asimilar, transformar, desarrollar, absorber, usar, generar y distribuir conocimientos, siendo esta forma independiente de ideologías particulares y, por lo tanto, también de la noción de relevancia. Los indicadores de capacidad científica y tecnológica se conciben desde este enfoque como medidas de la capacidad para utilizar socialmente la ciencia y la tecnología y, tomados en toda su extensión, deben ir mucho más allá de los ámbitos estrictamente científicos o tecnológicos.
Un trabajo de colaboración con Hernán Jaramillo, de la Universidad del Rosario (Colombia), ha permitido observar este proceso en forma global. El ejemplo de las políticas colombianas de ciencia y tecnología en los últimos cuarenta años permite ver el crecimiento de esta capacidad local de asimilar, transformar, desarrollar, absorber, usar, generar y distribuir conocimientos, tal como se indica en la Figura 1. En ésta el eje vertical representa la "acumulación de aprendizaje y construcción de capacidades" e insinúa, por la forma de la curva, que esta acumulación se ha venido dando en forma constante y creciente.
El meollo del problema de los indicadores
Si bien la Figura 1 describe un escenario en términos cualitativos, a partir de ella puede deducirse cuál es la pregunta central a la que deberá enfrentarse la construcción de indicadores: ¿cómo medir sistemáticamente la "acumulación de aprendizaje y construcción de capacidades" de una sociedad?
Si hay políticas de ciencia y tecnología es porque, sin duda, el aspecto que más determinará la forma de las sociedades en el futuro será su capacidad de utilizar el conocimiento como base para el mundo de la vida. No sólo la economía es cada vez más una "economía del conocimiento" en cuyo seno la capacidad de la ciencia y la tecnología subtiende todas las otras actividades económicas, tales como la agricultura, el comercio, la industria y los servicios. Todas las actividades de la sociedad, incluyendo los servicios básicos de salud y educación, así como la justicia, el manejo del medio ambiente, la seguridad nacional, las formas de diversión, las relaciones internacionales, los medios de comunicación masivos y el gobierno, dependen cada vez más de la capacidad de uso del conocimiento para su desarrollo.
Esta capacidad de uso del conocimiento implica, en primer lugar, la capacidad de crearlo. El conocimiento sólo se usa conociendo. No es posible usar el conocimiento de otros, sino sólo el conocimiento que cada persona posee. Se puede usar la información sobre lo que otros conocen o la tecnología desarrollada por otros, es decir, el conocimiento de los demás codificado en información u objetivado en instrumentos, pero sólo puede ser usado si nosotros mismos conocemos y entendemos lo que estamos haciendo, si usamos las soluciones de los otros como base para construir nuestras soluciones, y no para tratar de usar las que fueron desarrolladas en otras condiciones y contextos a la solución de nuestros problemas. La capacidad de uso del conocimiento incluye, por lo tanto, las capacidades de crearlo, comprenderlo, transferirlo, adaptarlo, modificarlo, enriquecerlo, venderlo, etc.
Distintos niveles en el impacto
Todas las formas de precisar el concepto de impacto reseñadas pueden aplicarse en varios niveles y es útil, para organizar metodológicamente este trabajo, distinguir tales niveles.
Nivel micro
El nivel micro de análisis está centrado sobre el grupo de investigación. Los propósitos del grupo están consignados en su fundación y se desarrollan a través de proyectos. Los objetivos y justificaciones de los proyectos serán por lo tanto fuente documental para analizar los propósitos. Los productos del grupo son directamente los de su acción investigativa y se concretan en publicaciones, formación de personas, asesorías, etc. Los logros se miden por el acuerdo entre lo buscado en los proyectos y lo obtenido en sus resultados. Es difícil hablar de efectos cuando se piensa en los de un solo grupo de investigación. En general, los efectos sociales se logran por la acción de varios grupos y de muchos proyectos. El impacto de las actividades de ciencia y tecnología en el nivel micro se puede analizar a través de estudios de caso de grupos adecuadamente seleccionados, cuyos productos y logros se indaguen.
Nivel macro
Se considerará el nivel nacional como el nivel macro, aunque claro está que el nivel internacional es más amplio. Los productos a nivel nacional pueden tomarse simplemente como la sumatoria de todos los productos en los niveles micro. Sin embargo, para analizar los logros en el nivel nacional es importante tener en cuenta los propósitos expresados en los planes de nivel nacional. En el caso colombiano, éstos incluyen los Planes Nacionales de Desarrollo, los Documentos Conpes, los acuerdos del Consejo Nacional de Ciencia y Tecnología y otros documentos de esta índole, como el "Libro Amarillo" que publicó Colciencias en 1991. Por su parte, los efectos en el nivel nacional son los más interesantes, puesto que se refieren a los cambios en la sociedad colombiana producidos por las políticas y actividades de ciencia y tecnología.
Niveles intermedios
Si bien luego de haber planteado los niveles macro y micro puede parecer razonable hablar de un "nivel meso", lo cierto es que entre los dos niveles planteados hay grados intermedios que incluyen, por ejemplo, el nivel de las instituciones, el de los departamentos, así como otras divisiones políticas territoriales, por ejemplo, el de las regiones y, de manera importante, el de los Programas Nacionales de Ciencia y Tecnología. En todos ellos los productos se dan por agregación de los productos del nivel micro de los grupos asociados. No obstante, llevar a cabo esta agregación es un trabajo difícil y conceptualmente incompleto, puesto que no es clara, por ejemplo, la definición de cuáles son los grupos que pertenecen a un Programa Nacional de Ciencia y Tecnología, debido precisamente a la apertura con la que fueron definidos tales programas. Así, muchos grupos "pertenecen" al programa de ciencias básicas porque su trabajo se desarrolla esencialmente en el campo de la biología molecular pero, al mismo tiempo, "pertenecen" al de biotecnología porque ese trabajo se orienta a producir anticuerpos monoclonales, lo que los hace "pertenecer" también al de ciencias de la salud, pues el propósito de los anticuerpos es generar vacunas, o al de ciencias agropecuarias si las vacunas se refieren a salud pecuaria. Por ello, no puede construirse la suma de productos de un Programa Nacional simplemente agregando la de grupos.
La matriz siguiente, a la que llamamos Matriz de impacto sistémico, sintetiza la forma de considerar productos, logros y efectos en los tres niveles.
Figura 2. Matriz de impacto sistémico
Es notorio que si el nivel intermedio es el de los Programas Nacionales de Ciencia y Tecnología, las tres casillas de la diagonal principal son la vía por la que se mueve el impacto y hay una transferencia importante entre ellas: el conjunto de resultados de todos los grupos, más que constituir "el resultado" del Programa Nacional, representa el principal aporte a los logros de tal programa.
Así, aunque los logros del programa están relacionados, de acuerdo con la expresión de sus propósitos, con la formación de redes, la consolidación de comunidades científicas, el acercamiento de la universidad y la empresa, etc., si los grupos no hicieran investigación y no obtuvieran resultados reales, la simple declaración formal de la existencia de redes o de asociaciones no constituiría ningún impacto real. Recíprocamente, los esfuerzos de conformación de tales formas de capital social dan sentido a proyectos de los grupos que si quedaran aislados tendrían mucho menor impacto. Otro tanto puede decirse sobre cómo el logro de los propósitos de los programas en cuanto a la conformación de capital social adquiere sentido si efectivamente producen cambios en grupos sociales importantes.
La definición de la política
Como ya se ha dicho, la política de ciencia y tecnología, tanto al nivel nacional como a los varios niveles intermedios, suele quedar ampliamente documentada en muchos textos. La existencia de estos textos permite un verdadero análisis de los logros y, por lo tanto, del impacto4 como resultado de la acción deliberada. La política es un proceso de decisiones documentadas, que da directrices, convoca actores y brinda estrategias para alcanzar estados deseados en la sociedad y el medioambiente. Las estrategias involucran recursos, instituciones y acciones para lograr amplitud en objetivos planteados, los cuales son la base para medir los logros.
El impacto de los programas nacionales de ciencia y tecnología en Colombia
Puesto que la intención deliberada que mejor ha quedado formalizada y documentada en el caso colombiano es la que se organiza alrededor de los Programas Nacionales de Ciencia y Tecnología, el estudio de éstos se torna pieza central en un análisis de impacto.
El Sistema Nacional de Ciencia y Tecnología colombiano se organizó en once programas nacionales de ciencia y tecnología y varios "programas estratégicos transversales." Los Programas Nacionales corresponden a una definición legal: según el Decreto 585 de 1991, un Programa Nacional de Ciencia y Tecnología es "un ámbito de preocupaciones científicas y tecnológicas estructurado por objetivos, metas y tareas fundamentales, que se materializa en proyectos y otras actividades complementarias que realizarán entidades públicas o privadas, organizaciones comunitarias o personas naturales". Por lo amplio de la definición y su referencia a la comunidad de practicantes, esta definición retoma de las ideas de Lakatos. Sin embargo, coloca también como autoridad responsable del Programa al Consejo del Programa Nacional de Ciencia y Tecnología, y le otorga a éste la misión de "aprobar las políticas de investigación, fomento, información, comunicación, capacitación, regionalización, promoción y financiación del programa, dentro de las directrices fijadas por el Consejo Nacional de Ciencia y Tecnología. Orientar, previo un amplio proceso de consulta a nivel regional y nacional, la elaboración de los planes del programa y aprobarlos. Promover la consecución de recursos públicos y privados para el programa y asignarlos entre los distintos proyectos de investigación, transferencia, apropiación y demás actividades, previo estudio evaluativo de su calidad adelantado por la secretaría técnica y administrativa del programa y responder por la adecuada ejecución del programa".
De esto se desprende que la gran ventaja para realizar una medida de impacto es que la acción de programar está confiada en este caso a un cuerpo colegiado formal, que ha venido dejando en sus actas y en los libros publicados un cuerpo documental que permite saber qué ha sido lo deseado y cómo se ha concertado. Al mismo tiempo se puede seguir en estos documentos cuáles han sido los medios con los que se ha contado para poner en marcha esas políticas y por cuya "adecuada ejecución" debe responder el Consejo.
Dos ejemplos de caso
Finalmente, y teniendo en cuenta esta presentación general, se desarrollarán en detalle dos estudios de caso: el Programa Nacional de Biotecnología y el Programa Nacional de Ciencias Sociales y Humanas.
Para construir la información se realizó un proceso de identificación y clasificación de fuentes internacionales. En el caso de las revistas y los artículos, por ejemplo, se recurrió a la red Scienti, que brindó información sobre los productos que los investigadores ingresaron en GrupLAC (nivel formal del dato), el ISSN internacional (que sirvió para comprobar la existencia de las revistas) y las bases de datos del ISI (Social Science Citation Index, Science Citation Index y Journal Citation Reports), CAB, PsycInfo, Index Medicus, entre otros sistemas de indexación y resumen que hablan de la circulación internacional de los artículos. El control de calidad realizado mostró que, a pesar de la gran cantidad de datos que logramos obtener de la base GrupLAC-Colombia, un gran porcentaje no pasaba el control estructural. A medida que se avanzó en el procedimiento, la cantidad de datos bien formados, verificados y con circulación disminuyó.
Para cada uno de los programas se estudiaron los documentos de planeación y las actas de los Consejos respectivos, los libros de los simposios y los resultantes de la planeación prospectiva. Se realizaron entrevistas a actores destacados en ambos casos y de esta manera se obtuvo información general sobre los propósitos.5 Luego se estudiaron los proyectos analizados por Colciencias en cada uno de ellos, desde 1991 hasta 2002, centrando la atención tanto en los aprobados como en los no aprobados y analizando la concordancia entre las políticas declaradas y su concreción en los proyectos.
Una de los primeros datos que surge al estudiar las actas y entrevistar a antiguos consejeros es que los Consejos perdieron con frecuencia la brújula y se dedicaron primordialmente a administrar los magros recursos de Colciencias, distribuyéndolos al mejor postor. Es decir, a pesar de todo el esfuerzo político realizado para que Colciencias fuera algo más que un Fondo (antes de 1990 era el "Fondo Colombiano de Investigaciones Científicas y Proyectos Especiales Francisco José de Caldas" adscrito al Ministerio de Educación Nacional) y pasara a ser el Instituto Colombiano para el Fomento de la Ciencia y la Tecnología, cuestión que se ha olvidado con facilidad, esta institución sigue siendo un Fondo y los flamantes Consejos, con todo y Triángulo de Sábato en su interior, no han sido muchas veces más que comités de crédito de Colciencias.
Un ejemplo con impactos positivos: el Programa Nacional de Biotecnología
El objetivo central de los programas nacionales de ciencia y tecnología es contribuir a la conformación de una capacidad de uso del conocimiento fundamentada, principalmente, en una comunidad de personas formadas que puedan debatir y tomar decisiones en el campo de la política, la legislación, y la investigación económicamente viable y científicamente factible. En general, estos programas han movilizado investigadores hacia temáticas consideradas de prioridad nacional financiando, fundamentalmente, proyectos de investigación y organizando eventos para integrar a científicos, empresarios, hacedores de política pública, académicos y comunidad internacional en la coordinación de acciones.
La decisión de apoyar la biotecnología formando un programa en 1991 se tomó bajo la premisa del alto potencial que representa este campo "y su posible impacto en aspectos económicos, sociales, culturales y políticos" (Hodson, Forero y Carrizosa, 2003: 60). "La biotecnología tiene mucho que ofrecer y puede tener un impacto positivo en la seguridad alimentaria y en la sostenibilidad de la agricultura, en la salud, en la utilización y valoración de nuestra biodiversidad" (Pacheco de Peña, 2002: 13). La política central de este programa ha sido crear una masa crítica e institucionalizarla en torno a la biotecnología, para que se convierta en una comunidad que progresivamente responda a los retos que trae consigo la globalización y los cambios socioeconómicos en el país. Esta política ha facilitado la formación de investigadores en el exterior y la participación de investigadores en redes internacionales que han posibilitado la transferencia tecnológica. También ha permitido la creación de espacios donde la comunidad debate sobre temas como bioseguridad, propiedad intelectual, normatividades y leyes, relaciones entre la academia y la industria, mecanismos de negociación, la articulación de la investigación en torno de las cadenas productivas, mercados nacionales e internacionales, e indicadores de ciencia y tecnología, con el fin de que se desarrollen iniciativas y actividades que en su conjunto se encaminen a conseguir los cambios deseados. Luego de haber contextualizado estas acciones, es posible afirmar que el Programa Nacional de Biotecnología ha tenido impactos positivos claramente identificables.
La matriz de impacto sistémico es un instrumento que permite organizar y estructurar la información obtenida del objeto de estudio, de forma tal que se pueda evidenciar la producción en ciencia y tecnología, la producción en biotecnología, las políticas y regulaciones, y la intervención de éstas en la aparición de efectos como la articulación de redes, las reorientaciones temáticas y los cambios en otra serie de indicadores. A los efectos de este estudio de caso, la matriz se aplica en la siguiente forma:
Es interesante notar que mientras los productos en la primera columna pueden ser vistos como agregaciones en los niveles, es a lo largo de la diagonal donde se mueve el impacto: el impacto de un grupo puede ser medido por sus productos, pero el impacto de un programa nacional puede ser medido en relación con su capacidad de constituir redes de política que posibiliten el cumplimiento de lo propuesto por las políticas nacionales y sectoriales, y propician la aparición de efectos. Finalmente el impacto de todas las políticas en el nivel macro está más claramente vinculado a los cambios en la sociedad producidos por todas las actividades de ciencia y tecnología. Así, la construcción de la matriz permite ordenar y relacionar las tres clases de resultados en los diferentes niveles sociales, para lograr una mejor comprensión de los impactos en la sociedad.
Para hacer un estudio minucioso del impacto que genera el Programa Nacional de Biotecnología, definimos una nueva matriz que llamamos Matriz de las actividades científicas y tecnológicas, en la cual relacionamos los resultados en los siguientes ámbitos de impacto:
• Académico: se refiere a todas aquellas actividades de ciencia y tecnología que buscan esencialmente la comprensión de determinados temas, el avance del conocimiento en un asunto determinado o en los fundamentos de una ciencia o disciplina particular. Se concreta principalmente en artículos y libros dirigidos a los especialistas del tema en cuestión.
• Tecnológico: supone todas aquellas actividades que buscan esencialmente el trabajo industrial o productivo, dentro de estrategias económicas. Incluye toda la actividad industrial y de servicios del país. Se concreta en nuevos procesos y productos, patentados, registrados o no, y el impacto puede medirse por variables económicas y de mercado.
• Social: supone todas aquellas actividades de ciencia y tecnología que buscan esencialmente el desarrollo de políticas sociales que incidan en sectores específicos de la población. Se concreta principalmente en normas, leyes y protocolos, resultantes de la investigación sobre determinada realidad.
Pasos metodológicos
1. Para el nivel micro:
a) registrar en el instrumento de impacto la información sobre las actividades científicas y tecnológicas; b) identificar las actividades conjuntas; c) hacer un estudio bibliométrico y lexicométrico sobre los productos; d) identificar los demás productos generados, como el registro de nuevas variedades vegetales, patentes, vacunas, insumos agrícolas, etc.
2. Para el nivel meso:
a) estudiar los documentos generados por la secretaría técnica del programa y extraer las propuestas realizadas sobre el objeto de estudio; b) identificar las demás políticas sectoriales que intervienen sobre el objeto de estudio y evidenciar las que fueron ejecutadas en coordinación y cooperación con el programa; c) establecer, de acuerdo con lo fijado en las políticas sectoriales y de programa, los objetivos alcanzados por los desarrollos de los proyectos y actividades científicas y tecnológicas enunciadas en el nivel micro; d) identificar redes de trabajo cooperativo ( C D T-Universidad, Universidad-empresa, CDT-empresa, CDT- Universidad - empresa); d) filtrar del agregado de productos del nivel micro los que fueron apoyados por la dirección del programa.
3. Para el nivel macro:
a) recopilar las políticas y legislaciones que hacen referencia al objeto de estudio; b) recopilar estadísticas sobre el desempeño económico del objeto de estudio, en un lapso determinado y determinar la contribución económica de los productos desarrollados en el nivel micro al desempeño del sector del que hace parte el objeto de estudio; c) analizar artículos y noticias en los medios de comunicación que hacen referencia al objeto de estudio; d) hacer entrevistas a los investigadores, a los hacedores de políticas y a las comunidades que tiene relación con el objeto de estudio; e) analizar los cambios ocurridos y construir los indicadores de apropiación de productos, personal capacitado, etc., que dan cuenta de ello.
Las conclusiones al aplicar esta metodología son claras: existe, en primer lugar, una formación importante de capital conocimiento en el campo de la biotecnología (ver gráfico 1). El capital conocimiento hace referencia al patrimonio que existe con la acumulación de conocimiento codificado e incorporado. Las publicaciones en este campo han aumentado de manera importante desde la creación del programa y lo han hecho en revistas y medios de calidad controlada y visibilidad asegurada. Se han formado redes internacionales, tal como lo demuestra la participación en el International Centre for Genetic Engineering and Biotechnology (ICGEB) y el Centro Argentino Brasileño de Biotecnología (CABBIO), en las que los investigadores colombianos han logrado ser recibidos y comienzan a jugar un papel importante que queda demostrado por sus resultados. Los esfuerzos de cooperación con Alemania organizados alrededor de Expohannover también comenzaron a dar frutos.
Gráfico 1. Artículos por Sistema de Indexación de Revistas - SIR de la revista y por año según grupos cuyo programa nacional principal es biotecnología
Se puede hablar de importantes esfuerzos en la formación de capital humano (ver gráfico 2), representados en personas formadas a nivel doctoral, tanto en Colombia como en el extranjero.
Gráfico 2. Personas en biotecnología
Es interesante observar el comportamiento de otro de los elementos que se encuentran en el nivel micro de análisis: los proyectos de los grupos de investigación nacionales (ver gráfico 3). Al parecer, a través del tiempo la pertinencia de los proyectos presentados al Programa Nacional de Biotecnología ha descendido y actualmente es mayor la tasa de proyectos no aprobados que la de aprobados.
Gráfico 3. Proyectos aprobados y no aprobados por el Consejo del Programa Nacional de Biotecnología
El dinamismo de la investigación en biotecnología se ha incrementado en los últimos años, aunque en la década del noventa se contó con avances importantes. Muchos de estos avances se han concretado en productos tangibles, verificables y circulantes (ver tablas), por ejemplo, libros y capítulos de libros en los años 2000 y 2001, y en productos o procesos patentados en el año 1999 y 2001.
Un ejemplo con poco impacto positivo: el Programa Nacional de Ciencias Sociales y Humanas
El análisis de este programa a partir de la metodología que ha sido descrita permite concluir que los esfuerzos hechos a lo largo de catorce años por el Programa Nacional de Ciencias Sociales y Humanas han tenido un escaso impacto positivo.6
Los resultados medidos en capital conocimiento con las herramientas que se han desarrollado en Colombia revelan una producción que, en grandes porcentajes, no se encuentra en índices que aseguren su calidad y circulación (ver gráfico 4).
Gráfico 4. Número de artículos en CvLAC por año según categorías de revistas en Publindex y Homologación de abril del 2002
En el gráfico, A1 y A2 corresponden a las revistas que pasan mejores índices de calidad en la indexación. B y C cumplen respectivamente requisitos menos serios. La clasificación NC corresponde a las revistas que se han presentado para ser clasificadas pero no lo lograron, mientras que las NSP son revistas que no se han presentado para ser calificadas. La clasificación ARTS corresponde a revistas que no hemos podido encontrar, no tienen ISSN, no aparecen en los directorios generales y muchísimo menos en índices de publicaciones seriadas. Son, estrictamente, invisibles.
El análisis de Murcia y Llanos (2004) de las publicaciones reseñadas por los Grupos de Ciencias Sociales y Humanas inscritos en CV-LAC a comienzos de 2004, utilizando los criterios desarrollados por Colciencias para la indexación de revistas colombianas -Publindex- y para la homologación de publicaciones extranjeras, además de una búsqueda exhaustiva de las publicaciones mencionadas en todo tipo de índices y bases de datos bibliográficos, lleva a que un 58% de las publicaciones aparecen en revistas de las cuales no fue posible conseguir información, es decir, en revistas invisibles. Otro 18% aparece en revistas que se presentaron a la convocatoria Publindex de 2002 y no lograron demostrar los estándares más bajos de calidad y 6% más corresponde a revistas que se habían presentado a convocatorias anteriores de Publindex y no lo volvieron a hacer en 2002. Es decir, el 80% del trabajo de publicación en revistas de los grupos de ciencias sociales resulta irrelevante por su escasa visibilidad o calidad. Este es un balance muy negativo.
Por otra parte, el Programa Nacional de Ciencias Sociales y Humanas ha tenido la permanente preocupación de distribuir regionalmente los recursos generando mayor cobertura geográfica y ha realizado acciones deliberadas orientadas en tal sentido para apoyar a los grupos de ciudades distintas a Bogotá, Medellín y Cali. El balance de este esfuerzo es también negativo. Como muestran Murcia y Llanos (2004), al comenzar el programa la concentración en estas tres ciudades era del 70% y a lo largo de la vida del programa, tal concentración ha sobrepasado el 90%.
El Programa Nacional de Ciencias Sociales y Humanas ha buscado activamente la conformación de redes. De ellas, una importante es la de antropólogos del Amazonas, que después de un buen comienzo perdió el impulso. Otras, como la de estudios jurídicos, no tuvieron mucha mejor suerte.
Conclusión
Hemos desarrollado una metodología útil para medir el impacto de políticas de ciencia y tecnología. El enfoque en las políticas no es una limitación, sino una fortaleza, puesto que todo nuestro razonamiento inicial conduce a concluir que sólo tiene sentido medir impactos de acciones programadas y poniendo atención a la programación de tales acciones. En el caso de la ciencia y la tecnología de una nación, tal programación se concreta en las políticas de todos los niveles: desde el nivel macro que coincide con el nacional, hasta el nivel micro de los grupos de investigación, pasando por muchos niveles intermedios. Nuestro análisis de los resultados de la acción de ciencia y tecnología organizados en productos, logros y efectos, e identificables en varios niveles, es un avance hacia la medición del impacto de la ciencia y la tecnología y la elaboración de indicadores.
Aplicamos la metodología a dos estudios de caso en Colombia: los Programas Nacionales de Biotecnología y Ciencias Sociales. Sin duda que la descripción que hacemos del impacto de los dos Programas Nacionales de Ciencia y Tecnología tomados como ejemplo es resumida y esquemática. Se intentará en posteriores trabajos desarrollar más el tema y completar nuestras afirmaciones; sin embargo, en lo esencial, éstas son exactas y muestran dos ejemplos: un programa que ha alcanzado cotas de impacto importantes en los diez largos años que lleva funcionando, y otro que no muestra los mismos resultados positivos. Así, la metodología exhibe características suficientemente discriminantes y permite la medida de los impactos y la caracterización de los mismos.
1 El uso de la expresión "impacto" en este contexto es problemático y parece una de esas transliteraciones caras a los tecnócratas, que vierten palabras del inglés a aquellas que les parecen similares en español, sin ningún control de calidad, más o menos como traducir "several masters" por "maestros severos". Según la Real Academia de la Lengua Española, "impacto" es: "(Del lat. tardío impactus). 1. m. Choque de un proyectil o de otro objeto contra algo. 2. m. Huella o señal que deja. 3. m. Efecto de una fuerza aplicada bruscamente. 4. m. Golpe emocional producido por una noticia desconcertante. 5. m. Efecto producido en la opinión pública por un acontecimiento, una disposición de la autoridad, una noticia, una catástrofe, etc." En el Diccionario Webster's encontramos que "impact" en inglés es: "Non. 1. The striking of one body against another. 2. A forceful consequence; 'the book had an important impact on my thinking'. 3. Influencing strongly: 'they resented the impingement of American values on European culture'. 4. The violent interaction of individuals or groups entering into combat." La segunda y tercera acepciones de la palabra en inglés recuerdan el sentido que nuestros tecnócratas le dan: consecuencia importante o algo que tiene una fuerte influencia.
2 La idea de tiempo prudencial es importante, ya que cualquier tipo de propósitos requiere de un tiempo para ser logrado y la duración razonable depende de muchas cosas, entre las cuales están: la naturaleza del propósito buscado, los medios puestos en juego y las circunstancias externas que afectan favorable o desfavorablemente el proceso.
3 Dentro de ciertas formas de entender la política, la relevancia sólo tiene sentido en relación con el crecimiento económico. Los indicadores apropiados de "impacto" están relacionados en consecuencia con el crecimiento del PIB nacional o regional, con la cuenta de pérdidas y ganancias las empresas, etc. Hay muchas otras formas de mirar la política. Por ejemplo, los planes nacionales de desarrollo colombianos desde 1990 hasta 2002 han tenido enfoques diferentes: el de 1990-1994 fue marcadamente economicista, el de 1994-1998 se declaraba "social" y el de 1998-2002 restringía el papel de la ciencia y la tecnología al del aumento de la competitividad internacional. La pertinencia era bien distinta y el único denominador común es el desarrollo global de la capacidad de producir, adaptar, asimilar, transformar y aprender el conocimiento en la sociedad. Si esta capacidad es grande, puede utilizarse eficazmente cualesquiera sean los fines políticos, empresariales, gremiales o personales buscados. Si no hay capacidad real de generar conocimiento, ningún fin logrará alcanzarse y la pertinencia será nula en cualquier sentido.
4 Cuando se habla de políticas públicas se debe tener siempre presente que los actores de la sociedad pueden diferenciarse en dos grandes grupos: los beneficiados o "ganadores" y los afectados o "perdedores", y que cuando deben realizarse inversiones públicas, el término de costo de oportunidad esta referenciado.
5 Para el área de biotecnología fueron entrevistados Myriam de Peña (jefe del programa), Elizabeth Hodson (investigadora y jefe del programa en el periodo 1992-1999), Dolly Montoya (consejera del programa), Patricia del Portillo (consejera del programa), Lucía Atehortúa (investigadora), Claudia Forero (directora de la Unidad de Proyectos Especiales del ICA), Nelma Sánchez (asesora del programa), Ricardo Torres (primer jefe del programa), Rafael Aramendia (asesor del programa), Andrés Laignelet (investigador) y Jorge Ahumada (asesor del programa). Para el área de ciencias sociales y humanas fueron entrevistados Juan Plata (jefe del programa), Ciro Angarita (consejero del programa), Karl Langebaek (consejero del programa), Francisco Gutiérrez (investigador), Roberto Pineda (investigador), Guillermo Hoyos (consejero del programa) y Ligia Echeverri (investigadora).
6 Para un análisis más detallado ver Daza y Buchelli (2004) y Murcia y Llanos (2004).
Bibliografía
1 BOUITELAAR, R. (2001): ¿Cómo crear competitividad colectiva? Productividad y Competitividad. La estrategia económica del Tolima, Centro de Productividad del Tolima, Colciencias.
2 CALLON, M. (2001): "Redes tecno-económicas e irreversibilidad", Redes, revista de estudios sociales de la ciencia, Número 17, Volumen 8, Buenos Aires.
3 CHARUM, J. (1999): "Un modelo de análisis para el seguimiento de la actividad investigativa", en F. Zalamea (comp.), Memorias del seminario Contextos investigativos e indicadores académicos. Universidad Nacional de Colombia, División de investigación.
4 CHARUM, J. y PARRADO, L. (1995): Entre el productor y el usuario, la construcción social de la utilidad de la investigación, ICFES Universidad Nacional de Colombia.
5 COZZENS, S. y BORTAGARAY, I. (2001): "S&T Policy for Human Development - the logic of outcome indicators", en RICYT: Indicadores de Ciencia y Tecnología en Iberoamérica. Agenda 2002, Buenos Aires, RICYT.
6 DAGNINO, R. (1997): "La interfase política e indicadores de CyT: Nuevas tendencias en América Latina", en H. Jaramillo y M. Albornoz (ed.): El universo de la medición: La perspectiva de la ciencia y la tecnología,Bogotá, Colciencias-RICYT-TM Editores.
7 ESSER, K.; HILLEBRAND, W.; MESSNER, D. y MEYER-STAMER, J. (1996): "Competitividad sistémica: nuevo desafío para las empresas y la política", Revista de la CEPAL, Número 59, Santiago de Chile.
8 ESTÉBANEZ, M.E. (1997): "La medición del impacto de la ciencia y la tecnología en el desarrollo social", ponencia en el Taller de Indicadores de Impacto de la Ciencia y la Tecnología en el Desarrollo Social, organizado por la RICYT, Mar del Plata, Argentina, 11 y 12 de diciembre.
9 FERNÁNDEZ POLCUCH, E. (1999): "La medición del impacto social de la ciencia y tecnología", ponencia en el IV Taller Iberoamericano e Interamericano de Indicadores de Ciencia y Tecnología, organizado por la RICYT, disponible en http://www.ricyt.org y en http://www.oei.es/ctsiima/polcuch.pdf
10 HODSON, E., FORERO, C. y CARRIZOSA, S. (2003): "Políticas públicas en biotecnología agroalimentaria y bioseguridad en Colombia", en Biotecnología : Políticas públicas y aceptación social en Argentina, Brasil; Chile, Colombia, Cuba, Ecuador, España y México, Subprograma III: Biotecnología, Red Multimodal de Vinculación y Desarrollo Biotecnológico REVYDET, Buenos Aires.
11 ITZCOVITZ, V., FERNÁNDEZ POLCUCH, E. y ALBORNOZ, M. (1998): "Propuesta metodológica para la medición del impacto de la CyT sobre el desarrollo social", ponencia en el Segundo Taller sobre Indicadores de impacto de la Ciencia y Tecnología en el Desarrollo Social, organizado por laRICYT, La Cumbre, Córdoba, diciembre.
12 LEYDESDORFF, L. (2002): "The Evaluation of Research and the Scientometric Research Program: Historical Evolution and Redefinitions of the Relationship", en Studies in Science of Science, disponible en http://users.fmg.uva.nl/lleydesdorff/sss03/.
13 LICHA, I. (1994): "Indicadores endógenos de Desarrollo Científico y Tecnológico", en Martínez, Eduardo (ed.): Ciencia, Tecnología y Desarrollo: Interrelaciones Teóricas y Metodológicas, Caracas, Nueva Sociedad. UNU, UNESCO, CEPALILDES, CYTED.
14 LÓPEZ CEREZO, J.A. y LUJÁN, J.L. (2002): "Observaciones sobre los indicadores de impacto social", Revista Iberoamericana de ciencia, tecnología, sociedad e innovación, Número 3, Mayo-Agosto, OEI.
15 MARTÍNEZ, E. y ALBORNOZ, M. [eds.] (1998): Indicadores de ciencia y tecnología: estado del arte y perspectivas, Caracas, Nueva Sociedad, UNESCO.
16 MURCIA, C. y LLANOS, E. (2004): Documento interno, Observatorio Colombiano de Ciencia y Tecnología.
17 OECD (2002): Manual de Frascati, edición de la Fundación Española de Ciencia y Tecnología (FECYT).
18 PACHECO DE PEÑA, M. (2002): "La biotecnología: fundamentos, aplicaciones y retos", Colombia Ciencia y Tecnología, Número 3, Volumen 20, Julio-Septiembre, Colciencias.
19 RIP, A. (2000): Societal Challenges for R&D Evaluation Learning from Science and Technology Policy Evaluation, School of Public Policy, Georgia Institute of Technology, Atlanta, Estados Unidos, y Fraunhofer Institute for Systems and Innovations Research, Karlsruhe, Alemania.
20 RIP, A. y NEDERHOF, A. (1986): "Between dirigism and laissez-faire: effects of implanting the science policy priority for biotechnology in the Netherlands", Research Policy, Número 15.
21 SANDOVALDE ESCURDIA, J. y RICHARD MUÑOZ, M.P. (2003): Los indicadores en la evaluación del impacto de programas, México, Servicio de Investigación y Análisis, División de Política Social, Sistema Integral de Información y Documentación.
22 SEN, A. (1998): "Las teorías del desarrollo a principios del siglo XXI", Cuadernos de Economía, Número 29.
23 STAR, S. y GRIESEMER, J. (1989): "Institucional ecology, translations and boundar y objects: Amateurs and professionals in Berkeley's Museum of vertebrate zoology", Social Studies of Science, Volumen 19.
24 UNITED NATIONS (2002): The Biotechnology Promise: Capacity-building for Participation of Developing Countries in the Bioeconomy, Commission on Science and Technology for Development.
25 VACCAREZZA, L. y ZABALA, J. (2002): La construcción de la utilidad social de la ciencia: Investigadores en biotecnología frente al mercado, Buenos Aires, Universidad Nacional de Quilmes.
26 VILLAVECES, J. (2002): "Cultura científica. Factor de supervivencia nacional", Innovación y Ciencia, Volumen X, Números 3 y 4.