DOSSIER - ARTÍCULOS
Condicionantes políticos y problemas metodológicos en la evaluación de impacto social de las políticas de I+D e innovación
Diego Moñux Chércoles (diemon@cartif.es)
Centro Tecnológico CARTIF, España
Belén Miranda Escolar (belen@eco.uva.es)
Guillermo Aleixandre Mendizábal (galeixam@eco.uva.es)
Francisco Javier Gómez González (javier@emp.uva.es)
Universidad de Valladolid, España
El presente artículo hace una exploración conceptual y metodológica sobre la integración de la Evaluación de Impacto Social (EIS) en las políticas de I+D e innovación. Con el objetivo de avanzar hacia mecanismos capaces de evaluar, de forma efectiva, el impacto social de los proyectos de I+D e innovación presentados a convocatorias públicas de las políticas regionales españolas, el trabajo ofrece tres resultados parciales. En primer lugar, una identificación de cinco condicionantes que modulan la formulación y evaluación de dichas políticas. En segundo lugar, un marco metodológico que permite clarificar los criterios, momentos y funciones de la EIS. Por último, una identificación y categorización de las barreras y facilitadores que es preciso tener en cuenta para hacer una propuesta viable de EIS.
Palabras clave: Políticas regionales de I+D e innovación; Evaluación socioeconómica; Impacto social.
This article makes a conceptual and methodological exploration about the integration of the Social Impact Evaluation (EIS) and the R&D and innovation policies. Aiming at advancing toward mechanisms able to effectively evaluate the social impact of the R&D and innovation projects presented to the public calls of the Spanish regional policies, the paper offers three partial results. First, an identification of five conditionings that shape the formulation and evaluation of these policies. Second, a methodological framework that allows to clarify criteria, moments and functions of the EIS. Finally, an identification and categorization of the barriers and facilitating conditions that must be taken into account to make a viable proposal of EIS.
Key words: Regional policies of R&D and innovation; Socioeconomic evaluation; Social impact.
1. Introducción
Durante los últimos años hemos asistido a un importante cambio en la concepción de las políticas de I+D e innovación, impulsado, en gran medida, por las propuestas conceptuales de la Organización para la Cooperación y el Desarrollo Económico (OCDE) y, en el ámbito europeo, por las estrategias de innovación de la Comisión Europea. Esta redefinición del papel de las políticas de innovación ha llevado, inevitablemente, a una revisión del papel desempeñado por los mecanismos de evaluación. En cuanto a sus objetivos, estos mecanismos han pasado de ser un medio para la rendición de cuentas a constituirse en instrumentos de apoyo a la toma de decisiones y a la evolución estratégica de las políticas, explotando el potencial de aprendizaje de las experiencias pasadas. Por lo que se refiere al ámbito y las metodologías empleadas, han pasado de contemplar aspectos tecnocientíficos y financieros a abordar los impactos socioeconómicos e indirectos derivados de su aplicación.
Si bien es cierto que las administraciones disponen de una gran cantidad de información, que permite evaluar la asignación de sus recursos y las realizaciones que producen, y que existe un buen número de técnicas cuantitativas y cualitativas para llevar a cabo la evaluación socioeconómica de este tipo de políticas, no es menos cierto que éstas no agotan todos los ámbitos de actuación de las nuevas políticas de I+D e innovación. En particular, habría que considerar la inseparable relación entre los procesos de cambio social, la evolución de la tecnología y la adopción de innovaciones. Es aquí donde la Evaluación de Impacto Social (EIS) se presenta como una de las repuestas a la "necesidad de métodos que capturen de forma más completa los beneficios no económicos de la investigación -o, al menos, aquellos beneficios que no se pueden expresar en términos monetarios por las organizaciones receptoras de la I+D (las empresas, por ejemplo)" (Georghiu y Roessner, 2000: 675). Su implementación podría, además, dar respuesta a una paradoja presente en las nuevas políticas de I+D+i: la inclusión de objetivos relativos al bienestar social y la calidad de vida -como el empleo, el espíritu emprendedor, el impacto de género, la interdisciplinariedad, la cultura científica y de innovación- sin la correspondiente existencia de mecanismos de evaluación capaces de valorarlos.
En respuesta a este reto, el presente artículo ofrece las primeras conclusiones de un proyecto de investigación interdisciplinario1 encaminado al desarrollo de una metodología de integración de la Evaluación de Impacto Social (EIS) en las políticas de I+D e innovación -particularizado para el caso de la Comunidad Autónoma de Castilla y León (España)- cuya finalidad es el apoyo a la toma de decisiones en la selección de proyectos presentados a convocatorias públicas. Decisiones cada vez más difíciles en la medida en que deben integrar aspectos que, en ocasiones, se muestran contrapuestos, como pueden ser: la competitividad empresarial y el bienestar social; la explotación comercial y la rentabilidad social; el impacto local y la relevancia global; o, la eficiencia administrativa y la evaluación avanzada.
La estructura del trabajo es como sigue. En primer lugar, partiendo la visión de unas políticas de I+D e innovación de tercera generación, más cercanas a las demandas sociales, se identifican cinco condicionantes que modulan el desarrollo de dichas políticas y, como consecuencia, plantean nuevos retos en términos de evaluación. En segundo lugar, se presenta un marco metodológico para la EIS, dentro del cual se opta por unos criterios, momentos y funciones concretos de evaluación: aquellos que se consideran apropiados para evaluar los instrumentos de financiación de proyectos de I+D+i del sector público y privado de las políticas regionales de innovación -que son los seleccionados como objeto de estudio. Por último, se hace un esfuerzo por identificar y categorizar las barreras y facilitadotes que es preciso tener en cuenta para hacer una propuesta viable de EIS. El artículo se cierra con unas conclusiones.
2. Hacia políticas de tercera generación: condicionantes y retos de evaluación
Las últimas décadas han sido escenario de una sustancial transformación en la forma de entender las políticas de I+D+i. Su evolución puede plasmarse en tres etapas bien diferenciadas (Figura 1).
Figura 1. Evolución de las políticas de innovación desde 1945 en los países de la OCD
Durante la primera fase (1950-1975) se aplica una política tecnológica dominada por una concepción básicamente estratégica de las actividades de I+D+i, teniendo la defensa como factor determinante. El discurso teórico dominante está representado por el informe Science, the Endless Frontier, de 1945, que forja el modelo lineal del empuje de la ciencia (science-push); es decir, basta invertir en ciencia básica, inyectar recursos en el sistema de ciencia y tecnología, para que éste genere conocimientos y tecnologías útiles para la defensa nacional, los cuales pueden ser absorbidos, también, por el sistema económico.
La segunda fase (1975-1995) está caracterizada por una toma de conciencia, por parte de la academia y de los poderes públicos, sobre la relevancia industrial de la tecnología. De esta forma, la política de I+D+i empieza a orientarse por objetivos tecnoeconómicos con la competitividad industrial como factor determinante. Las políticas públicas de ciencia y tecnología se comienzan a diseñar, siguiendo los trabajos impulsados por la OCDE (OECD, 1992) como principal fuente de inspiración, con un nuevo fin: fomentar la competitividad de las industrias estratégicas en un número concreto de áreas tecnológicas clave. Se trata de una política que pone su énfasis en la tecnología pero al servicio de la política industrial. En otras palabras, el gobierno pasa de ser cliente de la ciencia a financiador y promotor de la innovación tecnológica en la industria.
Por último, algunos autores sitúan en el año 1995 el comienzo de una nueva etapa en la que el principal objetivo de las políticas de I+D+i debe ser social y los factores determinantes la calidad de vida, el empleo y el desarrollo sostenible. En esta fase, la innovación aparece como concepto central en un modelo orientado por la demanda, en el que las relaciones entre investigación, desarrollo tecnológico e innovación son multidireccionales y complejas, y en el que las prioridades tecnocientíficas deben ser fijadas de "abajo a arriba" y no de "arriba abajo" como sucedía en las dos anteriores. La inspiración teórica proviene de dos fuentes: el nuevo paradigma tecnoeconómico, construido desde la economía evolucionista, y la nueva imagen de la tecnología concebida desde los estudios sociales de la ciencia y la tecnología. Como señalan Caracostas y Muldur (1998: 21): "La competitividad industrial no será por más tiempo un objetivo en sí mismo, sino un medio para aumentar la contribución de la ciencia y la tecnología al crecimiento, al empleo y a la difusión de las innovaciones".
En definitiva, si la primera fase supuso el acercamiento entre la ciencia y la defensa nacional, y la segunda entre la industria y la tecnología, la tercera debe conducir al maridaje entre ciencia, tecnología, innovación y sociedad.
2.1. Condicionantes de las nuevas políticas de I+D e innovación
Visto desde la perspectiva del año 2004, es difícil decir hasta qué punto las previsiones de Caracostas y Muldur, condicionadas por el proceso de debate y lanzamiento del V Programa Marco de I+D de la Unión Europea, se han cumplido por completo. Pero no cabe duda que, en los últimos años, el contexto en el que se desarrollan las políticas de ciencia y tecnología ha cambiado notablemente.2
En principio, pueden identificarse cinco condicionantes que vienen a reflejar esos cambios y que, inevitablemente, deben ser tenidos en cuenta en el diseño de las metodologías de evaluación. Se trata de una serie de aspectos que, sin determinar de forma unidireccional el carácter de las políticas y sus procesos de evaluación, suponen poderosos condicionantes que determinarán su desarrollo en el futuro:
• Una nueva imagen de la ciencia y la tecnología en el pensamiento sociológico y económico. Los estudios sociales de la ciencia y la tecnología, por una parte, y de la economía evolucionista, por otra, han abierto nuevas perspectivas conceptuales en el estudio de los factores socioeconómicos del cambio tecnológico. La ciencia, ante la necesidad de responder a nuevas necesidades y rendir cuentas ante nuevos stakeholders, se produce de una forma distinta, que algunos autores denominan modo 2 (Gibbons et al., 1994). La tecnología, por su parte, aparece como un conocimiento complejo con una importante dimensión táctica, cuya generación y transferencia se ve condicionada por múltiples elementos no técnicos (Pavitt, 1984; Archibugi y Pietrobelli, 2003). Como consecuencia, el cambio tecnológico deja de ser un fenómeno autónomo y determinista para entenderse como un proceso interactivo por el que tecnología y sociedad coevolucionan (Rip y Kemp, 1998). Conceptos como los de sistema sociotécnico (Quintanilla y Bravo, 1997), paradigma tecnológico (Dosi, 1982) y régimen tecnológico (Kemp, Schot y Hoogma, 1998) pretenden sustituir con éxito a la vieja visión lineal del cambio tecnológico.
• La omnipresencia de la innovación. La innovación se ha convertido en una prioridad política y económica de primer orden, así como en una clave de las nuevas formas de organización empresarial. Aparece, idealmente, como la principal estrategia para convertir los resultados de investigación en soluciones rentables y provechosas para la sociedad. La innovación, además, se generaliza, entendiéndose como un fenómeno sistémico y distribuido por el que muchos agentes del sistema de innovación acompañan a la empresa en su proceso de introducción de nuevos procesos y productos (Freeman, 1987; COTEC, 2004). Pero no sólo los agentes tradicionales, como administraciones, universidades, u organizaciones interfaz: nuevos actores -capaces de integrar las demandas y las preferencias de los usuarios últimos- están llamados a desempeñar un importante papel en la articulación del sistema, en lo que algunos autores denominan "sistemas de innovación holísticos" (Fernández, Haensen y Venchiarutti, 2002: 3).
• El paradigma de la competitividad. La competitividad es, igualmente, una columna vertebral de la agenda política y la gestión empresarial: un valor asumido por todo tipo de actores sociales y económicos que se ha convertido en una empresa colectiva. Pues no sólo las empresas deben apostar por la construcción de ventajas competitivas, sino que regiones y países deben ser capaces de explotar sus recursos endógenos y desarrollar sus capacidades con el objetivo de convertirse en territorios competitivos (Porter, 1990; Vázquez Barquero, 1999).
• La sociedad como parte interesada del cambio tecnológico. La ciencia y la tecnología se producen hoy en un contexto en el que la confianza de los ciudadanos en el progreso no está garantizada (Comisión Europea, 2000: 4), en el que la sociedad se constituye como un stakeholder ineludible ante el que es preciso rendir cuentas. El apoyo político a la creación de cultura científica es, por tanto, una prioridad que debe combinarse con la articulación de una política tecnológica más próxima a los ciudadanos y un incremento de la responsabilidad social y ética en la producción de nuevos conocimientos (Comisión Europea, 2002). En resumen, se buscan nuevos modelos de gobernanza capaces de integrar cultura científica, gestión del riesgo tecnológico y participación social.
• El desarrollo sostenible como visión integradora. Si existe un concepto capaz de aglutinar consenso en torno a los límites del crecimiento y de integrar, de forma efectiva, las dimensiones social, económica y ambiental representadas por los anteriores condicionantes, ese es el desarrollo sostenible. El papel del cambio tecnológico en la consecución de un desarrollo sostenible -bien como fuente de problemas o de soluciones- es ineludible. Ya sea como paraguas conceptual o como principio guía para la acción, el desarrollo sostenible está llamado a presidir la evaluación social de la I+D y la innovación. En efecto, la integración de las dimensiones económica, social y ambiental -que algunos autores anglosajones denominan triple bottom line- es una apuesta posible, como muestran algunas experiencias que se están poniendo en práctica (Marcure, 2004).
2.2. El dilema del decisor político: nuevos retos en la evaluación de la I+D y la innovación
Los condicionantes de las nuevas políticas de ciencia y tecnología, que se exponían en el epígrafe anterior, dibujan un panorama distinto del que el decisor político tenía que hacer frente hace solo unos años, en un contexto de menor presión social y económica sobre la producción de ciencia y tecnología. Este panorama diferente es lo que Fahrenkrog et al. (2002: XIII) denominan el dilema del decisor político -the policymaker's dilema-, una situación propia de la década de los noventa y derivada de los condicionantes anteriores: nuevas formas de producción de conocimiento, naturaleza sistémica y distribuida de la innovación, aumento de las demandas de transparencia y de la preocupación social sobre el cambio tecnológico.
Lo que estos autores denominan "dilema" se convierte para otros (Kuhlmann et al., 1999) en exigencias ineludibles para el responsable político y, en último término, para todos los agentes del sistema de innovación. En primer lugar, las administraciones publicas se enfrentan a una "presión sobre el sistema de I+D+i para que funcione de forma más eficaz y eficiente, dados los costes crecientes de la ciencia y la tecnología". Esta presión se traslada posteriormente a los científicos: "con sistemas más orientados a la demanda, los científicos están más presionados para producir resultados en términos de soluciones a problemas sociales concretos". Y, por último, a los responsables directos de la asignación de los fondos de I+D+i, que se ven obligados a "tomar decisiones cada vez más difíciles en cuanto a la distribución de los fondos para ciencia y tecnología [y por lo tanto a la necesidad de] integrar las iniciativas "clásicas" en políticas de innovación con objetivos socioeconómicos más amplios" (Kuhlmann et al., 1999: 8-9).
La presión, por tanto, no cae sólo del lado del diseño de las políticas sino también del lado de la evaluación, ya sea ésta para determinar la asignación de los fondos o para la valoración de los resultados de los programas de I+D subvencionados. Inevitablemente, las políticas diseñadas en este nuevo contexto requieren nuevas formas de evaluación: "Esta nueva política requerirá igualmente nuevos métodos de evaluación ex ante y ex post. Serán importantes instrumentos de planificación y evaluación de tecnologías para la distribución de los fondos públicos de investigación. Para compensar las imperfecciones del mercado en la selección de las innovaciones, los poderes públicos deberán saber de antemano las posibles consecuencias que, en el empleo, el medio ambiente o la calidad de vida, tendrá la financiación de las diferentes áreas de la I+D" (Caracostas y Muldur, 1998: 21).
Fahrenkrog, Tubke, Polt y Rojo (2002: 244) coinciden con esta visión, identificando tres generaciones de estudios de evaluación que podemos poner en paralelo con las tres generaciones de políticas de Caracostas y Muldur. La primera generación se habría concentrado en los resultados científicos; la segunda, en el impacto directo de la tecnología y la innovación; y, por último, una tercera generación estaría emergiendo para dar cuenta de la dimensión socioeconómica y los impactos estructurales de la I+D y la innovación.
En otras palabras, las aproximaciones tradicionales a la evaluación no son suficientes. En primer lugar, las evaluaciones centradas únicamente en los retornos directos de las inversiones públicas fallan en su propia concepción, pues asumen un modelo lineal de la innovación -propio de las políticas de "primera fase", ya superadas- y minusvaloran otros efectos socioeconómicos positivos derivados de las políticas de I+D+i. Por ello, deben ser sustituidas por otras que atiendan a la complejidad causa-efecto y que puedan dar cuenta de los efectos derivados de la cooperación y el aprendizaje en los sistemas de innovación, que tan insistentemente se presentan como nuevos objetivos políticos (Georghiou y Roessner, 2000: 675). En segundo lugar, los criterios habitualmente utilizados en las evaluaciones de excelencia científica -como la evaluación por pares- y de impacto económico deben ser complementados con otros de dimensión estrictamente social, en correspondencia con los nuevos modos de producción de conocimiento y de articulación de una importante diversidad de agentes que operan en los sistemas de innovación (Frederiksen, Hansson y Wenneberg, 2003).
3. Hacia la construcción de una metodología de Evaluación de Impacto Social
A la luz del los hechos que acaban de describirse, parece claro que la evaluación socioeconómica se constituye como un elemento esencial para mejorar la integración entre la ciencia y la sociedad, para ayudar a traducir las necesidades sociales en soluciones tecnológicas. La Evaluación de Impacto Social (EIS), en particular, sin ser la única estrategia de evaluación, puede ser un facilitador del proceso por el que las políticas apoyan las necesidades sociales mediante la financiación de instrumentos de apoyo a la I+D y la innovación, tal y como se muestra en la Figura 2.
Figura 2. Relación entre política, investigación y sociedad
Ahora bien, diseñar un mecanismo de evaluación concreto requiere, en primer lugar, definir un marco conceptual adecuado. Podemos tomar como punto de partida la aportación de Fahernkrog et al., para quienes
La evaluación es un proceso sistemático y objetivo que valora la relevancia, eficiencia y eficacia de las políticas, programas y proyectos a partir de los objetivos establecidos. Un mecanismo que incorpora en paralelo una aproximación teórica y práctica, y cuyos resultados realimentan la acción política, provocando un proceso continuo de aprendizaje. Desde este presupuesto, la evaluación permite incorporar una dinámica de transparencia y rendición de cuentas al proceso político que enriquece la lógica de la formulación y la revisión política. (Fahernkrog et al., 2002: XIV)
Sin embargo, pensamos que esta definición solo recoge un aspecto parcial de la evaluación al no contemplar la medición de los impactos, es decir, los efectos a medio o largo plazo. Por ello, nos mostramos más partidarios de considerar la evaluación como la aplicación de métodos de investigación sistemáticos al objeto de examinar el diseño, la ejecución y la utilidad de un programa, una política o un proyecto concreto. Se trata de un proceso continuo que debería estar presente a lo largo de toda la vida de una política o de un programa. La evaluación marca, por tanto, un camino a seguir para apreciar, sobre la base de métodos científicos, la eficacia, la eficiencia, y los efectos reales, previstos o no, de las políticas públicas. Este proceso se desarrolla mediante la utilización de diferentes enfoques y técnicas de medición que permiten extraer conclusiones y recomendaciones para quienes tienen la responsabilidad de planificar y adoptar decisiones que afectan a la sociedad en general.
Dentro de las posibilidades que ofrecen las definiciones anteriores, optamos por una EIS orientada a facilitar los procesos de evaluación para la selección. Es decir, pretendemos desarrollar un mecanismo que facilite la toma de decisiones en la selección de actividades de I+D e innovación financiadas por las políticas públicas de ciencia y tecnología. Se trata, por tanto, de un mecanismo de evaluación - complementario a los convencionales- que le permita a los decisores priorizar aquellas alternativas cuyo impacto social sea, previsiblemente, mejor (Figura 3). Ahora bien, partiendo de esta idea básica, es preciso acotar con mayor claridad la propuesta. En las siguientes páginas se detallan algunas de las características de nuestra metodología: qué actividades evaluar; con qué finalidad se llevará a cabo la evaluación; qué criterios de evaluación utilizar; y en qué momento del ciclo de vida de las políticas deberá aplicarse.
Figura 3. Papel de la integración de metodologías EIS en las políticas de I+D+i
3.1. Criterios de evaluación
A fin de fijar los criterios de evaluación de referencia parece recomendable partir del modelo del ciclo de vida de un programa, utilizado ampliamente por la Comisión Europea (Figura 4). En este modelo se detallan los elementos del ciclo de vida de una actividad (proyecto, política o programa) y su relación con las necesidades; es decir, los problemas socioeconómicos que justifican su financiación. Toda actividad precisa de unos inputs (recursos humanos y financieros) para producir unos outputs y unos efectos -de dos tipos, resultados (outcomes) e impactos (impacts)- que se relacionan con los distintos niveles de objetivos de dicha actividad (Mairate, 2003: 57-60).
Figura 4. Procesos de un programa y criterios básicos de evaluación
Consideremos, por ejemplo, un programa que pretende reforzar la vertebración del sistema de innovación regional (objetivo global) mediante el fortalecimiento de los vínculos universidad-centros tecnológicos y centros tecnológicos-empresa (objetivos específicos), mediante la concesión de una serie de ayudas públicas para la realización de actividades de transferencia de tecnología entre estos tres actores del sistema de innovación (objetivos operativos). Los outputs son los bienes y servicios producidos directamente por cada una de las actividades financiadas, y se corresponden con objetivos operativos del programa (artículos publicados, patentes, innovaciones puestas en marcha en las empresas). Los resultados serán los efectos inmediatos o directos vinculados a objetivos específicos de la actividad (los contactos personales realizados durante la realización de dichos proyectos conjuntos; el conocimiento generado en cada organización -que no se agota en las publicaciones y las patentes- y el transferido entre los actores, que no se reduce al aplicado en los proyectos; el incremento de la capacidad tecnológica de las empresas, que no se agota en las innovaciones puestas en marcha). Los impactos, por último, se entienden como efectos a largo plazo -y en algunos casos indirectos- relacionados con los objetivos globales de la actividad; en nuestro caso, serán los vínculos que permanecen entre los actores en el largo plazo, los proyectos adicionales que se pueden derivar de los financiados por el programa, los beneficios de explotación de las patentes, el reforzamiento de las instituciones o la confianza mutua instalada en el sistema.
Partiendo de estos conceptos, se definen cuatro criterios básicos de evaluación:
• Pertinencia. Es la medida en que el proyecto o programa responde a las necesidades socioeconómicas existentes. En concreto, se refiere al grado de adecuación de los objetivos y de las medidas de un programa a las necesidades sectoriales y a los problemas socioeconómicos a los que se dirige. Se trata del criterio más político y uno de los más delicados, pues su discusión supone pensar en alternativas al programa o en la no continuidad de uno que ya se esté ejecutando.
• Eficiencia. Es el criterio que mide el ajuste ente los inputs movilizados y los outputs y resultados de la actividad. Pretende dar respuesta a preguntas como: ¿se han alcanzado los objetivos operativos al menor coste?, o ¿es posible obtener los mismos resultados con menos coste? Las herramientas más habituales para evaluar este criterio son el análisis coste-beneficio y el análisis coste-efectividad.
• Eficacia. Refleja el grado en el que se han alcanzado los objetivos planteados en el programa como consecuencia de los efectos que de él se han derivado, sin considerar los costes en que se ha incurrido para ello. Las preguntas a las que responde son, por tanto, del siguiente tipo: ¿se han conseguido los objetivos globales y específicos planteados?, ¿en qué grado?
• Utilidad y sostenibilidad. Evalúan los impactos en relación con las necesidades socioeconómicas que el programa pretendía abordar. En consecuencia, ofrecen una idea de la contribución real del programa a la resolución de problemas socioeconómicos (utilidad) y del mantenimiento en el tiempo de los impactos alcanzados (sostenibilidad).
Desde este punto de vista, concebimos nuestra metodología EIS, básicamente, como una evaluación de eficacia. Aunque la EIS pretende como objetivo último mejorar la respuesta a las necesidades socioeconómicas -y en ese sentido tiene algo de evaluación de utilidad- es, sobre todo, un mecanismo para garantizar la consecución de los objetivos sociales que ya están presentes en las políticas y, por tanto, una metodología orientada a mejorar la eficacia de la acción pública. No obstante, como avanzamos al final de este artículo, no descartamos la posibilidad de combinar esta metodología con otras para ayudar a establecer los objetivos de futuros programas y, por tanto, contribuir a mejorar la pertinencia de las políticas de I+D e innovación.
3.2. Instrumentos políticos: qué evaluar
A la hora de diseñar una metodología de evaluación de políticas o programas públicos es necesario precisar qué instrumentos políticos en concreto deseamos evaluar. En función del autor que tomemos como referencia, podemos identificar cuatro o cinco instrumentos de la política de I+D e innovación. Así, Polt y Rojo (2002) sugieren cuatro: financiación de actividades de I+D, creación de infraestructura de I+D, apoyo a la transferencia y difusión de tecnología, y creación de un entorno legal favorable; mientras Osuna, Grávalos y Palacios (2003), por su parte, señalan cinco: proyectos de I+D, recursos humanos, infraestructuras científicas, apoyo a la innovación tecnológica y acciones especiales.
La Comisión Europea (European Commission, 2003b: 3-7), sin embargo, ofrece una visión centrada en la explotación empresarial de la I+D (Figura 5). Se parte de la distinción entre medidas directas e indirectas. Las medidas directas, las que nos interesan a efectos de nuestro trabajo, se clasifican en políticas de oferta y de demanda. Se entiende por medidas de oferta aquellas que pretenden fortalecer a los agentes de investigación y proveer a las empresas de recursos para la innovación. Las medidas de demanda, por el contrario, son aquellas que fortalecen y aumentan la demanda de I+D y de servicios innovadores por parte de las empresas. Desde nuestro punto de vista, esta clasificación tampoco es completa, porque deja fuera instrumentos lejanos de la empresa, como es el caso de las grandes Instalaciones. Por otra parte, es arriesgada, pues la distinción entre oferta y demanda no es siempre sencilla y algunos instrumentos, como el apoyo a la coordinación, el trabajo en red o las medidas sistémicas, bien podrían clasificarse en una tercera categoría denominada medidas de coordinación, intermedia entre las dos anteriores. No obstante, la clasificación es suficientemente amplia para servir de marco de trabajo.
Figura 5. Clasificación de los instrumentos de la política de I+D+i
Sobre esta clasificación elegimos, provisionalmente, dos instrumentos como objeto de la EIS: el apoyo a la I+D en el sector público y el apoyo a la I+D empresarial. Las razones que avalan esta selección son de dos tipos. En primer lugar, consideramos que estos son los instrumentos en los que el impacto social de las actividades, siendo muy importante, es menos visible y en el que, por tanto, urge hacer un trabajo de identificación e integración de la dimensión social de la ciencia y la tecnología. En segundo lugar, desde un punto de vista más práctico, se trata de instrumentos que se concretan en convocatorias públicas a las que concurren proyectos de forma competitiva, terreno en el que contamos con trabajos teóricos previos (Moñux et al., 2003) y experiencia práctica como evaluadores de distintos programas europeos (Miranda, 2003).
3.2. Momentos y funciones de la evaluación: cuándo y para qué evaluar
En la Figura 6 se muestra un esquema simple de las fases y procesos de evaluación que se aplican en la formulación e implementación de políticas de I+D+i (Fahrenkrog et al., 2002: XV). Siguiendo la secuencia temporal, en primer lugar aparece la evaluación ex ante de carácter estratégico (appraisal) que define el potencial de cumplimiento de objetivos y el marco de trabajo para la implementación. En segundo lugar, se lleva a cabo la evaluación para la selección, en la que se establecen los criterios de decisión y se seleccionan las actividades (programas o proyectos) que se van a financiar. En tercer lugar, durante la ejecución de las actividades, se desarrollan evaluaciones intermedias (on-going evaluation) que garantizan la ejecución del programa de acuerdo con los objetivos planteados, requiriendo para ello un plan de seguimiento (monitoring) que recoge la información relativa al programa/proyecto.
Figura 6. Fases de un proceso de evaluación de políticas
Una vez terminadas las actividades del programa, es tiempo para la evaluación ex post, en la que se analizan los impactos producidos por dichas actividades. Ello incluye tanto los impactos directos como aquellos que se consideran indirectos respecto a los objetivos de partida, así como los que caen dentro de lo previsto o los imprevistos, positivos o negativos, dependiendo también de la influencia de los factores exógenos.
En cuanto a las funciones de evaluación, para la mayoría de los autores existen tres propósitos para la evaluación de las actividades de I+D e innovación: rendición de cuentas, apoyo a la toma de decisiones y apoyo a la evolución estratégica de las políticas. Arie Rip (2003) describe de la siguiente forma cada una de las tres funciones mencionadas:
• Rendición de cuentas (accountability). Es la función de control. Comenzó teniendo forma de mera auditoria de gasto para pasar a contabilizar los inputs y outputs de la investigación mediante el desarrollo de indicadores de desempeño: publicaciones, patentes, etc.
• Apoyo a la toma de decisiones (decisions support). Puede tratarse de decisiones a escala micro o macro: las primeras son decisiones organizativas tomadas dentro de un centro de investigación (por ejemplo, la continuidad o no de un proyecto); las segundas, sin embargo, son las decisiones políticas tomadas por la administración (por ejemplo, la asignación o no de fondos públicos a un proyecto).
• Apoyo al aprendizaje y la evolución estratégica de las políticas (strategic change). Los decisores políticos están interesados en mejorar las políticas con el tiempo para incrementar la pertinencia de sus actuaciones; es decir, la respuesta de los programas ejecutados a los problemas de la sociedad. La evaluación puede también proveer información útil para apoyar dichos procesos de aprendizaje y evolución.
Estas tres funciones pueden representarse en forma de triángulo (Figura 7), de modo que cualquier metodología de evaluación podría situarse en algún lugar dentro de él, como combinación de las tres funcionalidades puras que se representan en los vértices. En nuestro caso, como señalábamos anteriormente, optamos por una EIS orientada a facilitar los procesos de evaluación para la selección. Es decir, pretendemos desarrollar un mecanismo que facilite la toma de decisiones en la selección de proyectos financiados por las políticas públicas, ya sea de forma competitiva o no. En consecuencia, por lo que se refiere al momento de su aplicación, se trata de una metodología de evaluación ex ante: el objetivo es que el decisor cuente con un mecanismo de evaluación -complementario a los convencionales- que le permita priorizar aquellas alternativas cuyo impacto social sea, previsiblemente, mejor. En segundo lugar, en cuanto a la funcionalidad perseguida, se corresponde claramente con una función de apoyo a la toma de decisiones.
Figura 7. Funcionalidades de la EIS
Finalmente, conviene añadir que aunque la metodología se concibe inicialmente para su uso en evaluaciones ex ante, vislumbramos la posibilidad de utilizarla en evaluaciones ex post, como elemento de aprendizaje y de apoyo a la evolución estratégica de las políticas -razón por la cual, en la Figura 7, la EIS no se presenta totalmente en el vértice derecho. Para ello, sin embargo, creemos que la EIS no puede actuar por sí sola, sino en paralelo con otros mecanismos proveedores de "inteligencia estratégica" a los sistemas de innovación (Khulmann, 1999 y 2002). Para este autor, los sistemas de innovación modernos precisan de métodos que puedan articular la inteligencia colectiva, socialmente distribuida, para alcanzar soluciones más óptimas a los problemas derivados del cambio tecnológico. Entre los métodos disponibles, en este sentido, destacan la Prospectiva Tecnológica (Technology Foresight) y la Evaluación de Tecnologías (Technology Assessment), argumentando estrategias para combinar sus potencialidades con la evaluación de políticas tecnológicas. En ese escenario, la EIS sí puede apoyar la evaluación de las políticas y utilizar criterios de utilidad y pertinencia.
4. Barreras y facilitadores para la integración de la EIS en las políticas de I+D+i
Una vez expuesto el marco metodológico, presentamos ahora los condicionantes - barreras y facilitadotes- identificados para la integración de la EIS en las políticas de I+D+i. Para ello, se ha partido de algunas de las ideas disponibles en la literatura sobre evaluación, añadiendo nuevos conceptos y proponiendo una clasificación en cuatro categorías diferenciadas: estructurales, culturales, epistemológicos y metodológicos; con las que se pretende abarcar la variedad de aspectos abordados.
4.1. Principales barreras
Las dificultades que pueden surgir a la hora de integrar la EIS en las políticas de I+D e innovación son de muy diversa índole y ayudan a poner de manifiesto la complejidad de esta tarea. Sin ánimo de ser exhaustivos, la Tabla 1 resume los distintos tipos de obstáculos que, a nuestro juicio, pueden distinguirse.
Tabla 1. Resumen de las barreras para la EIS de la I+D+i
4.1.1. Barreras estructurales
Las barreras estructurales que hemos detectado se pueden clasificar en las cinco siguientes:
• El conflicto entre el gestor y el evaluador. Una de las principales dificultades de la evaluación de la I+D e innovación es la que se deriva de la existencia de múltiples usuarios de la evaluación. Cada uno de los agentes involucrados -y en particular los evaluadores y los responsables políticos- exigen y esperan cosas distintas del proceso de evaluación. Boden y Stern (2002: 1-3), recogiendo la propuesta de Georghiu (2001), caricaturizan estas divergencias bajo las denominaciones Delivery gap y Customer gap, conceptos de difícil traducción al castellano -Osuna, Grávalos y Palacios (2003: 25) las denominan, respectivamente, "el desajuste en la entrega" y el "desajuste del cliente". El Delivery gap da cuenta de la diferencia entre lo que los responsables de las políticas desean del proceso de evaluación y lo que los evaluadores pueden ofrecerles. Mientras los primeros quieren certezas e indicadores claros que apoyen su toma de decisiones, los segundos tan sólo pueden ofrecer, en la mayoría de los casos, evidencias parciales derivadas de la complejidad del proceso innovador. El Customer gap presenta la situación complementaria: la diferencia entre lo que los evaluadores exigen para realizar su trabajo y lo que los responsables políticos pueden ofrecerles. Mientras los primeros demandan tiempo, recursos, información y objetivos claros para guiar su evaluación, los segundos sólo pueden dar respuestas parciales a dichas demandas. Ambas situaciones se resumen 190 en la Tabla 2.
Tabla 2. El conflicto entre el gestor y el evaluador
• Incremento de costes y de la burocracia. Nos hallamos ante un contexto donde, tanto desde el plano político como desde el de los investigadores, se presiona para reducir el tiempo de evaluación ex ante. Los gestores desean agilizar en lo posible los procesos para ser más eficientes, a pesar de lo cual los ejecutores perciben que los trámites de solicitud y justificación son excesivamente burocráticos y la evaluación demasiado lenta. En este contexto, la introducción de mecanismos de evaluación de impacto amenaza con aumentar la complejidad, encarecer y dilatar el proceso. Es necesario, por tanto, una fuerte voluntad política para poner en marcha este tipo de iniciativas. Como advierte COTEC (2004: 228), inmediatamente después de denunciar la falta en España de mecanismos de seguimiento y evaluación de los resultados de programas y proyectos de I+D: "La experiencia del Programa Marco de la UE demuestra la complejidad y el volumen de recursos que requieren acciones de este tipo".
• Existen pocas herramientas de evaluación. Un análisis de la literatura muestra que se cuenta todavía con pocas herramientas de evaluación socioeconómica pues, si bien existen numerosos desarrollos teóricos, sólo unos pocos han sido probados en la práctica y adaptados a los distintos casos (Osuna, Grávalos y Palacios, 2003).
• Requisito de horizontalidad: integración en todos los instrumentos políticos. Para que la evaluación sea efectiva debe ser horizontal, es decir, afectar simultáneamente a todos los instrumentos de la política de I+D e innovación. Así, por ejemplo, la evaluación de méritos académicos y de investigación tiene que ser consistente con la de proyectos de I+D+i. Si en los segundos se valoran aspectos transversales como la interdisciplinariedad o el impacto social, en los primeros debe también valorarse, o no habrá incentivo para que los investigadores desarrollen este tipo de proyectos.
• Requisito de verticalidad: coordinación entre los ámbitos regional, nacional y europeo. Como ya se ha puesto de manifiesto, no es posible concebir las políticas tecnológicas regionales como elementos de intervención pública aislada. Menos aún en el caso de España, donde las nuevas políticas regionales de innovación deben integrarse con las nacionales -más antiguas- y en el que éstas avanzan hacia la integración con las de otros estados de la UE, en el marco de la creación del Espacio Europeo de Investigación.3 Esta coordinación entre administraciones afecta también a los mecanismos de evaluación, que, sin duda, deberán aprender a coordinarse. En este sentido, es de esperar que, como ha ocurrido en otros terrenos, sea la iniciativa europea la que actúe como palanca de cambio, arrastrando al nivel nacional y regional.
En la Figura 8 se muestran gráficamente los requisitos de horizontalidad y verticalidad que acabamos de describir.
Figura 8. Integración horizontal y coherencia vertical entre niveles de evaluación
4.1.2. Barreras culturales
Las resistencias culturales desempeñan un papel tan importante como las estructurales a la hora de proponer cambios en los mecanismos de evaluación. Como puede observarse en la Tabla 1, se han identificado tres tipos de barreras culturales:
• Baja cultura evaluadora. En los países con baja cultura evaluadora -como es el caso de España- el aumento de la complejidad puede suponer un rechazo de los nuevos mecanismos de evaluación, tanto por parte de los gestores como de los directores de proyectos que se presentan a convocatorias públicas (Osuna, Grávalos y Palacios, 2003).
• Dominio de la cultura clásica de evaluación. Aunque la práctica de la evaluación ha evolucionado hacia la evaluación pluralista, la cultura de los evaluadores sigue estando más próxima a la evaluación clásica. Como muestra Díez (2002: 301), aun reconociendo la importancia de los métodos cualitativos, los evaluadores sienten la necesidad de cuantificar al máximo sus resultados, en parte como consecuencia de que en muchos de los países europeos la cultura de la evaluación pluralista aún es débil.
• Barreras organizativas. Se trata de barreras culturales de puertas adentro de la administración y de los centros de investigación. La evaluación socioeconómica no encaja con los sistemas habituales de remuneración y recompensa en los organismos públicos y en los centros de investigación, por lo que pueden colisionar con intereses y normas establecidas (Marcure, 2004).
4.1.3. Barreras epistemológicas
Hasta el momento, las barreras epistemológicas que hemos identificado se resumen en una sola:
• Vacío epistemológico. No existe una clarificación conceptual de lo que se entiende por impacto social de la I+D+i. Si bien hay un consenso sobre el hecho de que el cambio tecnológico tiene un profundo impacto de transformación social, no lo hay sobre la forma en la que lo hace; por lo tanto, no disponemos de una taxonomía convencional de impactos sociales que podamos asociar a las actividades de I+D+i.
4.1.4. Barreras metodológicas
Las dificultades metodológicas se derivan de la complejidad de desarrollar técnicas e indicadores para dar cuenta de una serie de impactos que son eminentemente cualitativos, intangibles e indirectos. Podemos clasificar estas barreras en seis categorías diferentes:
• Incertidumbre. En las evaluaciones de impacto social -con independencia de la actividad evaluada- existe una alta incertidumbre, dado el carácter intangible de las variables y la dificultad para predecir propia de las ciencias sociales.
• Impactos indirectos y externalidades. Los beneficios sociales derivados de una actuación de I+D+i no se corresponden habitualmente con el núcleo de sus objetivos, sino que aparecen como efectos indirectos -como resultado, por ejemplo, de externalidades positivas en el sistema de innovación.
• El problema de la atribución (atribution) y la adicionalidad (additionality). Es difícil separar y desagregar los impactos que produce cada intervención sobre cada variable; es decir, asociar los cambios observados a las políticas que se están evaluando. Por una parte, los impactos se cruzan y, por otra, no disponemos de un escenario en el que no haya existido la intervención política para poder comparar y valorar el impacto asociado a la acción como la diferencia de ambos escenarios. Este problema es, en palabras de Georghiou (1998: 48), "uno de los centrales y de los que afecta al núcleo de la intervención política, al llegar a cuestionar si existe fundamento para dicha intervención".
• Peso muerto (deadweight). Los efectos de deadweight (peso muerto) son los que se hubieran producido, de igual forma, en ausencia del programa financiado por la administración, por lo que se corre el riesgo de valorarlos erróneamente como impactos derivados del programa (Mairate, 2003: 60).
• Desplazamiento y sustitución. Son dos términos estrechamente relacionados que describen la situación en la que los beneficios aportados por el programa, sobre un colectivo o territorio, se producen a costa de perjuicios sobre otros colectivos o territorios, de forma que el impacto global positivo es, realmente, menor que el que puede parecer en una primera valoración (Mairate, 2003: 60).
• Retraso temporal (time lag). Como han destacado numerosos autores, hay efectos socioeconómicos de la investigación y la innovación que tardan meses, o incluso años, en hacerse visibles (Georghiou, 1998).
Para finalizar, la siguiente conclusión de Georgiou y Roessner puede resultar esclarecedora cuando se señala que
Los mayores beneficios [de la I+D] son de largo plazo y de carácter cualitativo, mpas que de corto plazo y de carácter cuantitativo, y muy difíciles de estimar en términos monetarios (...) el carácter eminentemente arriesgado de largo plazo del proceso de innovación dificulta obtener estimaciones de los beneficios económicos de la investigación. En los casos en los que se ofrecen estimaciones monetarizadas como resultado de evaluación, es preciso no perder de vista que subyace un modelo (hoy por hoy desconocido) de la innovación y la consecuente problemática de atribución de resultados. (Georgiou y Roessner, 2000: 675)
4.2. Principales facilitadores
El conjunto de facilitadores que pueden favorecer la integración de la EIS en las políticas de I+D+i, pueden concebirse como contrapeso de las barreras que hemos identificado en el epígrafe anterior. Aparecen sintetizados en la Tabla 3 y, de nuevo, es necesario recordar que muchos de ellos son compartidos por otros tipos de evaluación socioeconómica de la I+D+i.
Tabla 3. Resumen de los facilitadores para la evaluación de la I+D+i
4.2.1. Facilitadores estructurales
Entre los facilitadores estructurales encontramos dos, principalmente:
• Valor añadido. La evaluación, en caso de aprovecharse todo su potencial, aporta un mayor valor añadido a las actividades de I+D+i: un mayor impacto real de la política científica y tecnológica sobre la sociedad (Marcure, 2004).
• Mayor integración. La EIS aumenta la cercanía de los centros de investigación con la administración y los usuarios de la investigación. En suma, con todos los stakeholders en general, aunque también aumenta la demanda hacia éstos pues favorece las relaciones de responsabilidad mutua. Además, podemos suponer que la mayor cercanía entre el sistema de ciencia y tecnología y la sociedad mejora los resultados innovadores (European Commission, 2003c).
4.2.2. Facilitadores culturales
• Presión positiva del entorno. Las presiones de los factores condicionantes descritos en el apartado 2.1 de este artículo pueden actuar de forma favorable, si bien no es fácil aventurar en qué forma ni con cuánta intensidad.
• Motivación. La existencia de un mecanismo que haga visibles los impactos positivos de su trabajo podría, bien canalizado, aumentar la motivación de los investigadores. Igualmente, la existencia de un proceso más complejo de evaluación puede mejorar la información que el ejecutor recibe sobre sus propuestas -sean aprobadas o rechazadas- lo que compensa, en cierta medida, el rechazo derivado del riesgo de aumento de la burocracia.
4.2.3. Facilitadores epistemológicos
• Potencial heurístico. La evaluación de las actividades de I+D+i no sólo no es un freno al desarrollo de éstas, sino que, por la naturaleza intrínsecamente creativa del trabajo de investigación e innovación, puede aportar una importante riqueza heurística a dicho trabajo (Perrin, 2002).
4.2.4. Facilitadores metodológicos
• Avance de las metodologías pluralistas. El domino de la cultura clásica de evaluación, al que se hacía referencia en páginas anteriores, se compensa con el hecho de que, en los últimos años. estamos asistiendo a un auge de las metodologías cualitativas y participativas. Si bien no siempre es fácil llevarlas a la práctica, su existencia es el primer requisito para una posible aplicación.
Para finalizar, cabe adelantar un nuevo concepto que debe incluirse en esta dialéctica entre barreras y facilitadotes: el de recompensa (reward). Es preciso no olvidar que la viabilidad de una propuesta como la de integración de la EIS se apoya, en gran medida, en una correcta gestión de las pérdidas y ganancias de los distintos actores derivadas del nuevo sistema. Las resistencias que alguno de los agentes involucrados en la evaluación -el organismo gestor, el organismo ejecutor, los evaluadores externos- pueden presentar, ante la necesidad de funcionar con los nuevos mecanismos, se deriva, en gran medida, de que perciban que éstos no les acarrean ninguna ganancia, sino nuevos problemas o simplemente más trabajo. Es preciso, por tanto, diseñar la estrategia de evaluación incorporando las recompensas que cada uno de los actores debe recibir con la implantación del nuevo sistema de evaluación.
Conclusiones
El presente artículo resume los primeros resultados de un trabajo de investigación encaminado al diseño de una metodología de integración de la Evaluación de Impacto Social en las políticas de I+D+i. Entre las principales conclusiones que pueden extraerse, destacamos las siguientes:
• Partiendo de un marco interpretativo que atribuye a estas políticas nuevos retos socioeconómicos -expresados a menudo en su formulación como objetivos sociales concretos, pero difíciles de evaluar- se han identificado cinco condicionantes que influyen en su desarrollo y estrategias de evaluación: la nueva imagen de la ciencia y la tecnología en el pensamiento sociológico y económico; la omnipresencia de la innovación como prioridad política; el auge de la competitividad como paradigma económico y organizativo; la importancia de la sociedad en su conjunto como parte interesada en el proceso y en los avances tecnológicos; y, por último, el desarrollo sostenible como visión integradora. Sin duda, estos condicionantes no agotan el marco conceptual explicativo del dilema del decisor político, pero recogen buena parte de los elementos a contemplar en el avance hacia una EIS efectiva.
• El artículo presenta un escenario metodológico que permite apuntar una estrategia concreta dentro de las múltiples alternativas de evaluación existentes. Partiendo del objetivo de la integración de la EIS en las políticas regionales de I+D+i, se opta por evaluar dos instrumentos concretos -la financiación de proyectos de I+D+i del sector público y del privado- y se definen unos criterios, momentos y funciones de evaluación. La EIS se orienta así a la evaluación ex ante para la selección de proyectos presentados a convocatorias públicas de financiación, guiada por un criterio de eficacia y una función de apoyo a la toma de decisiones -si bien se asume la posibilidad de expandir su aplicación en evaluaciones ex post.
• Aunque esta definición metodológica de la EIS arroja luz sobre el problema planteado, el camino a seguir hasta una implementación exitosa es largo y complejo. En un intento por sistematizar las principales dificultades que pueden encontrarse en el proceso, se han identificado una serie de barreras, que será necesario sortear, y facilitadores que actuarán como contrapeso favorable a la integración de la EIS. Algunos de ellos son comunes a la evaluación socioeconómica en general, mientras otros surgen exclusivamente en este ámbito por la especificidad del impacto social, la limitación de los instrumentos elegidos o el enfoque regional adoptado. De forma todavía tentativa, proponemos una taxonomía de barreras y facilitadores que permite agruparlos en cuatro categorías diferenciadas: estructurales, culturales, epistemológicos y metodológicos. Con ello, se pretende caracterizar lo mejor posible los obstáculos a superar, priorizar los que sean determinantes y encontrar vías para su superación.
1 VA097/04, financiado por la Consejería de Educación de la Junta de Castilla y León, a quien queremos expresar nuestro agradecimiento.
2 En concreto, la sensibilidad europea en torno a la brecha entre ciencia-tecnología y sociedad es patente. Este análisis del año 2000 es sin duda de actualidad: "La ciencia y la sociedad mantienen actualmente en Europa unas relaciones paradójicas. Por una parte, la ciencia y la tecnología se sitúan en el corazón de la economía y del funcionamiento de la sociedad e influyen positivamente en la vida de los europeos cada vez en mayor medida. Los ciudadanos cada vez esperan más de ellas y son pocos los problemas planteados a la sociedad europea cuya solución no se encomiende, de una forma u otra, a la ciencia y a la tecnología. Por otra parte, el progreso del conocimiento y la tecnología tropieza con un escepticismo creciente que puede incluso transformarse en hostilidad, y la aventura del conocimiento no suscita ya el mismo entusiasmo sin reservas que hace unas décadas" (Comisión Europea, 2000: 4).
3 Así lo asume el Plan Nacional en uno de sus objetivos estratégicos (CICYT, 2003: 31), que propone: "Reforzar la cooperación entre la Administración General del Estado (AGE) y las Comunidades Autónomas (CCAA) y, en particular, mejorar la coordinación entre el PN de I+D+I y los planes de I+D+I de las CCAA". No obstante, a la luz del diagnóstico de COTEC (2004: 224-225), parece que se trata de un reto pendiente: "La ausencia de una sistemática coordinación entre las CCAAy la AGE está poniendo en peligro la eficacia de algunos programas de la AGE, especialmente los que se refieren a capital humano e infraestructuras".
Bibliografía
1 ARCHIBUGI, D. y PIETROBELLI C. (2003): "The Globalisation of Technology and its Implications for Developing Countries. Windows of Opportunity or Further Burden?" Technology Forecasting & Social Change, 70.
2 BODEN, M. y STERN, E. (2002): "User Perspectives", en G. Fahrenkrog et al. (eds.), RTD Evaluation Toolbox. Assessing the Socio-Economic Impact of RTD-Policies, Seville, European Commission-Joint Research Centre, IPTS, pp. 1-14.
3 CARACOSTAS, P. y MULDUR, U. (1998): Society, the Endless Frontier, Luxemburgo, Office for Official publications of the European Commission.
4 CICYT (2003): Plan nacional de Investigación Científica, Desarrollo e Innovación Tecnológica 2004-2007. Volumen I: Objetivos y estructura, Madrid.
5 COMISIÓN EUROPEA (2000): Ciencia, sociedad y ciudadanos en Europa, Bruselas.
6 COMISIÓN EUROPEA (2002): Plan de Acción Ciencia y Sociedad, Luxemburgo, Oficina de Publicaciones Oficiales de las Comunidades Europeas.
7 COTEC (2004): El sistema español de innovación. Situación en 2004, Madrid, COTEC.
8 DÍEZ, M. A. (2002): "Evaluating New Regional Policies. Reviewing the Theory and Practice", Evaluation, 8, 3, pp. 285-305.
9 DOSI, G. (1982): "Technological paradigms and technological trajectories. A suggested interpretation of determinants and directions of technological change", Research Policy, 11, pp. 147-162.
10 EUROPEAN COMMISSION (2003a): The overall socio-economic dimension of community research in the fifth European framework programme, Luxemburgo, Office of Official Publications of the European Commission.
11 EUROPEAN COMMISSION (2003b): Raising EU R&D Intensity. Improving the Effectiveness of Public Support Research and Development, Luxemburgo, Office of Official Publications of the European Commission.
12 EUROPEAN COMMISSION (2003c): 2003 European innovation Scoreboard: Technical Paper No 5. National Innovation Systems Indicators, Enterprise DG, disponible en http://www.cordis.lu/trendchart
13 FAHRENKROG, G. et al. [eds.] (2002): RTD Evaluation Toolbox. Assessing the Socio-Economic Impact of RT D - P o l i c i e s , Seville, European Commission-Joint Research Centre, IPTS.
14 FAHZENKROG, G., TÜBKE, A., POLT, W. y ROJO, J. (2002): "Avenues for RTDEvaluation in the future policy context", en G. Fahrenkrog et al. (eds.), RTD Evaluation Toolbox. Assessing the Socio- Economic Impact of RTD-Policies, Seville, European Commission-Joint Research Centre, IPTS, pp. 210-217.
15 FERNÁNDEZ, F., HAESEN, G., y VENCHIARUTTI, J-C. (2002): "From collaborative initiatives to holistic innovation". High Level Task Force on Valuation and capitalization of Intellectual Assets (First Meeting), United Nations Economic Commission for Europe.
16 FREDERIKSEN, L.F., HANSSON, F. y WENNEBERG, S.B (2003): "The Agora and the Role of Research Evaluation", Evaluation, 9, 2, pp. 149-172
17 FREEMAN, C. (1987): Technology policy and Economic Performance: Lessons from Japan, Londres, Pinter.
18 GEORGHIOU, L. (1998): "Issues in the Evaluation of Innovation and Technology Policy", Evaluation, 4, 1, pp. 37-52.
19 GEORGHIOU, L. (2001): "The impact and Utility of Evaluation", Conference on International best practices in evaluation of research in public institutes and universities, Bruselas, 16.10.01.
20 GEORGHIOU, L. y ROESSNER, D. (2000): "Evaluating technology programmes: tools and methods", Research Policy, 29, pp. 657-678.
21 GIBBONS et al. (1994): The new production of knowledge, Londres, Sage.
22 KEMP, R., SCHOT, J. y HOOGMA, R. (1998): "Regime shifts to sustainability through processes of niche formation: The approach of strategic niche management", Technology Analysis & Strategic Management, Junio, 10.2, pp. 175-195.
23 KUHLMANN, S. (2002): "Distributed Techno-Economic Intelligence for Policymaking", en G. Fahrenkrog et al. (eds.), RTD Evaluation Toolbox. Assessing the Socio- Economic Impact of RTD-Policies, Seville, European Commission-Joint Research Centre, IPTS, pp. 210-217.
24 KUHLMANN, S. et al. (1999): "Improving Distributed intelligence in Complex Innovation Systems. Final Report of the Advanced Science and Technology Policy Planning Network, ASTPP", A Thematic Network of the European Targeted Socio- Economic Research. Programme TSER: Report to Commission of the European Communities Contract No. SOE1-CT96-1013.
25 MAIRATE, A. (2003): "La evaluación de los fondos estructurales: aspectos metodológicos y teóricos", en Ogando y Miranda, Evaluación de programas e iniciativas europeas: experiencias, nuevas orientaciones y buenas prácticas, Valladolid, Instituto de Estudios Europeos de la Universidad de Valladolid.
26 MARCURE, J. (2004): "Towards sustainable innovation: New directions in RTO marketing", TII Focus - Newsletter of the T.I.I. Network of Technology Transfer Professionals, pp. 6-9.
27 MIRANDA ESCOLAR, B. (2003): "Evaluación del programa operativo Regional FEOGA-Orientación de Castilla y León (1994-1999): Metodología y principales resultados", en Ogando y Miranda, Evaluación de programas e iniciativas europeas experiencias, nuevas orientaciones y buenas prácticas, Valladolid, Instituto de Estudios Europeos de la Universidad de Valladolid.
28 MOÑUX, D., ALEIXANDRE, G., GÓMEZ, F.J. y MIGUEL, L.J. (2003): Evaluación de impacto social de proyectos de I+D+I. Guía práctica para centros tecnológicos, Valladolid, CARTIF - Departamento de Ingeniería de Sistemas y Automática de la Universidad de Valladolid.
29 OECD (1992): Technology and the Economy, The key relationships, París.
30 OSUNA, J.L, GRÁVALOS, E. y PALACIOS, C. (2003): Modelos de protocolos para la evaluación de actividades de I+D e innovación, Madrid, FECYT.
31 PAVITT, K. (1984): "Sectoral Patterns of Technology Change: Towards a Taxonomy and a Theory", Research Policy, 13, 6, pp. 343-373.
32 PERRIN, B. (2002): "How to -and How Not To- Evaluate Innovation", Evaluation, 8, 1, pp. 13-28.
33 POLT, W. y ROJO, J. (2002): "Evaluation methodologies - Introduction", en G. Fahrenkrog et al. (eds.), RTD Evaluation Toolbox. Assessing the Socio-Economic Impact of RTD-Policies, Seville, European Commission-Joint Research Centre, IPTS, pp. 65-70.
34 PORTER, M.A (1990): The Competitive Advantage of Nations, The Free Press.
35 QUINTANILLA, M. A. y BRAVO, A. (1997): Cultura tecnológica e innovación. Primera parte: el concepto de cultura tecnológica, Informe para la fundación COTEC.
36 RIP, A. (2003): "Societal Challenges for R&D Evaluation", en P. Shapira y S. Kuhlmann (eds.), Learning from Science and Technology Policy Evaluation. Experiences from the United States and Europe, Cheltenham-Northampton, Edward Elgar, pp. 32-53.
37 RIP, A. y KEMP, R. (1998): "Technological Change", en S. Rayner y L. Malone (eds.), Human Choice and Climate Change. Volume II Resources and Te c h n o l o g y, Washington D.C., Batelle Press, pp. 327-399.
38 VÁZQUEZ BARQUERO (1999): Desarrollo, innovación y redes: lecciones de desarrollo endógeno, Madrid, Pirámide.