Back to top

Técnica Administrativa


Índice

Open Access

Research article

Índice de nivel de innovación: su aplicación en empresas de software de distintos tamaños

Innovation degree index: its application in software companies of different sizes

Romero, María del Carmen ⓘ
Centro de Estudios en Administración (CEA), Facultad de Ciencias Económicas, Universidad Nacional del Centro de la Provincia de Buenos Aires (UNICEN), Tandil, Buenos Aires, Argentina

Álvarez, María Belén ⓘ
CONICET, Centro de Estudios en Administración (CEA), Facultad de Ciencias Económicas, Universidad Nacional del Centro de la Provincia de Buenos Aires (UNICEN), Tandil, Buenos Aires, Argentina

Etcheverría, Silvina ⓘ
Facultad de Ciencias Económicas, Universidad Nacional del Centro de la Provincia de Buenos Aires (UNICEN), Tandil, Buenos Aires, Argentina

Camio, María Isabel ⓘ
Centro de Estudios en Administración (CEA), Facultad de Ciencias Económicas, Universidad Nacional del Centro de la Provincia de Buenos Aires (UNICEN), Tandil, Buenos Aires, Argentina

Resumen

En un entorno altamente competitivo y con productos y tecnología con ciclos de vida cortos, es fundamental para la industria del software gestionar la innovación en forma sistemática. Ello hace necesario contar con herramientas de análisis e intervención que permitan identificar las variables clave a tener en cuenta para la medición y mejora de los niveles de innovación. En trabajos anteriores se ha propuesto un modelo de medición de la innovación para el sector de software y servicios informáticos (SSI) que comprende dimensiones y variables a considerar en la formulación de un índice de nivel de innovación para el sector de software (INIs) a fin de reparar en la potencialidad innovadora de las empresas, definida por su capacidad de innovación. En el presente trabajo se propone presentar una alternativa para identificar la importancia de cada una de las variables dentro del modelo (a través del análisis de componentes principales), calcular el nivel de innovación en un grupo de 103 empresas de SSI y analizar este nivel en relación al tamaño de la empresa (micro, pequeño, mediano y grande). A partir del análisis realizado se brindan las ponderaciones a utilizar en la construcción del índice tomando como base la variabilidad que muestran en los datos. Los resultados indican que las empresas grandes presentan un mayor nivel medio de innovación, seguidas por las empresas medianas, luego por las pequeñas, y finalmente por las microempresas. Podría concluirse que, a mayor tamaño de empresa, mayor sería el nivel de innovación alcanzado.

Abstract

In a highly competitive context and with products and technology with short life cycles, it is essential for the software industry to manage innovation systematically. This requires analysis and intervention tools that allow the identification of key variables for measuring and improving innovation levels. In previous studies, a model for measuring innovation for the software and information technology services sector has been proposed. This model comprises dimensions and variables to be considered in the formulation of an innovation degree index for the software sector, in order to consider the innovative potential of companies, defined by their innovation capability. This study aims to present an alternative to identify the importance of each variable into the model through the principal component analysis, calculate the level of innovation in 103 software companies and analyze this innovation level according to the company's size (micro, small, medium and large). From this analysis, the weights to be used in the construction of the index are given based on the variability shown in the data. The results suggest that large companies present a higher average level of innovation, followed by medium-sized companies, then by small companies, and finally by micro companies. It could be concluded that the larger the company, higher the level of innovation achieved.

Palabras Clave:

innovación, medición, software

Keyword:

innovation, measurement, software

Introducción

El contexto empresarial actual se caracteriza por el avance cada vez más pronunciado de las Tecnologías de la Información y Comunicación (TICs) sobre multiplicidad de actividades e industrias. Particularmente, el sector de software y servicios informáticos (SSI) ha adquirido en las últimas décadas un rol central en la transición hacia la era de las tecnologías digitales o Cuarta Revolución Industrial.

En este contexto, y desde una perspectiva de gestión organizacional, emergen problemáticas clave como sostener e incrementar los niveles de innovación. Autores como Rajala, R., Westerlund, Rajala, A. y Leminen (2004) sostienen que la mejora de la innovación es considerada un área clave de desarrollo para los proveedores de software. En un entorno altamente competitivo y con productos y tecnología con ciclos de vida cortos, es fundamental para la industria del software gestionar la innovación en forma sistemática. Ello hace necesario contar con herramientas de análisis e intervención que permitan identificar las variables clave a tener en cuenta para la medición y mejora de los niveles de innovación.

En virtud de lo anterior, mediante el presente trabajo se propone dar respuesta a los siguientes objetivos:

  • Presentar el Modelo de Medición de la Innovación para empresas de SSI.
  • Explicitar la formulación del Índice de Nivel de Innovación para el sector de SSI (INIs) e identificar la importancia de cada variable del modelo a través del análisis de componentes principales.
  • Calcular el nivel de innovación en un grupo de 103 empresas de SSI, mediante la aplicación del INIs.
  • Analizar el nivel de innovación alcanzado por las empresas estudiadas, en relación a su tamaño de empresa.

Marco teórico de referencia

En los últimos años se han desarrollado múltiples intentos de conceptualizar y medir la innovación a nivel empresarial (Prihadyanti, 2019; Rejeb & Younes, 2018; Brattström, Frishammar, Richtnér & Pflueger, 2018; Gault, 2018; Keller, Korkmaz, Robbins & Shipp, 2018) y particularmente en empresas de SSI (bin Ali & Edison, 2010; Miranda y Figueiredo, 2010; Koc, 2007; Jordan & Segelod, 2006; OCDE, 2002; Akman & Yilmaz, 2008, Romjin & Albaladejo, 2002, entre otros).

De acuerdo con Cotec (2006), hablar de innovación hace referencia esencialmente a la innovación en la empresa. La última versión del Manual de Oslo (OECD / EUROSTAT, 2018) expone que el término "innovación" puede significar tanto una actividad como el resultado de ella y proporciona la siguiente definición general de innovación: una innovación es un producto o proceso nuevo o mejorado (o una combinación de ambos) que difiere significativamente de los productos o procesos anteriores de la unidad y que ha sido puesto a disposición de los usuarios potenciales (producto) o puesto en uso por la unidad (proceso). El término genérico "unidad" se utiliza para describir al actor responsable de las innovaciones, pudiendo ser cualquier unidad institucional de cualquier sector.

Más allá del consenso respecto de su conceptualización, la innovación en el ámbito de los diferentes sectores de actividad tiene sus particularidades. La capacidad de innovación no sólo depende de la propia empresa sino también de las características del sector en el que se mueve, las necesidades del mercado y otra serie de factores externos que moldean, en cierto modo, las posibilidades reales que una empresa tiene de llevar a cabo innovaciones y desarrollos tecnológicos concretos (CEIM, 2001).

Como parte de un estudio centrado en la medición de la innovación en la industria del software, bin Ali & Edison (2010) dedican un apartado especial a exponer diferentes aportes para la definición de innovación. Citan por ejemplo a Kaasa & Vadi (2008), para quienes la innovación es generalmente entendida como la introducción de algo nuevo o significativamente mejorado, como productos (bienes o servicios) o procesos; o a Singh, A. & Singh, V. (2009) quienes sugieren que la innovación puede adoptar diversas formas: innovación de productos: cambios en los productos / servicios que ofrece una organización; innovación de procesos: cambios en las formas en que son creados y entregados; innovación de posición: cambios en el contexto en el que se introducen los productos / servicios; innovación de paradigma: cambios en los modelos mentales subyacentes que enmarcan lo que la organización hace.

A partir del análisis de múltiples conceptualizaciones, entre ellas algunas de las expuestas, en estudios previos se propone la siguiente definición de innovación (Camio, Rébori, Romero y Álvarez, 2016):

Se entiende la innovación empresarial como un proceso de cambio, tanto incremental como sustancial, que impregna a toda la empresa y no se restringe a un área específica e involucra la interacción con el entorno. Dicha característica radica en el carácter sistémico de la innovación, tanto desde el punto de vista de su interacción con el entorno como desde su percepción y desarrollo intrínsecos en la empresa (Cotec, 2006:22), que puede darse en:

  • Productos: incluye la introducción de un bien o un servicio nuevo o de un cambio significativo en las características de producto (OCDE y EUROSTAT, 2005:58).
  • Procesos: abarca la introducción de un proceso nuevo o mejorado (OCDE y EUROSTAT, 2005:59).
  • Gestión organizacional: comprende la implementación de un nuevo método de gestión del negocio, de reparto de responsabilidades y gestión de los recursos humanos, o de conducción de las relaciones externas con proveedores, colaboradores o clientes (Cotec, 2006:19).
  • Comercialización: implica la apertura de un nuevo mercado, inédito para la empresa, incluso si ese mercado no había existido antes (Miranda y Figueiredo, 2010:81); nuevas estrategias de distribución, fijación de precios comunicación / publicidad (OCDE y EUROSTAT, 2005:60 y 61).

El Manual de Oslo (OECD / EUROSTAT, 2018) reconoce que una buena medición de la innovación y el uso de datos sobre innovación pueden ayudar a los responsables de la formulación de políticas (policy makers) a comprender mejor los cambios económicos y sociales, evaluar la contribución (positiva o negativa) de la innovación a los objetivos sociales y económicos, y supervisar y evaluar la eficacia y la eficiencia de sus políticas.

En un trabajo reciente, Brattström et al. (2018) debaten en qué medida la medición es beneficiosa para la innovación. Allí se distingue una línea de investigación que sugiere que la medición ayuda a los gerentes a auditar los antecedentes estructurales, los procesos y los resultados, asegurando que la innovación esté suficientemente apoyada y se lleve a cabo de manera eficiente. En contraste, otra línea sugiere que la medición desalienta a los gerentes a buscar innovaciones más radicales (Criscuolo et al., 2017, citados en Brattström et al., 2018), empujando a los miembros de la organización a centrar su atención de manera demasiado estrecha (Abernethy & Brownell, 1997; Amabile et al., 1996; Tushman, 1997, citados en Brattström et al., 2018).

Específicamente para las empresas del sector de software, bin Ali & Edison (2010) afirman que cuando se habla de innovación, es importante medir los resultados y el rendimiento, tanto como el entorno y la capacidad de la organización para innovar. Proponen un modelo que incluye las capacidades para la innovación (inputs, actividades de innovación y determinantes internos y externos), los resultados (en productos, procesos, mercados / comercialización y organización) e indicadores de performance (beneficios directos e indirectos).

En línea con lo anterior, Miranda y Figueiredo (2010) presentan una metodología de medición de las capacidades innovativas en empresas de software, que distingue niveles de innovación avanzados (próximos a la frontera internacional), niveles de innovación intermedia y de innovación básica.

Un aspecto relevante en torno a la innovación en el sector de SSI es la definición de I+D. En relación a la medición de la innovación, se destaca la importancia de entender el papel de la I+D y de determinar cómo se articula con los otros insumos de la innovación. Sin dejar de considerar su correspondencia con el modelo lineal (Kline & Rosenberg, 1986), el Manual de Frascati (OCDE, 2002) resulta la referencia inmediata para su conceptualización.

A la luz de lo expuesto se reconoce la necesidad de avanzar en iniciativas de medición que evalúen la capacidad de innovación, la producción y el rendimiento. Se considera adecuado enmarcar la medición del nivel de innovación para empresas del sector de SSI en un modelo que agrupe las variables a considerar, caracterizado por un enfoque sistémico e integral (bin Ali & Edison, 2010) que tenga en cuenta la dinámica de la gestión de la innovación.

Derivado de lo anterior, surge la propuesta de un modelo de medición de la innovación para el sector de SSI, que comprende las dimensiones a considerar en la formulación de un índice de nivel de innovación para el sector de software (INIs) (Camio et al., 2016) (Figura 1). Este modelo incorpora múltiples dimensiones y variables a fin de considerar la potencialidad innovadora de las empresas, definida por su capacidad de innovación (Camio et al., 2016). A partir de su utilización, resulta posible identificar grados o niveles de innovación a nivel empresa, apoyando la idea de que cuando se trata de innovación empresarial, la pregunta no es "ser o no ser innovador", sino en qué "grado" o "etapa" se encuentra la empresa. Esta noción de gradualidad y, específicamente, la consideración de las capacidades, resulta particularmente importante para entender el proceso de innovación en empresas que operan en países en desarrollo (Miranda y Figueiredo, 2010; Yoguel y Boscherini, 1996).

Fig.1. Modelo de medición de la Innovación para el sector de SSI (Camio et al., 2016)

 

En su nivel superior el modelo comprende las tres dimensiones que, a partir de un análisis bibliográfico en profundidad, se identificaron como fundamentales para la medición de la innovación en empresas de SSI: capacidades, resultados e impactos / performance. En un segundo nivel se encuentran las variables y subvariables incluidas en cada una de las dimensiones anteriores (Tabla 1):

  • Capacidades: Comprende los inputs de la innovación, actividades de innovación y determinantes internos y externos que favorecen la innovación.
  • Resultados: Comprende las innovaciones en productos, procesos, organización y mercado / comercialización.
  • Impactos / performance: Comprende las medidas de desempeño de la innovación, así como la generación de intangibles.

 

 

Tabla 1. Dimensiones, variables y subvariables propuestas para el modelo de medición de la innovación

Dimensiones, variables y subvariables

Notación

CAPACIDADES

V1

INPUT (Gestión de la innovación)

V11

 

 

Estructura

V111

 

 

 

Departamentos de I+D +calidad

V1111

 

 

 

Características de la estructura

V1112

 

 

 

Trabajo en red

V1113

 

 

 

Nivel de procesos

V1114

 

 

Herramientas

V112

 

 

 

Nivel de herramientas

V1121

 

 

 

Documentación y metodología

V1122

 

Estrategia

V113

 

 

 

Prioridades estratégicas

V1131

 

 

 

Orientación al cliente

V1132

 

 

Dirección de la innovación

V1133

 

 

Decisiones estratégicas / innovación

V1134

 

 

Cartera de productos y servicios

V1135

 

 

Comunicación

V114

 

 

 

Circulación de la comunicación

V1141

 

 

 

Frecuencia comunicación

V1142

 

 

 

Transmisión de decisiones de innovación

V1143

 

 

Liderazgo (rasgos)

V115

 

 

Motivación (ideas / reconocimiento)

V116

 

 

Software libre (Conocimiento / uso / motivos del uso)

V117

Actividades de innovación

V12

 

 

Personas / actividades innovativas (y tiempo)

V121

 

 

Presupuesto / actividades innovativas

V122

 

 

Nivel de productos y servicios

V123

Determinantes

V13

 

 

Determinantes internos

V131

 

 

 

Cultura

V1311

 

 

 

Background y habilidades

V1312

 

 

 

Barreras internas

V1313

 

 

 

Calificación de RRHH

V1314

 

 

 

Capacitación

V1315

 

Determinantes externos

V132

 

 

 

Relación con actores externos

V1321

 

 

 

Barreras externas

V1322

RESULTADOS

V2

 

Innovaciones en productos

V21

 

Innovaciones en procesos

V22

 

Innovaciones en organización

V23

 

Innovaciones en comercialización

V24

IMPACTOS

V3

Medidas de desempeño

V31

 

 

Porcentaje productos innovados

V311

 

 

Impactos de las innovación

V312

Generación de intangibles (patentes / certif. calidad)

V32

Fuente: Elaboración propia

 

Un debate que ha cobrado interés a lo largo del tiempo, y aún sigue vigente, refiere a la relación entre la innovación y el tamaño de empresa. En 1983, Schumpeter planteaba como hipótesis que las grandes firmas son proporcionalmente más innovadoras que las pequeñas (Schumpeter, 1983). En estudios posteriores (López, 1998) se argumenta que las grandes firmas tienen ventajas por economías de escala en las actividades de I+D, por la capacidad de autofinanciamiento de dichas actividades, por un mejor uso del equipo y mayores posibilidades de realizar una "división del trabajo" entre los investigadores, entre otros factores. Asimismo, se supone que pueden hacer un mejor uso comercial de los resultados de las actividades innovativas. En "contra" de la gran firma, aparecen las fallas de un sistema de incentivos "jerárquicos", los problemas de coordinación y la lentitud burocrática, entre otros factores (López, 1998).

Otros estudios destacan el interés en la situación de las PyMEs de software, por cuanto se espera contribuyan sustancialmente a la innovación técnica y a la renovación de productos (Olsson & Mc Queen, 2000, citado en Koc, 2007) y una creciente corriente de opinión revaloriza las iniciativas innovativas en estas empresas (Yoguel y Boscherini, 1996). Algunos autores destacan que este tipo de firmas, las PyMEs, presentan ventajas específicas para el desarrollo de actividades de innovación, particularmente en cuanto a su flexibilidad interna y su capacidad de adaptación a circunstancias cambiantes. Las desventajas, en cambio, provendrían de su tamaño limitado –que les impone restricciones financieras y de recursos materiales–, su dificultad para aprovechar las economías de escala en la I+D, las menores posibilidades de comercializar exitosamente sus innovaciones y los costos crecientes de las actividades de investigación (Rizzoni, 1994; Scherer, 1992, citados en López, 1998).

Luego de una revisión de distintos estudios, Camisón Zornoza, Lapiedra Alcamí, Segarra Ciprés y Boronat Navarro (2002), coinciden en que la literatura manifiesta resultados contradictorios sobre la dirección y la intensidad de la relación entre tamaño e innovación: mientras se hallan investigaciones que señalan la existencia de una relación positiva y apuntan al tamaño organizativo como el mejor predictor de la innovación (Aragón-Correa y Cordón-Pozo, 2000; Sullivan y Kang, 1999; Damanpour, 1992; Dewar y Dutton, 1986; Ettlie, Bridges y O´Keefe, 1984; Kimberly y Evanisko, 1981; Moch y Morse, 1977; Aiken y Hage, 1971), otras defienden la existencia de una relación negativa (Wade, 1996; Aldrich y Auster, 1986; Hage, 1980), y otros resultados, asimismo, señalan la inexistencia de dicha relación (Aiken, Bacharach y French, 1980).

 

Materiales y Métodos

En un nivel genérico, debiera considerarse como población al conjunto de todas las empresas del sector del software y servicios informáticos de la Argentina, constituyendo cada una de estas empresas los elementos de esta población.

La inexistencia de un único registro completo de empresas de este sector condujo a la construcción de una base de datos ad hoc, incluyendo un total de 699 empresas ubicadas en diferentes zonas del país. Para la obtención de datos se construyó un cuestionario estructurado con 133 preguntas enviado vía web mediante el software Lime Survey [1] a todas las empresas registradas en la base de datos mencionada. Del total de las empresas, se obtuvieron las respuestas de 103 de ellas, indicando esto una tasa de respuesta del 14.74 %.

Las características de la obtención de la muestra determinan su carácter no probabilístico, lo que implica que los análisis realizados y las conclusiones obtenidas se circunscriben al conjunto de empresas relevadas.

El modelo de medición de la innovación presentado desagrega el concepto de la innovación en tres elementos que se identificaron como distintivos para su medición: capacidades, resultados e impactos / performance. A su vez, cada uno de ellos fue desagregado en otros elementos y así sucesivamente hasta llegar a las preguntas que efectivamente se relevaron mediante el cuestionario.

Se distinguen variables en diferentes niveles de abstracción. En el nivel 0 se encuentra el nivel de innovación; en el nivel 1, las capacidades, los resultados y los impactos / performance; en el nivel 2, el input, las actividades de innovación y los determinantes (componentes de capacidades) y así sucesivamente. Las variables en el nivel de menor abstracción se consideran variables base y se construyen a partir de las preguntas del cuestionario; las de niveles más altos se construyen a partir de la combinación de las variables base o de variables de nivel inferior al considerado, mediante una metodología de construcción de índices presentada en Romero, Camio y Álvarez (2013) que permite traducir un concepto en una variable "medible" y resumirlo en un único valor. A través de esto es posible "sintetizar" las variables componentes de cada una de las dimensiones propuestas (capacidades, resultados e impactos) en una nueva variable que representaría el nivel de innovación.

Se plantean entonces dos etapas, la de generación de las variables base y la de generación de las variables de nivel superior.

Los datos relevados a partir de las preguntas del cuestionario son de tipo cualitativo o cuantitativo y pertenecen a diferentes escalas de medición (nominal, ordinal, de intervalos o de razones). A partir de estas preguntas, se construyeron variables base con el objetivo de reducir y homogenizar las variables relevadas del cuestionario. La reducción se realizó mediante simplificación de dimensiones y reducción pragmática (Baranger, 1992). La "homogeneización" se logró creando una variable cuantitativa para cada una de las preguntas del cuestionario (o grupos de preguntas), cuyas respuestas toman valores entre 1 y 5, representando una valoración del grado de innovación. El valor mencionado se asigna considerando la correspondencia entre las respuestas de la variable original y el aporte de dicha respuesta al nivel de innovación. Los especialistas en el tema enfatizan que cuando se trata de innovación, la pregunta no es "ser o no ser innovador" sino concluir sobre el grado o etapa en la cual se encuentra la empresa y sugieren que estas etapas se desarrollan desde un nivel básico a niveles intermedios y complejos (Miranda y Figueiredo, 2010).

Este paso se realiza ad-hoc considerando criterios empíricos y conceptuales y se sustenta en el marco teórico presentado en Camio et al. (2013). El cuestionario presentado cumple con las condiciones de validez y confiabilidad.

A partir de las variables base, se recorre el camino inverso para sintetizar los resultados concluyendo en cada uno de los niveles, hasta llegar al de mayor abstracción, determinándose el nivel de innovación. Estas variables darán respuesta a las variables de niveles superiores. Resulta necesario, entonces, combinar las variables del nivel inferior para conformar la variable del nivel inmediato superior y así sucesivamente hasta llegar al nivel más alto de abstracción (nivel de innovación).

Cada una de las variables se construirá como una combinación lineal de las variables del nivel inmediato inferior. Para ello, es necesario determinar la ponderación que tendrá cada una de estas variables en el cálculo.

La suma total de las valoraciones estaría dada por Romero et al. (2013):

donde

Vt Valoración Total  
N Cantidad total de variables  
vi Valoración de la i-ésima variable  
pi Ponderación dada a la i-ésima variable y

 

Existen diferentes maneras de determinar estas ponderaciones. Una opción es asignarlas teniendo en cuenta el marco conceptual, la opinión de expertos en el tema y el objetivo que subyace al diseño del indicador. En este caso se optó por determinarlas usando el análisis de componentes principales.

El análisis de componentes principales es una técnica de análisis multivariado que trata de encontrar, con pérdida mínima de información, un nuevo conjunto de variables (componentes principales) no correlacionadas que expliquen la estructura de variabilidad del conjunto de datos. Intenta explicar la estructura de varianza-covarianza de un conjunto de variables cuantitativas a través de unas pocas combinaciones lineales de esas variables. En esencia, y tal como explican Johnson & Wichern (2007), es una técnica que tiene como objetivos básicos la reducción de dimensionalidad y la interpretación de los datos mutivariados.

Algebraicamente, las componentes principales son combinaciones lineales de p variables aleatorias X 1,X2,…, Xp Geométricamente, estas combinaciones lineales representan la selección de un nuevo sistema de coodenadas obtenido por rotar el sistema original con X 1,X2,…, Xp como los ejes de coordenadas. Estos nuevos ejes representan las direcciones con máxima variabilidad y proveen una descripción de la estructura de covarianza más simple y parsimoniosa (Johnson & Wichern, 2007).

Esta técnica se basa en la descomposición espectral de la matriz de covarianzas o de correlación entre variables de dimensión p x p. Por un lado, los autovectores de alguna de estas matrices como vectores de coeficientes para la combinación lineal brinda combinaciones lineales no correlacionadas cuyas varianzas son máximas. Por otro, los autovalores asociados a cada una de las componentes (λi), indican la variabilidad que representa cada una de ellas (i denota la i-ésima componente).

Las componentes principales están dadas por las combinaciones lineales:

las cuales resultan incorreladas y tienen las mayores varianzas posibles (la primera componente es aquella con máxima varianza, y así sucesivamente).

Esta técnica es frecuentemente utilizada para ordenar y representar datos multivariados cuantitativos a través de un conjunto de combinaciones lineales ortogonales normalizadas de las variables originales que explican la variabilidad existente en los datos, de forma tal que ningún otro conjunto de combinaciones lineales de igual cardinalidad tenga varianza de las combinaciones mayor a la del conjunto de componentes principales.

La variabilidad total puede escribirse, entonces, como

y la proporción de la variabilidad explicada por cada una de las componentes está dada por:

donde autovalores >

 

La primera componente contiene más información (sobre variabilidad) que la segunda, ésta a su vez más que la tercera y así sucesivamente hasta no explicar más variabilidad. Se necesitan tantas componentes principales como variables para reproducir la variabilidad total. En el caso en el cual las primeras componentes representen una gran parte de la variabilidad total del conjunto de datos, podría pensarse en representar dicho subconjunto con una cantidad menor de variables (en este caso componentes) y lograr, de esta manera, una reducción de dimensionalidad.

Las nuevas variables, componentes principales, usan información contenida en cada una de las variables originales, algunas variables pueden contribuir más a la combinación lineal que otras. La contribución de cada variable original está dada por los coeficientes, los cuales indican el aporte que hace cada una de las variables y que pueden ser usados para interpretar los componentes (los mayores coeficientes se corresponden con mayores correlaciones entre las variables originales y el eje considerado). Si bien resulta más apropiado considerar las correlaciones entre las variables y las componentes (ya que la correlación tiene en cuenta diferencias en las varianzas de las variables originales y elimina el sesgo de interpretaciones causadas por diferentes escalas de medición), es indistinto si se trabaja a partir de la matriz de correlación y se estandarizan los datos.

La contribución que tiene cada una de las variables en la primera componente principal puede ser considerada la ponderación a tener en cuenta en la construcción de cada una de las variables de nivel superior. Se seleccionó en todos los casos la primer componente principal y las ponderaciones se obtuvieron mediante la estandarización de los coeficientes involucrados.

De esta manera se construyen las variables de niveles superiores a partir de las variables base y, en el mayor nivel de abstracción, puede darse respuesta al Nivel de Innovación a través de la construcción de un índice: INIs (Índice de Nivel de Innovación para empresas de software y servicios informáticos) que combina las capacidades, resultados e impactos.

Es importante destacar que este método es en esencia un método descriptivo. Si bien puede revisarse el supuesto de normalidad en los datos para realizar inferencias, dado el carácter no probabilístico de la muestra con la cual se está trabajando, no tiene sentido.

A fin de cumplir con los objetivos propuestos, se clasifica a las empresas según su tamaño con base en el número de empleados que las componen. Se toman las categorías establecidas por el Observatorio Pyme Sectorial – Sector de Software y Servicios Informáticos [2] , según las cuales se considera como pequeña empresa de SSI a aquella cuya cantidad de ocupados varía entre 5 y 20, y como mediana a la que emplea entre 21 y 150 trabajadores. Se considera microempresa a aquella con menos de 5 empleados, y grande a la de más de 150 trabajadores.

Los análisis estadísticos fueron realizados con los software InfoStat (Di Rienzo et al. 2019) y Origin.

Resultados

Teniendo en cuenta la metodología propuesta, se aplica el INIs a fin de obtener el nivel de innovación para cada una de las empresas en estudio y por tamaño de empresa.

A partir de considerar los criterios de clasificación expuestos, resulta que del total de las empresas relevadas el 16.5 % (17) son micro, el 46.6 % (48) pequeñas, el 29.1 % (30) medianas y el 7.8 % (8) grandes.

Se realizó un análisis de componentes principales para hallar las ponderaciones a considerar en la construcción de variables de nivel superior (Tablas I.1 a I.14 del Anexo I). En todos los casos se seleccionó la primera de las componentes (la que representa mayor variabilidad) y se estandarizaron los coeficientes asociados a cada una de las variables originales. Las ponderaciones asignadas se detallan a continuación:

INIs (Índice de Nivel de Innovación en empresas de Software y Servicios Informáticos)

INIs = V1 x 0.26 + V2 x 0.36 + V3 x 0.38

donde

CAPACIDADES (V1)

V1 = V11 x 0.35 + V12 x 0.28 + V13 x 0.37

INPUTS (V11)

V11 = V111 x 0.18 + V112 x 0.16 + V113 x 0.18 + V114 x 0.18 + V115 x 0.10 + V116 x 0.16 + V117 x 0.04

ESTRUCTURA (V111)

V111 = V1111 x 0.32 + V1112 x 0.34 + V1113 x 0.04 + V1114 x 0.30

HERRAMIENTAS (V112)

V112 = V1121 x 0.50 + V1122 x 0.50

ESTRATEGIA (V113)

V113 = V1131 x 0.17 + V1132 x 0.24 + V1133 x 0.24 + V1134 x 0.22 + V1135 x 0.13

COMUNICACIÓN (V114)

V114 = V1141 x 0.32 + V1142 x 0.37 + V1143 x 0.31

ACTIVIDADES DE INNOVACIÓN (V12)

V12 = V121 x 0.32 + V122 x 0.36 + V123 x 0.32

DETERMINANTES (V13)

V13 = V131 x 0.50 + V132 x 0.50

DETERMINANTES INTERNOS (V131)

V131 = V1311 x 0.27 + V1312 x 0.20 + V1313 x 0.20 + V1314 x 0.16 + V1315 x 0.17

DETERMINANTES EXTERNOS (V132)

V132 = V1321 x 0.50 + V1322 x 0.50

 

RESULTADOS (V2)

V2 = V21 x 0.15 + V22 x 0.28 + V23 x 0.28 + V24 x 0.29

 

IMPACTOS (V3)

V3 = V31 x 0.5 + V32 x 0.5

MEDIDAS DE DESEMPEÑO (V31)

V31 = V311 x 0.5 + V312 x 0.5

 

Los valores mínimos y máximos de cada una de las variables son 1 y 5 respectivamente y, si bien, no tiene unidades de medida, se especificará en término de "puntos".

Analizando comparativamente los niveles de innovación medios obtenidos por cada uno de los tamaños de empresa, se distingue que las empresas grandes presentan un nivel de innovación medio de 3.27 puntos, le siguen las empresas medianas con un nivel medio de 3.09, luego las de tamaño pequeño con un nivel medio de 3.05 y finalmente las microempresas con un nivel medio de 2.82. Resulta importante destacar que para todos los tamaños de empresa la media del nivel de innovación resulta representativa ya que se presenta, en todos los casos, un coeficiente de variación menor al 20 % (Tabla 2).

 

Tabla 2. Indicadores del Índice de Nivel de Innovación para diferentes tamaños de empresa (cantidad de datos (n), media, desviación estándar (D.E.), coeficiente de variación (CV), mínimo, máximo, cuartil 1 (Q1), mediana y cuartil 3 (Q3)

TAMAÑO

n

Media

D.E.

CV

Mín

Máx

Q1

Mediana

Q3

MICRO

17

2.82

0.46

16.38

2.07

3.71

2.54

2.77

3.15

PEQUEÑO

48

3.05

0.60

19.64

1.95

4.28

2.47

3.15

3.46

MEDIANO

30

3.09

0.59

19.14

2.12

4.66

2.54

3.11

3.42

GRANDE

8

3.27

0.48

14.77

2.83

4.33

2.87

3.22

3.33

Fuente: Elaboración propia.

 

La prueba t de diferencia de medias da cuenta de la presencia de diferencias significativas entre el nivel de innovación medio obtenido por las grandes empresas y las micro empresas (Tabla 3) con un novel de significación del 5%. Entre los demás tamaños de empresa no se hallan diferencias significativas en los niveles medios de innovación.

 

Tabla 3. Prueba t de diferencia de medias (p-valor)

 

MICRO

PEQUEÑO

MEDIANO

GRANDE

MICRO

 

 

 

 

PEQUEÑO

0.1687

 

 

 

MEDIANO

0.1110

0.7273

 

 

GRANDE

0.0358

0.3165

0.4421

 

Fuente: Elaboración propia.

 

El máximo nivel de innovación entre las empresas estudiadas se halla en una empresa de tamaño mediano, mientras que aquélla con el nivel de innovación más bajo es de tamaño pequeño.

Emerge también, que el rango de valores del nivel de innovación varía para cada uno de los tamaños de empresa analizados: se encuentra más concentrado en las grandes, luego le siguen las empresas micro, las pequeñas y las medianas. En otras palabras, se observa que la variabilidad en el nivel de innovación crece según el tamaño de empresa, excepto para las empresas grandes (Fig. 2 y Fig. 3).

 

Fig. 2. Histogramas del Índice de Nivel de Innovación para diferentes tamaños de empresas de software

 

Fig. 3. Boxplots del Índice de Nivel de Innovación para diferentes tamaños de empresas de software.
1: Micro; 2: Pequeño; 3:Mediano; 4: Grande

 

 

Conclusión

El presente trabajo parte del reconocimiento del rol clave que ocupa el sector de SSI de cara a los desafíos que plantea la Cuarta Revolución Industrial, y de la necesidad de desarrollar herramientas que atiendan a las particularidades del sector para la medición y análisis de la innovación.

La propuesta de un índice de innovación donde las ponderaciones asignadas a cada una de las variables son definidas en base a los datos y a partir de la aplicación de un análisis de componentes principales, constituye un avance hacia la construcción de herramientas específicas para el sector de SSI y viene a complementar estudios anteriores en el campo de la innovación (Camio et al., 2016). La importancia de cada una de las variables dentro de una determinada dimensión no es definida en función de cuestiones teórico / conceptuales, sino tomando como base la variabilidad que muestran en los datos (una variable muy poco variable, valga la redundancia, tendrá una menor ponderación).

La aplicación de este índice permite la identificación del nivel de innovación presente en cada empresa, sosteniendo la noción de gradualidad que resulta importante al estudiar el proceso de innovación en empresas ubicadas en el contexto de países en desarrollo (Miranda y Figueiredo, 2010; Yoguel y Boscherini, 1996).

Con base en la aplicación del INIs, fue posible identificar el nivel de innovación alcanzado por un conjunto de 103 empresas de SSI radicadas en Argentina y analizar dicho nivel de innovación en relación a distintos tamaños de empresas: micro, pequeño, mediano y grande.

Los resultados obtenidos dan cuenta de que las empresas grandes son las que presentan un mayor nivel medio de innovación, seguidas por las empresas medianas, luego por las pequeñas, y finalmente por las microempresas. De lo anterior podría emerger que a mayor tamaño de empresa, mayor sería el nivel de innovación alcanzado. Cabe recordar que para los cuatro tamaños de empresa considerados, la media del nivel de innovación resultó representativa.

A la luz de los debates presentes en la literatura acerca de la relación entre el nivel de innovación y el tamaño de empresa, los hallazgos anteriores apoyarían la noción de que las empresas grandes son más innovadoras (Schumpeter, 1983; López, 1998; Camisón Zornoza et al., 2002).

En el presente trabajo el análisis del comportamiento del nivel de innovación para distintos tamaños de empresa, va más allá del contraste entre la gran empresa y las de menor tamaño: se pone la atención sobre las diferencias existentes al interior del sector PyME, lo cual no suele ser frecuente en la literatura. Trabajos en esta dirección traen a la luz el interrogante acerca de si es posible considerar al sector PyME como un conjunto homogéneo, o si resulta necesario atender a las particularidades presentes en cada uno de los tamaños de empresa.

El hallazgo de que el tamaño de empresa condicionaría el nivel de innovación, y la presencia de diferencias significativas en el nivel medio de innovación identificado para las empresas grandes respecto de las microempresas, constituyen disparadores de cara a futuros estudios. En especial, cobra interés el análisis de las dimensiones componentes del INIs (capacidades, resultados e impactos), a fin de observar si el comportamiento del nivel medio de innovación entre los distintos tamaños de empresa se repite para las tres dimensiones consideradas, o si pueden hallarse particularidades para cada tamaño de empresa.

Anexo I

En este Anexo se muestran los resultados del análisis de componentes principales realizado para las variables que componen cada una de las dimensiones descriptas en la Tabla 1.

En cada tabla se presentan los autovalores asociados a cada autovector. En Autovalores se presenta el valor de cada uno de ellos, la proporción de variabilidad total explicada por cada componente (Prop.) y la proporción de la variabilidad total explicada, en forma acumulada (Prop. Acum.).

En el caso de los Autovectores (designados por e) se muestran los coeficientes con que cada variable original fue ponderada para conformar cada una de las componentes.

 

Tabla I.1. Análisis de componentes principales para las variables V1111, V1112, V1113 y V1114 (conforman la variable V111)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

e3

e4

1

1.33

0.33

0.33

V1111

0.58

0.35

-0.45

-0.58

2

1.09

0.27

0.61

V1112

0.60

-0.36

-0.33

0.64

3

0.86

0.22

0.82

V1113

0.08

0.86

0.14

0.49

4

0.72

0.18

1.00

V1114

0.54

-0.10

0.82

-0.15

 

Tabla I.2. Análisis de componentes principales para las variables V1111, V1121 y V1122 (conforman la variable V112)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

      e1

      e2

1

1.16

0.58

0.58

V1121

     0.71

     0.71

2

0.84

0.42

1.00

V1122

     0.71

    -0.71

 

Tabla I.3. Análisis de componentes principales para las variables V1131, V1132, V1133, V1134 y V1135 (conforman la variable V113)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

e3

e4

e5

1

1.65

0.33

0.33

V1131

0.37

-0.13

0.91

0.09

0.12

2

1.08

0.22

0.55

V1132

0.52

0.35

-0.04

-0.53

-0.56

3

0.90

0.18

0.73

V1133

0.51

-0.30

-0.28

0.68

-0.33

4

0.71

0.14

0.87

V1134

0.49

-0.41

-0.30

-0.39

0.59

5

0.67

0.13

1.00

V1135

0.28

0.77

-0.10

0.31

0.46

 

Tabla I.4. Análisis de componentes principales para las variables V1141, V1142 y V1143 (conforman la variable V114)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

e3

1

1.56

0.52

0.52

V1141

0.56

-0.68

-0.48

2

0.80

0.27

0.79

V1142

0.63

-0.04

0.78

3

0.64

0.21

1.00

V1143

0.54

0.74

-0.40

 

Tabla I.5. Análisis de componentes principales para las variables V1311, V1312, V1313, V1314 y V1315 (conforman la variable V131)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

e3

e4

e5

1

1.86

0.37

0.37

V1311

0.58

0.15

-0.20

-0.05

0.78

2

1.05

0.21

0.58

V1312

0.45

0.13

0.65

-0.55

-0.22

3

0.87

0.17

0.76

V1313

0.45

-0.42

0.33

0.71

-0.12

4

0.68

0.14

0.89

V1314

0.35

0.71

-0.31

0.27

-0.46

5

0.53

0.11

1.00

V1315

0.38

-0.54

-0.57

-0.35

-0.35

 

Tabla I.6. Análisis de componentes principales para las variables V1321 y V1322 (conforman la variable V132)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

1

1.09

0.55

0.55

V1321

0.71

-0.71

2

0.91

0.45

1.00

V1322

0.71

0.71

 

Tabla I.7. Análisis de componentes principales para las variables V111, V112, V113, V114, V115, V116 y V117 (conforman la variable V11)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

e3

e4

e5

e6

e7

1

2.27

0.32

0.32

V111

0.48

0.17

0.23

-0.38

-0.08

-0.57

-0.46

2

1.25

0.18

0.50

V112

0.40

-0.11

0.57

0.19

0.05

0.62

-0.28

3

1.09

0.16

0.66

V113

0.45

-0.31

-0.08

-0.29

-0.56

0.11

0.53

4

0.75

0.11

0.77

V114

0.42

0.10

-0.39

-0.32

0.70

0.21

0.16

5

0.64

0.09

0.86

V115

0.24

0.47

-0.57

0.29

-0.39

0.24

-0.32

6

0.52

0.07

0.93

V116

0.40

-0.32

-0.09

0.72

0.18

-0.41

0.13

7

0.48

0.07

1.00

V117

0.10

0.73

0.37

0.16

0.02

-0.09

0.53

 

Tabla I.8. Análisis de componentes principales para las variables V121, V122 y V123 (conforman la variable V12)

Autovalores

Autovectores

Lambda

Valor     

Prop.

Prop. Acum.

Variables

e1

e2

e3

1

1.56

0.52

0.52

V121

0.56

-0.70

-0.44

2

0.78

0.26

0.78

V122

0.61

-0.01

0.79

3

0.66

0.22

1.00

V123

0.56

0.71

-0.43

 

Tabla I.9. Análisis de componentes principales para las variables V131 y V132 (conforman la variable V13)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

1

1.46

0.73

0.73

V131

0.71

0.71

2

0.54

0.27

1.00

V132

0.71

-0.71

 

Tabla I.10. Análisis de componentes principales para las variables V311 y V312 (conforman la variable V31)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

1

1.24

0.62

0.62

V311

0.71

-0.71

2

0.76

0.38

1.00

V312

0.71

0.71

 

Tabla I.11. Análisis de componentes principales para las variables V11, V12 y V13 (conforman la variable V1)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

e3

1

1.76

0.59

0.59

V11

0.60

-0.45

-0.66

2

0.76

0.25

0.84

V12

0.49

0.86

-0.13

3

0.48

0.16

1.00

V13

0.63

-0.25

0.74

 

Tabla I.12. Análisis de componentes principales para las variables V21, V22, V23 y V24 (conforman la variable V2)

Autovalores

Autovectores

Lambda

Valor     

Prop.

Prop. Acum.

Variables

e1

e2

e3

e4

1

1.75

0.44

0.44

V21

0.30

0.85

0.24

0.36

2

1.01

0.25

0.69

V22

0.54

-0.24

0.72

-0.36

3

0.68

0.17

0.86

V23

0.54

-0.43

-0.21

0.69

4

0.56

0.14

1.00

V24

0.56

0.19

-0.62

-0.51

 

Tabla I.13. Análisis de componentes principales para las variables V31 y V32 (conforman la variable V3)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

1

1.24

0.62

0.62

V31

0.71

0.71

2

0.76

0.38

1.00

V32

0.71

-0.71

 

Tabla I.14. Análisis de componentes principales para las variables V1, V2 y V3 (conforman la variable INIs)

Autovalores

Autovectores

Lambda

Valor

Prop.

Prop. Acum.

Variables

e1

e2

e3

1

1.62

0.54

0.54

V1

0.44

0.88

-0.17

2

0.86

0.29

0.83

V2

0.62

-0.43

-0.66

3

0.52

0.17

1.00

V3

0.65

-0.19

0.73

Bibliografía - Bibliography

Akman, G. & Yilmaz, C. Innovative Capability, Innovation Strategy and Market Orientation: an Empirical Analysis in Turkish Software Industry. International Journal of Innovation Management, 2008, 12(01), 69–111.

Bin Ali, N. & Edison, H. Towards innovation measurement in software industry. (Master Thesis). School of Computing, Blekinge Institute of Technology, 2010. Recuperado de

Brattström, A.; Frishammar, J.; Richtnér, A. & Pflueger, D. Can innovation be measured? A framework of how measurement of innovation engages attention in firms. Journal of Engineering and Technology Management, 2018, 48, 64–75.

Camio, M. I.; Rébori, A.; Romero, M. del C. y Álvarez, M. B. Innovación y software: diagnóstico y medición en empresas argentinas (1ra ed., 242). 2016. Tandil: Editorial UNICEN.

Camisón Zornoza, C.; Lapiedra Alcamí, R.; Segarra Ciprés, M. y Boronat Navarro, M. Meta-análisis de la relación entre tamaño de empresa e innovación. Working papers= Documentos de trabajo: Serie EC (Instituto Valenciano de Investigaciones Económicas), (15), 1-53 , 2002.

CEIM (Confederación Empresarial de Madrid - CEOE). La Innovación: un factor clave para la competitividad de las empresas. Madrid: Dirección General de Investigación. 2001. Consejería de Educación de la Comunidad de Madrid.

COTEC. Fundación para la innovación tecnológica. Marco de referencia de innovación. Madrid: Editorial Club de excelencia en Gestión. 2006.

Di Rienzo, J. A.; Casanoves, F.; Balzarini, M. G.; Gonzalez, L.; Tablada, M. y Robledo, C. W. InfoStat versión 2019. Centro de Transferencia InfoStat, FCA, Universidad Nacional de Córdoba, Argentina. URL http://www.infostat.com.ar

Gault, F. Defining and measuring innovation in all sectors of the economy. Research Policy, 2018, 47(3), 617–622.

Johnson, R. & Wichern, D. Applied Multivariate Statistical Analysis. 4º Edición. Prentice Hall. 2007.

Jordan, G. & Segelod, E. Software innovativeness: outcomes on project performance, knowledge enhancement, and external linkages. R&D Management, 2006, 36(2), 127–142.

Keller, S.; Korkmaz, G.; Robbins, C. & Shipp, S. Opportunities to observe and measure intangible inputs to innovation: Definitions, operationalization, and examples. En Proceedings of the National Academy of Sciences, 2018, 115(50), 12638-12645.

Kline, S. J. & Rosenberg, N. An Overview of Innovation. En R. Landau y N. Rosenberg (Eds.) The Positive Sum Strategy: Harnessing Technology for Economic Growth (pp. 275–304). 1986. Washington, DC: National Academy Press.

Koc, T. Organizational determinants of innovation capacity in software companies. Computers & Industrial Engineering, 2007, 53(3), 373-385.

López, A. La reciente literatura sobre la economía del cambio tecnológico y la innovación: una guía temática. I+D. Revista de Industria y Desarrollo, 1998, 1(3).

Miranda, E. y Figueiredo, P. N. Dinâmica da acumulação de capacidades inovadoras: evidências de empresas de software no Rio de Janeiro e em São Paulo. RAE, 2010, 50(1), 75–93.

OCDE y EUROSTAT. Manual de Oslo. Guía para la recogida e interpretación de datos sobre Innovación. 2005. OCDE-EUROSTAT.

OCDE. Manual de Frascati 2002. París: Organización para la Cooperación y Desarrollo Económicos.

OECD/Eurostat. Oslo Manual 2018. Guidelines For Collecting, Reporting And Using Data On Innovation. 4th Edition.

OriginLab End-User License Agreement for Origin 8.6 and/or OriginPro 8.6.

Prihadyanti, D. Innovation quality: basic concept and measurement model. International Journal of Business Innovation and Research, 2019, 18(4), 489-502.

Rajala, R.; Westerlund, M.; Rajala, A. & Leminen, S. Business Models and Value Nets as the Context of Knowledge- Intensive Service Activities in the Software Business. 2004. Helsinki, Finland.

Rejeb, H. B. & Younes, M. A. B. Proposition of a methodological framework for measuring innovation capacity of Tunisian companies. International Journal of Technology, Policy and Management, 2018, 18(2), 89-124.

Romijn, H. & Albaladejo, M. Determinants of innovation capability in small electronics and software firms in southeast England. Research Policy, 2002, 31(7), 1053-1067.

Schumpeter, Joseph A. Capitalismo, socialismo y democracia. Buenos Aires: Ediciones Orbis S.A./Hyspamérica Ediciones Argentina S.A. 1983.

Yoguel, G. y Boscherini, F. La capacidad innovativa y el fortalecimiento de la competitividad de las firmas: el caso de las pymes exportadoras argentinas [Documento de Trabajo No. 71] CEPAL. 1996. Buenos Aires.


Google Scholar Index

Article

Índice de nivel de innovación: su aplicación en empresas de software de distintos tamaños

Publisher:

Ciencia y Técnica Administrativa - CyTA


Version of Record - VoR

Journal: Técnica Administrativa

Volume: 19, Number: 2, Order: 3; [ISSUE:82]

Date of publisher: 2020-04-15

URL: www.cyta.com.ar/ta/article.php?id=190203

License: Atribución 4.0 - Internacional (CC BY 4.0)

© Ciencia y Técnica Administrativa

Registro ISSN:1666-1680


Cita del artículo

Romero, María del Carmen; Álvarez, María Belén; Etcheverría, Silvina (2020). Índice de nivel de innovación: su aplicación en empresas de software de distintos tamaños. Técnica Administrativa. 19(2), 3. http://www.cyta.com.ar/ta/article.php?id=190203


Compartir en redes sociales

Facebook / Twitter /


To send article, send it to the email: editorialcyta@gmail.com

Identify it, in the subject field, with the word: Article

In the body of the email, indicate the following information for each of the authors, name to be quoted, filiation, and email


Técnica Administrativa se encuentra indexada en los siguientes directorios de publicaciones científicas: Scholar Google, DIALNET, ZDB, LATINDEX, WorldCat, Crossref, REBIUN, PURL, Ágora, Miar, BINPAR,entre otros.