# data[].attributes.body
audio

# data[].attributes.attachment_link.title
La Web 3.0 en la Educación - Módulo 2.3- Herramientas de Evaluación 2.0

# data[].attributes.body
texto

# data[].attributes.attachment_link.authors[].name
Universitat Politècnica de València - UPV

# data[].attributes.attachment_link.title
Criterios para evaluar cualitativamente una web | 73/103 | UPV

# data[].attributes.body
video

# data[].attributes.attachment_link.readable_text
Recomendado

Mantener en buen estado un sitio web puede aparentar ser algo bastante complejo, y más aún tenerlo en óptimas condiciones para que podamos sacarle el mayor provecho posible.

Estableciendo KPIs claros y midiendo los objetivos y las conversiones te podrás enfocar en aquello que tiene mayor impacto para tu negocio. Es más fácil escalar una web que está funcionando bien para una audiencia pequeña que intentar cambiar una propiedad establecida. Asegúrate de que todo el mundo involucrado entiende las métricas, prioridades y cómo impactarán en el retorno de la inversión (ROI).

Si definimos y cuidamos una serie de criterios e indicadores de evaluación y teniendo claros los KPIs web que nos interesan, podremos trazar una ruta concreta para verificar que nuestro sitio se mantenga en ascenso.

Te comparto un genial libro de Gemma Muñoz sobre la medición web y también: 5 KPIs (Indicadores clave de desempeño) que considero básicos e imprescindibles en toda estrategia de medición y analítica web:

KPIs de conversión: Mide las conversiones en formularios web.

Cuando hablamos de conversiones web nos referimos a todo cambio de estado de un cliente potencial a través del embudo de marketing de tu negocio, por lo regular este cambio de estado se genera a través del registro de un formulario web.

Lo más importante será tener un sistema que te permita medir eficientemente el nivel de éxito de cada una de tus etapas de conversión: medir suscriptores, interesados, prospectos, clientes y desde luego ventas concretadas. Afortunadamente contamos con herramientas de Google gratuitas para este fin, me refiero a Google Analytics, Search Console y Google Tag Manager.

Para llevar a cabo esta configuración y lograr medir las tasas de conversión (conversion rate) en tu sitio web de manera correcta deberás involucrarte activamente durante el desarrollo de tu sitio web. Es de suma importancia compartir con tu área de desarrollo y marketing los objetivos y visión del negocio para definir en conjunto los formularios y el valor que te genera la medición de estas conversiones.

KPIs de tráfico web: Analiza y mide el tráfico de tu página web.

Analizar nuestro tráfico, al menos mensualmente, pudiera parecer algo fácil y simple; no obstante que es importante considerar varios de sus factores de gran relevancia. Para medir el origen, comportamiento e incluso la personalidad de tus visitantes apóyate de herramientas de pago y gratuitas como Comscore, Piwik, Google Analytics, Hubspot, Woorank, Semrush o Moz. Mientras mejor definido tengas el perfil de tus visitantes, mejor podrás identificar si tu sitio web va por la ruta que buscas y que cambios debes realizar para mejorar tus KPIs.

Otro punto fundamental y que a menudo se malentiende es medir el índice de rebote en función de nuestro tipo de sitio. Mide también el tiempo que se quedan los usuarios en tu portal y los puntos calientes o fríos en cuanto a los clics en pantalla. Todos estos son elementos que puedes incluir en tu lista de KPIs y son de gran ayuda para monitorear los elementos con mejores resultados.

KPIs palabras clave: Define tus palabras clave con una herramienta de planificación y rastrea esas palabras clave con una herramientas de SEO.

Los motores de búsqueda como Google se han convertido en la herramienta de investigación por excelencia de los consumidores actuales.

Primero debes definir las palabras clave con las que tus clientes potenciales y consumidores actuales te están buscando, para ello puedes utilizar herramientas gratuitas como el planificador de palabras clave de Google, Keyword Tool o LSI Graph.

Ya definidas el siguiente paso es rastrear los términos que más visitas y prospectos te generen, resulta un factor importante para poder aprovechar estas rutas y buscar aprovechar la llegada a tu sitio de interesados en ciertos objetivos o palabras clave; lo cual nos permite conocer también intereses recurrentes de nuestros visitantes.

Para rastrear estos términos deberás hacer uso de herramientas de pago como Moz, Semrush, Ahrefs, Majestic, o gratis como Google Search Console o las alternativas que te da Bing.

KPIs velocidad web: Mide la velocidad de tu sitio web a través de herramientas como Test my Site.

Desde plataformas de fácil acceso como Pingdom podemos evaluar la rapidez con la cual se abren nuestros contenidos, con un completo sistema que además de detallarte los elementos que se están llevando demasiado tiempo te dará diversas recomendaciones técnicas para tener un código en buen estado. Una vez que identifiques estas recomendaciones, tu programador web deberá ayudarte a realizar dichos cambios. Que no te engañen, es posible lograr velocidades aceptables en todo sistema de administración de contenidos moderno y es de suma importancia si quieres aumentar tus ventas por medios digitales.

Mantener actualizado tu software y en un nivel óptimo el tamaño de las tablas en tu base de datos, también resulta fundamental; así como un comprobar número mínimo de enlaces rotos, en este sentido el sistema de Google Search Console (antes Webmasters Tools) te ofrece un rastreo bastante completo que además te ayuda a verificar la correcta conectividad con sus sistemas, incluido desde luego el buscador, y la forma en la cual te interpreta.

Conoce cómo te ayuda Google Test My Site a evaluar tu sitio web.

Google Test My Site es la herramienta gratuita más simple de utilizar y que te da una idea de cómo Google interpreta tu sitio web en lo que respecta a tiempos de carga. Pruébalo.

KPIs social media: Mide tu presencia en redes sociales y evalúa si en verdad es un canal que te genera resultados o sólo un gasto adicional.

Considera de igual forma evaluar el nivel de crecimiento en las diversas redes sociales que utilices, no sólo en cuanto a seguidores, sino también en cuanto a su interés en tu sitio, es importante que tu plataforma te ayude tanto a proyectar cualidades de tus redes, como que tus redes sociales lleven tráfico de calidad a tu sitio y personas a la cadena de objetivos de tu embudo de marketing.

¿Cómo comenzar y hacer que los KPIs trabajen para ti?

Asegúrate de que tu herramienta de analítica está configurada correctamente y que tiene establecido el seguimiento de objetivos específicos (por ejemplo, completar una compra o enviar una dirección de correo) y la conversión para cada objetivo.

Esto te permite seguir el progreso de los visitantes de cada web paso a paso hacia cada objetivo, utilizando un embudo para ver este progreso e identificar los pasos que causan las mayores pérdidas de usuarios.

Así puedes priorizar tu diseño, contenido y esfuerzos de marketing buscando mejorar los ratios de conversión, mejorar las áreas que causan fricciones y reducir la inversión en canales que no están funcionando.

Ahorra tiempo utilizando paneles de control personalizadas para tener todas tus métricas clave en una sola pantalla.

Presta atención a estos factores y mide el aporte y costo que genera tu sitio respecto al retorno de inversión (ROI: Return of Investment) de tu sistema de marketing. Podrás mantener una ruta definida que te oriente rumbo a un crecimiento digital más claro y mejor controlado.

# data[].attributes.attachment_link.title
KPIs y criterios para evaluar un sitio web - Inbound México

# data[].attributes.attachment_link.description
Mantener en buen estado un sitio web puede aparentar ser algo bastante complejo, y más aún tenerlo en óptimas condiciones para que podamos sacarle el mayor provecho posible. Estableciendo KPIs claros y midiendo los objetivos y las conversiones te podrás enfocar en aquello que tiene mayor impacto para tu negocio.

# data[].attributes.headline
Metodología de análisis y evaluación de sitios web

# data[].attributes.subject
Metodología de análisis y evaluación de sitios web

# data[].attributes.body
texto

# data[].attributes.attachment_link.readable_text
Citado por SciELO

Similares en SciELO
ARTÍCULO DE INVESTIGACIÓN Metodología de análisis y evaluación de sitios web 2.0. El caso de las Diócesis Andaluzas Methodology of analysis and evaluation of websites 2.0. The case of the Andalusian Dioceses Jiménez Carreira, M.¹ y Álvarez Marcos, J.²
¹ Doctor en Periodismo por la Universidad de Sevilla y Licenciado en Teología por la Facultad de Teología de Granada. Es director espiritual del Seminario Menor de Sevilla y colaborador en la Delegación de Medios de la Archidiócesis de Sevilla. manjimcar@alum.us.es

² Doctor en Periodismo y Profesor Titular de Tecnologías de la Información Periodística, Ciberperiodismo y Comunicación Institucional en el departamento de Periodismo de la Facultad de Comunicación de la Universidad de Sevilla. jmarcos@us.es
RESUMEN
La acelerada evolución del ciberespacio y la volatilidad tanto de los sitios web como de los medios online requiere una permanente adecuación de las técnicas y de los métodos de estudio. Hemos desarrollado un nuevo modelo de análisis, unificando propuestas anteriores y completándolo con un sistema de validación de resultados contrastado. Afrontamos la investigación desde una perspectiva global y en consonancia con la Web 2.0 y los medios sociales.
Para ello partimos del Website Communication Model (WCM), desarrollado por Juan Narbona, que analiza los sitios webs utilizando cuatro pilares: contenidos y servicios, instrumentos técnicos, promotores y visitantes. Dicho modelo, válido para la Web 1.0, fue actualizado por Daniel Arasa en el Online Communication Model (OC M), que añade un quinto pilar para contemplar los medios sociales. y para completarlo nos apoyamos en un sistema de medición cuantitativa tan contrastado como el Sistema Articulado de Análisis de Cibermedios (SAAC).

Palabras clave: ciberespacio; análisis de cibermedios; comunicación digital; diseño web; metodología y Web 2.0.
ABSTRACT
The rapid cyberspace evolution and the volatility of both, websites as well as online media requires an ongoing education of the technique and study methods. We have developed a new model of analysis, unifying previous designs and completing it with a contrasted results validation system. We confront this query from a global perspective and in line with Web 2.0 and social media.
For this we start from the Communication Model Website (WCM), developed by Juan Narbona, which analyzes websites using four pillars: content and services, technical instruments, promoters and vísítors. This model, valid for Web 1.0, was updated by Daniel Arasa in the Online Communication Model (OCM), which adds a fifth pillar to contemplate social media Also take into account we lean on a quantitative method measurement system the Sistema Articulado de Análisis de Cibermedios (SAAC), for further validation.

Keywords: cyberspace; cybermedia analysis: digital communication; web design; methodology and Web 2.0.
1. Introducción
En las dos últimas décadas autores e instituciones han propuesto modelos para analizar y evaluar aspectos particulares del contenido y diseño de un sitio web, de su efectividad o de las expectativas de los usuarios. Algunos de estos estudios se aplican al análisis de cibermedios, poniendo el énfasis en el diseño y en la usabilidad. Otros modelos están más centrados en la evaluación de la calidad de la información del sitio web, como aquellos utilizados en sitios de ámbito científico. U no de ellos es el BRACARD, propuesto por Marina Jiménez y Virginia Ortiz-Repiso (2007). Estas siglas se corresponden con el nombre de los cinco criterios básicos utilizados en el modelo: Búsqueda y recuperación de información, Autoridad, Contenido, Administración y Diseño.

Barroso Huertas (2007: 146) señala cuatro conceptos básicos en el diseño web, que articulan tanto contenidos como características técnicas y enlazan las expectativas de los emisores con las de los visitantes: arquitectura de la información, navegabilidad, usabilidad y diseño de la información. Por su parte, Ramón Salaverría (2005: 28) fija las principales características de la comunicación digital en Internet: hipertextualidad, multimedialidad e interactividad. A las que Parra y Álvarez (2004) agregan la universalidad o trasnacionalidad de la información y, finalmente, la acumulabilidad de los datos.

López Carcía (2005) y otros autores hacen una clasificación según lo que entienden como "nivel de dinamismo de los medios en línea", lo cual explican de esta manera: "El concepto de dinamismo, inherente a los elementos definitorios del periodismo digital, alude al grado de aprovechamiento que los nuevos medios hacen de las posibilidades que ofrece el soporte en línea -aplicación de técnicas hipertextuales, multimedia e interactivas y frecuente actualización". Resulta operativo, pues, determinar el nivel de dinamismo de un cibermedio -algo que se puede hacer extensivo a todos los sitios webs- a partir del grado de adecuación que alcanzan estos cuatro indicadores: hipertextualidad, multimedialidad, interactividad y frecuencia de actualización.
2. Objetivos
Pensamos que la Iglesia, como organización social destacada en la actualidad en España y en Andalucía, debería moverse por los mismos parámetros comunicativos que otras organizaciones sociales, políticas o económicas. En concreto, debería hacer un uso de Internet similar al que realizan otras organizaciones para establecer una comunicación fluida con sus públicos y utilizarlo también como una herramienta de comunicación interna.

Sin embargo, nuestra hipótesis de partida es que la Iglesia no es una institución de vanguardia en el uso de Internet en España. Al contrario, se sitúa más bien en la retaguardia a pesar de su relevancia social, porque posiblemente no dediquen los recursos humanos y económicos necesarios, o falta ingenio e innovación.

Nuestro estudio lo circunscribimos a la Iglesia Católica en Andalucía (España), dividida en diez diócesis o delimitaciones administrativas, para comprobar cómo se materializan las relaciones entre Iglesia e Internet. Para ello hicimos un análisis detallado de los sitios webs de los 10 obispados andaluces, deteniéndonos en iniciativas destacadas como los canales multimedia y las redes sociales.

Nuestra investigación persigue los siguientes objetivos:

1. Proponer un modelo de análisis válido para las herramientas cibernéticas diocesanas, que tenga en cuenta las relaciones entre el entorno corporativo (website) y el entorno público (medios sociales).

2. Establecer las dimensiones de la relación entre Iglesia e Internet, observando las diferencias de la Iglesia respecto a otros actores en el panorama comunicacional.

3. Estudiar la composición, tareas y rutinas de trabajo de las delegaciones diocesanas de medios de Andalucía.

4. Hacer un análisis de los sitios webs institucionales de las diócesis andaluzas y de la presencia en medios sociales, para llegar a tener una visión descriptiva de la situación del uso de esta herramienta, comprobando las virtualidades y las carencias.

5. Establecer un ranking de los sitios webs diocesanas de Andalucía en función de parámetros cuantificables.

3. Metodología
Utilizamos la metodología del estudio de casos múltiples, basándonos en las experiencias y recomendaciones de autores como Yin (1998), Coller (2000), Caro González (2002), Stake (2010) y Grandon Gill (2011). El estudio de casos tiene una amplia tradición en las ciencias sociales, desde que Le Play publicara su investigación Les Ouvries Europeenns en 1855, considerado el primer trabajo sociológico genuinamente científico. La metodología que empleó fue denominada, a posteriori, estudio de casos. Este método, como nos recuerda Coller (2000: 22-23) fue relevante en el proceso de configuración de la Sociología como disciplina científica, tal y como se aprecia en la obra de dos de sus padres fundadores: Max Weber, en La ética protestante y el espíritu del capitalismo (1904/5) y Durkheim, en Las formas elementales de la vida religiosa (1912).

Para algunos autores, como Fernández Cano (2002), el método del caso es una aportación de los jesuitas, que ya lo empleaban en el siglo XVI. A veces, el maestro de casos los compilaba y agrupaba formando lo que se vino a llamar Collationes casuum (Casos comparados). Un concepto semejante al de casos múltiples, que utilizamos en nuestra investigación.

Según Yin (1998: 23), "un estudio de casos es una investigación empírica que investiga un fenómeno contemporáneo en su contexto real, donde los límites entre el fenómeno y el contexto no se muestran de forma precisa, y en el que múltiples fuentes de evidencia son usadas". Coller (2000: 29) define 'caso' de la siguiente manera: "Un caso es un objeto de estudio con unas fronteras más o menos claras que se analiza en su contexto y que se considera relevante bien sea para comprobar, ilustrar o construir una teoría o una parte de ella, bien sea por su valor intrínseco. (...) Cualquier objeto de naturaleza social puede construirse como caso".

El estudio de casos se basa en el razonamiento inductivo. Las generalizaciones y teorías surgen a partir del examen minucioso de los datos. Se parte del análisis cualitativo de uno (caso único) o de distintos casos (casos múltiples) para hacer más adelante una generalización y una interpretación de la que se obtengan conclusiones. Aunque también se cuenta con un componente deductivo al beber de leyes o teorías generales existentes sobre la materia.

Según Caro González (2002: 32), "en el diseño de casos múltiples se utilizan varios casos únicos a la vez para estudiar la realidad que se desea explorar, describir, explicar, evaluar o modificar". Este método permite comparar y contrastar las respuestas que se obtienen de forma parcial con cada caso que se analiza. Es lo que Yin (1998: 23) denomina "replicación lógica": los casos son tratados como una serie de experimentos y cada caso sirve para confirmar o negar las inferencias aportadas por los demás o las perspectivas conceptuales emergentes. El estudio de casos múltiples puede ofrecer una visión más completa y contrastada de la realidad.

En cuanto al número de casos que deben estudiarse para llegar a conclusiones óptimas y válidas desde el punto de vista científico, Eisenhardt (1989: 545) recomienda seleccionar entre cuatro y diez casos. Un número inferior a cuatro dificultaría la generación de conclusiones globales y con más de diez se excedería la función de réplica que pide el método, dando en algunos casos información redundante.

Trabajamos con 10 casos semejantes o "paralelos" (por utilizar la terminología de Coller), relativos a cada una de las diócesis de la comunidad española de Andalucía: Almería, Cádiz y Ceuta, Córdoba, Granada, Guadix-Baza, Huelva, Jaén, Asidonia-Jerez, Málaga y Sevilla. La principal contribución de nuestro trabajo de investigación (Jiménez Carreira, 2016) fue la elaboración de una metodología de análisis válida para sitios webs diocesanos, pero también para sitios de cualquier ámbito. Para ello, nos basamos de entrada en el Website Communication Model (WCM), desarrollado por Daniel Arasa (2008). Este autor analiza los sitios webs utilizando cuatro pilares: contenidos y servicios (1), instrumentos técnicos (2), promotores (3) y visitantes (4).

Dicho modelo lo completamos con las propuestas de la red de investigación hispano-brasileña liderada por los profesores Marcos Palacios y Javier Díaz Noci (2009). Ambos autores hicieron una propuesta de análisis de cibermedios, basándose en cuatro elementos definitorios de la comunicación digital: la hipertextualidad, la multimedialidad, la interactividad y la frecuencia de actualización.

Establecieron tres metodologías para el análisis de los cibermedios: la primera es descriptiva, mediante una ficha de análisis (con cuatro pilares: contenidos, accesibilidad e investigación, disposición de elementos y análisis de elementos); la segunda interroga al grupo de expertos que rodean la web; la tercera se compone de estudios centrados en la audiencia. De la fusión entre ambos modelos, elaboramos una ficha de análisis que fue la guía en nuestra investigación.

Para completar el modelo de Narbona y Arasa (2015) con un sistema de medición cuantitativo, nos apoyamos también en el método introducido por el grupo de investigación de Documentación Digital DigiDoc, de la Pompeu Fabra. Este método, diseñado por Linares, Codina y Pedraza (2014) se denomina Sistema Articulado de Análisis de Cibermedios (SAAC). "Consiste en un grupo de conceptos, presentados a través de una propuesta terminológica con creta, y por un grupo de elementos articulados que nos permiten llegar a lo que llamamos el qué (parámetros) y el cómo (indicadores) de cualquier futuro estudio sobre ciberrnedios'',

Los parámetros, según los creadores del SACC, responden a la pregunta sobre qué queremos estudiar y son el marco que garantiza la coherencia de un estudio. Constituyen la dimensión de un cibermedio sobre la que deseamos realizar algún tipo de análisis o de medición. Los parámetros presentan una característica eminentemente conceptual.

Por su parte, los indicadores responden a la pregunta sobre cómo vamos a medir los parámetros. Son, por tanto, elementos de análisis y de toma de decisión que facilitan la recogida de datos sobre la instanciación y la calidad de un parámetro.

El análisis de cibermedios, desde la delimitación de parámetros e indicadores, permite un estudio más o menos neutro de un único website y también realizar comparaciones entre varios cibermedios. Este método nos valió para identificar y fijar los elementos de análisis en los sitios webs diocesanos y para establecer pautas contrastables de evaluación.

Las ventajas que nos ofrecía el SAAC en nuestra investigación eran la de plasmar las pautas del OCM en una tabla de análisis (donde los parámetros se corresponden con los cinco pilares del modelo), y también su perfecto encaje con las disposiciones del estudio de casos múltiples.

Además, la tabla de protocolo de análisis del SAAC contempla una valoración cuantitativa. Así, en cada website analizado se pueden puntuar -siguiendo unas directrices concretas- todos los indicadores y parámetros, de manera que es posible otorgarle una puntuación global a cada caso. De este modo, llegamos a un ranking comparativo de todos los casos.
4. Del Website Communication Model (WCM) al Online Communication Model (OCM)
El Website Communication Model (WCM) es un marco de trabajo comprensivo para analizar la comunicación a través de sitios webs. Este modelo parte de unas intuiciones básicas sobre la construcción y el uso de un portal web, donde se aúnan: contenidos y servicios (1), instrumentos técnicos que permitan usar esos contenidos y servicios (2), promotores y encargados de realizar y mantener el website (3) y visitantes (4). Nos encontramos, por tanto, con elementos físicos (1 y 2) y humanos (3 y 4). Este modelo se corresponde con el sugerido por Jakobson (2002) para la comunicación en general, en aplicación a la comunicación cibernética.

Estas cuatro dimensiones tienen que ser estudiadas por separado, dada su complejidad, y también desde las relaciones que se establecen entre unas y otras. Según Van der Geest (2001), conseguir calidad en Internet requiere un profundo conocimiento del medio y una gran habilidad en aspectos técnicos y no técnicos de la comunicación, es decir, un conocimiento natural de las diferentes dimensiones de la Web. Estas dimensiones se corresponden con cada uno de los pilares del WCM.

Sin embargo, el WCM quedó ligado a un tipo de comunicación web 1.0, unidireccional, que no se corresponde con el desarrollo actual de la web. Así lo afirma Narbona, quien ha desarrollado el Online Communication Model a partir del Website Communication Model: "El modelo fue propuesto en el contexto tecnológico conocido como web 1.0, en el que, aunque los websites utilizaban un lenguaje multimedia, la comunicación era principalmente unidireccional. Si el concepto de red (internet) exige el entretejimiento de una relación recíproca entre agentes, podemos afirmar que en esta etapa inicial la World Wide Web no respetaba su propia naturaleza, ya que no existía esa reciprocidad" (2015: 115).

Desde que se propuso el WCM, Internet ha sufrido una rápida evolución, especialmente en interactividad y multimedialidad. Dejado atrás el modelo unidireccional de Web 1.0, se ha consagrado el de la Web 2.0, donde los protagonistas son los usuarios y las relaciones que se establecen entre ellos. Las webs institucionales se han trasladado a otros entornos 2.0, donde los canales de comunicación se han multiplicado. Por este motivo, el OCM tiene en cuenta no solo el entorno corporativo, sino también el público, el de los medios sociales (redes sociales, blogs y comunidades de contenido). De este modo, a los cuatro pilares del WCM se les ha añadido un quinto, que comprende el entorno público. A continuación nos adentramos en cada uno de estos pilares.
PILAR I. Contenidos y servicios
Se entiende por contenido el conjunto de textos, fotografías, videos y otros elementos que pueden ser interpretados por el usuario en un sitio web. Los servicios, en cambio, lo asisten en su navegación, facilitándole el acceso a los diferentes contenidos o permitiéndole llevar a cabo una acción determinada. Muchos servicios son ya un contenido interpretable, por lo que ambos elementos se pueden presentar entrelazados.

De los contenidos y servicios depende, en gran parte, la calidad del sitio web. Alexander y Tate (1999) distinguen cinco claves para evaluar el contenido y los servicios: autoridad, precisión, objetividad, actualidad y cobertura.

1. Autoridad. Se refiere a la cualidad que tiene el material creado por una persona u organización que es reconocida con conocimiento en un área determinada.

2. Precisión. Se refiere a la medida en que la información es de confianza y está libre de errores.

3. Objetividad. La información no es tendenciosa ni expresa intereses personales.

4. Actualidad. En Internet es básico este criterio.

5. Cobertura. Depende de qué se quiere comunicar, a quién y cómo.

PILAR II. Herramientas de accesibilidad. Instrumentos técnicos que permiten el acceso a estos contenidos y servicios
Técnicamente, un sitio web es el resultado de combinar aplicaciones de software. Muchos elementos pueden ser incluidos en el pilar de los instrumentos técnicos, desde los elementos del hardware (como las conexiones necesarias para acceder a los sitios web) a los elementos que dependen de la programación, como los gráficos, diseño, etc.

Según los creadores del OCM, hay que tener en cuenta cuatro herramientas de accesibilidad en un sitio web: hardware, software, conexiones de red e interfaz visual. Aquí es relevante el concepto de usabilidad, que debe estudiarse desde todos los grupos de personas que se relacionan con un sitio web. La usabilidad, en el marco del OCM, se define como una correcta relación entre los contenidos y servicios (pilar I), los instrumentos técnicos (pilar II) y los objetivos de los stakeholders (promotores, pilar III y usuarios, pilar IV).
Pilar III. Grupo de personas que promueve, produce y actualiza la página web (promotores y gestores)
Después de estudiar en los dos primeros pilares los elementos físicos del proceso comunicativo, en el III y en el IV nos detenemos en los elementos humanos o stakeholders que interaccionan en este proceso. Hay dos tipos de stakeholders en un website: aquellos que usan los servicios y contenidos (visitantes) y los que pueden influir en las decisiones de un proyecto web (directores/técnicos).

En el tercer pilar, el modelo de estudio sitúa al grupo de personas responsable de un portal web, que "planifica, crea, mantiene, actualiza, dirige, promueve e interactúa con los visitantes" (Arasa, 2008; 189). Representan a los stakeholders que tienen responsabilidad, de los que se pueden identificar varios tipos:

1. Clientes. Son los stakeholders que toman la iniciativa de desarrollar el sitio y financiar su desarrollo, promoción y mantenimiento.

2. Stakeholders que toman decisiones. A ellos les corresponde la toma de decisiones sobre la política comunicativa de la institución y, en concreto, sobre el website.

3. Expertos. Son los stakeholders cuyo trabajo está relacionado con la producción de contenidos, servicios yel contexto del portal. En ocasiones se contratan sus servicios.

4. Equipo de desarrollo. Son los stakeholders envueltos directamente en el análisis, proyecto, diseño, evaluación y mantenimiento de la web. Se llaman también webmasters.

PILAR IV. Grupo de personas que accede al website (usuarios)
Las personas que visitan un portal web, que interactúan con sus contenidos y servicios, forman también parte del mismo. Hay que identificar dos cuestiones:

1. ¿Quién es el público objetivo? ¿A quién va dirigida la comunicación?

2. ¿Quién puede tener interés en visitar el sitio?

Estas preguntas delimitan los dos tipos de usuarios: el público a quien la entidad se quiere dirigir y el público interesado en comunicarse con la entidad. Los públicos del website pueden ser internos (ligados al organigrama de la institución) o externos.

La analítica web ofrece herramientas, como Google Analytics, para comprobar el uso que los visitantes hacen de los contenidos y servicios de Internet: número de páginas vistas, número de visitas, número de visitantes únicos, páginas de origen que han remitido a la web, palabras clave usadas en los motores de búsqueda para acceder a la página web, tiempo de permanencia, áreas geográficas de procedencia, etc.
PILAR V. Entorno público (Social Media)
En el entorno público hay que analizar los principales canales de información de la Web 2.0: redes sociales, blogs y comunidades de contenido. En estos canales, consideramos aquellos que tienen un respaldo institucional, y los analizamos según el modelo propuesto.

Según Juan Narbona (2013; 189), las instituciones utilizan estas herramientas con tres objetivos: persuasión, usabilidad e interactividad. Cada uno de estos niveles se corresponde con uno de los pilares del modelo de análisis OCM: persuasión (I), usabilidad (II) e interactividad (III).

El primer pilar se refiere a la capacidad persuasiva de los contenidos y servicios. Los promotores deben adaptar los contenidos y los servicios al nuevo entorno de comunicación 2.0, que no se guía por los mismos patrones que la comunicación 1.0. El segundo pilar contempla la usabilidad de las herramientas de acceso. En el siguiente nivel se unifican los pilares III y IV del OCM para conocer el alcance de la interactividad que mantienen los dos agentes, ya que, en el entorno público, los promotores y los usuarios son, a la vez, tanto productores como consumidores de la información.
5. Tabla de protocolo de análisis
Los cinco pilares del OCM los concretamos y adaptamos en una tabla ajustada a las necesidades de nuestra investigación. Para la creación de nuestra tabla de protocolo recurrimos también, como indicamos anteriormente, el Sistema Articulado de Análisis de Cibermedios (SMC).

Este método es el que nos permitió la creación de una ficha sistemática, denominada por sus creadores tabla de protocolo de análisis: "Es el instrumento principal de trabajo del SMC. Consiste en una tabla en la cual cada fila corresponde a un indicador. Mediante las columnas, se asignará un comentario y una puntuación a cada indicador, previéndose también la toma de datos u observaciones para cada indicador" (Linares, Codina, y Pedraza, 2015: 12).

Para el SAAC corresponde al investigador la tarea de fijar los indicadores dentro de los parámetros que quiere estudiar, algunos de los cuales serán comunes a otros ámbitos temáticos cibernéticos, mientras que otros serán específicos para la evaluación que se está realizando.

Los parámetros responden a la pregunta ¿qué queremos evaluar? Los sitios webs representan una amplia variedad de géneros (cibermedios, sitios de empresa, publicaciones en línea, directorios, bases de datos, portales institucionales ...), cada uno de los cuales, para ser evaluado, requiere parámetros específicos. Nosotros tomamos como parámetros de la ficha de análisis los cinco pilares del Online Communication Model. Una vez definida la lista de parámetros, tenemos que saber cómo medirlos, cómo comprobar su eficiencia en el sitio web considerado. Aquí intervienen los indicadores.

Los indicadores responden a la pregunta ¿cómo evaluamos ese parámetro? En la delimitación de la ficha hay que realizar una identificación y selección de indicadores. Habitualmente, cada parámetro genera varios indicadores.

Para cada uno de ellos, según Lluís Codina (2008), hay que delimitar los siguientes elementos:

Definición: presentación del indicador.

Examen: pregunta o preguntas que debe hacerse el analista para adoptar decisiones sobre la calidad del indicador.

Ejemplos: aclaraciones o ejemplos de recursos digitales que ayuden a entender cómo evaluar el indicador.

Procedimiento y evaluación del indicador y puntuación.

Para la identificación y selección de indicadores, Lluís Codina propone una sencilla metodología, que seguimos para confeccionar nuestra tabla de protocolo de análisis, y que resumimos a continuación en la siguiente tabla:

Comprobamos que la identificación y selección de indicadores se basa, fundamentalmente, en la observación del investigador, que se apoya en los parámetros globales de análisis dados y en las aportaciones de otros autores que ya han hecho un recorrido en esta materia. Estos son los pasos que hemos seguido en nuestra investigación, y que han dado como resultado la tabla de protocolo de análisis que resumimos a continuación. En dicha tabla (que es fundamentalmente descriptiva) aún no se contemplan los procedimientos de evaluación, que detallamos de forma más precisa en una tabla de valoración, en la que se seleccionan los indicadores evaluables y se indica la forma de puntuación.
6. Valoración cuantitativa
El modelo de análisis desarrollado se completa con una valoración cuantitativa de los parámetros e indicadores, siguiendo las directrices del Sistema Articulado de Análisis de Cibermedios (SAAC). La tabla de protocolo de análisis confeccionada desde el Online Communication Model (OCM) contempla también, para cada indicador, una puntuación -junto con la explicación del procedimiento de puntuación seguido-, que nosotros hemos querido desligar para crear una nueva tabla, denominada tabla de valoración cuantitativa.

El SAAC delimita cómo calcular la puntuación de cada indicador, según este sea molecular o binario (Codina, 2008b; 22):

Los indicadores moleculares son aquellos cuya evaluación se hace mediante una escala, que puede te ner una puntuación de 0 a 3. Según los creadores de este sistema, el 0 se correspondería con "error grave en el indicador", ell con un "error", el 2 con "correcto, pero mejorable" y el 3 con "excelente". En esta valoración se deja en manos del investiga dor, en el que influye su experiencia como usuario.

Los indicadores binarios son aquellos que se corresponden únicamente con una respuesta de sí o no. La puntuación en estos casos es de 0 a 1, donde el 0 representa el incumplimiento del indicador y el 1 el cumplimiento.

La suma de las puntuaciones máximas de los indicadores muestra la puntuación máxima de cada parámetro, que nos dará una idea de la importancia que cada pilar tiene en el OCM. La suma de las puntuaciones de los parámetros indica la puntuación máxima que puede alcanzar un website, y que nos lleva a establecer la puntuación global. Esta se obtiene dividiendo el total de puntos entre el número de indicadores que se han implicado en la tabla de valoración. Así, en nuestra tabla, la puntuación total (de todos los parámetros) es de 140. Al contar con 70 indicadores, la puntuación global es de 2.

En cada website hemos hecho la suma de las puntuaciones de los indicadores y de los parámetros, que nos ha dado la puntuación total. Al dividirla entre 70, obtenemos la puntuación global para cada website, que nos permite establecer el ranking entre los diez casos analizados. Una puntuación global por encima de 1 indica que se está haciendo un trabajo correcto en el website (haciendo una comparación académica, tendría una nota de aprobado); por el contrario, una puntuación por debajo de 1 indica que el sitio debería someterse a una renovación (estaría suspenso). Por encima de la puntuación 1,5 estamos ante sitios sobresalientes.
7. Resultados
Completadas las tablas de valoración de las 10 diócesis andaluzas, siguiendo la forma de puntuación propuesta, elaboramos la siguiente tabla de valoración final, que recoge las puntuaciones por parámetros, totales y globales registradas en enero de 2016.

Comprobamos que en la puntuación global hay cinco diócesis que se sitúan por encima del 1 (estarían aprobadas), mientras que otras cinco están por debajo del 1 (suspensas). Las tres mejores puntuaciones corresponden a Málaga (1.54), Sevilla (1.47) y Córdoba (1.43).

Tras estas tres diócesis, las siguientes se sitúan a bastante distancia. Aprobadas solamente hay dos más: Cádiz (1.19) y Granada (1.06). Almería roza el 1 (0,96). Jaén (0,84) y Huelva (0,83) tienen puntuaciones similares, al igual que las dos diócesis en la cola del ranking: Jerez (0,77) y Guadix (0,76).

Esta metodología de análisis, válida para cualquier conjunto de sitios web y cibermedios, podría completarse con un estudio de madurez digital de las instituciones o corporaciones responsables de estos canales de comunicación. Para ello, Martin Gill (2016) nos propone una serie de herramientas interactivas que miden las dimensiones que con figuran dicha madurez, como la Intensidad Digital y la Intensidad en la gestión de la transformación. La Intensidad Digital es la inversión en iniciativas de corte tecnológico, con el objetivo de cambiar la forma de trabajar de la institución o empresa. Mientras que la Intensidad de la gestión de la transformación, consiste en crear capacidades de liderazgo para llevar a cabo la transformación digital de la organización.
8. Conclusiones
Los principales documentos eclesiales de los últimos años sobre la comunicación en la Iglesia han enfatizado mucho la necesidad del uso de las herramientas cibernéticas 1.0 y 2.0 por parte de todos los organismos eclesiales, aunque estas indicaciones no siempre se llevan a la práctica. Quizá, el ámbito de la comunicación sea uno de los más atendidos por la Iglesia en su Magisterio. Sin embargo, esta relevancia teórica no se corresponde con una realización práctica esperable.

En el caso del uso de Internet, habiendo tomado los casos representativos de las diócesis andaluzas, comprobamos cómo hay un atraso destacado a la hora de poner en marcha iniciativas que ya han pretendido impulsar el Papa Francisco (por ejemplo, en la comunicación vaticana) o los obispos, y que de hecho se utilizan con normalidad en otros ámbitos institucionales (sociales, políticos, económicos, etc.).

En general, detectamos una falta de medios económicos y humanos en las delegaciones de medios de Andalucía. Un 40 por ciento no cuenta con el presupuesto ni con el número de profesionales adecuado (aunque hay diferencias según las diócesis). Solamente seis delegaciones contemplan una partida anual fija en los presupuestos diocesanos (Cádiz y Ceuta, Córdoba, Guadix, Huelva, Málaga y Sevilla), y esta suele ser baja. Hay tres casos en los que no hay ningún trabajador externo en la delegación aparte del delegado (Almería, Guadix y Asidonia-Jerez). En la mitad de ellas (Almería, Córdoba, Guadix, Jaén y Sevilla), el delegado es un sacerdote que tiene que compaginar este puesto con otras muchas tareas pastorales. Podemos decir que sólo la mitad de las diócesis (Córdoba, Granada, Jaén, Málaga y Sevilla) dispone de un equipo de trabajo consolidado, de tres o más profesionales en la delegación.

Hay diferencias significativas en el funcionamiento y composición entre las distintas delegaciones de medios de Andalucía, que se corresponden con el volumen poblacional de las diócesis y su dotación de recursos. Las cinco diócesis más pobladas de Andalucía son, por este orden: Sevilla, Málaga, Córdoba, Granada y Cádiz. Málaga y Córdoba son las que cuentan con un equipo más numeroso en la delegación de medios, y también, junto con Sevilla, son las que más iniciativas cibernéticas llevan adelante. Por el contrario, las cinco diócesis menos pobladas -que tienen, por tanto, menos recursos- son las que tienen unas delegaciones más pequeñas, con menos medios económicos y humanos.

Según el ranking obtenido tras la aplicación de la tabla de valoración cuantitativa (tablas 3 y 4), las cinco diócesis en cabeza (las que han conseguido una calificación de aprobado) son las que tienen un mayor volumen de población y recursos, mientras que las cinco diócesis que se sitúan en la parte baja de la clasificación (las suspensas) son las más pequeñas. El podio (al que se han subido Málaga, Sevilla y Córdoba) está ocupado por las tres diócesis más grandes.

Las diferencias son importantes, de hasta casi un punto entre el caso mejor valorado (Málaga: 1,54 puntos) y el peor (Guadix: 0,76 puntos). Sin embargo, no podemos absolutizar los datos de tamaño de las diócesis y de sus recursos como motivo determinante de las variaciones. Las que más puntuación han recibido son aquellas que más trabajan los aspectos de actualización.

Aunque la mayoría de las diócesis estudiadas está presente en los canales más usuales (Facebook, Twitter y YouTube), los perfiles no están actualizados en muchos casos a un ritmo deseable, ni guardan una relación estrecha a nivel gráfico, temático o relacional con el website (falta unidad en cuanto a imagen institucional, hay poca presencia de enlaces o widgets en el sitio, unidad de contenido guardando la especificidad comunicativa de cada canal -generalmente, solo se publican enlaces a artículos del sitio-, etc.).

Por lo general, el nivel de interactividad que hemos detectado en nuestro análisis es muy básico: la mayoría de los sitios webs permite únicamente recibir feedback de los usuarios mediante correo electrónico; en ninguno de los casos hay posibilidad para foros, chats o encuestas (solamente Málaga permite comentarios de los lectores a los artículos) .

Por tanto, es imprescindible para la Iglesia por su identidad y por su misión, potenciar el uso de Internet. Un ámbito idóneo para hacerlo lo conforman las delegaciones diocesanas de me dios, a través de sus portales institucionales y a través de otras iniciativas cibernéticas que en la Iglesia andaluza han comenzado a ponerse en marcha, teniendo aún por delante un camino largo que recorrer.
Bibliografía
Alexander, J.E. Y Tate, M.A. (1999). Web wisdom. How to evaluate and create information quality on the web. Mahwah (NJ): Lawrence Erlbaum Associates

Arasa, Daniel (2008). Church communications through diocesan websites. Roma: Edusc. [ Links ]

Barroso Huertas, O. (2007). Nuevas tendencias en el diseño de sitios web corporativos. Madrid: Universitas. [ Links ]

Caro González, F.J. (2002). Cambio en innovación en la empresa informativa. Universidad de Sevilla. [ Links ]

Codina, Lluis (2008a). Evaluación de calidad en sitios web: metodología de proyectos de análisis sectoriales y de realización de auditorías. Barcelona: UPE [ Links ]

Codina, Lluis (2008b). Sistema general de análisis y evaluación de sitios web. Parámetros e indicadores. Barcelona: UPE Recuperado: http://www.lluiscodina.com/wp-content/uploads/2014/04/indicadores_2008.pdf. [ Links ]

Codina Ll, Díaz Noci, J. y otros (2014). Sistema Articulado de Análisis de Cibermedios (SAAC). Una propuesta sobre el qué y el cómo para estudiar medios de comunicación digitales. Hipertext.net [online], 2014, Núm. 12. DOI: 10.2436/20.8050.01.13

Coller, X: (2000). Estudio de casos. (Cuadernos metodológicos, 30). Madrid: CIS. [ Links ]

Boyd R. Collins y Eileen Flick (2009). Infofilter: Making sense of the internet. New Review of Information Networking, 1:1,203-207, DOI: 10.1080/13614579509516861 [ Links ]

Fernández Cano, Antonio (2002). La casuística: Un ensayo histórico-metodológico en busca de los antecedentes del estudio de caso. Arbor CLXXI, 675 (marzo), pp. 489-511. [ Links ]

Eisenhardt, K. (1989). Building theories from case study research. The Academy of Management Rewiew [en línea]. Vol. 14, núm. 4, pp. 532-550. [ Links ]

Gill, Martin (2016). The Digital Maturity Model 4.0 Interactive Tool. Recuperado de: https://www.forrester.com/report/The+Digital+Maturity+Model+40+Interactive+Tool/-/E-RES117661 [ Links ]

Grandon Gill, T. (2011). Informing with the Case Method. Santa Rosa (CA): Informing Science Press.

Jakobson, R. (2002). Saggi di linguistica generale. Milano: Feltrinelli [ Links ]

Jiménez, M., y Ortiz-Repiso, V. (2007). Evaluación y calidad de sedes web. Gijón: Trea. [ Links ]

Jiménez Carreira (2016). El uso de Internet en las diócesis andaluzas. (Tesis doctoral). Universidad de Sevilla. Disponible en: https://idus.us.es/xmlui/handle/11441/39455. [ Links ]

Linares, J., Codina, Ll. y Pedraza, R., (2015). Interactividad en cibermedios. Propuesta nuclear de protocolo de análisis. Barcelona: Grupo de Investigación DigiDoc. Recuperado de: http://www.upf.edu/digidoc/_pdf/protocolo_interactividad_2015.pdf. [ Links ]

López García, X (2005). Tipología de los cibermedios. En Salaverría, R. (coord.). Cibermedios. El impacto de Internet en los medios de comunicación en España (pp. 39-81). Sevilla: Comunicación Social. [ Links ]

Narbona, J. (2013). Comunicación online de las organizaciones humanitarias sin ánimo de lucro. (Tesis doctoral). Facultad de Comunicación Social de la Universidad de la Santa Cruz, Roma.

Narbona, J. y Arasa, D (2015). The Online Communication Model: A theoretical framework to analyse the Institutional Communication on the Internet. En Cheruvallil-Contractor, S. y Shakkour, S. (eds.). Digital Methodologies in the Sociology of Religion (pp. 109-136). Derby: Bloomsbury Academic. [ Links ]

Nielsen, J. (2002). Usabilidad. Diseño de sitios web. Madrid: Pearson Educación. [ Links ]

Palacios, Marcos y Díaz Noci, Javier. (eds.) (2009). Ciberperiodismo: métodos de investigación. Una aproximación multidisciplinar en perspectiva comparada. Bilbao: Servicio de Publicaciones de la Universidad del País Vasco. [ Links ]

Parra Valcarce, David y Álvarez Marcos, José (2004). Ciberperiodismo. Madrid: Síntesis. [ Links ]

Salaverría, R (2005). Redacción periodística en Internet. Pamplona: Eunsa. [ Links ]

Stake R.E. (2005). Investigación con estudios de casos. V edición. Madrid: Morata. [ Links ]

Yin, R.K (1998). Case study research. Desing and methods. Newbury Park (CA). Sage Publications.

Van der Geest, T.M (2001). Web Site Design is Communication Design. Amsterdam: John Benjamins Publishing Company. [ Links ]

Recibido: 2-05-2018
Aceptado: 20-06-2018

# data[].attributes.attachment_link.title
Metodología de análisis y evaluación de sitios web 2.0: El caso de las Diócesis Andaluzas

# data[].attributes.attachment_link.description
Citado por SciELO Similares en SciELO ARTÍCULO DE INVESTIGACIÓN Metodología de análisis y evaluación de sitios web 2.0. El caso de las Diócesis Andaluzas Methodology of analysis and evaluation of websites 2.0. The case of the Andalusian Dioceses Jiménez Carreira, M.1 y Álvarez Marcos, J.2 1 Doctor en Periodismo por la Universidad de Sevilla y Licenciado en Teología por la Facultad de Teología de Granada.