REVISTACIENTIFICAMULTIDISCIPLINARNUCLEODOCONHECIMENTO

Revista Científica Multidisciplinar

Pesquisar nos:
Filter by Categorias
Administración
Administración Naval
Agronomía
Arquitectura
Arte
Biología
Ciencia de la religión
Ciencias Aeronáuticas
Ciencias de la computación
Ciencias sociales
Cocina
Comunicación
Contabilidad
De marketing
Educación
Educación física
Ética
Filosofía
Física
Geografía
Historia
Ingeniería Agrícola
Ingeniería ambiental
Ingeniería Civil
Ingeniería de producción
Ingeniería de producción
Ingeniería Eléctrica
Ingeniería Informática
Ingeniería mecánica
Ingeniería Química
Letras de
Ley
Literatura
Matemáticas
Medio ambiente
Nutrición
Odontología
Pedagogía
Psicología
Química
Salud
Sem categoria
Sociología
Tecnología
Teología
Tiempo
Turismo
Veterinario
Zootechny
Pesquisar por:
Selecionar todos
Autores
Palavras-Chave
Comentários
Anexos / Arquivos

Evaluaciones heurísticas para decisiones de accesibilidad: una revisión sistemática de la literatura

RC: 142708
241
5/5 - (10 votos)
DOI: 10.32749/nucleodoconhecimento.com.br/ciencias-de-la-computacion/evaluaciones-heuristicas

CONTEÚDO

ARTÍCULO ORIGINAL

ALMEIDA, Hugo Leonardo Nascimento [1], CORREIA, Walter Franklin Marques [2], ALMEIDA FILHO, Adiel Teixeira de [3]

ALMEIDA, Hugo Leonardo Nascimento. CORREIA, Walter Franklin Marques. ALMEIDA FILHO, Adiel Teixeira de. Evaluaciones heurísticas para decisiones de accesibilidad: una revisión sistemática de la literatura. Revista Científica Multidisciplinar Núcleo do Conhecimento. Año 08, Ed. 03, Vol. 03, págs. 107-153. Marzo 2023. ISSN:2448-0959, Enlace de acceso: https://www.nucleodoconhecimento.com.br/ciencias-de-la-computacion/evaluaciones-heuristicas, DOI: 10.32749/nucleodoconhecimento.com.br/ciencias-de-la-computacion/evaluaciones-heuristicas

RESUMEN

Cada vez son más las personas que utilizan la tecnología a diario para comunicarse y acceder a la información, incluidas las personas mayores y las personas con discapacidad. Las tecnologías de apoyo, también llamadas ayudas técnicas, son recursos de accesibilidad e inclusión que proporcionan un mayor grado de autonomía y asistencia a las personas que tienen algún grado de dificultad para utilizar los recursos en su contacto con entornos reales y virtuales. El objetivo de este estudio es investigar las percepciones sobre la evaluación heurística de la accesibilidad en el software mediante la realización de una revisión sistemática de la literatura que cubre los últimos 5 años. Esto comenzó con un total de 8548 artículos publicados que están indexados en las bases de datos Scopus y Web of Science. Se elaboraron doce preguntas de investigación relevantes que fueron respondidas de acuerdo con los resultados encontrados en el conjunto final de artículos. Se crearon dos grupos de palabras clave para ayudar en la búsqueda de artículos y se aplicó un proceso de filtrado a los resultados de las búsquedas. La investigación muestra, por medio de figuras y tablas, evidencia sobre el crecimiento de los artículos científicos en el área. Se enumeran los autores principales y las revistas que publican sobre la evaluación de la accesibilidad del software, al igual que las respuestas a las preguntas sobre qué modelos evaluativos, heurísticas, métricas, limitaciones, tecnologías de asistencia y audiencias objetivo son los más citados en los artículos publicados. Este estudio también analiza la co-citación de las referencias y fuentes bibliográficas de parejas. La investigación mostró evidencia de que no existe un consenso general sobre el uso de un modelo único para evaluar la accesibilidad, pero que las pautas WCAG del W3C son las fuentes más utilizadas para referenciar heurísticas y métricas en estudios de este tipo. También se observó que la mayoría de los estudios no se centran en las tecnologías de asistencia, sino que se utilizan ampliamente para apoyar las decisiones en los sitios web.

Palabras clave: Valuación y evaloración, Accesibilidad web, Evaluación heurística.

1. INTRODUCCIÓN

El uso de la heurística puede ayudar a resolver problemas relacionados con la usabilidad y accesibilidad en proyectos de software (EUSÉBIO; SILVEIRO; TEIXEIRA, 2020; RANADA; LIDSTRÖM, 2019). Teniendo en cuenta la creciente búsqueda y difusión de heurísticas (HORTON et al., 2017), que consisten en métodos o procesos creados para proponer soluciones a problemas mediante el uso de ítems de verificación, es notable que varios factores de decisión, que pueden ser parte de la solución, aún no se encuentran en la literatura (CHI; TSENG; JANG, 2012).

En la investigación científica, la ingeniería de software se presenta como una de las disciplinas más referenciadas en cuanto a conceptos y prácticas, ya que reúne varias técnicas y actividades para la validación, verificación y evaluación de resultados, incluida la heurística. La selección de técnicas experimentales de ingeniería de software que ocurren a lo largo del ciclo de realización de la investigación, cuando se utilizan correctamente, puede ser el factor fundamental para el éxito de la investigación (WOHLIN et al., 2012).

La ingeniería de software es vista como un concepto interdisciplinario que reúne aspectos tecnológicos y de gestión, con el fin de abordar sistemáticamente todos los procesos de implementación, implementación y mantenimiento de proyectos de software, asegurando su calidad construyéndolos dentro de los plazos, costos y recursos previamente definidos (MAFFEO, 1992). Las formas de realizar investigaciones relacionadas con el software, cuando involucran a las personas, deben contextualizarse teniendo en cuenta las preocupaciones éticas (BADAMPUDI, 2017).

Con base en la información teórica obtenida por la investigación, se propondrá un modelo de elección/clasificación basado en relaciones de dominancia, con el fin de mitigar la desconfianza y la ineficiencia (SINGER; VINSON, 2002) sobre la conducta de métodos empíricos basados en heurísticas bien fundadas. Actualmente, en la academia se están concibiendo diferentes propuestas para crear y extraer métricas (formas de medir resultados) (GARCÍA-SANTIAGO; OLVERA-LOBO, 2021; ARAÚJO; CARNEIRO; PALHA, 2020), aunque la mayoría de las propuestas no se utilizan de la misma manera en proyectos desarrollados por la industria (UMARJI; MARINERO, 2008). El uso de métricas tiene como objetivo evaluar los resultados obtenidos y agregar positivamente al proceso del software y la generación de valor.

Las métricas estudiadas y propuestas por la industria tienen como valor agregado la búsqueda de costos y el timing de las actividades de mantenimiento, además de la relación directa con el número de errores encontrados en los sistemas empresariales (UMARJI; SEAMAN, 2008), que demuestra que las cuestiones relacionadas con la accesibilidad no son el foco o a menudo no se tienen en cuenta en las mismas propuestas.

La preocupación por satisfacer todas las necesidades y requerimientos de sus usuarios y otras personas potenciales involucradas y la conciencia de que la aceptación del sistema involucra varios factores, hace que la usabilidad y la accesibilidad sean pensadas y consideradas junto con el costo, la utilidad, la confiabilidad, la aceptación social, etc. (NIELSEN, 1994).

Los estudios de usabilidad y accesibilidad pueden apropiarse de estudios de otras áreas (GAMACHE et al., 2018; LAKSHMI; KUMAR; DAS, 2018; STITZ; BLUNDELL, 2018; VENTURI, 1995), con el fin de poder monitorear mejor la realización de estudios empíricos, con seres humanos, que son necesarios para validar la investigación en ingeniería de software.

La experiencia del usuario despierta un creciente interés en la comunidad de Interacción Humano-Computadora (IHC). A pesar de que la comunidad IHC parece aceptar que la funcionalidad por sí sola o los principios de usabilidad ya no son suficientes, no existe una comprensión coherente de lo que realmente es la experiencia del usuario (HASSENZAHL, 2018). ISO 9241-210 propone definir la experiencia del usuario como todos los aspectos de la experiencia del usuario al interactuar con un producto, servicio, entorno o instalación (ABNT, 2011).

Sobre la base de estudios previos, este artículo presenta una revisión sistemática de la literatura (RSL) que involucra el uso de evaluaciones heurísticas en las decisiones de accesibilidad, con el fin de responder a un conjunto de preguntas relevantes que aún están abiertas en la literatura en el área. Entre las contribuciones de este estudio, presenta un conjunto de datos no observados en revisiones anteriores, como el análisis y la agrupación de los modelos de evaluación, heurística y métricas utilizadas, y la realización de un estudio sobre los autores principales. Inicialmente, los 8548 artículos que se consideraron en esta revisión sistemática se publicaron en las bases de datos Web of Science y Scopus. Estos fueron posteriormente analizados y filtrados y resultaron en los 101 artículos analizados en esta revisión. Por lo tanto, los resultados de este artículo actualizan las conclusiones anteriores (CAMPOVERDE-MOLINA, LUJAN-MORA; GARCÍA, 2020; NAGARAJU; CHAWLA, 2019; NATHAN et al., 2018; PAIVA, FREIRE; FORTES, 2021). Otra contribución de este estudio es verificar un período anterior y posterior al Acta Europea de Accesibilidad, que se introdujo después de que los organismos del sector público de la Unión Europea estuvieran obligados a garantizar la accesibilidad a los sitios web. Esto se produjo a raíz de la Directiva de Accesibilidad Web (CEN e CENELEC, 2019; COMISIÓN EUROPEA, 2015). Además, un punto a destacar como diferencial en este artículo es la presentación de TreeMaps (SHNEIDERMAN, 1992) (analizando expresiones contenidas en los títulos del conjunto de artículos), WordCloud (analizando las palabras clave de los autores principales), análisis de co-citas y acoplamiento bibliográfico. La herramienta Bibliometrix R (ARIA; CUCCURULLO, 2017) se utilizó para capturar estas métricas.

Este artículo está dividido en cinco secciones. La Sección 1 proporciona una breve introducción al tema. En la sección 2 se presenta la metodología RSL. En la sección 3 se presentan los principales resultados y líneas de análisis de la revisión sistemática. La Sección 4 resume el trabajo realizado, discute algunas limitaciones, indica pautas de investigación y hace sugerencias para futuras líneas de investigación, mientras que la Sección 5 extrae algunas conclusiones. 

2. METODOLOGÍA 

Esta revisión sistemática combina información de estudios recientes de la misma naturaleza, realizados y publicados en diferentes áreas del conocimiento (ALMEIDA-FILHO; SILVA; FERREIRA, 2020; ARAÚJO; CARNEIRO; PALHA, 2020; GONZÁLEZ-PEREA; GALÁN; VILLARINY, 2019; LAENGLE y otros, 2017; MEZ; ALMEIDA; ALOISE, 2018; NASCIMENTO; ALENCAR, 2016; PEREIRA; COSTA, 2015; RUSCHEL; SANTOS; LOURES, 2017; TERASHIMA; CLARK, 2021; ZOPOUNIDIS y otros, 2015).

En la metodología de este estudio, se establecen las preguntas que serán analizadas en la investigación; luego los artículos se enumeran y posteriormente se filtran, según los procedimientos estándar; A continuación, se presentan los principales resultados obtenidos; y finalmente, se analizan los resultados.

2.1 DEFINICIÓN DE LOS TEMAS RELEVANTES PARA LA INVESTIGACIÓN 

La fase de definición consistió en identificar puntos específicos en los que los artículos publicados deben encajar con vistas a su presentación y discusión en el RSL. Entonces, inicialmente, se enumeraron los puntos específicos que se abordaron y esto llevó a compilar una serie de preguntas de investigación para guiar el análisis de los resultados, determinar si había lagunas en la literatura y definir el alcance de la revisión. Estas preguntas de investigación, que no se clasifican según su importancia, se presentan en la Tabla 1.

Tabla 1 – Preguntas de investigación

Preguntas de investigación Descripción
P1 ¿Ha habido un aumento en el número de modelos de evaluación heurística para la accesibilidad?
P2 ¿Ha habido un aumento en el número de artículos que citan la evaluación heurística para las decisiones de accesibilidad?
P3 ¿Cuáles son las principales referencias encontradas que abordan las evaluaciones heurísticas para las decisiones de accesibilidad?
P4 ¿Quiénes son los investigadores más relevantes en el campo de la investigación de evaluación heurística para la accesibilidad?
P5 ¿Los modelos de evaluación heurística están más presentes en las revistas centradas en la investigación operativa?
P6 ¿Cuáles son los modelos de evaluación más citados?
P7 ¿Qué tipos de tecnologías de asistencia ayudan más los modelos encontrados?
P8 ¿Qué grupos de individuos son el foco de la investigación?
P9 ¿Cuáles son las limitaciones y brechas existentes más citadas en los estudios que abordan modelos de evaluación heurística?
P10 ¿Cuáles son las heurísticas más analizadas por los modelos publicados?
P11 ¿Qué métricas son las más utilizadas en las evaluaciones?
P12 ¿Existe una asociación entre el modelo de evaluación heurística utilizado y el tipo de tecnología de asistencia utilizada y/o el público objetivo estudiado?

Fuente: autor.

2.2 RECOPILACIÓN Y SELECCIÓN DE LOS ARTÍCULOS

El conjunto de artículos publicados se compiló a partir de la base de datos Web of Science y la base de datos Scopus. Para realizar búsquedas en el servicio proporcionado por las bases de datos, se formularon dos conjuntos de palabras clave, como se muestra en la Tabla 2. Un primer conjunto involucró 9 palabras clave relacionadas con la accesibilidad. El segundo conjunto, con 12 palabras clave, está relacionado con la evaluación heurística. Algunas de las palabras clave elegidas también fueron consideradas en la revisión por (PAIVA; FREIRE; FORTES; 2021); sin embargo, las palabras clave presentadas en la Tabla 2 no se limitan a las utilizadas por ellos.

Tabla 2 – Palabras clave

Accesibilidad: Palabras clave Heurística: Palabras clave
accesibilidad; tecnologías de asistencia; tecnologías adaptativas; tecnologías de rehabilitación; Accesibilidad; Comunicabilidad; dispositivos de asistencia; dispositivos adaptativos; Dispositivos de rehabilitación evaluación heurística; modelo heurístico; método heurístico; técnicas heurísticas; técnicas de inspección; métodos de inspección; evaluación de inspección; modelo de inspección; inspección heurística; modelo de evaluación; métodos de evaluación; Técnicas de evaluación

Fuente: autor.

Las búsquedas se realizaron combinando las palabras clave de los dos grupos. Por lo tanto, cada una de las 9 palabras clave del grupo de Accesibilidad se combinó con cada una de las 12 palabras clave del grupo de Heurística, utilizando el Operador Booleano “AND”. Un total de 301 resultados se encontraron inicialmente en la base de datos Web of Science Core Collection y 8247 resultados en la base de datos Scopus (Elsevier), totalizando 8548 resultados encontrados. Este conjunto inicial de artículos publicados se filtró de acuerdo con reglas predeterminadas para seleccionar solo aquellos que son consistentes con la revisión sistemática propuesta como se establece en la Sección 2.3.

2.3 PROCESO DE FILTRADO

En primer lugar, se utilizó un filtro para recuperar solo los artículos publicados de 2017 a 2021, con el objetivo de obtener las características más recientes y relevantes de la literatura científica, observando los términos de búsqueda. Después del filtro, 158 artículos fueron eliminados de los resultados de la búsqueda de Web of Science, dejando 143 resultados. Mientras que en Scopus, 4480 obras fueron removidas, dejando 3767. En total, después del filtro 1 quedaban 3910 papeles.

Se utilizó un segundo filtro para eliminar los artículos que no se caracterizaban como artículos. El propósito del filtro era centrarse únicamente en la revisión de artículos de gran relevancia académica, categorizados como “Artículo” en las plataformas de investigación. Por lo tanto, también se eliminaron los libros y otras categorías de material publicado. Los trabajos que surgieron de presentaciones en congresos, y que luego fueron publicados en revistas científicas, fueron consecuentemente incluidos en el análisis ya que ahora tenían el estatus de artículos. Un total de 63 artículos fueron eliminados por el segundo filtro en Web of Science, y un total de 1281 artículos fueron eliminados de la base de datos Scopus por el Filtro 2. Esto dejó 80 artículos de la Web of Science y 2486 de Scopus. En total, 2566 artículos permanecieron para análisis.

Un tercer filtro fue utilizado más tarde. Se observó que algunos de los artículos podrían ser fácilmente excluidos ya que no pertenecen al área de investigación de este trabajo. Por ejemplo, la encuesta reveló muchos artículos en las áreas de Salud, como Medicina y Enfermería. Tales artículos que no fueron categorizados como “Ciencias de la Computación”, de acuerdo con las áreas de investigación de las bases de datos utilizadas, no fueron considerados en esta revisión sistemática. 55 artículos fueron excluidos de los resultados de Web of Science, después del tercer filtro, quedando 25, y 1795 artículos fueron excluidos de los resultados de Scopus, quedando 691. Por lo tanto, un conjunto de 716 artículos permaneció después del filtro 3.

Finalmente, estos artículos fueron analizados para excluir artículos que no agregarían información relevante a esta investigación. Se llevó a cabo una verificación de cada artículo, en un intento de seleccionar solo los artículos que presentaban, en resumen, evaluaciones de la accesibilidad de las aplicaciones tecnológicas. Por lo tanto, fue posible eliminar los estudios duplicados encontrados en las dos bases de datos utilizadas. En total, se seleccionaron 101 artículos que formaron el conjunto final, los cuales fueron analizados y categorizados de acuerdo con las propuestas de este trabajo. La figura 1 ilustra el proceso de aplicación de filtros al conjunto inicial de artículos.

Figura 1- Proceso de filtrado

Proceso de filtrado.
Fuente: autor. 

2.4 ANÁLISIS DE ACOPLAMIENTO Y CO-CITACIÓN

A lo largo de este artículo, se presentarán los resultados y la discusión sobre la revisión sistemática. Muchos gráficos se explican por sí mismos y responden a algunas de las preguntas de la encuesta. Algunos gráficos necesitan explicaciones adicionales, y estas se dan en el texto.

Se realizó un análisis de acoplamiento bibliográfico de las fuentes, de forma que los artículos obtenidos de un conjunto inicial se agruparon según sus fuentes. Este análisis se relaciona, cómo se citan diferentes fuentes, por medio de conjuntos. Luego, se enumeraron los artículos que mencionan a los autores de cada grupo formado. La fuerza del acoplamiento bibliográfico crece a medida que el número de artículos similares se enumera en las listas de las fuentes analizadas. Este análisis nos permite entender cuáles son las fuentes más relevantes para un número determinado de artículos (ECK; WALTMAN, 2010; PERIANES-RODRÍGUEZ; WALTMAN; ECK, 2016; SMALL, 1974; WALTMAN; ECK; NOYONS, 2010).

También se realizó un análisis de co-citación de referencias citadas, con el objetivo de medir la fuerza de las conexiones entre las referencias citadas de un conjunto de artículos. Usando un conjunto dado de artículos, se puede obtener una lista de referencias citadas de una base de datos como Web of Science o Scopus. Considerando un conjunto de artículos, cuanto mayor sea el número de artículos en este conjunto que citan dos referencias al mismo tiempo, mayor será la fuerza de co-citación entre estas dos referencias citadas. Este análisis nos permite comprender cómo las referencias más importantes en un conjunto de artículos se relacionan con los artículos en el conjunto en función de dónde se citan las referencias mismas. (ECK; WALTMAN, 2010; PERIANES-RODRÍGUEZ; WALTMAN; ECK, 2016; SMALL, 1974; WALTMAN; ECK; NOYONS, 2010).

Con el fin de crear un mapa que vincule las palabras clave de los autores más relevantes de los artículos analizados, se realizó un análisis en red de las palabras clave de los autores. La fuerza de la conexión entre palabras clave crece a medida que más artículos las usan (ECK; WALTMAN, 2010; PERIANES-RODRÍGUEZ; WALTMAN; ECK, 2016; SMALL, 1974; WALTMAN; ECK; NOYONS, 2010).

3. RESULTADOS Y DISCUSIÓN DE LA SISTEMÁTICA

En primer lugar, para responder a las dos primeras preguntas de investigación, los artículos fueron separados por año de publicación y por la frecuencia de su citación a lo largo de los años. La Figura 2 ilustra los resultados de categorizar los artículos en relación con el año de publicación por medio de un gráfico de área, que muestra una tendencia en el crecimiento del número de artículos publicados cada año a partir de 2018. Para 2021, solo se contabilizaron los artículos publicados hasta el 2 de julio. Por lo tanto, a efectos de comparación, es evidente que el número total de artículos, publicados solo en el primer semestre de 2021, ya supera la mitad de los artículos publicados en cada uno de los otros años anteriores. Un crecimiento más evidente se ve en 2019, posiblemente porque, en ese año, la Unión Europea introdujo el Acta Europea de Accesibilidad, que actualmente se considera uno de los principales ejemplos de legislación de accesibilidad digital en el mundo. Además del hecho de que los países miembros de la Unión Europea necesitaban cumplir con la Directiva de Accesibilidad Web, aprobada por el Parlamento Europeo, que exige que los sitios web de los organismos del sector público cumplan con los estándares de accesibilidad desde el 23 de septiembre de 2018. Al observar la Figura 3, observe que los países que produjeron la mayoría de los artículos en esta muestra fueron España, Malasia, Estados Unidos y Brasil. Sin embargo, más del 60% de los artículos encontrados provienen de países pertenecientes a la Unión Europea, lo que explica la mayor atención a la accesibilidad debido a la legislación mencionada. Por lo tanto, la respuesta al Q1 es: sí, el número de modelos utilizados en la evaluación heurística de accesibilidad ha ido creciendo año tras año desde 2018.

Figura 2 – Producción científica anual

Producción científica anual
Fuente: autor.

Figura 3 – Producción científica del país

Producción científica del país
Fuente: autor. 

Con respecto al Q2, la Figura 4 ilustra la evolución del número acumulado de citas de artículos seleccionados por año, y se puede evidenciar visualmente una curva de crecimiento suave. Por lo tanto, se observa que no ha habido tiempo para que los artículos más recientes sean citados en comparación con estudios anteriores. Hubo un aumento en el número de artículos publicados, pero los artículos más recientes, naturalmente, todavía tienen un menor número de citas, lo que demuestra que los artículos más antiguos tienen más relevancia para las discusiones recientes sobre el tema. En el primer semestre de 2021, los artículos seleccionados recibieron 6 citas, lo que demuestra que los autores están más interesados en el estado del arte en esta área a partir de las fuentes, pero también demuestra que los artículos continúan siendo citados a lo largo de los años, y muestra que se ha vuelto natural que los artículos más recientes se basen en los anteriores. Por lo tanto, la respuesta a Q2 es que el número de artículos que citan la evaluación heurística para las decisiones de accesibilidad ha crecido.

Figura 4 – Número de citas por año

Número de citas por año.
Fuente: autor. 

Se realizó la verificación de otras citas, utilizando información extraída de las bases de datos de revistas en línea, para evidenciar la listación de los artículos. La herramienta Bibliometrix R (ARIA; CUCCURULLO, 2017) se utilizó para analizar el acoplamiento bibliográfico de las fuentes y para realizar un análisis de co-citación a través de la visualización de redes y la división de conglomerados. En la investigación de acoplamiento bibliográfico, el grado de parentesco entre los artículos se basa en el número de referencias compartidas. En el análisis de co-citación, el vínculo entre los documentos citados se observa debido a la forma en que los elementos de referencia se citan juntos (SMALL, 1974). La Figura 5 muestra un análisis de co-citación para 27 referencias, y se identifican tres grupos.

Figura 5 – Análisis de la co-cita

Análisis de la co-citación
Fuente: autor.

La Tabla 3 presenta los tres grupos, enumerando los artículos que forman cada uno. Se observó que los estudios generales que abordaban la evaluación de la accesibilidad se asignaron al grupo 1. Por otra parte, las categorías 2 y 3 incluían documentos centrados en la evaluación de los sitios web de los gobiernos.

Tabla 3 – Agrupación de grupos de co-citas

Grupo 1 Grupo 2 Grupo 3
Vigo M. 2013 Abindum A. 2005 Nielsen J. 1994-2
Nielsen J. 1994-1 Al-Faries A. 2013 Al-Khalifa H.S. 2017
Potencia c. 2012 Al-Khalifa H.S. 2012 Youngblood n.e. 2012

Fuente: autor.

Tabla 3 – Agrupación de grupos de co-citas (conclusión)

Grupo 1 Grupo 2 Grupo 3
Brajnik G. 2008-1 Baowaly M.K. 2012 Jati H. 2009
ACM: Nueva York NY USA. Adepoju S.A. 2016 Rey B.A. 2016
Aizpurua A. 2016 Akgul Y. 2016
Lazar J. 2007 Al-Radaideh M. 2011
Petrie H. 2007 Al Mourad b. 2013
Ahmi A. 2015 Grantham J. 2012
Brajnik G. 2008-2 LATIF M.H.A. 2010
Brajnik G. 2011 Lujn-Mora S. 2014

Fuente: autor.

Para analizar cómo se vinculan las fuentes en función de sus referencias, se realizó un análisis de acoplamiento bibliográfico que se ilustra en la representación visual de la red en la Figura 6. En este caso, se formaron tres grupos diferentes. Universal Access in the Information Society, Library Hi Tech, IEEE Access y Advances in Human-Computer Interaction fueron identificados como las fuentes más relevantes para las conexiones dentro de la red.

Figura 6 – Análisis del acoplamiento bibliográfico

Análisis del acoplamiento bibliográfico
Fuente: autor. 

Teniendo en cuenta la información extraída de los análisis, se puede responder a la Q3 indicando que los principales estudios que abordan las evaluaciones heurísticas para las decisiones en accesibilidad son Al-Faries (2013), Al-Khalifa (2012), Al-Khalifa (2017), Vigo (2013) y Abanumy (2005) y las fuentes para estos son Universal Access in the Information Society, Library Hi Tech, IEEE Access y Advances in Human-Computer Interaction.

Para responder a la pregunta 4, se realizó un estudio sobre los autores de los artículos catalogados. Los nombres de 307 autores fueron encontrados en los artículos publicados. 302 de estos autores fueron coautores de dos o más de los 101 artículos, mientras que solo cinco de ellos son de un solo autor. Se utilizó la herramienta Bibliometrix R para recoger el impacto de los autores y este impacto se ilustra en la Tabla 4 para los autores principales. Entre las métricas presentadas se encuentran el número de artículos publicados, el total de citas, el índice h, el índice g y el índice m, considerando el conjunto de artículos analizados en esta RSL. Cada uno de los autores en esta tabla es coautor de al menos tres de los 101 artículos identificados para este estudio.

Tabla 4 – Impacto de los autores

Autor h_index g_index m_index Número total de citas Número de ponencias PY_start
ACOSTA-VARGAS P 2 3 0.667 18 3 2019
DOUSH IA 2 3 0.4 22 3 2017
ISMAILOVA R 3 3 0.6 75 3 2017
AZIZ N 1 2 0.2 4 2 2017
BRANCO F 2 2 0.4 37 2 2017
FREIRE AP 2 2 2 5 2 2021
GONALVES R 2 2 0.4 37 2 2017
HUSSAIN A 1 2 0.25 4 2 2018
INAL Y 2 2 0.4 40 2 2017
LUJAN-MORA S 2 2 0.667 15 2 2019
LUJN-MORA S 2 2 0.5 17 2 2018
MARTINS J 2 2 0.4 37 2 2017
MUTALIB AA 1 2 0.2 4 2 2017
PAIVA DMB 2 2 0.5 5 2 2018

Fuente: autor.

Como se muestra en la Tabla 4, de los autores principales, tres son coautores de más de 2 de los artículos, a saber, Acosta-Vargas P, Doush IA e Ismailova R. De hecho, se señala que Acosta-Vargas, aunque solo apareció por primera vez en 2019 en esta área, ya es el autor más importante según los índices mostrados. En respuesta a la 4ª P4, considerando el índice g y el número de artículos, estos tres autores se destacan como los investigadores más relevantes en el área de investigación de evaluación heurística para la accesibilidad. Acosta-Vargas P también destaca por el índice m, mientras que Ismailova R destaca por el número de citas. La Tabla 5 ilustra la relación entre estos autores y los modelos de evaluación heurística analizados.

Tabla 5 – Autores principales x modelos

Autor Modelos
Acosta-Vargas P. WCAG 2.1, WCAG 2.2, WCAG 2.1 + Brajnik, JClic, Ardora, Chanchí et al. (2019), Case Study, Salvador-Ullauri L. et al. (2020).
Doush IA. AChecker, Validador HTML, Validador CSS, APrompt, Cynthia Says, EvalAccess 2.0, SortSite, TAW, WAVE, ISAB.
Ismailova R. Survey, EvalAccess 2.0, WCAG 1.0, WebXACT/Bobby, Cynthia Says, The Functional Accessibility, WebInSight, TAW, AChecker.

Fuente: autor.

Q5 está directamente relacionado con revistas científicas que publican artículos que diseñan y aplican la evaluación heurística para ayudar a tomar mejores decisiones en accesibilidad. En total, se encontraron 55 revistas científicas diferentes. Solo 16 de estas revistas publicaron más de 2 artículos que se incluyeron en el RSL. La Tabla 6 muestra cada una de estas revistas científicas según el número de artículos publicados cada una de ellas.

Tabla 6 – Artículos publicados por revista

Fuentes Artículos
ACCESO UNIVERSAL EN LA SOCIEDAD DE LA INFORMACIÓN 19
ACCESO IEEE 7
RISTI – REVISTA IBERICA DE SISTEMAS E TECNOLOGIAS DE INFORMACAO 6
CIENCIAS APLICADAS (SUIZA) 4
REVISTA INTERNACIONAL DE INTERACCIÓN HUMANO-COMPUTADORA 4
TRANSACCIONES DE ACM EN INFORMÁTICA ACCESIBLE 2
AVANCES EN LA INTERACCIÓN HUMANO-COMPUTADORA 2
COMPORTAMIENTO Y TECNOLOGÍA DE LA INFORMACIÓN 2
LAS COMPUTADORAS EN EL COMPORTAMIENTO HUMANO 2
BIBLIOTECA ELECTRÓNICA 2
REVISTA INTERNACIONAL DE TECNOLOGÍAS MÓVILES INTERACTIVAS 2
REVISTA INTERNACIONAL DE TECNOLOGÍA E INTERACCIÓN HUMANA 2
REVISTA DE TECNOLOGÍA DE LA INFORMACIÓN Y LA COMUNICACIÓN 2
REVISTA DE TECNOLOGÍA DE EDUCACIÓN ESPECIAL 2
BIBLIOTECA HI TECH 2
HERRAMIENTAS Y APLICACIONES MULTIMEDIA 2

Fuente: autor.

Al analizar la Tabla 6, tenga en cuenta que solo 16 de las 55 fuentes científicas fueron citadas, es decir, 39 de las fuentes publicaron solo 1 artículo científico relacionado con el tema especificado. Estos números muestran que los autores pueden buscar revistas más específicas que traten un determinado tipo de modelo de evaluación heurística, o fuentes específicas en relación con entornos donde puede haber una cierta preocupación con la accesibilidad para evaluarlo.

Se realizó un análisis más específico con la herramienta Bibliometrix R (ARIA; CUCCURULLO, 2017) sobre el impacto de las revistas científicas. La Tabla 7 presenta un conjunto de métricas que involucran las revistas más relevantes basadas en el índice h en relación con las citas de los estudios de cada revista. Se muestra el número de artículos publicados, el total de citas, el índice h, el índice g y el índice m, considerando los 101 artículos analizados en esta RSL. También se muestra el Factor de Impacto (FI) calculado de cada revista durante los últimos dos años.

Tabla 7 – Impacto de las revistas

Elemento h_index g_index m_index TC NP PY_start SI
ACCESO UNIVERSAL EN LA SOCIEDAD DE LA INFORMACIÓN 7 13 1.4 183 13 2017 1.815
TRANSACCIONES DE ACM EN INFORMÁTICA ACCESIBLE 2 2 0.666666667 23 2 2019 2.641
AVANCES EN LA INTERACCIÓN HUMANO-COMPUTADORA 2 2 0.5 5 2 2018 1.355
LAS COMPUTADORAS EN EL COMPORTAMIENTO HUMANO 2 2 0.4 33 2 2017 5.003
BIBLIOTECA ELECTRÓNICA 2 2 0.4 11 2 2017 0.792
ACCESO IEEE 2 3 0.666666667 25 3 2019 3.745
Elemento h_index g_index m_index TC NP PY_start SI
REVISTA INTERNACIONAL DE INTERACCIÓN HUMANO-COMPUTADORA 2 3 0.4 34 3 2017 1.713
REVISTA INTERNACIONAL DE TECNOLOGÍA E INTERACCIÓN HUMANA 2 2 0.666666667 6 2 2019 0.711
REVISTA DE TECNOLOGÍA DE LA INFORMACIÓN Y LA COMUNICACIÓN 2 2 0.4 12 2 2017 1.833
RISTI – REVISTA IBERICA DE SISTEMAS E TECNOLOGIAS DE INFORMACAO 2 2 0.666666667 8 3 2019 0.531

Fuente: autor.

Es interesante observar en la Tabla 7 que, en todas las revistas enumeradas, los artículos de muestra tienen, en promedio, más citas por artículo que el promedio general de la revista. Por lo tanto, tiran del FI de las respectivas revistas hacia arriba.

Al examinar las palabras clave indicadas en el catálogo de artículos, se podría extraer información en forma de WordCloud. La Figura 7 ilustra los principales términos presentes en los artículos, ilustrando para qué temas se consideraron las revistas en esta RSL y por qué criterios pueden ser clasificadas. Destacamos los términos accesibilidad y usabilidad como los más relevantes entre los 20 términos más relevantes de todo el catálogo. Los términos que se refieren a las discapacidades y los ancianos también entraron en la composición de la figura. Es importante mencionar que un artículo publicado puede tener más de una palabra clave.

Figura 7 – WordCloud de los términos principales

WordCloud de los principales términos
Fuente: autor. 

La figura 8 muestra las 10 expresiones de dos palabras (Bigrams) que más aparecen en los títulos de los artículos analizados en esta RSL. Dentro de este TreeMap, se pueden analizar diferentes informaciones en relación con la Figura 7, como los términos ‘revisión bibliográfica’ y ‘literatura sistemática’, mostrando así el formato de algunos de estos estudios en el área. En la Figura 8, el término accesibilidad se confirma como el más relevante para las revistas que publican evaluaciones heurísticas de accesibilidad. Los sitios web gubernamentales también se muestran como una expresión relevante en esta área de investigación y están presentes en el 12% de los artículos. Por lo tanto, la respuesta a Q5 es “sí”: los modelos de evaluación heurística están más presentes en las revistas centradas en la investigación operativa.

Figura 8 – TreeMap of Bigrams

TreeMap de Bigrams
Fuente: autor.

La respuesta a Q6 se puede identificar en la Figura 9. Los modelos más citados y utilizados en las evaluaciones heurísticas de accesibilidad que están científicamente documentadas e indexadas por Scopus y Web of Science son: estándares WCAG, herramientas AChecker y WAVE. Tenga en cuenta que, además de los modelos en sí, se utilizan técnicas, herramientas, estándares, estudios, revisiones y métricas para evaluar la accesibilidad en el software. El WCAG tiene diferentes versiones que fueron citadas por los estudios (1.0, 2.0, 2.1, 2.2 y otras variaciones (ACOSTA-VARGAS et al., 2020; ACOSTA-VARGAS; SALVADOR-ULLAURI; LUJAN-MORA, 2019; AKGÜL, 2021; ALAJARMEH, 2021; ALSAEDI, 2020; BABU; XIE, 2017; BAI; EXTRAVIADO; MORK, 2019; HASSOUNA; SAHARI; ISMAIL, 2017; ISMAILOVA; KIMSANOVA, 2017; MADEIRA y otros, 2021; MARTINS; GONÇALVES; BRANCO, 2017; SALVADOR-ULLAURI et al. 2020; WENTZ et al., 2019). La herramienta más utilizada fue AChecker.

Figura 9 – Frecuencia de citación de los modelos

Frecuencia de citación de los modelos
Fuente: autor.

En la Tabla 8 hay descripciones de los modelos que se mencionan más de una vez y sus respectivas ocurrencias en los artículos de la muestra final. 91 modelos diferentes fueron citados sólo una vez, mientras que 25 modelos diferentes fueron citados más de una vez.

Tabla 8 – Recuento de ocurrencias de los modelos

Modelos/Técnicas/Herramientas/Patrones Frecuencia
WCAG 17
AChecker 13
OLA 10
TAW 6
Entrevista 6
Encuesta 6
Validador W3C HTML/CSS 5
SortSite 4
Cuestionarios 4
Experimento 4
EvalAccess 4
FAE 3
Estudio de casos 3
WCAG 2.1 + Brajnik 2
Pingdom AB 2
Prueba compatible con dispositivos móviles 2
ARIA 2

Fuente: autor.

Tabla 8 – Recuento de ocurrencias de los modelos (conclusión)

Modelos/Técnicas/Herramientas/Patrones Frecuencia
Validador total 2
SiteImprove 2
Normando 2
Nielsen 2
Prototipo 2
Evaluaciones de UX 2
Chanchí et all (2019) 2
Cynthia dice 2

Fuente: autor.

Para responder a la pregunta 7, se tuvieron que recolectar las tecnologías involucradas en todos los estudios de los artículos en la muestra final. Se identificó que las tecnologías evaluadas no eran necesariamente directa o adecuadamente asistenciales, sino que eran utilizadas por un público que tenía personas que se beneficiaban de buenas prácticas de accesibilidad. Inicialmente, una minoría de los estudios evaluaron adecuadamente las tecnologías de asistencia, como se ilustra en la Figura 10.

Figura 10 – Tipos de tecnologías evaluadas

Tipos de tecnologías evaluadas
Fuente: autor. 

La Tabla 9 enumera las breves descripciones de las tecnologías de asistencia evaluadas por los artículos. Solo la tecnología TalkBack fue el foco de evaluación en más de un estudio diferente (ROBLES et al., 2019; YAN; RAMACHANDRAN, 2019).

Cuadro 9 – Descripción de las tecnologías asistenciales

Tipos de tecnologías de asistencia evaluadas
Sistemas de asistencia en general
Diseño de sistemas interactivos de asistencia
Dispositivo de apuntamiento de asistencia basado en una cámara montada en la cabeza
Interacción de gráficos (ampliación segura, impresión, personalización de actualización en tiempo real, interacción de voz, exportación de datos, sonificación)
Brazo robótico colaborativo
Cursos interactivos de asistencia
Accesibilidad del teclado
Aplicaciones móviles de asistencia de salud
Lenguaje asistido por dispositivos móviles y basado en gamificación
Estímulos de entrenamiento multimedia
TalkBack
Asistencia a la navegación remota basada en teleguía

Fuente: autor.

Entre las otras tecnologías evaluadas por los artículos, destacamos la evaluación de sitios web en general, aplicaciones móviles, sitios web gubernamentales, software en general y software educativo, como se ilustra en la Figura 11.

Figura 11. Tecnologías no asistenciales evaluadas

Tecnologías no asistenciales evaluadas
Fuente: autor.

La respuesta a Q7 es que TalkBack es el tipo de tecnología de asistencia más compatible con los modelos que investigamos. Sin embargo, en general, los sitios web son los más evaluados debido a la heurística de accesibilidad.

Para responder a la pregunta 8, lo que había que hacer era revisar todos los artículos seleccionados, e identificar y agrupar los grupos de individuos caracterizados como público objetivo de cada estudio. Se observó que el grupo de individuos con discapacidad visual (incluyendo personas ciegas, personas con baja visión y otros individuos con problemas visuales) son el foco más frecuente de la investigación que involucra la evaluación heurística de la accesibilidad. La Figura 12 ilustra el porcentaje de ocurrencia de cada grupo de individuos descritos en los artículos de RSL.

Figura 12. Aparición del público objetivo

Aparición del público objetivo
Fuente: autor.

La Tabla 10 presenta una descripción de los grupos de individuos que fueron seleccionados como público objetivo de la investigación, el número de ocurrencias de estos grupos en los artículos y, en algunos casos, algunas observaciones sobre la agrupación. Algunos estudios se centraron en más de un grupo de individuos, por lo que la suma total excede el número de artículos analizados en esta revisión sistemática.

Tabla 10 – Público destinatario de los estudios

Público destinatario de los estudios Ocurrencias Observaciones
Personas con discapacidad visual 29 Estos incluyen ciegos, baja visión, problemas de contraste y otros usuarios con discapacidad visual.
Personas con discapacidad 21 No especificado
Personas en general 17 No especificado
Público destinatario de los estudios Ocurrencias Observaciones
Usuarios de sitios web educativos 10 Estos incluyen administradores, estudiantes (con discapacidades no especificadas o no), maestros
Los ancianos 10
Personas con trastorno del espectro autista (TEA) 6
Personas con discapacidad física o sensorial 5
Personas con discapacidad auditiva 4
Usuarios del sitio web del gobierno 4
Personas con discapacidad intelectual 3
Personas con discapacidades de aprendizaje 3
Partes interesadas involucradas con el producto 2
Personas con síndrome de Down 1
Personas con impedimentos del habla 1
Personas con trastorno por déficit de atención con hiperactividad (TDAH) 1
Personas con fotosensibilidad 1

Fuente: autor.

En respuesta a la P9, las limitaciones y brechas existentes más citadas en los trabajos que abordan los modelos de evaluación heurística son: los recursos tecnológicos utilizados; el enfoque de los estudios, que no siempre se centran solo en la accesibilidad; la limitación de la investigación relacionada con los objetivos abordados aquí en esta RSL; y la diversidad de la población estudiada. El número de veces que aparece cada tipo de limitación en la muestra para esta revisión se muestra en la Tabla 11 a continuación. Es importante señalar que diferentes artículos citaron más de un tipo de limitación diferente, lo que hace que el número total de ocurrencias sea mayor que el número de artículos en la muestra.

Tabla 11 – Limitaciones de los estudios

Limitaciones Frecuencia
Limitaciones de los recursos tecnológicos utilizados 32
La evaluación de accesibilidad no es el foco de la búsqueda 24
Búsqueda limitada 24
Diversidad de la población estudiada 18
Barreras durante las interacciones o la recopilación de datos con las partes interesadas 7
El resultado está en la etapa preliminar 6
Costar 5
Hora 5
No se hace hincapié en los aspectos culturales, las necesidades del usuario y los aspectos contextuales 4
Sesgo de los investigadores y generalización de sus resultados 4
Directrices antiguas 2
Pautas subjetivas 2
Conocimiento de la población objetivo 1

Fuente: autor.

La figura 13 muestra un gráfico que enumera las limitaciones mencionadas como un porcentaje de su número total y, por lo tanto, muestra las limitaciones mencionadas con mayor frecuencia.

Figura 13 – Frecuencia de las limitaciones

Frecuencia de las limitaciones
Fuente: autor. 

Para responder a la pregunta Q10, la información tuvo que ser extraída de la heurística utilizada en cada uno de los estudios reportados por los artículos de esta RSL. Las heurísticas suelen pertenecer a un grupo heurístico o repositorio específico. Como se muestra en la Tabla 12, se describieron los grupos, repositorios, referencias y estudios heurísticos mencionados en más de un artículo.

Tabla 12 – Fuentes de la heurística

Heurística Frecuencia
WCAG 2.0 28
WCAG 2.1 11
Nielsen 10
WCAG 1.0 9
Heurística Frecuencia
Normas de la Sección 508 de EE. UU. 8
WCAG 7
W3C 5
Entrevista 4
WAI-ARIA 4
Directrices propias 4
Experimento 3
ISO 9241-11 3
ISO/IEC 40500 2
Silva, Holden y Jordania, 2015 2

Fuente: autor.

Considerando todas las citas de la muestra final, se construyó un gráfico que muestra la relación proporcional entre las principales fuentes de heurísticas citadas que se agrupan, independientemente del versionado, y las otras fuentes menos citadas. Este gráfico se muestra en la Figura 14.

Figura 14 – Fuentes de los Heurístics

Fuentes de los Heurístics
Fuente: autor.

De la Figura 14, observe que las fuentes más recurrentes son las diferentes versiones de las WCAG del W3C, que son creadas por el mismo grupo que proporciona otros conjuntos de pautas reconocidas internacionalmente, y que también se citan en el conjunto de muestra final de esta RSL (UAAG; FERATI; VOGEL, 2020), ATAG (FERATI; VOGEL, 2020) WAI-ARIA (COSTA; DUARTE, 2017; FERATI; VOGEL, 2020; GARCÍA-SANTIAGO; OLVERA-LOBO, 2021) pero se incluyen en la categoría Otros del gráfico presentado. También hay algunos estudios que citan ISO/IEC 40500 (MARCO; ALONSO; QUEMADA, 2019; NAVARRETE; LUJÁN-MORA, 2018), que es el equivalente a WCAG 2.0. Por lo tanto, la respuesta a Q10 es: las heurísticas más analizadas por los modelos publicados son las heurísticas descritas por WCAG (Perceptibility, Operability, Understanding and Robustness) (CALDWELL et al., 2008).

Las métricas más utilizadas en las evaluaciones son los niveles de cumplimiento de las WCAG (A, AA, AAA) ( CALDWELL et al., 2008). Esta es la respuesta a la pregunta 11, como se muestra en la Tabla 13, que enumera todas las fuentes (citadas más de una vez) de las que se extrajeron las métricas de evaluación. De un total de 85 fuentes de diferentes métricas citadas en los artículos, solo 15 fueron citadas más de una vez y solo 1 fuente (W3C WCAG) destaca con una diferencia de 29 citas más que las otras fuentes más marcadas (Literature Review and Questionnaire).

Tabla 13 – Fuentes de las métricas

Fuente de las métricas Citas
W3C WCAG 36
Revisión de la literatura 7
Cuestionario 7
Encuesta 6
Entrevista 6
Experimento 6
Estudio propio 4
Investigación cualitativa 3
Nielsen 3
WAI 2
Artículo 508 2
Prueba piloto 2
NTC 5854 2
Estudio de casos 2
Normas ARIA 2

Fuente: autor.

Para responder a la última pregunta de investigación del artículo, lo que tuvo que ser investigado para todas las tecnologías de asistencia estudiadas fue qué modelo de evaluación se utilizó en el estudio. Sin embargo, se observó que el número de tecnologías de asistencia en sí es bajo en relación con el total de tecnologías mencionadas, y no hubo repetición de la aparición de tecnologías de asistencia en los artículos de muestra, con la excepción de TalkBack, lo que hace imposible hacer una asociación entre el tipo de tecnología utilizada y el modelo utilizado para evaluar la heurística.

La respuesta a la pregunta 12 es en la parte no. No hay evidencia de una asociación entre el modelo para evaluar la accesibilidad y la tecnología de asistencia evaluada. Al observar los estudios que involucraron la evaluación de TalkBack (MADEIRA et al., 2021; ROBLES y otros, 2019; YAN; RAMACHANDRAN, 2019), se observa que los modelos mencionados son diversos y no se repiten. En una comprobación rápida, el modelo de evaluación más citado en los artículos de esta RSL (normas WCAG) no presenta una asociación con ninguna tecnología específica, ya que no se observó un patrón de repetición. Sin embargo, se pudo establecer una relación entre los principales públicos objetivo no generalizados y los modelos de evaluación encontrados en la literatura, como se muestra en la Tabla 14. Cabe destacar que el patrón WCAG es el más recurrente en los estudios dirigidos a personas con discapacidad visual, mientras que los cuestionarios y entrevistas son los más utilizados para evaluar productos dirigidos a personas mayores, mientras que Wave y AChecker aparecen más en encuestas enfocadas a personas con discapacidad física o sensorial.

Tabla 14 – Modelos vs Público objetivo

Modelos/ Público objetivo Las personas con discapacidad visual Los ancianos Personas con trastorno del espectro autista (TEA) Personas con discapacidad física o sensorial Las personas con discapacidad auditiva
WCAG 5
AChecker 3 2 1
Entrevista 3 2 1
Brajnik 2
Cuestionario 2 2
eXaminator 1 1 1
Ola 1 2 1
TAW 1 1 1
Modelos/ Público objetivo Las personas con discapacidad visual Los ancianos Personas con trastorno del espectro autista (TEA) Personas con discapacidad física o sensorial Las personas con discapacidad auditiva
Modelo de interacción dispositivo propio 1 1 1 1
Ivarsson y Gorschek (2011) 1 1 1
Experimento 1 1
Estudio de casos 1 1
Encuesta 1 1

Fuente: autor.

4. DISCUSIÓN, CAMINOS FUTUROS Y TENDENCIAS

Esta investigación presentó el análisis de los resultados obtenidos de la agrupación de artículos en una RSL. En total, se agruparon 101 artículos según año de publicación, referencias, autores, modelos, tecnologías, público objetivo, limitaciones, heurística y métricas. A partir de la presentación de los resultados, se elaboró y respondió un conjunto de preguntas de investigación. La Tabla 15 presenta las conclusiones del análisis realizado sobre el conjunto de 12 preguntas de investigación presentadas inicialmente en la Tabla 1.

Tabla 15 – Conclusiones de la investigación

Preguntas de investigación Descripción
P1 Sí, el número de modelos utilizados en la evaluación heurística de accesibilidad ha ido creciendo año tras año.
P2 Sí. El número de artículos que citan la evaluación heurística para las decisiones de accesibilidad ha crecido, pero los nuevos artículos no han tenido mucho tiempo para ser citados con más frecuencia.
P3 Al-Faries A. (2013), Al-Khalifa H.S. (2012), Al-Khalifa H.S. (2017), Vigo M. (2013) y Abanumy A. (2005)
P4 Acosta-Vargas P., Doush I.A. e Ismailova R.
P5 Sí. Los modelos de evaluación heurística están más presentes en revistas enfocadas a la investigación operativa
P6 Los modelos más citados y utilizados en las evaluaciones heurísticas de accesibilidad científicamente documentadas e indexadas por Scopus y Web of Science son: estándares WCAG, herramientas AChecker y WAVE
P7 TalkBack es el tipo de tecnología de asistencia más soportada por los modelos investigados, sin embargo, en general, los sitios web son el producto más evaluado debido a la heurística de accesibilidad.
P8 El grupo de individuos con discapacidad visual (incluidas las personas ciegas, las personas con baja visión y otras personas con problemas visuales) es el foco más frecuente de investigación que involucra la evaluación heurística de la accesibilidad.
P9 Las limitaciones y lagunas existentes más citadas en los trabajos que abordan modelos de evaluación heurística son: los recursos tecnológicos utilizados; el enfoque de los estudios, que no siempre se centran solo en la accesibilidad; la limitación de la investigación relacionada con los objetivos abordados aquí en esta RSL; y la diversidad de la población estudiada
P10 Las heurísticas más contempladas por los modelos publicados son las heurísticas descritas por WCAG (Perceptibilidad, Operatividad, Comprensión y Robustez)
P11 Las métricas más utilizadas en las evaluaciones son los niveles de cumplimiento de WCAG (A, AA, AAA)
P12 No hay evidencia de una asociación entre el modelo para evaluar la accesibilidad y la tecnología de asistencia evaluada. Sin embargo, el patrón WCAG es el más recurrente en los estudios dirigidos a personas con discapacidad visual, mientras que los cuestionarios y entrevistas son los más utilizados para evaluar productos dirigidos a personas mayores, mientras que Wave y AChecker aparecen más en encuestas enfocadas a personas con discapacidad física o sensorial.

Fuente: autor.

Dados los resultados, se puede confirmar el predominio del uso de heurísticas y métricas de WCAG, así como todo el contexto evaluativo de WCAG. Además, el crecimiento en el número de artículos publicados en el área demuestra la importancia de la evaluación heurística para apoyar la accesibilidad en los productos de software.

En resumen, las principales aportaciones de este estudio son haber realizado una revisión del estado del arte de la evaluación heurística de la accesibilidad que pueda servir de base para futuras investigaciones en el ámbito de la accesibilidad digital; establecer y responder a un conjunto de preguntas de investigación relevantes para la literatura; ampliar las RSL anteriores en cuanto al alcance de la investigación mediante la inserción de enfoques relacionados con los modelos, heurísticas y métricas que más se utilizan para evaluar la accesibilidad de los productos tecnológicos.

En cuanto a futuras líneas de investigación, se sugieren investigaciones más específicas relacionadas con el uso de diferentes tecnologías de asistencia apoyadas por evaluaciones heurísticas. Investigaciones que especifican un público objetivo definido, así como el establecimiento y respuesta de nuevas preguntas de investigación utilizando la base de datos creada en este estudio. Los estudios futuros deben continuar refinando los métodos heurísticos y, por lo tanto, socializar las mejores prácticas de accesibilidad.

La investigación futura también puede proponer nuevos métodos para evaluar los recursos digitales. Se sugieren pruebas de estos nuevos métodos con usuarios bien definidos para identificar las barreras que pueden tener en el uso de los recursos tecnológicos cubiertos en las pruebas. Además, se sugiere un complemento a esto, a saber, una encuesta a las partes interesadas involucradas en el desarrollo de software, para averiguar si conocen las pautas de accesibilidad difundidas en la literatura y si ya han aplicado algunas de las pautas en productos de software.

Además, será necesario un estudio sobre las métricas utilizadas en la evaluación de accesibilidad, con el fin de analizar la validez de las métricas existentes y proponer mejoras que permitan el uso efectivo de estas técnicas en proyectos de software.

Aunque hay ventajas en la evaluación de la accesibilidad en la toma de decisiones en la construcción de software, que están bien difundidas en la literatura, todavía hay desafíos por explorar en el campo. La implementación de la evaluación heurística para las decisiones sobre accesibilidad en las organizaciones y el uso adecuado de la heurística está muy extendida en la búsqueda de soluciones en las más diferentes áreas del conocimiento (VENTURI, 1995). Los modelos evaluativos pueden llevar tiempo e implicar costos y esfuerzos financieros. Así, los modelos más utilizados permiten la flexibilidad de algunos de sus parámetros para facilitar su aplicabilidad. Han surgido muchos modelos híbridos que combinan herramientas automatizadas, principios teóricos bien establecidos y técnicas de diseño.

Con respecto a esta RSL, las tecnologías de apoyo corresponden a solo el 13% de las tecnologías mencionadas en el conjunto de artículos seleccionados (ver Figura 10), mientras que el 14% del público objetivo de los estudios es el público en general, sin caracterización de los usuarios (ver Figura 12). Esto muestra que, aunque la mayoría de los estudios se centran en usuarios específicos, las tecnologías que se evalúan no fueron diseñadas para ayudar directamente a un grupo específico. A partir de esta investigación, se observó que no hay evidencia de una asociación entre el modelo para evaluar la accesibilidad y la tecnología de asistencia evaluada, pero fue posible establecer qué modelos son los más utilizados por las audiencias específicas más citadas en los estudios.

Para concluir, mantener el análisis de las limitaciones permanentes en los modelos evaluativos se sugiere como importante para las perspectivas futuras. La comparación entre diferentes estudios de revisión debe informar si se han aliviado o no algunas de estas limitaciones. A partir de este estudio, las limitaciones más frecuentes se refieren a los recursos tecnológicos utilizados, el enfoque de los estudios, la dirección de la investigación y la diversidad de la población estudiada.

5. CONCLUSIONES

La evolución de las técnicas de toma de decisiones ha transformado la forma en que los investigadores analizan los problemas al desarrollar una solución de software / hardware. Este artículo toma la forma de una revisión sistemática de la literatura y se propone proporcionar una visión amplia de cómo se han utilizado los modelos de evaluación heurística para apoyar la accesibilidad, ya sea evaluando tecnologías de asistencia o evaluando cualquier otra tecnología en los últimos años. En general, esta RSL confirmó los hallazgos de estudios previos y agregó nuevas preguntas de investigación a los estudios de formato RSL que se han utilizado hasta la fecha.

Teniendo en cuenta la optimización continua del conjunto de artículos seleccionados para futuros estudios, ya que es un tema muy específico, se sugiere considerar nuevos procesos de filtrado, con el fin de evitar mayores variaciones en el uso de evaluadores para proyectos que valoran la accesibilidad que se seleccionan fuera del contexto de esta investigación. Esta RSL muestra que algunos estudios aplicados seleccionados ya demuestran limitaciones con respecto a los objetivos y la especificación de la evaluación con un enfoque en la accesibilidad. En cuanto a los autores y fuentes de las referencias catalogadas, fueron descritas haciendo uso de índices de impacto y frecuencia de apariciones, ignorando la profundidad temática establecida por sus artículos relacionados y la inmersión en los conceptos en el área.

El número de artículos publicados sobre evaluación heurística para la toma de decisiones en accesibilidad ha aumentado en los últimos años, y esto fue particularmente notable entre 2018 y 2019. La Directiva de Accesibilidad Web, aprobada por el Parlamento Europeo, obligó a los países miembros de la Unión Europea a cumplir con los estándares de accesibilidad de sus sitios web públicos ya en septiembre de 2018. Como resultado, los estudios de accesibilidad se desarrollaron naturalmente y los modelos evaluativos de accesibilidad se utilizaron más ampliamente. Sumado a esta directiva, el Acta Europea de Accesibilidad se inició en 2019, y se ha convertido en un referente mundial en legislación de accesibilidad digital.

El objetivo principal de esta RSL fue proporcionar una visión general del estado del arte de un campo de investigación que puede implicar señalar lagunas en la literatura. En resumen, las técnicas y métodos utilizados para garantizar el objetivo principal están destinados a ser sólidos y están sujetos a actualización. Los resultados en el presente estudio mostraron la relevancia de las preguntas de investigación y condujeron a interesantes descubrimientos sobre la literatura de evaluaciones heurísticas para decisiones en accesibilidad.

RECONOCIMIENTOS

Este trabajo ha sido parcialmente apoyado por CIn/Samsung, SiDi, CNPq (315245/2020-4, 305768/2016-6, 428832/2018-0) y Capes (001) por lo que los autores agradecen.

REFERENCIAS

ABNT – Associação Brasileira de Normas Técnicas Ergonomia da interação humano-sistema: parte 210 : projeto centrado no ser humano para sistemas interativos.  2011. Available: https://moodle.ufsc.br/pluginfile.php/4330158/mod_resource/content/4/ABNT_NBR_ISO_9241-210_2011.pdf. Acess in: 23 mar. 2023.

ACOSTA-VARGAS, Patricia et al. Evaluation of accessibility in teleconferencing systems for low vision users during covid-19. RISTI-Revista Iberica de Sistemas e Tecnologias de Informacao, p. 205-218, 2020.

ACOSTA-VARGAS, Patricia; SALVADOR-ULLAURI, Luis Antonio; LUJÁN-MORA, Sergio. A heuristic method to evaluate web accessibility for users with low vision. IEEE Access, v. 7, p. 125634‑125648, 2019. DOI: https://doi.org/10.1109/ACCESS.2019.2939068.

AKGÜL, Yakup. Accessibility, usability, quality performance, and readability evaluation of university websites of Turkey: a comparative study of state and private universities. Universal access in the information society, v. 20, n. 1, p. 157-170, 2021. DOI :https://doi.org/10.1007/s10209-020-00715-w.

ALAJARMEH, Nancy. Evaluating the accessibility of public health websites: an exploratory cross-country study. Universal Access in the Information Society, p. 1-19, 2021. DOI :https://doi.org/10.1007/s10209-020-00788-7.

ALMEIDA-FILHO, Adiel Teixeira de; SILVA, Diogo Ferreira de Lima; FERREIRA, Luciano. Financial modelling with multiple criteria decision making: a systematic literature review. Journal of the Operational Research Society, 1-19, 2020. DOI: https://doi.org/10.1080/01605682.2020.1772021.

ALSAEEDI, Abdullah. Comparing web accessibility evaluation tools and evaluating the accessibility of webpages: proposed frameworks. Information, v. 11, n. 1, p. 40, 2020. DOI :https://doi.org/10.3390/info11010040.

ARAÚJO, Adolpho Guido; CARNEIRO, Arnaldo Manoel Pereira; PALHA, Rachel Perez. Sustainable construction management: a systematic review of the literature with meta-analysis. Journal of Cleaner Production, v. 256, p. 120350, 2020. DOI: https://doi.org/10.1016/j.jclepro.2020.120350.

ARIA, Massimo; CUCCURULLO, Corrado. bibliometrix: an R-tool for comprehensive science mapping analysis. Journal of informetrics, v. 11, n. 4, p. 959-975, 2017. DOI: https://doi.org/10.1016/j.joi.2017.08.007.

BABU, Rakesh; XIE, Iris. Haze in the digital library: design issues hampering accessibility for blind users. The Electronic Library, v. 35, n. 5, p. 1052-1065, 2017. DOI: https://doi.org/10.1108/EL-10-2016-0209.

BADAMPUDI, Deepika. Reporting ethics considerations in software engineering publications. In: 2017 ACM/IEEE International Symposium on Empirical Software Engineering and Measurement (ESEM), p. 205-210, 2017. DOI: https://doi.org/10.1109/ESEM.2017.32.

BAI, Aleksander; STRAY, Viktoria; MORK, Heidi. What methods software teams prefer when testing web accessibility. Advances in Human-Computer Interaction, v. 2019, p. 1-14, 2019. DOI: https://doi.org/10.1155/2019/3271475.

CALDWELL, Ben et al. Web Content Accessibility Guidelines 2.0 (WCAG).  W3C, 2008. Available in: https://www.w3.org/WAI/WCAG20/versions/guidelines/wcag20-guidelines-20081211-a4.pdf. Acess in: 23 mar. 2023.

CAMPOVERDE-MOLINA, Milton; LUJAN-MORA, Sergio; GARCIA, Llorenc Valverde. Empirical studies on web accessibility of educational websites: a systematic literature review. IEEE Access, v. 8, p. 91676-91700, 2020. DOI: https://doi.org/10.1109/ACCESS.2020.2994288.

CEN & CENELEC. EN 17161:2019: design for all: accessibility following a design for all approach in products, goods and services: extending the range of users. Brussels: Cen-Celenic, 2019.

CHI, Chia-Fen; TSENG, Li-Kai; JANG, Yuh. Pruning a decision tree for selecting computer-related assistive devices for people with disabilities. IEEE Transactions on Neural Systems and Rehabilitation Engineering, v. 20, n. 4, p. 564-573, 2012. DOI: :https://doi.org/10.1109/TNSRE.2012.2193419.

COSTA, Daniel; DUARTE, Carlos. Visually impaired people and the emerging connected TV: a comparative study of TV and Web applications’ accessibility. Universal Access in the Information Society, v. 16, p. 197-214, 2017. DOI: https://doi.org/10.1007/s10209-016-0451-6.

ECK, Nees Van; WALTMAN, Ludo. Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics, v. 84, n. 2, p. 523-538, 2010. DOI: https://doi.org/10.1007/s11192-009-0146-3.

EUSÉBIO, Celeste; SILVEIRO, André; TEIXEIRA, Leonor. Website accessibility of travel agents: an evaluation using web diagnostic tools. Journal of Accessibility and Design for All, v. 10, n. 2, p. 180‑208, 2020. DOI: https://doi.org/10.17411/jacces.v10i2.277.

EUROPEAN COMMISSION . Proposal for a directive of the European Paliament and of the Concil on the approximation of the laws, regulations and administrative provisions of the Member States as regards the accessibility requirements for products and services. EUR‑Lex, 2015. Available in: https://eur‑lex.europa.eu/legal‑content/EN/TXT/?uri=COM%3A2015%3A0615%3AFIN. Acess in: 23 mar. 2023.

FERATI, Mexhid; VOGEL, Bahtijar. Accessibility in web development courses: A case study. Informatics. v. 7, n. 1, p. 1‑15, 2020. DOI: https://doi.org/10.3390/informatics7010008.

GAMACHE, Stephanie et al. Measure of environmental accessibility (MEA): development and inter-rater reliability. Journal of accessibility and design for all, v. 8, n. 1, p. 1-32, 2018. DOI: https://doi.org/10.17411/jacces.v8i1.141.

GARCÍA-SANTIAGO, Lola; OLVERA-LOBO, Maria-Dolores. How accessibility guidelines are used in Spanish World Heritage websites: an exploratory study. Library Hi Tech, v. 39, n. 1, p. 144-165, 2021. DOI: https://doi.org/10.1108/LHT-05-2019-0113.

HASSENZAHL, Marc. The thing and I: understanding the relationship between user and product. Funology 2: from usability to enjoyment, p. 301-313, 2018. DOI: https://doi.org/10.1007/978-3-319-68213-6_19.

HASSOUNA, Mohammed Saleh; SAHARI, Noraidah; ISMAIL, Amirah. University website accessibility for totally blind users. Journal of Information and Communication Technology, v. 16, n. 1, p. 63-80, 2017. DOI: https://doi.org/10.32890/jict2017.16.1.8218.

HORTON, Emily L. et al. A review of principles in design and usability testing of tactile technology for individuals with visual impairments. Assistive technology, v. 29, n. 1, p. 28-36, 2017. DOI: https://doi.org/10.1080/10400435.2016.1176083.

ISMAILOVA, Rita; KIMSANOVA, Gulida. Universities of the Kyrgyz Republic on the Web: accessibility and usability. Universal Access in the Information Society, v. 16, n. 4, p. 1017-1025, 2017. DOI:https://doi.org/10.1007/s10209-016-0481-0.

LAENGLE, Sigifredo et al. Forty years of the European Journal of Operational Research: A bibliometric overview. European Journal of Operational Research, v. 262, n. 3, p. 803-816, 2017. DOI: https://doi.org/10.1016/j.ejor.2017.04.027.

LAKSHMI, Krishnan; KUMAR, PD Madan; DAS, Himangshu. Design considerations for a dental health care for patients with special needs. Journal of accessibility and design for all, v. 8, n. 1, p. 80‑101, 2018. DOI: https://doi.org/10.17411/jacces.v8i1.168.

MADEIRA, Stephane et al. Accessibility of mobile applications for tourism—is equal access a reality? Universal Access in the Information Society, v. 20, p. 555-571, 2021. DOI: https://doi.org/10.1007/s10209-020-00770-3.

MAFFEO, Bruno. Engenharia de software e especificação de sistemas. Rio de Janeiro: Campus, 1992.

MARCO, Lourdes; ALONSO, Álvaro; QUEMADA, Juan. An identity model for providing inclusive services and applications. Applied Sciences, v. 9, n. 18, p. 3813, 2019. DOI: https://doi.org/10.3390/app9183813.

MARIZ, Fernanda Bar; ALMEIDA, Mariana R.; ALOISE, Daniel. A review of dynamic data envelopment analysis: state of the art and applications. International Transactions in Operational Research, v. 25, n. 2, p. 469‑505, 2018. DOI: https://doi.org/10.1111/itor.12468.

MARTINS, José; GONÇALVES, Ramiro; BRANCO, Frederico. A full scope web accessibility evaluation procedure proposal based on Iberian eHealth accessibility compliance. Computers in Human Behavior, v. 73, p. 676-684, 2017. DOI: https://doi.org/10.1016/j.chb.2016.12.010.

NAGARAJU, M.; CHAWLA, Priyanka. A methodical search of web content accessibility for visual disabled people. International Journal of Engineering and Advanced Technology, v. 8, n. 6, p. 1713‑1719, 2019. DOI: https://doi.org/10.35940/ijeat.F8425.088619.

NASCIMENTO, Kayo Renato Da Silva; ALENCAR, Marcelo Hazin. Management of risks in natural disasters: a systematic review of the literature on NATECH events. Journal of Loss Prevention in the Process Industries, v. 44, p. 347-359, 2016. DOI: https://doi.org/10.1016/j.jlp.2016.10.003.

NATHAN, S. S. et al. Accessibility, disability and deaf: a review. International Journal of Engineering and Technology, v. 7, n. 4.19, p. 369-371, 2018.DOI: https://doi.org/10.14419/ijet.v7i3.12.16109.

NAVARRETE, Rosa; LUJÁN-MORA, Sergio. Bridging the accessibility gap in Open Educational Resources. Universal Access in the Information Society, v. 17, n. 4, p. 755-774, 2018. DOI:https://doi.org/10.1007/s10209-017-0529-9.

NIELSEN, Jakob. Usability inspection methods. New York: John Wiley & Sons, 1994.

PEREA, Lourdes González; GALÁN, Jesús Hernández; VILLARINY, Natalí González. The presence of universal accessibility in doctoral dissertations deposited in Spain between 1998-1999 and 2017-2018 academic years. Journal of accessibility and design for all, v. 9, n. 2, p. 118-140, 2019. DOI: https://doi.org/10.17411/jacces.v9i2.213.

PAIVA, Débora Maria Barroso; FREIRE, André Pimenta; FORTES, Renata Pontin de Matos. Accessibility and software engineering processes: a systematic literature review. Journal of Systems and Software, v. 171, p. 110819, 2021. DOI: https://doi.org/10.1016/j.jss.2020.110819.

PEREIRA, Valdecy; COSTA, Helder Gomes. A literature review on lot size with quantity discounts: 1995-2013. Journal of Modelling in Management, v. 10, n. 3, p. 341-359, 2015. DOI: https://doi.org/10.1108/JM2-07-2013-0029.

PERIANES-RODRIGUEZ, Antonio; WALTMAN, Ludo; ECK, Nees Jan Van. Constructing bibliometric networks: A comparison between full and fractional counting. Journal of Informetrics, v. 10, n. 4, p. 1178-1195, 2016. DOI: https://doi.org/10.1016/j.joi.2016.10.006.

RANADA, Åsa Larsson; LIDSTRÖM, Helene. Satisfaction with assistive technology device in relation to the service delivery process –  a systematic review. Assistive Technology, v. 31, n. 2, p. 82‑97, 2019. DOI: https://doi.org/10.1080/10400435.2017.1367737.

ROBLES, Teresita de Jesús Álvarez et al. Adapting card sorting for blind people: Evaluation of the interaction design in TalkBack. Computer Standards & Interfaces, v. 66, p. 103356, 2019. DOI: https://doi.org/10.1016/j.csi.2019.103356.

RUSCHEL, Edson; SANTOS, Eduardo Alves Portela; LOURES, Eduardo de Freitas Rocha. Industrial maintenance decision-making: A systematic literature review. Journal of Manufacturing Systems, v. 45, p. 180‑194, 2017. DOI: https://doi.org/10.1016/j.jmsy.2017.09.003.

SALVADOR-ULLAURI, Luis et al. Combined method for evaluating accessibility in serious games. Applied Sciences, v. 10, n. 18, p. 6324, 2020. DOI: https://doi.org/10.3390/APP10186324.

SHNEIDERMAN, Ben. Tree visualization with tree-maps: 2-d space-filling approach. ACM Transactions on graphics, v. 11, n. 1, p. 92-99, 1992.

SINGER, Janice; VINSON, Norman G. Ethical issues in empirical studies of software engineering. IEEE Transactions on Software Engineering, v. 28, n. 12, p. 1171-1180, 2002. DOI: https://doi.org/10.1109/TSE.2002.1158289.

SMALL, Henry. Co-citation in the scientific literature : a new measure of the relationship between two documents. Journal of the American Society for information Science, v. 24, n. 4, p. 28-31, 1974.

STITZ, Tammy; BLUNDELL, Shelley. Evaluating the accessibility of online library guides at an academic library. Journal of Accessibility and Design for All, v. 8, n. 1, p. 33-79, 2018. DOI: https://doi.org/10.17411/jacces.v8i1.145.

TERASHIMA, Mikiko; CLARK, Kate. Measuring economic benefits of accessible spaces to achieve’meaningful’access in the built environment: a review of recent literature. Journal of Accessibility and Design for All, v. 11, n. 2, p. 195-231, 2021. DOI: https://doi.org/10.17411/jacces.v11i2.274.

UMARJI, Medha; SEAMAN, Carolyn. Why do programmers avoid metrics?. In: Proceedings of the Second ACM-IEEE international symposium on Empirical software engineering and measurement, p. 129-138, 2008. DOI: https://doi.org/10.1145/1414004.1414027.

VENTURI, Gustavo. O universalismo ético: Kohlberg e Habermas. Lua Nova: Revista de Cultura e Política, p. 67‑84, 1995. DOI: https://doi.org/10.1590/s0102‑64451995000200005.

WALTMAN, Ludo; VAN ECK, Nees Jan; NOYONS, Ed CM. A unified approach to mapping and clustering of bibliometric networks. Journal of informetrics, v. 4, n. 4, p. 629-635, 2010. DOI: https://doi.org/10.1016/j.joi.2010.07.002.

WENTZ, Brian et al. Documenting the accessibility of 100 US bank and finance websites. Universal Access in the Information Society, v. 18, p. 871-880, 2019. DOI: https://doi.org/10.1007/s10209-018-0616-6.

WOHLIN, Claes et alExperimentation in software engineering. Berlin: Springer; Berlin: Heidelberg, 2012.

YAN, Shunguo; RAMACHANDRAN, P. G. The current status of accessibility in mobile apps. ACM Transactions on Accessible Computing, v. 12, n. 1, p. 1-31, 2019. DOI: https://doi.org/10.1145/3300176

ZOPOUNIDIS, Constantin et al. Multiple criteria decision aiding for finance: An updated bibliographic survey. European Journal of Operational Research, v. 247, n. 2, p. 339-348, 2015. DOI: https://doi.org/10.1016/j.ejor.2015.05.032

[1] Profesor. ORCID: 0000-0003-4467-0113. CURRICULUM LATTES: http://lattes.cnpq.br/9433837114578364.

[2] Doctor. ORCID: 0000-0002-6491-9783. CURRICULUM LATTES: http://lattes.cnpq.br/3252289006108114.

[3] Consejero. Doctor. ORCID: 0000-0001-6069-3601. CURRICULUM LATTES: http://lattes.cnpq.br/9944976090960730.

Enviado: 02 de Marzo, 2023.

Aprobado: 15 de marzo de 2023.

5/5 - (10 votos)

Leave a Reply

Your email address will not be published. Required fields are marked *

Pesquisar por categoria…
Este anúncio ajuda a manter a Educação gratuita