ARTÍCULO ORIGINAL
ALMEIDA, Hugo Leonardo Nascimento [1], CORREIA, Walter Franklin Marques [2], ALMEIDA FILHO, Adiel Teixeira de [3]
ALMEIDA, Hugo Leonardo Nascimento. CORREIA, Walter Franklin Marques. ALMEIDA FILHO, Adiel Teixeira de. Evaluaciones heurísticas para decisiones de accesibilidad: una revisión sistemática de la literatura. Revista Científica Multidisciplinar Núcleo do Conhecimento. Año 08, Ed. 03, Vol. 03, págs. 107-153. Marzo 2023. ISSN:2448-0959, Enlace de acceso: https://www.nucleodoconhecimento.com.br/ciencias-de-la-computacion/evaluaciones-heuristicas, DOI: 10.32749/nucleodoconhecimento.com.br/ciencias-de-la-computacion/evaluaciones-heuristicas
RESUMEN
Cada vez son más las personas que utilizan la tecnología a diario para comunicarse y acceder a la información, incluidas las personas mayores y las personas con discapacidad. Las tecnologías de apoyo, también llamadas ayudas técnicas, son recursos de accesibilidad e inclusión que proporcionan un mayor grado de autonomía y asistencia a las personas que tienen algún grado de dificultad para utilizar los recursos en su contacto con entornos reales y virtuales. El objetivo de este estudio es investigar las percepciones sobre la evaluación heurística de la accesibilidad en el software mediante la realización de una revisión sistemática de la literatura que cubre los últimos 5 años. Esto comenzó con un total de 8548 artículos publicados que están indexados en las bases de datos Scopus y Web of Science. Se elaboraron doce preguntas de investigación relevantes que fueron respondidas de acuerdo con los resultados encontrados en el conjunto final de artículos. Se crearon dos grupos de palabras clave para ayudar en la búsqueda de artículos y se aplicó un proceso de filtrado a los resultados de las búsquedas. La investigación muestra, por medio de figuras y tablas, evidencia sobre el crecimiento de los artículos científicos en el área. Se enumeran los autores principales y las revistas que publican sobre la evaluación de la accesibilidad del software, al igual que las respuestas a las preguntas sobre qué modelos evaluativos, heurísticas, métricas, limitaciones, tecnologías de asistencia y audiencias objetivo son los más citados en los artículos publicados. Este estudio también analiza la co-citación de las referencias y fuentes bibliográficas de parejas. La investigación mostró evidencia de que no existe un consenso general sobre el uso de un modelo único para evaluar la accesibilidad, pero que las pautas WCAG del W3C son las fuentes más utilizadas para referenciar heurísticas y métricas en estudios de este tipo. También se observó que la mayoría de los estudios no se centran en las tecnologías de asistencia, sino que se utilizan ampliamente para apoyar las decisiones en los sitios web.
Palabras clave: Valuación y evaloración, Accesibilidad web, Evaluación heurística.
1. INTRODUCCIÓN
El uso de la heurística puede ayudar a resolver problemas relacionados con la usabilidad y accesibilidad en proyectos de software (EUSÉBIO; SILVEIRO; TEIXEIRA, 2020; RANADA; LIDSTRÖM, 2019). Teniendo en cuenta la creciente búsqueda y difusión de heurísticas (HORTON et al., 2017), que consisten en métodos o procesos creados para proponer soluciones a problemas mediante el uso de ítems de verificación, es notable que varios factores de decisión, que pueden ser parte de la solución, aún no se encuentran en la literatura (CHI; TSENG; JANG, 2012).
En la investigación científica, la ingeniería de software se presenta como una de las disciplinas más referenciadas en cuanto a conceptos y prácticas, ya que reúne varias técnicas y actividades para la validación, verificación y evaluación de resultados, incluida la heurística. La selección de técnicas experimentales de ingeniería de software que ocurren a lo largo del ciclo de realización de la investigación, cuando se utilizan correctamente, puede ser el factor fundamental para el éxito de la investigación (WOHLIN et al., 2012).
La ingeniería de software es vista como un concepto interdisciplinario que reúne aspectos tecnológicos y de gestión, con el fin de abordar sistemáticamente todos los procesos de implementación, implementación y mantenimiento de proyectos de software, asegurando su calidad construyéndolos dentro de los plazos, costos y recursos previamente definidos (MAFFEO, 1992). Las formas de realizar investigaciones relacionadas con el software, cuando involucran a las personas, deben contextualizarse teniendo en cuenta las preocupaciones éticas (BADAMPUDI, 2017).
Con base en la información teórica obtenida por la investigación, se propondrá un modelo de elección/clasificación basado en relaciones de dominancia, con el fin de mitigar la desconfianza y la ineficiencia (SINGER; VINSON, 2002) sobre la conducta de métodos empíricos basados en heurísticas bien fundadas. Actualmente, en la academia se están concibiendo diferentes propuestas para crear y extraer métricas (formas de medir resultados) (GARCÍA-SANTIAGO; OLVERA-LOBO, 2021; ARAÚJO; CARNEIRO; PALHA, 2020), aunque la mayoría de las propuestas no se utilizan de la misma manera en proyectos desarrollados por la industria (UMARJI; MARINERO, 2008). El uso de métricas tiene como objetivo evaluar los resultados obtenidos y agregar positivamente al proceso del software y la generación de valor.
Las métricas estudiadas y propuestas por la industria tienen como valor agregado la búsqueda de costos y el timing de las actividades de mantenimiento, además de la relación directa con el número de errores encontrados en los sistemas empresariales (UMARJI; SEAMAN, 2008), que demuestra que las cuestiones relacionadas con la accesibilidad no son el foco o a menudo no se tienen en cuenta en las mismas propuestas.
La preocupación por satisfacer todas las necesidades y requerimientos de sus usuarios y otras personas potenciales involucradas y la conciencia de que la aceptación del sistema involucra varios factores, hace que la usabilidad y la accesibilidad sean pensadas y consideradas junto con el costo, la utilidad, la confiabilidad, la aceptación social, etc. (NIELSEN, 1994).
Los estudios de usabilidad y accesibilidad pueden apropiarse de estudios de otras áreas (GAMACHE et al., 2018; LAKSHMI; KUMAR; DAS, 2018; STITZ; BLUNDELL, 2018; VENTURI, 1995), con el fin de poder monitorear mejor la realización de estudios empíricos, con seres humanos, que son necesarios para validar la investigación en ingeniería de software.
La experiencia del usuario despierta un creciente interés en la comunidad de Interacción Humano-Computadora (IHC). A pesar de que la comunidad IHC parece aceptar que la funcionalidad por sí sola o los principios de usabilidad ya no son suficientes, no existe una comprensión coherente de lo que realmente es la experiencia del usuario (HASSENZAHL, 2018). ISO 9241-210 propone definir la experiencia del usuario como todos los aspectos de la experiencia del usuario al interactuar con un producto, servicio, entorno o instalación (ABNT, 2011).
Sobre la base de estudios previos, este artículo presenta una revisión sistemática de la literatura (RSL) que involucra el uso de evaluaciones heurísticas en las decisiones de accesibilidad, con el fin de responder a un conjunto de preguntas relevantes que aún están abiertas en la literatura en el área. Entre las contribuciones de este estudio, presenta un conjunto de datos no observados en revisiones anteriores, como el análisis y la agrupación de los modelos de evaluación, heurística y métricas utilizadas, y la realización de un estudio sobre los autores principales. Inicialmente, los 8548 artículos que se consideraron en esta revisión sistemática se publicaron en las bases de datos Web of Science y Scopus. Estos fueron posteriormente analizados y filtrados y resultaron en los 101 artículos analizados en esta revisión. Por lo tanto, los resultados de este artículo actualizan las conclusiones anteriores (CAMPOVERDE-MOLINA, LUJAN-MORA; GARCÍA, 2020; NAGARAJU; CHAWLA, 2019; NATHAN et al., 2018; PAIVA, FREIRE; FORTES, 2021). Otra contribución de este estudio es verificar un período anterior y posterior al Acta Europea de Accesibilidad, que se introdujo después de que los organismos del sector público de la Unión Europea estuvieran obligados a garantizar la accesibilidad a los sitios web. Esto se produjo a raíz de la Directiva de Accesibilidad Web (CEN e CENELEC, 2019; COMISIÓN EUROPEA, 2015). Además, un punto a destacar como diferencial en este artículo es la presentación de TreeMaps (SHNEIDERMAN, 1992) (analizando expresiones contenidas en los títulos del conjunto de artículos), WordCloud (analizando las palabras clave de los autores principales), análisis de co-citas y acoplamiento bibliográfico. La herramienta Bibliometrix R (ARIA; CUCCURULLO, 2017) se utilizó para capturar estas métricas.
Este artículo está dividido en cinco secciones. La Sección 1 proporciona una breve introducción al tema. En la sección 2 se presenta la metodología RSL. En la sección 3 se presentan los principales resultados y líneas de análisis de la revisión sistemática. La Sección 4 resume el trabajo realizado, discute algunas limitaciones, indica pautas de investigación y hace sugerencias para futuras líneas de investigación, mientras que la Sección 5 extrae algunas conclusiones.
2. METODOLOGÍA
Esta revisión sistemática combina información de estudios recientes de la misma naturaleza, realizados y publicados en diferentes áreas del conocimiento (ALMEIDA-FILHO; SILVA; FERREIRA, 2020; ARAÚJO; CARNEIRO; PALHA, 2020; GONZÁLEZ-PEREA; GALÁN; VILLARINY, 2019; LAENGLE y otros, 2017; MEZ; ALMEIDA; ALOISE, 2018; NASCIMENTO; ALENCAR, 2016; PEREIRA; COSTA, 2015; RUSCHEL; SANTOS; LOURES, 2017; TERASHIMA; CLARK, 2021; ZOPOUNIDIS y otros, 2015).
En la metodología de este estudio, se establecen las preguntas que serán analizadas en la investigación; luego los artículos se enumeran y posteriormente se filtran, según los procedimientos estándar; A continuación, se presentan los principales resultados obtenidos; y finalmente, se analizan los resultados.
2.1 DEFINICIÓN DE LOS TEMAS RELEVANTES PARA LA INVESTIGACIÓN
La fase de definición consistió en identificar puntos específicos en los que los artículos publicados deben encajar con vistas a su presentación y discusión en el RSL. Entonces, inicialmente, se enumeraron los puntos específicos que se abordaron y esto llevó a compilar una serie de preguntas de investigación para guiar el análisis de los resultados, determinar si había lagunas en la literatura y definir el alcance de la revisión. Estas preguntas de investigación, que no se clasifican según su importancia, se presentan en la Tabla 1.
Tabla 1 – Preguntas de investigación
| Preguntas de investigación | Descripción |
| P1 | ¿Ha habido un aumento en el número de modelos de evaluación heurística para la accesibilidad? |
| P2 | ¿Ha habido un aumento en el número de artículos que citan la evaluación heurística para las decisiones de accesibilidad? |
| P3 | ¿Cuáles son las principales referencias encontradas que abordan las evaluaciones heurísticas para las decisiones de accesibilidad? |
| P4 | ¿Quiénes son los investigadores más relevantes en el campo de la investigación de evaluación heurística para la accesibilidad? |
| P5 | ¿Los modelos de evaluación heurística están más presentes en las revistas centradas en la investigación operativa? |
| P6 | ¿Cuáles son los modelos de evaluación más citados? |
| P7 | ¿Qué tipos de tecnologías de asistencia ayudan más los modelos encontrados? |
| P8 | ¿Qué grupos de individuos son el foco de la investigación? |
| P9 | ¿Cuáles son las limitaciones y brechas existentes más citadas en los estudios que abordan modelos de evaluación heurística? |
| P10 | ¿Cuáles son las heurísticas más analizadas por los modelos publicados? |
| P11 | ¿Qué métricas son las más utilizadas en las evaluaciones? |
| P12 | ¿Existe una asociación entre el modelo de evaluación heurística utilizado y el tipo de tecnología de asistencia utilizada y/o el público objetivo estudiado? |
Fuente: autor.
2.2 RECOPILACIÓN Y SELECCIÓN DE LOS ARTÍCULOS
El conjunto de artículos publicados se compiló a partir de la base de datos Web of Science y la base de datos Scopus. Para realizar búsquedas en el servicio proporcionado por las bases de datos, se formularon dos conjuntos de palabras clave, como se muestra en la Tabla 2. Un primer conjunto involucró 9 palabras clave relacionadas con la accesibilidad. El segundo conjunto, con 12 palabras clave, está relacionado con la evaluación heurística. Algunas de las palabras clave elegidas también fueron consideradas en la revisión por (PAIVA; FREIRE; FORTES; 2021); sin embargo, las palabras clave presentadas en la Tabla 2 no se limitan a las utilizadas por ellos.
Tabla 2 – Palabras clave
| Accesibilidad: Palabras clave | Heurística: Palabras clave |
| accesibilidad; tecnologías de asistencia; tecnologías adaptativas; tecnologías de rehabilitación; Accesibilidad; Comunicabilidad; dispositivos de asistencia; dispositivos adaptativos; Dispositivos de rehabilitación | evaluación heurística; modelo heurístico; método heurístico; técnicas heurísticas; técnicas de inspección; métodos de inspección; evaluación de inspección; modelo de inspección; inspección heurística; modelo de evaluación; métodos de evaluación; Técnicas de evaluación |
Fuente: autor.
Las búsquedas se realizaron combinando las palabras clave de los dos grupos. Por lo tanto, cada una de las 9 palabras clave del grupo de Accesibilidad se combinó con cada una de las 12 palabras clave del grupo de Heurística, utilizando el Operador Booleano “AND”. Un total de 301 resultados se encontraron inicialmente en la base de datos Web of Science Core Collection y 8247 resultados en la base de datos Scopus (Elsevier), totalizando 8548 resultados encontrados. Este conjunto inicial de artículos publicados se filtró de acuerdo con reglas predeterminadas para seleccionar solo aquellos que son consistentes con la revisión sistemática propuesta como se establece en la Sección 2.3.
2.3 PROCESO DE FILTRADO
En primer lugar, se utilizó un filtro para recuperar solo los artículos publicados de 2017 a 2021, con el objetivo de obtener las características más recientes y relevantes de la literatura científica, observando los términos de búsqueda. Después del filtro, 158 artículos fueron eliminados de los resultados de la búsqueda de Web of Science, dejando 143 resultados. Mientras que en Scopus, 4480 obras fueron removidas, dejando 3767. En total, después del filtro 1 quedaban 3910 papeles.
Se utilizó un segundo filtro para eliminar los artículos que no se caracterizaban como artículos. El propósito del filtro era centrarse únicamente en la revisión de artículos de gran relevancia académica, categorizados como “Artículo” en las plataformas de investigación. Por lo tanto, también se eliminaron los libros y otras categorías de material publicado. Los trabajos que surgieron de presentaciones en congresos, y que luego fueron publicados en revistas científicas, fueron consecuentemente incluidos en el análisis ya que ahora tenían el estatus de artículos. Un total de 63 artículos fueron eliminados por el segundo filtro en Web of Science, y un total de 1281 artículos fueron eliminados de la base de datos Scopus por el Filtro 2. Esto dejó 80 artículos de la Web of Science y 2486 de Scopus. En total, 2566 artículos permanecieron para análisis.
Un tercer filtro fue utilizado más tarde. Se observó que algunos de los artículos podrían ser fácilmente excluidos ya que no pertenecen al área de investigación de este trabajo. Por ejemplo, la encuesta reveló muchos artículos en las áreas de Salud, como Medicina y Enfermería. Tales artículos que no fueron categorizados como “Ciencias de la Computación”, de acuerdo con las áreas de investigación de las bases de datos utilizadas, no fueron considerados en esta revisión sistemática. 55 artículos fueron excluidos de los resultados de Web of Science, después del tercer filtro, quedando 25, y 1795 artículos fueron excluidos de los resultados de Scopus, quedando 691. Por lo tanto, un conjunto de 716 artículos permaneció después del filtro 3.
Finalmente, estos artículos fueron analizados para excluir artículos que no agregarían información relevante a esta investigación. Se llevó a cabo una verificación de cada artículo, en un intento de seleccionar solo los artículos que presentaban, en resumen, evaluaciones de la accesibilidad de las aplicaciones tecnológicas. Por lo tanto, fue posible eliminar los estudios duplicados encontrados en las dos bases de datos utilizadas. En total, se seleccionaron 101 artículos que formaron el conjunto final, los cuales fueron analizados y categorizados de acuerdo con las propuestas de este trabajo. La figura 1 ilustra el proceso de aplicación de filtros al conjunto inicial de artículos.
Figura 1- Proceso de filtrado
2.4 ANÁLISIS DE ACOPLAMIENTO Y CO-CITACIÓN
A lo largo de este artículo, se presentarán los resultados y la discusión sobre la revisión sistemática. Muchos gráficos se explican por sí mismos y responden a algunas de las preguntas de la encuesta. Algunos gráficos necesitan explicaciones adicionales, y estas se dan en el texto.
Se realizó un análisis de acoplamiento bibliográfico de las fuentes, de forma que los artículos obtenidos de un conjunto inicial se agruparon según sus fuentes. Este análisis se relaciona, cómo se citan diferentes fuentes, por medio de conjuntos. Luego, se enumeraron los artículos que mencionan a los autores de cada grupo formado. La fuerza del acoplamiento bibliográfico crece a medida que el número de artículos similares se enumera en las listas de las fuentes analizadas. Este análisis nos permite entender cuáles son las fuentes más relevantes para un número determinado de artículos (ECK; WALTMAN, 2010; PERIANES-RODRÍGUEZ; WALTMAN; ECK, 2016; SMALL, 1974; WALTMAN; ECK; NOYONS, 2010).
También se realizó un análisis de co-citación de referencias citadas, con el objetivo de medir la fuerza de las conexiones entre las referencias citadas de un conjunto de artículos. Usando un conjunto dado de artículos, se puede obtener una lista de referencias citadas de una base de datos como Web of Science o Scopus. Considerando un conjunto de artículos, cuanto mayor sea el número de artículos en este conjunto que citan dos referencias al mismo tiempo, mayor será la fuerza de co-citación entre estas dos referencias citadas. Este análisis nos permite comprender cómo las referencias más importantes en un conjunto de artículos se relacionan con los artículos en el conjunto en función de dónde se citan las referencias mismas. (ECK; WALTMAN, 2010; PERIANES-RODRÍGUEZ; WALTMAN; ECK, 2016; SMALL, 1974; WALTMAN; ECK; NOYONS, 2010).
Con el fin de crear un mapa que vincule las palabras clave de los autores más relevantes de los artículos analizados, se realizó un análisis en red de las palabras clave de los autores. La fuerza de la conexión entre palabras clave crece a medida que más artículos las usan (ECK; WALTMAN, 2010; PERIANES-RODRÍGUEZ; WALTMAN; ECK, 2016; SMALL, 1974; WALTMAN; ECK; NOYONS, 2010).
3. RESULTADOS Y DISCUSIÓN DE LA SISTEMÁTICA
En primer lugar, para responder a las dos primeras preguntas de investigación, los artículos fueron separados por año de publicación y por la frecuencia de su citación a lo largo de los años. La Figura 2 ilustra los resultados de categorizar los artículos en relación con el año de publicación por medio de un gráfico de área, que muestra una tendencia en el crecimiento del número de artículos publicados cada año a partir de 2018. Para 2021, solo se contabilizaron los artículos publicados hasta el 2 de julio. Por lo tanto, a efectos de comparación, es evidente que el número total de artículos, publicados solo en el primer semestre de 2021, ya supera la mitad de los artículos publicados en cada uno de los otros años anteriores. Un crecimiento más evidente se ve en 2019, posiblemente porque, en ese año, la Unión Europea introdujo el Acta Europea de Accesibilidad, que actualmente se considera uno de los principales ejemplos de legislación de accesibilidad digital en el mundo. Además del hecho de que los países miembros de la Unión Europea necesitaban cumplir con la Directiva de Accesibilidad Web, aprobada por el Parlamento Europeo, que exige que los sitios web de los organismos del sector público cumplan con los estándares de accesibilidad desde el 23 de septiembre de 2018. Al observar la Figura 3, observe que los países que produjeron la mayoría de los artículos en esta muestra fueron España, Malasia, Estados Unidos y Brasil. Sin embargo, más del 60% de los artículos encontrados provienen de países pertenecientes a la Unión Europea, lo que explica la mayor atención a la accesibilidad debido a la legislación mencionada. Por lo tanto, la respuesta al Q1 es: sí, el número de modelos utilizados en la evaluación heurística de accesibilidad ha ido creciendo año tras año desde 2018.
Figura 2 – Producción científica anual
Figura 3 – Producción científica del país
Con respecto al Q2, la Figura 4 ilustra la evolución del número acumulado de citas de artículos seleccionados por año, y se puede evidenciar visualmente una curva de crecimiento suave. Por lo tanto, se observa que no ha habido tiempo para que los artículos más recientes sean citados en comparación con estudios anteriores. Hubo un aumento en el número de artículos publicados, pero los artículos más recientes, naturalmente, todavía tienen un menor número de citas, lo que demuestra que los artículos más antiguos tienen más relevancia para las discusiones recientes sobre el tema. En el primer semestre de 2021, los artículos seleccionados recibieron 6 citas, lo que demuestra que los autores están más interesados en el estado del arte en esta área a partir de las fuentes, pero también demuestra que los artículos continúan siendo citados a lo largo de los años, y muestra que se ha vuelto natural que los artículos más recientes se basen en los anteriores. Por lo tanto, la respuesta a Q2 es que el número de artículos que citan la evaluación heurística para las decisiones de accesibilidad ha crecido.
Figura 4 – Número de citas por año
Se realizó la verificación de otras citas, utilizando información extraída de las bases de datos de revistas en línea, para evidenciar la listación de los artículos. La herramienta Bibliometrix R (ARIA; CUCCURULLO, 2017) se utilizó para analizar el acoplamiento bibliográfico de las fuentes y para realizar un análisis de co-citación a través de la visualización de redes y la división de conglomerados. En la investigación de acoplamiento bibliográfico, el grado de parentesco entre los artículos se basa en el número de referencias compartidas. En el análisis de co-citación, el vínculo entre los documentos citados se observa debido a la forma en que los elementos de referencia se citan juntos (SMALL, 1974). La Figura 5 muestra un análisis de co-citación para 27 referencias, y se identifican tres grupos.
Figura 5 – Análisis de la co-cita
La Tabla 3 presenta los tres grupos, enumerando los artículos que forman cada uno. Se observó que los estudios generales que abordaban la evaluación de la accesibilidad se asignaron al grupo 1. Por otra parte, las categorías 2 y 3 incluían documentos centrados en la evaluación de los sitios web de los gobiernos.
Tabla 3 – Agrupación de grupos de co-citas
| Grupo 1 | Grupo 2 | Grupo 3 |
| Vigo M. 2013 | Abindum A. 2005 | Nielsen J. 1994-2 |
| Nielsen J. 1994-1 | Al-Faries A. 2013 | Al-Khalifa H.S. 2017 |
| Potencia c. 2012 | Al-Khalifa H.S. 2012 | Youngblood n.e. 2012 |
Fuente: autor.
Tabla 3 – Agrupación de grupos de co-citas (conclusión)
| Grupo 1 | Grupo 2 | Grupo 3 |
| Brajnik G. 2008-1 | Baowaly M.K. 2012 | Jati H. 2009 |
| ACM: Nueva York NY USA. | Adepoju S.A. 2016 | Rey B.A. 2016 |
| Aizpurua A. 2016 | Akgul Y. 2016 | |
| Lazar J. 2007 | Al-Radaideh M. 2011 | |
| Petrie H. 2007 | Al Mourad b. 2013 | |
| Ahmi A. 2015 | Grantham J. 2012 | |
| Brajnik G. 2008-2 | LATIF M.H.A. 2010 | |
| Brajnik G. 2011 | Lujn-Mora S. 2014 |
Fuente: autor.
Para analizar cómo se vinculan las fuentes en función de sus referencias, se realizó un análisis de acoplamiento bibliográfico que se ilustra en la representación visual de la red en la Figura 6. En este caso, se formaron tres grupos diferentes. Universal Access in the Information Society, Library Hi Tech, IEEE Access y Advances in Human-Computer Interaction fueron identificados como las fuentes más relevantes para las conexiones dentro de la red.
Figura 6 – Análisis del acoplamiento bibliográfico
Teniendo en cuenta la información extraída de los análisis, se puede responder a la Q3 indicando que los principales estudios que abordan las evaluaciones heurísticas para las decisiones en accesibilidad son Al-Faries (2013), Al-Khalifa (2012), Al-Khalifa (2017), Vigo (2013) y Abanumy (2005) y las fuentes para estos son Universal Access in the Information Society, Library Hi Tech, IEEE Access y Advances in Human-Computer Interaction.
Para responder a la pregunta 4, se realizó un estudio sobre los autores de los artículos catalogados. Los nombres de 307 autores fueron encontrados en los artículos publicados. 302 de estos autores fueron coautores de dos o más de los 101 artículos, mientras que solo cinco de ellos son de un solo autor. Se utilizó la herramienta Bibliometrix R para recoger el impacto de los autores y este impacto se ilustra en la Tabla 4 para los autores principales. Entre las métricas presentadas se encuentran el número de artículos publicados, el total de citas, el índice h, el índice g y el índice m, considerando el conjunto de artículos analizados en esta RSL. Cada uno de los autores en esta tabla es coautor de al menos tres de los 101 artículos identificados para este estudio.
Tabla 4 – Impacto de los autores
| Autor | h_index | g_index | m_index | Número total de citas | Número de ponencias | PY_start | |||
| ACOSTA-VARGAS P | 2 | 3 | 0.667 | 18 | 3 | 2019 | |||
| DOUSH IA | 2 | 3 | 0.4 | 22 | 3 | 2017 | |||
| ISMAILOVA R | 3 | 3 | 0.6 | 75 | 3 | 2017 | |||
| AZIZ N | 1 | 2 | 0.2 | 4 | 2 | 2017 | |||
| BRANCO F | 2 | 2 | 0.4 | 37 | 2 | 2017 | |||
| FREIRE AP | 2 | 2 | 2 | 5 | 2 | 2021 | |||
| GONALVES R | 2 | 2 | 0.4 | 37 | 2 | 2017 | |||
| HUSSAIN A | 1 | 2 | 0.25 | 4 | 2 | 2018 | |||
| INAL Y | 2 | 2 | 0.4 | 40 | 2 | 2017 | |||
| LUJAN-MORA S | 2 | 2 | 0.667 | 15 | 2 | 2019 | |||
| LUJN-MORA S | 2 | 2 | 0.5 | 17 | 2 | 2018 | |||
| MARTINS J | 2 | 2 | 0.4 | 37 | 2 | 2017 | |||
| MUTALIB AA | 1 | 2 | 0.2 | 4 | 2 | 2017 | |||
| PAIVA DMB | 2 | 2 | 0.5 | 5 | 2 | 2018 | |||
Fuente: autor.
Como se muestra en la Tabla 4, de los autores principales, tres son coautores de más de 2 de los artículos, a saber, Acosta-Vargas P, Doush IA e Ismailova R. De hecho, se señala que Acosta-Vargas, aunque solo apareció por primera vez en 2019 en esta área, ya es el autor más importante según los índices mostrados. En respuesta a la 4ª P4, considerando el índice g y el número de artículos, estos tres autores se destacan como los investigadores más relevantes en el área de investigación de evaluación heurística para la accesibilidad. Acosta-Vargas P también destaca por el índice m, mientras que Ismailova R destaca por el número de citas. La Tabla 5 ilustra la relación entre estos autores y los modelos de evaluación heurística analizados.
Tabla 5 – Autores principales x modelos
| Autor | Modelos |
| Acosta-Vargas P. | WCAG 2.1, WCAG 2.2, WCAG 2.1 + Brajnik, JClic, Ardora, Chanchí et al. (2019), Case Study, Salvador-Ullauri L. et al. (2020). |
| Doush IA. | AChecker, Validador HTML, Validador CSS, APrompt, Cynthia Says, EvalAccess 2.0, SortSite, TAW, WAVE, ISAB. |
| Ismailova R. | Survey, EvalAccess 2.0, WCAG 1.0, WebXACT/Bobby, Cynthia Says, The Functional Accessibility, WebInSight, TAW, AChecker. |
Fuente: autor.
Q5 está directamente relacionado con revistas científicas que publican artículos que diseñan y aplican la evaluación heurística para ayudar a tomar mejores decisiones en accesibilidad. En total, se encontraron 55 revistas científicas diferentes. Solo 16 de estas revistas publicaron más de 2 artículos que se incluyeron en el RSL. La Tabla 6 muestra cada una de estas revistas científicas según el número de artículos publicados cada una de ellas.
Tabla 6 – Artículos publicados por revista
| Fuentes | Artículos |
| ACCESO UNIVERSAL EN LA SOCIEDAD DE LA INFORMACIÓN | 19 |
| ACCESO IEEE | 7 |
| RISTI – REVISTA IBERICA DE SISTEMAS E TECNOLOGIAS DE INFORMACAO | 6 |
| CIENCIAS APLICADAS (SUIZA) | 4 |
| REVISTA INTERNACIONAL DE INTERACCIÓN HUMANO-COMPUTADORA | 4 |
| TRANSACCIONES DE ACM EN INFORMÁTICA ACCESIBLE | 2 |
| AVANCES EN LA INTERACCIÓN HUMANO-COMPUTADORA | 2 |
| COMPORTAMIENTO Y TECNOLOGÍA DE LA INFORMACIÓN | 2 |
| LAS COMPUTADORAS EN EL COMPORTAMIENTO HUMANO | 2 |
| BIBLIOTECA ELECTRÓNICA | 2 |
| REVISTA INTERNACIONAL DE TECNOLOGÍAS MÓVILES INTERACTIVAS | 2 |
| REVISTA INTERNACIONAL DE TECNOLOGÍA E INTERACCIÓN HUMANA | 2 |
| REVISTA DE TECNOLOGÍA DE LA INFORMACIÓN Y LA COMUNICACIÓN | 2 |
| REVISTA DE TECNOLOGÍA DE EDUCACIÓN ESPECIAL | 2 |
| BIBLIOTECA HI TECH | 2 |
| HERRAMIENTAS Y APLICACIONES MULTIMEDIA | 2 |
Fuente: autor.
Al analizar la Tabla 6, tenga en cuenta que solo 16 de las 55 fuentes científicas fueron citadas, es decir, 39 de las fuentes publicaron solo 1 artículo científico relacionado con el tema especificado. Estos números muestran que los autores pueden buscar revistas más específicas que traten un determinado tipo de modelo de evaluación heurística, o fuentes específicas en relación con entornos donde puede haber una cierta preocupación con la accesibilidad para evaluarlo.
Se realizó un análisis más específico con la herramienta Bibliometrix R (ARIA; CUCCURULLO, 2017) sobre el impacto de las revistas científicas. La Tabla 7 presenta un conjunto de métricas que involucran las revistas más relevantes basadas en el índice h en relación con las citas de los estudios de cada revista. Se muestra el número de artículos publicados, el total de citas, el índice h, el índice g y el índice m, considerando los 101 artículos analizados en esta RSL. También se muestra el Factor de Impacto (FI) calculado de cada revista durante los últimos dos años.
Tabla 7 – Impacto de las revistas
| Elemento | h_index | g_index | m_index | TC | NP | PY_start | SI | ||||||||
| ACCESO UNIVERSAL EN LA SOCIEDAD DE LA INFORMACIÓN | 7 | 13 | 1.4 | 183 | 13 | 2017 | 1.815 | ||||||||
| TRANSACCIONES DE ACM EN INFORMÁTICA ACCESIBLE | 2 | 2 | 0.666666667 | 23 | 2 | 2019 | 2.641 | ||||||||
| AVANCES EN LA INTERACCIÓN HUMANO-COMPUTADORA | 2 | 2 | 0.5 | 5 | 2 | 2018 | 1.355 | ||||||||
| LAS COMPUTADORAS EN EL COMPORTAMIENTO HUMANO | 2 | 2 | 0.4 | 33 | 2 | 2017 | 5.003 | ||||||||
| BIBLIOTECA ELECTRÓNICA | 2 | 2 | 0.4 | 11 | 2 | 2017 | 0.792 | ||||||||
| ACCESO IEEE | 2 | 3 | 0.666666667 | 25 | 3 | 2019 | 3.745 | ||||||||
| Elemento | h_index | g_index | m_index | TC | NP | PY_start | SI | ||||||||
| REVISTA INTERNACIONAL DE INTERACCIÓN HUMANO-COMPUTADORA | 2 | 3 | 0.4 | 34 | 3 | 2017 | 1.713 | ||||||||
| REVISTA INTERNACIONAL DE TECNOLOGÍA E INTERACCIÓN HUMANA | 2 | 2 | 0.666666667 | 6 | 2 | 2019 | 0.711 | ||||||||
| REVISTA DE TECNOLOGÍA DE LA INFORMACIÓN Y LA COMUNICACIÓN | 2 | 2 | 0.4 | 12 | 2 | 2017 | 1.833 | ||||||||
| RISTI – REVISTA IBERICA DE SISTEMAS E TECNOLOGIAS DE INFORMACAO | 2 | 2 | 0.666666667 | 8 | 3 | 2019 | 0.531 | ||||||||
Fuente: autor.
Es interesante observar en la Tabla 7 que, en todas las revistas enumeradas, los artículos de muestra tienen, en promedio, más citas por artículo que el promedio general de la revista. Por lo tanto, tiran del FI de las respectivas revistas hacia arriba.
Al examinar las palabras clave indicadas en el catálogo de artículos, se podría extraer información en forma de WordCloud. La Figura 7 ilustra los principales términos presentes en los artículos, ilustrando para qué temas se consideraron las revistas en esta RSL y por qué criterios pueden ser clasificadas. Destacamos los términos accesibilidad y usabilidad como los más relevantes entre los 20 términos más relevantes de todo el catálogo. Los términos que se refieren a las discapacidades y los ancianos también entraron en la composición de la figura. Es importante mencionar que un artículo publicado puede tener más de una palabra clave.
Figura 7 – WordCloud de los términos principales
La figura 8 muestra las 10 expresiones de dos palabras (Bigrams) que más aparecen en los títulos de los artículos analizados en esta RSL. Dentro de este TreeMap, se pueden analizar diferentes informaciones en relación con la Figura 7, como los términos ‘revisión bibliográfica’ y ‘literatura sistemática’, mostrando así el formato de algunos de estos estudios en el área. En la Figura 8, el término accesibilidad se confirma como el más relevante para las revistas que publican evaluaciones heurísticas de accesibilidad. Los sitios web gubernamentales también se muestran como una expresión relevante en esta área de investigación y están presentes en el 12% de los artículos. Por lo tanto, la respuesta a Q5 es “sí”: los modelos de evaluación heurística están más presentes en las revistas centradas en la investigación operativa.
Figura 8 – TreeMap of Bigrams
La respuesta a Q6 se puede identificar en la Figura 9. Los modelos más citados y utilizados en las evaluaciones heurísticas de accesibilidad que están científicamente documentadas e indexadas por Scopus y Web of Science son: estándares WCAG, herramientas AChecker y WAVE. Tenga en cuenta que, además de los modelos en sí, se utilizan técnicas, herramientas, estándares, estudios, revisiones y métricas para evaluar la accesibilidad en el software. El WCAG tiene diferentes versiones que fueron citadas por los estudios (1.0, 2.0, 2.1, 2.2 y otras variaciones (ACOSTA-VARGAS et al., 2020; ACOSTA-VARGAS; SALVADOR-ULLAURI; LUJAN-MORA, 2019; AKGÜL, 2021; ALAJARMEH, 2021; ALSAEDI, 2020; BABU; XIE, 2017; BAI; EXTRAVIADO; MORK, 2019; HASSOUNA; SAHARI; ISMAIL, 2017; ISMAILOVA; KIMSANOVA, 2017; MADEIRA y otros, 2021; MARTINS; GONÇALVES; BRANCO, 2017; SALVADOR-ULLAURI et al. 2020; WENTZ et al., 2019). La herramienta más utilizada fue AChecker.
Figura 9 – Frecuencia de citación de los modelos
En la Tabla 8 hay descripciones de los modelos que se mencionan más de una vez y sus respectivas ocurrencias en los artículos de la muestra final. 91 modelos diferentes fueron citados sólo una vez, mientras que 25 modelos diferentes fueron citados más de una vez.
Tabla 8 – Recuento de ocurrencias de los modelos
| Modelos/Técnicas/Herramientas/Patrones | Frecuencia |
| WCAG | 17 |
| AChecker | 13 |
| OLA | 10 |
| TAW | 6 |
| Entrevista | 6 |
| Encuesta | 6 |
| Validador W3C HTML/CSS | 5 |
| SortSite | 4 |
| Cuestionarios | 4 |
| Experimento | 4 |
| EvalAccess | 4 |
| FAE | 3 |
| Estudio de casos | 3 |
| WCAG 2.1 + Brajnik | 2 |
| Pingdom AB | 2 |
| Prueba compatible con dispositivos móviles | 2 |
| ARIA | 2 |
Fuente: autor.
Tabla 8 – Recuento de ocurrencias de los modelos (conclusión)
| Modelos/Técnicas/Herramientas/Patrones | Frecuencia |
| Validador total | 2 |
| SiteImprove | 2 |
| Normando | 2 |
| Nielsen | 2 |
| Prototipo | 2 |
| Evaluaciones de UX | 2 |
| Chanchí et all (2019) | 2 |
| Cynthia dice | 2 |
Fuente: autor.
Para responder a la pregunta 7, se tuvieron que recolectar las tecnologías involucradas en todos los estudios de los artículos en la muestra final. Se identificó que las tecnologías evaluadas no eran necesariamente directa o adecuadamente asistenciales, sino que eran utilizadas por un público que tenía personas que se beneficiaban de buenas prácticas de accesibilidad. Inicialmente, una minoría de los estudios evaluaron adecuadamente las tecnologías de asistencia, como se ilustra en la Figura 10.
Figura 10 – Tipos de tecnologías evaluadas
La Tabla 9 enumera las breves descripciones de las tecnologías de asistencia evaluadas por los artículos. Solo la tecnología TalkBack fue el foco de evaluación en más de un estudio diferente (ROBLES et al., 2019; YAN; RAMACHANDRAN, 2019).
Cuadro 9 – Descripción de las tecnologías asistenciales
| Tipos de tecnologías de asistencia evaluadas |
| Sistemas de asistencia en general |
| Diseño de sistemas interactivos de asistencia |
| Dispositivo de apuntamiento de asistencia basado en una cámara montada en la cabeza |
| Interacción de gráficos (ampliación segura, impresión, personalización de actualización en tiempo real, interacción de voz, exportación de datos, sonificación) |
| Brazo robótico colaborativo |
| Cursos interactivos de asistencia |
| Accesibilidad del teclado |
| Aplicaciones móviles de asistencia de salud |
| Lenguaje asistido por dispositivos móviles y basado en gamificación |
| Estímulos de entrenamiento multimedia |
| TalkBack |
| Asistencia a la navegación remota basada en teleguía |
Fuente: autor.
Entre las otras tecnologías evaluadas por los artículos, destacamos la evaluación de sitios web en general, aplicaciones móviles, sitios web gubernamentales, software en general y software educativo, como se ilustra en la Figura 11.
Figura 11. Tecnologías no asistenciales evaluadas
La respuesta a Q7 es que TalkBack es el tipo de tecnología de asistencia más compatible con los modelos que investigamos. Sin embargo, en general, los sitios web son los más evaluados debido a la heurística de accesibilidad.
Para responder a la pregunta 8, lo que había que hacer era revisar todos los artículos seleccionados, e identificar y agrupar los grupos de individuos caracterizados como público objetivo de cada estudio. Se observó que el grupo de individuos con discapacidad visual (incluyendo personas ciegas, personas con baja visión y otros individuos con problemas visuales) son el foco más frecuente de la investigación que involucra la evaluación heurística de la accesibilidad. La Figura 12 ilustra el porcentaje de ocurrencia de cada grupo de individuos descritos en los artículos de RSL.
Figura 12. Aparición del público objetivo
La Tabla 10 presenta una descripción de los grupos de individuos que fueron seleccionados como público objetivo de la investigación, el número de ocurrencias de estos grupos en los artículos y, en algunos casos, algunas observaciones sobre la agrupación. Algunos estudios se centraron en más de un grupo de individuos, por lo que la suma total excede el número de artículos analizados en esta revisión sistemática.
Tabla 10 – Público destinatario de los estudios
| Público destinatario de los estudios | Ocurrencias | Observaciones |
| Personas con discapacidad visual | 29 | Estos incluyen ciegos, baja visión, problemas de contraste y otros usuarios con discapacidad visual. |
| Personas con discapacidad | 21 | No especificado |
| Personas en general | 17 | No especificado |
| Público destinatario de los estudios | Ocurrencias | Observaciones |
| Usuarios de sitios web educativos | 10 | Estos incluyen administradores, estudiantes (con discapacidades no especificadas o no), maestros |
| Los ancianos | 10 | |
| Personas con trastorno del espectro autista (TEA) | 6 | |
| Personas con discapacidad física o sensorial | 5 | |
| Personas con discapacidad auditiva | 4 | |
| Usuarios del sitio web del gobierno | 4 | |
| Personas con discapacidad intelectual | 3 | |
| Personas con discapacidades de aprendizaje | 3 | |
| Partes interesadas involucradas con el producto | 2 | |
| Personas con síndrome de Down | 1 | |
| Personas con impedimentos del habla | 1 | |
| Personas con trastorno por déficit de atención con hiperactividad (TDAH) | 1 | |
| Personas con fotosensibilidad | 1 |
Fuente: autor.
En respuesta a la P9, las limitaciones y brechas existentes más citadas en los trabajos que abordan los modelos de evaluación heurística son: los recursos tecnológicos utilizados; el enfoque de los estudios, que no siempre se centran solo en la accesibilidad; la limitación de la investigación relacionada con los objetivos abordados aquí en esta RSL; y la diversidad de la población estudiada. El número de veces que aparece cada tipo de limitación en la muestra para esta revisión se muestra en la Tabla 11 a continuación. Es importante señalar que diferentes artículos citaron más de un tipo de limitación diferente, lo que hace que el número total de ocurrencias sea mayor que el número de artículos en la muestra.
Tabla 11 – Limitaciones de los estudios
| Limitaciones | Frecuencia |
| Limitaciones de los recursos tecnológicos utilizados | 32 |
| La evaluación de accesibilidad no es el foco de la búsqueda | 24 |
| Búsqueda limitada | 24 |
| Diversidad de la población estudiada | 18 |
| Barreras durante las interacciones o la recopilación de datos con las partes interesadas | 7 |
| El resultado está en la etapa preliminar | 6 |
| Costar | 5 |
| Hora | 5 |
| No se hace hincapié en los aspectos culturales, las necesidades del usuario y los aspectos contextuales | 4 |
| Sesgo de los investigadores y generalización de sus resultados | 4 |
| Directrices antiguas | 2 |
| Pautas subjetivas | 2 |
| Conocimiento de la población objetivo | 1 |
Fuente: autor.
La figura 13 muestra un gráfico que enumera las limitaciones mencionadas como un porcentaje de su número total y, por lo tanto, muestra las limitaciones mencionadas con mayor frecuencia.
Figura 13 – Frecuencia de las limitaciones
Para responder a la pregunta Q10, la información tuvo que ser extraída de la heurística utilizada en cada uno de los estudios reportados por los artículos de esta RSL. Las heurísticas suelen pertenecer a un grupo heurístico o repositorio específico. Como se muestra en la Tabla 12, se describieron los grupos, repositorios, referencias y estudios heurísticos mencionados en más de un artículo.
Tabla 12 – Fuentes de la heurística
| Heurística | Frecuencia |
| WCAG 2.0 | 28 |
| WCAG 2.1 | 11 |
| Nielsen | 10 |
| WCAG 1.0 | 9 |
| Heurística | Frecuencia |
| Normas de la Sección 508 de EE. UU. | 8 |
| WCAG | 7 |
| W3C | 5 |
| Entrevista | 4 |
| WAI-ARIA | 4 |
| Directrices propias | 4 |
| Experimento | 3 |
| ISO 9241-11 | 3 |
| ISO/IEC 40500 | 2 |
| Silva, Holden y Jordania, 2015 | 2 |
Fuente: autor.
Considerando todas las citas de la muestra final, se construyó un gráfico que muestra la relación proporcional entre las principales fuentes de heurísticas citadas que se agrupan, independientemente del versionado, y las otras fuentes menos citadas. Este gráfico se muestra en la Figura 14.
Figura 14 – Fuentes de los Heurístics
De la Figura 14, observe que las fuentes más recurrentes son las diferentes versiones de las WCAG del W3C, que son creadas por el mismo grupo que proporciona otros conjuntos de pautas reconocidas internacionalmente, y que también se citan en el conjunto de muestra final de esta RSL (UAAG; FERATI; VOGEL, 2020), ATAG (FERATI; VOGEL, 2020) WAI-ARIA (COSTA; DUARTE, 2017; FERATI; VOGEL, 2020; GARCÍA-SANTIAGO; OLVERA-LOBO, 2021) pero se incluyen en la categoría Otros del gráfico presentado. También hay algunos estudios que citan ISO/IEC 40500 (MARCO; ALONSO; QUEMADA, 2019; NAVARRETE; LUJÁN-MORA, 2018), que es el equivalente a WCAG 2.0. Por lo tanto, la respuesta a Q10 es: las heurísticas más analizadas por los modelos publicados son las heurísticas descritas por WCAG (Perceptibility, Operability, Understanding and Robustness) (CALDWELL et al., 2008).
Las métricas más utilizadas en las evaluaciones son los niveles de cumplimiento de las WCAG (A, AA, AAA) ( CALDWELL et al., 2008). Esta es la respuesta a la pregunta 11, como se muestra en la Tabla 13, que enumera todas las fuentes (citadas más de una vez) de las que se extrajeron las métricas de evaluación. De un total de 85 fuentes de diferentes métricas citadas en los artículos, solo 15 fueron citadas más de una vez y solo 1 fuente (W3C WCAG) destaca con una diferencia de 29 citas más que las otras fuentes más marcadas (Literature Review and Questionnaire).
Tabla 13 – Fuentes de las métricas
| Fuente de las métricas | Citas |
| W3C WCAG | 36 |
| Revisión de la literatura | 7 |
| Cuestionario | 7 |
| Encuesta | 6 |
| Entrevista | 6 |
| Experimento | 6 |
| Estudio propio | 4 |
| Investigación cualitativa | 3 |
| Nielsen | 3 |
| WAI | 2 |
| Artículo 508 | 2 |
| Prueba piloto | 2 |
| NTC 5854 | 2 |
| Estudio de casos | 2 |
| Normas ARIA | 2 |
Fuente: autor.
Para responder a la última pregunta de investigación del artículo, lo que tuvo que ser investigado para todas las tecnologías de asistencia estudiadas fue qué modelo de evaluación se utilizó en el estudio. Sin embargo, se observó que el número de tecnologías de asistencia en sí es bajo en relación con el total de tecnologías mencionadas, y no hubo repetición de la aparición de tecnologías de asistencia en los artículos de muestra, con la excepción de TalkBack, lo que hace imposible hacer una asociación entre el tipo de tecnología utilizada y el modelo utilizado para evaluar la heurística.
La respuesta a la pregunta 12 es en la parte no. No hay evidencia de una asociación entre el modelo para evaluar la accesibilidad y la tecnología de asistencia evaluada. Al observar los estudios que involucraron la evaluación de TalkBack (MADEIRA et al., 2021; ROBLES y otros, 2019; YAN; RAMACHANDRAN, 2019), se observa que los modelos mencionados son diversos y no se repiten. En una comprobación rápida, el modelo de evaluación más citado en los artículos de esta RSL (normas WCAG) no presenta una asociación con ninguna tecnología específica, ya que no se observó un patrón de repetición. Sin embargo, se pudo establecer una relación entre los principales públicos objetivo no generalizados y los modelos de evaluación encontrados en la literatura, como se muestra en la Tabla 14. Cabe destacar que el patrón WCAG es el más recurrente en los estudios dirigidos a personas con discapacidad visual, mientras que los cuestionarios y entrevistas son los más utilizados para evaluar productos dirigidos a personas mayores, mientras que Wave y AChecker aparecen más en encuestas enfocadas a personas con discapacidad física o sensorial.
Tabla 14 – Modelos vs Público objetivo
| Modelos/ Público objetivo | Las personas con discapacidad visual | Los ancianos | Personas con trastorno del espectro autista (TEA) | Personas con discapacidad física o sensorial | Las personas con discapacidad auditiva |
| WCAG | 5 | ||||
| AChecker | 3 | 2 | 1 | ||
| Entrevista | 3 | 2 | 1 | ||
| Brajnik | 2 | ||||
| Cuestionario | 2 | 2 | |||
| eXaminator | 1 | 1 | 1 | ||
| Ola | 1 | 2 | 1 | ||
| TAW | 1 | 1 | 1 | ||
| Modelos/ Público objetivo | Las personas con discapacidad visual | Los ancianos | Personas con trastorno del espectro autista (TEA) | Personas con discapacidad física o sensorial | Las personas con discapacidad auditiva |
| Modelo de interacción dispositivo propio | 1 | 1 | 1 | 1 | |
| Ivarsson y Gorschek (2011) | 1 | 1 | 1 | ||
| Experimento | 1 | 1 | |||
| Estudio de casos | 1 | 1 | |||
| Encuesta | 1 | 1 |
Fuente: autor.
4. DISCUSIÓN, CAMINOS FUTUROS Y TENDENCIAS
Esta investigación presentó el análisis de los resultados obtenidos de la agrupación de artículos en una RSL. En total, se agruparon 101 artículos según año de publicación, referencias, autores, modelos, tecnologías, público objetivo, limitaciones, heurística y métricas. A partir de la presentación de los resultados, se elaboró y respondió un conjunto de preguntas de investigación. La Tabla 15 presenta las conclusiones del análisis realizado sobre el conjunto de 12 preguntas de investigación presentadas inicialmente en la Tabla 1.
Tabla 15 – Conclusiones de la investigación
| Preguntas de investigación | Descripción |
| P1 | Sí, el número de modelos utilizados en la evaluación heurística de accesibilidad ha ido creciendo año tras año. |
| P2 | Sí. El número de artículos que citan la evaluación heurística para las decisiones de accesibilidad ha crecido, pero los nuevos artículos no han tenido mucho tiempo para ser citados con más frecuencia. |
| P3 | Al-Faries A. (2013), Al-Khalifa H.S. (2012), Al-Khalifa H.S. (2017), Vigo M. (2013) y Abanumy A. (2005) |
| P4 | Acosta-Vargas P., Doush I.A. e Ismailova R. |
| P5 | Sí. Los modelos de evaluación heurística están más presentes en revistas enfocadas a la investigación operativa |
| P6 | Los modelos más citados y utilizados en las evaluaciones heurísticas de accesibilidad científicamente documentadas e indexadas por Scopus y Web of Science son: estándares WCAG, herramientas AChecker y WAVE |
| P7 | TalkBack es el tipo de tecnología de asistencia más soportada por los modelos investigados, sin embargo, en general, los sitios web son el producto más evaluado debido a la heurística de accesibilidad. |
| P8 | El grupo de individuos con discapacidad visual (incluidas las personas ciegas, las personas con baja visión y otras personas con problemas visuales) es el foco más frecuente de investigación que involucra la evaluación heurística de la accesibilidad. |
| P9 | Las limitaciones y lagunas existentes más citadas en los trabajos que abordan modelos de evaluación heurística son: los recursos tecnológicos utilizados; el enfoque de los estudios, que no siempre se centran solo en la accesibilidad; la limitación de la investigación relacionada con los objetivos abordados aquí en esta RSL; y la diversidad de la población estudiada |
| P10 | Las heurísticas más contempladas por los modelos publicados son las heurísticas descritas por WCAG (Perceptibilidad, Operatividad, Comprensión y Robustez) |
| P11 | Las métricas más utilizadas en las evaluaciones son los niveles de cumplimiento de WCAG (A, AA, AAA) |
| P12 | No hay evidencia de una asociación entre el modelo para evaluar la accesibilidad y la tecnología de asistencia evaluada. Sin embargo, el patrón WCAG es el más recurrente en los estudios dirigidos a personas con discapacidad visual, mientras que los cuestionarios y entrevistas son los más utilizados para evaluar productos dirigidos a personas mayores, mientras que Wave y AChecker aparecen más en encuestas enfocadas a personas con discapacidad física o sensorial. |
Fuente: autor.
Dados los resultados, se puede confirmar el predominio del uso de heurísticas y métricas de WCAG, así como todo el contexto evaluativo de WCAG. Además, el crecimiento en el número de artículos publicados en el área demuestra la importancia de la evaluación heurística para apoyar la accesibilidad en los productos de software.
En resumen, las principales aportaciones de este estudio son haber realizado una revisión del estado del arte de la evaluación heurística de la accesibilidad que pueda servir de base para futuras investigaciones en el ámbito de la accesibilidad digital; establecer y responder a un conjunto de preguntas de investigación relevantes para la literatura; ampliar las RSL anteriores en cuanto al alcance de la investigación mediante la inserción de enfoques relacionados con los modelos, heurísticas y métricas que más se utilizan para evaluar la accesibilidad de los productos tecnológicos.
En cuanto a futuras líneas de investigación, se sugieren investigaciones más específicas relacionadas con el uso de diferentes tecnologías de asistencia apoyadas por evaluaciones heurísticas. Investigaciones que especifican un público objetivo definido, así como el establecimiento y respuesta de nuevas preguntas de investigación utilizando la base de datos creada en este estudio. Los estudios futuros deben continuar refinando los métodos heurísticos y, por lo tanto, socializar las mejores prácticas de accesibilidad.
La investigación futura también puede proponer nuevos métodos para evaluar los recursos digitales. Se sugieren pruebas de estos nuevos métodos con usuarios bien definidos para identificar las barreras que pueden tener en el uso de los recursos tecnológicos cubiertos en las pruebas. Además, se sugiere un complemento a esto, a saber, una encuesta a las partes interesadas involucradas en el desarrollo de software, para averiguar si conocen las pautas de accesibilidad difundidas en la literatura y si ya han aplicado algunas de las pautas en productos de software.
Además, será necesario un estudio sobre las métricas utilizadas en la evaluación de accesibilidad, con el fin de analizar la validez de las métricas existentes y proponer mejoras que permitan el uso efectivo de estas técnicas en proyectos de software.
Aunque hay ventajas en la evaluación de la accesibilidad en la toma de decisiones en la construcción de software, que están bien difundidas en la literatura, todavía hay desafíos por explorar en el campo. La implementación de la evaluación heurística para las decisiones sobre accesibilidad en las organizaciones y el uso adecuado de la heurística está muy extendida en la búsqueda de soluciones en las más diferentes áreas del conocimiento (VENTURI, 1995). Los modelos evaluativos pueden llevar tiempo e implicar costos y esfuerzos financieros. Así, los modelos más utilizados permiten la flexibilidad de algunos de sus parámetros para facilitar su aplicabilidad. Han surgido muchos modelos híbridos que combinan herramientas automatizadas, principios teóricos bien establecidos y técnicas de diseño.
Con respecto a esta RSL, las tecnologías de apoyo corresponden a solo el 13% de las tecnologías mencionadas en el conjunto de artículos seleccionados (ver Figura 10), mientras que el 14% del público objetivo de los estudios es el público en general, sin caracterización de los usuarios (ver Figura 12). Esto muestra que, aunque la mayoría de los estudios se centran en usuarios específicos, las tecnologías que se evalúan no fueron diseñadas para ayudar directamente a un grupo específico. A partir de esta investigación, se observó que no hay evidencia de una asociación entre el modelo para evaluar la accesibilidad y la tecnología de asistencia evaluada, pero fue posible establecer qué modelos son los más utilizados por las audiencias específicas más citadas en los estudios.
Para concluir, mantener el análisis de las limitaciones permanentes en los modelos evaluativos se sugiere como importante para las perspectivas futuras. La comparación entre diferentes estudios de revisión debe informar si se han aliviado o no algunas de estas limitaciones. A partir de este estudio, las limitaciones más frecuentes se refieren a los recursos tecnológicos utilizados, el enfoque de los estudios, la dirección de la investigación y la diversidad de la población estudiada.
5. CONCLUSIONES
La evolución de las técnicas de toma de decisiones ha transformado la forma en que los investigadores analizan los problemas al desarrollar una solución de software / hardware. Este artículo toma la forma de una revisión sistemática de la literatura y se propone proporcionar una visión amplia de cómo se han utilizado los modelos de evaluación heurística para apoyar la accesibilidad, ya sea evaluando tecnologías de asistencia o evaluando cualquier otra tecnología en los últimos años. En general, esta RSL confirmó los hallazgos de estudios previos y agregó nuevas preguntas de investigación a los estudios de formato RSL que se han utilizado hasta la fecha.
Teniendo en cuenta la optimización continua del conjunto de artículos seleccionados para futuros estudios, ya que es un tema muy específico, se sugiere considerar nuevos procesos de filtrado, con el fin de evitar mayores variaciones en el uso de evaluadores para proyectos que valoran la accesibilidad que se seleccionan fuera del contexto de esta investigación. Esta RSL muestra que algunos estudios aplicados seleccionados ya demuestran limitaciones con respecto a los objetivos y la especificación de la evaluación con un enfoque en la accesibilidad. En cuanto a los autores y fuentes de las referencias catalogadas, fueron descritas haciendo uso de índices de impacto y frecuencia de apariciones, ignorando la profundidad temática establecida por sus artículos relacionados y la inmersión en los conceptos en el área.
El número de artículos publicados sobre evaluación heurística para la toma de decisiones en accesibilidad ha aumentado en los últimos años, y esto fue particularmente notable entre 2018 y 2019. La Directiva de Accesibilidad Web, aprobada por el Parlamento Europeo, obligó a los países miembros de la Unión Europea a cumplir con los estándares de accesibilidad de sus sitios web públicos ya en septiembre de 2018. Como resultado, los estudios de accesibilidad se desarrollaron naturalmente y los modelos evaluativos de accesibilidad se utilizaron más ampliamente. Sumado a esta directiva, el Acta Europea de Accesibilidad se inició en 2019, y se ha convertido en un referente mundial en legislación de accesibilidad digital.
El objetivo principal de esta RSL fue proporcionar una visión general del estado del arte de un campo de investigación que puede implicar señalar lagunas en la literatura. En resumen, las técnicas y métodos utilizados para garantizar el objetivo principal están destinados a ser sólidos y están sujetos a actualización. Los resultados en el presente estudio mostraron la relevancia de las preguntas de investigación y condujeron a interesantes descubrimientos sobre la literatura de evaluaciones heurísticas para decisiones en accesibilidad.
RECONOCIMIENTOS
Este trabajo ha sido parcialmente apoyado por CIn/Samsung, SiDi, CNPq (315245/2020-4, 305768/2016-6, 428832/2018-0) y Capes (001) por lo que los autores agradecen.
REFERENCIAS
ABNT – Associação Brasileira de Normas Técnicas Ergonomia da interação humano-sistema: parte 210 : projeto centrado no ser humano para sistemas interativos. 2011. Available: https://moodle.ufsc.br/pluginfile.php/4330158/mod_resource/content/4/ABNT_NBR_ISO_9241-210_2011.pdf. Acess in: 23 mar. 2023.
ACOSTA-VARGAS, Patricia et al. Evaluation of accessibility in teleconferencing systems for low vision users during covid-19. RISTI-Revista Iberica de Sistemas e Tecnologias de Informacao, p. 205-218, 2020.
ACOSTA-VARGAS, Patricia; SALVADOR-ULLAURI, Luis Antonio; LUJÁN-MORA, Sergio. A heuristic method to evaluate web accessibility for users with low vision. IEEE Access, v. 7, p. 125634‑125648, 2019. DOI: https://doi.org/10.1109/ACCESS.2019.2939068.
AKGÜL, Yakup. Accessibility, usability, quality performance, and readability evaluation of university websites of Turkey: a comparative study of state and private universities. Universal access in the information society, v. 20, n. 1, p. 157-170, 2021. DOI :https://doi.org/10.1007/s10209-020-00715-w.
ALAJARMEH, Nancy. Evaluating the accessibility of public health websites: an exploratory cross-country study. Universal Access in the Information Society, p. 1-19, 2021. DOI :https://doi.org/10.1007/s10209-020-00788-7.
ALMEIDA-FILHO, Adiel Teixeira de; SILVA, Diogo Ferreira de Lima; FERREIRA, Luciano. Financial modelling with multiple criteria decision making: a systematic literature review. Journal of the Operational Research Society, 1-19, 2020. DOI: https://doi.org/10.1080/01605682.2020.1772021.
ALSAEEDI, Abdullah. Comparing web accessibility evaluation tools and evaluating the accessibility of webpages: proposed frameworks. Information, v. 11, n. 1, p. 40, 2020. DOI :https://doi.org/10.3390/info11010040.
ARAÚJO, Adolpho Guido; CARNEIRO, Arnaldo Manoel Pereira; PALHA, Rachel Perez. Sustainable construction management: a systematic review of the literature with meta-analysis. Journal of Cleaner Production, v. 256, p. 120350, 2020. DOI: https://doi.org/10.1016/j.jclepro.2020.120350.
ARIA, Massimo; CUCCURULLO, Corrado. bibliometrix: an R-tool for comprehensive science mapping analysis. Journal of informetrics, v. 11, n. 4, p. 959-975, 2017. DOI: https://doi.org/10.1016/j.joi.2017.08.007.
BABU, Rakesh; XIE, Iris. Haze in the digital library: design issues hampering accessibility for blind users. The Electronic Library, v. 35, n. 5, p. 1052-1065, 2017. DOI: https://doi.org/10.1108/EL-10-2016-0209.
BADAMPUDI, Deepika. Reporting ethics considerations in software engineering publications. In: 2017 ACM/IEEE International Symposium on Empirical Software Engineering and Measurement (ESEM), p. 205-210, 2017. DOI: https://doi.org/10.1109/ESEM.2017.32.
BAI, Aleksander; STRAY, Viktoria; MORK, Heidi. What methods software teams prefer when testing web accessibility. Advances in Human-Computer Interaction, v. 2019, p. 1-14, 2019. DOI: https://doi.org/10.1155/2019/3271475.
CALDWELL, Ben et al. Web Content Accessibility Guidelines 2.0 (WCAG). W3C, 2008. Available in: https://www.w3.org/WAI/WCAG20/versions/guidelines/wcag20-guidelines-20081211-a4.pdf. Acess in: 23 mar. 2023.
CAMPOVERDE-MOLINA, Milton; LUJAN-MORA, Sergio; GARCIA, Llorenc Valverde. Empirical studies on web accessibility of educational websites: a systematic literature review. IEEE Access, v. 8, p. 91676-91700, 2020. DOI: https://doi.org/10.1109/ACCESS.2020.2994288.
CEN & CENELEC. EN 17161:2019: design for all: accessibility following a design for all approach in products, goods and services: extending the range of users. Brussels: Cen-Celenic, 2019.
CHI, Chia-Fen; TSENG, Li-Kai; JANG, Yuh. Pruning a decision tree for selecting computer-related assistive devices for people with disabilities. IEEE Transactions on Neural Systems and Rehabilitation Engineering, v. 20, n. 4, p. 564-573, 2012. DOI: :https://doi.org/10.1109/TNSRE.2012.2193419.
COSTA, Daniel; DUARTE, Carlos. Visually impaired people and the emerging connected TV: a comparative study of TV and Web applications’ accessibility. Universal Access in the Information Society, v. 16, p. 197-214, 2017. DOI: https://doi.org/10.1007/s10209-016-0451-6.
ECK, Nees Van; WALTMAN, Ludo. Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics, v. 84, n. 2, p. 523-538, 2010. DOI: https://doi.org/10.1007/s11192-009-0146-3.
EUSÉBIO, Celeste; SILVEIRO, André; TEIXEIRA, Leonor. Website accessibility of travel agents: an evaluation using web diagnostic tools. Journal of Accessibility and Design for All, v. 10, n. 2, p. 180‑208, 2020. DOI: https://doi.org/10.17411/jacces.v10i2.277.
EUROPEAN COMMISSION . Proposal for a directive of the European Paliament and of the Concil on the approximation of the laws, regulations and administrative provisions of the Member States as regards the accessibility requirements for products and services. EUR‑Lex, 2015. Available in: https://eur‑lex.europa.eu/legal‑content/EN/TXT/?uri=COM%3A2015%3A0615%3AFIN. Acess in: 23 mar. 2023.
FERATI, Mexhid; VOGEL, Bahtijar. Accessibility in web development courses: A case study. Informatics. v. 7, n. 1, p. 1‑15, 2020. DOI: https://doi.org/10.3390/informatics7010008.
GAMACHE, Stephanie et al. Measure of environmental accessibility (MEA): development and inter-rater reliability. Journal of accessibility and design for all, v. 8, n. 1, p. 1-32, 2018. DOI: https://doi.org/10.17411/jacces.v8i1.141.
GARCÍA-SANTIAGO, Lola; OLVERA-LOBO, Maria-Dolores. How accessibility guidelines are used in Spanish World Heritage websites: an exploratory study. Library Hi Tech, v. 39, n. 1, p. 144-165, 2021. DOI: https://doi.org/10.1108/LHT-05-2019-0113.
HASSENZAHL, Marc. The thing and I: understanding the relationship between user and product. Funology 2: from usability to enjoyment, p. 301-313, 2018. DOI: https://doi.org/10.1007/978-3-319-68213-6_19.
HASSOUNA, Mohammed Saleh; SAHARI, Noraidah; ISMAIL, Amirah. University website accessibility for totally blind users. Journal of Information and Communication Technology, v. 16, n. 1, p. 63-80, 2017. DOI: https://doi.org/10.32890/jict2017.16.1.8218.
HORTON, Emily L. et al. A review of principles in design and usability testing of tactile technology for individuals with visual impairments. Assistive technology, v. 29, n. 1, p. 28-36, 2017. DOI: https://doi.org/10.1080/10400435.2016.1176083.
ISMAILOVA, Rita; KIMSANOVA, Gulida. Universities of the Kyrgyz Republic on the Web: accessibility and usability. Universal Access in the Information Society, v. 16, n. 4, p. 1017-1025, 2017. DOI:https://doi.org/10.1007/s10209-016-0481-0.
LAENGLE, Sigifredo et al. Forty years of the European Journal of Operational Research: A bibliometric overview. European Journal of Operational Research, v. 262, n. 3, p. 803-816, 2017. DOI: https://doi.org/10.1016/j.ejor.2017.04.027.
LAKSHMI, Krishnan; KUMAR, PD Madan; DAS, Himangshu. Design considerations for a dental health care for patients with special needs. Journal of accessibility and design for all, v. 8, n. 1, p. 80‑101, 2018. DOI: https://doi.org/10.17411/jacces.v8i1.168.
MADEIRA, Stephane et al. Accessibility of mobile applications for tourism—is equal access a reality? Universal Access in the Information Society, v. 20, p. 555-571, 2021. DOI: https://doi.org/10.1007/s10209-020-00770-3.
MAFFEO, Bruno. Engenharia de software e especificação de sistemas. Rio de Janeiro: Campus, 1992.
MARCO, Lourdes; ALONSO, Álvaro; QUEMADA, Juan. An identity model for providing inclusive services and applications. Applied Sciences, v. 9, n. 18, p. 3813, 2019. DOI: https://doi.org/10.3390/app9183813.
MARIZ, Fernanda Bar; ALMEIDA, Mariana R.; ALOISE, Daniel. A review of dynamic data envelopment analysis: state of the art and applications. International Transactions in Operational Research, v. 25, n. 2, p. 469‑505, 2018. DOI: https://doi.org/10.1111/itor.12468.
MARTINS, José; GONÇALVES, Ramiro; BRANCO, Frederico. A full scope web accessibility evaluation procedure proposal based on Iberian eHealth accessibility compliance. Computers in Human Behavior, v. 73, p. 676-684, 2017. DOI: https://doi.org/10.1016/j.chb.2016.12.010.
NAGARAJU, M.; CHAWLA, Priyanka. A methodical search of web content accessibility for visual disabled people. International Journal of Engineering and Advanced Technology, v. 8, n. 6, p. 1713‑1719, 2019. DOI: https://doi.org/10.35940/ijeat.F8425.088619.
NASCIMENTO, Kayo Renato Da Silva; ALENCAR, Marcelo Hazin. Management of risks in natural disasters: a systematic review of the literature on NATECH events. Journal of Loss Prevention in the Process Industries, v. 44, p. 347-359, 2016. DOI: https://doi.org/10.1016/j.jlp.2016.10.003.
NATHAN, S. S. et al. Accessibility, disability and deaf: a review. International Journal of Engineering and Technology, v. 7, n. 4.19, p. 369-371, 2018.DOI: https://doi.org/10.14419/ijet.v7i3.12.16109.
NAVARRETE, Rosa; LUJÁN-MORA, Sergio. Bridging the accessibility gap in Open Educational Resources. Universal Access in the Information Society, v. 17, n. 4, p. 755-774, 2018. DOI:https://doi.org/10.1007/s10209-017-0529-9.
NIELSEN, Jakob. Usability inspection methods. New York: John Wiley & Sons, 1994.
PEREA, Lourdes González; GALÁN, Jesús Hernández; VILLARINY, Natalí González. The presence of universal accessibility in doctoral dissertations deposited in Spain between 1998-1999 and 2017-2018 academic years. Journal of accessibility and design for all, v. 9, n. 2, p. 118-140, 2019. DOI: https://doi.org/10.17411/jacces.v9i2.213.
PAIVA, Débora Maria Barroso; FREIRE, André Pimenta; FORTES, Renata Pontin de Matos. Accessibility and software engineering processes: a systematic literature review. Journal of Systems and Software, v. 171, p. 110819, 2021. DOI: https://doi.org/10.1016/j.jss.2020.110819.
PEREIRA, Valdecy; COSTA, Helder Gomes. A literature review on lot size with quantity discounts: 1995-2013. Journal of Modelling in Management, v. 10, n. 3, p. 341-359, 2015. DOI: https://doi.org/10.1108/JM2-07-2013-0029.
PERIANES-RODRIGUEZ, Antonio; WALTMAN, Ludo; ECK, Nees Jan Van. Constructing bibliometric networks: A comparison between full and fractional counting. Journal of Informetrics, v. 10, n. 4, p. 1178-1195, 2016. DOI: https://doi.org/10.1016/j.joi.2016.10.006.
RANADA, Åsa Larsson; LIDSTRÖM, Helene. Satisfaction with assistive technology device in relation to the service delivery process – a systematic review. Assistive Technology, v. 31, n. 2, p. 82‑97, 2019. DOI: https://doi.org/10.1080/10400435.2017.1367737.
ROBLES, Teresita de Jesús Álvarez et al. Adapting card sorting for blind people: Evaluation of the interaction design in TalkBack. Computer Standards & Interfaces, v. 66, p. 103356, 2019. DOI: https://doi.org/10.1016/j.csi.2019.103356.
RUSCHEL, Edson; SANTOS, Eduardo Alves Portela; LOURES, Eduardo de Freitas Rocha. Industrial maintenance decision-making: A systematic literature review. Journal of Manufacturing Systems, v. 45, p. 180‑194, 2017. DOI: https://doi.org/10.1016/j.jmsy.2017.09.003.
SALVADOR-ULLAURI, Luis et al. Combined method for evaluating accessibility in serious games. Applied Sciences, v. 10, n. 18, p. 6324, 2020. DOI: https://doi.org/10.3390/APP10186324.
SHNEIDERMAN, Ben. Tree visualization with tree-maps: 2-d space-filling approach. ACM Transactions on graphics, v. 11, n. 1, p. 92-99, 1992.
SINGER, Janice; VINSON, Norman G. Ethical issues in empirical studies of software engineering. IEEE Transactions on Software Engineering, v. 28, n. 12, p. 1171-1180, 2002. DOI: https://doi.org/10.1109/TSE.2002.1158289.
SMALL, Henry. Co-citation in the scientific literature : a new measure of the relationship between two documents. Journal of the American Society for information Science, v. 24, n. 4, p. 28-31, 1974.
STITZ, Tammy; BLUNDELL, Shelley. Evaluating the accessibility of online library guides at an academic library. Journal of Accessibility and Design for All, v. 8, n. 1, p. 33-79, 2018. DOI: https://doi.org/10.17411/jacces.v8i1.145.
TERASHIMA, Mikiko; CLARK, Kate. Measuring economic benefits of accessible spaces to achieve’meaningful’access in the built environment: a review of recent literature. Journal of Accessibility and Design for All, v. 11, n. 2, p. 195-231, 2021. DOI: https://doi.org/10.17411/jacces.v11i2.274.
UMARJI, Medha; SEAMAN, Carolyn. Why do programmers avoid metrics?. In: Proceedings of the Second ACM-IEEE international symposium on Empirical software engineering and measurement, p. 129-138, 2008. DOI: https://doi.org/10.1145/1414004.1414027.
VENTURI, Gustavo. O universalismo ético: Kohlberg e Habermas. Lua Nova: Revista de Cultura e Política, p. 67‑84, 1995. DOI: https://doi.org/10.1590/s0102‑64451995000200005.
WALTMAN, Ludo; VAN ECK, Nees Jan; NOYONS, Ed CM. A unified approach to mapping and clustering of bibliometric networks. Journal of informetrics, v. 4, n. 4, p. 629-635, 2010. DOI: https://doi.org/10.1016/j.joi.2010.07.002.
WENTZ, Brian et al. Documenting the accessibility of 100 US bank and finance websites. Universal Access in the Information Society, v. 18, p. 871-880, 2019. DOI: https://doi.org/10.1007/s10209-018-0616-6.
WOHLIN, Claes et al. Experimentation in software engineering. Berlin: Springer; Berlin: Heidelberg, 2012.
YAN, Shunguo; RAMACHANDRAN, P. G. The current status of accessibility in mobile apps. ACM Transactions on Accessible Computing, v. 12, n. 1, p. 1-31, 2019. DOI: https://doi.org/10.1145/3300176
ZOPOUNIDIS, Constantin et al. Multiple criteria decision aiding for finance: An updated bibliographic survey. European Journal of Operational Research, v. 247, n. 2, p. 339-348, 2015. DOI: https://doi.org/10.1016/j.ejor.2015.05.032
[1] Profesor. ORCID: 0000-0003-4467-0113. CURRICULUM LATTES: http://lattes.cnpq.br/9433837114578364.
[2] Doctor. ORCID: 0000-0002-6491-9783. CURRICULUM LATTES: http://lattes.cnpq.br/3252289006108114.
[3] Consejero. Doctor. ORCID: 0000-0001-6069-3601. CURRICULUM LATTES: http://lattes.cnpq.br/9944976090960730.
Enviado: 02 de Marzo, 2023.
Aprobado: 15 de marzo de 2023.
