ARTICLE ORIGINAL
ALMEIDA, Hugo Leonardo Nascimento [1], CORREIA, Walter Franklin Marques [2], ALMEIDA FILHO, Adiel Teixeira de [3]
ALMEIDA, Hugo Leonardo Nascimento. CORREIA, Walter Franklin Marques. ALMEIDA FILHO, Adiel Teixeira de. Évaluations heuristiques pour les décisions en matière d’accessibilité : revue systématique de la littérature. Revista Científica Multidisciplinar Núcleo do Conhecimento. Année 08, éd. 03, vol. 03, p. 107-153. Mars 2023. ISSN:2448-0959, Lien d’accès: https://www.nucleodoconhecimento.com.br/informatique/evaluations-heuristiques, DOI: 10.32749/nucleodoconhecimento.com.br/informatique/evaluations-heuristiques
RÉSUMÉ
De plus en plus de personnes utilisent quotidiennement la technologie pour communiquer et accéder à l’information, y compris les personnes âgées et les personnes handicapées. Les technologies d’assistance, aussi appelées aides techniques, sont des ressources d’accessibilité et d’inclusion qui offrent un plus grand degré d’autonomie et d’aide aux personnes qui ont un certain degré de difficulté à utiliser les ressources dans leur contact avec des environnements réels et virtuels. Le but de cette étude est d’étudier les perceptions sur l’évaluation heuristique de l’accessibilité dans les logiciels en entreprenant une revue systématique de la littérature qui couvre les 5 dernières années. Cela a commencé avec un total de 8548 articles publiés qui sont indexés dans les bases de données Scopus et Web of Science. Douze questions de recherche pertinentes ont été rédigées et ont reçu une réponse conforme aux résultats trouvés dans la série finale d’articles. Deux groupes de mots-clés ont été créés pour faciliter la recherche d’articles et un processus de filtrage a été appliqué aux résultats des recherches. La recherche montre, au moyen de chiffres et de tableaux, des preuves de la croissance des articles scientifiques dans le domaine. Les auteurs principaux et les revues qui publient sur l’évaluation de l’accessibilité des logiciels sont énumérés, de même que les réponses aux questions sur les modèles d’évaluation, les heuristiques, les mesures, les limites, les technologies d’assistance et les publics cibles les plus cités dans les articles publiés. Cette étude analyse également la co-citation des références et des couples sources bibliographiques. La recherche a montré qu’il n’y a pas de consensus général sur l’utilisation d’un modèle unique pour évaluer l’accessibilité, mais que les directives WCAG du W3C sont les sources les plus utilisées pour référencer les heuristiques et les métriques dans les études de ce type. Il a également été remarqué que la plupart des études ne se concentrent pas sur les technologies d’assistance, mais sont largement utilisées pour appuyer les décisions sur les sites Web.
Mots-clés : Évaluation et évaluation, Accessibilité du Web, Évaluation heuristique.
1. INTRODUCTION
L’utilisation de l’heuristique peut aider à résoudre les problèmes liés à l’utilisabilité et à l’accessibilité dans les projets logiciels (EUSÉBIO; SILVEIRO; TEIXEIRA, 2020; RANADA; LIDSTRÖM, 2019). Compte tenu de la recherche et de la diffusion croissantes d’heuristiques (HORTON et al., 2017), qui consistent en des méthodes ou des processus créés pour proposer des solutions à des problèmes à l’aide d’éléments de vérification, il est à noter que plusieurs facteurs de décision, qui peuvent faire partie de la solution, ne se retrouvent pas encore dans la littérature (CHI; TSENG; JANG, 2012).
Dans la recherche scientifique, le génie logiciel se présente comme l’une des disciplines les plus référencées en ce qui concerne les concepts et les pratiques, car il regroupe plusieurs techniques et activités de validation, de vérification et d’évaluation des résultats, y compris l’heuristique. La sélection de techniques expérimentales de génie logiciel qui se produisent tout au long du cycle de recherche, lorsqu’elles sont correctement utilisées, peut être le facteur fondamental du succès de la recherche (WOHLIN et al., 2012).
Le génie logiciel est considéré comme un concept interdisciplinaire qui réunit les aspects technologiques et managériaux, afin d’aborder systématiquement tous les processus de mise en œuvre, de déploiement et de maintenance des projets logiciels, leur qualité étant assurée par leur construction dans le respect des délais, des coûts et des ressources préalablement définis (MAFFEO, 1992).
Les façons de mener des recherches liées aux logiciels, lorsqu’elles impliquent des personnes, doivent être contextualisées en tenant compte des préoccupations éthiques (BADAMPUDI, 2017). Sur la base des informations théoriques obtenues par la recherche, un modèle de choix/classification basé sur les relations de dominance sera proposé, afin d’atténuer la méfiance et l’inefficacité (SINGER; VINSON, 2002) concernant la conduite de méthodes empiriques fondées sur des heuristiques bien fondées.
Actuellement, dans l’académie, différentes propositions pour la création et l’extraction de métriques (moyens de mesurer les résultats) sont en cours d’élaboration (GARCÍA-SANTIAGO; OLVERA-LOBO, 2021; ARAÚJO; CARNEIRO; PALHA, 2020), bien que la plupart des propositions ne soient pas utilisées de la même manière dans les projets développés par l’industrie (UMARJI; SEAMAN, 2008). L’utilisation de métriques vise à évaluer les résultats obtenus et à ajouter positivement au processus logiciel et à la génération de valeur.
Les métriques étudiées et proposées par l’industrie ont comme valeur ajoutée la recherche des coûts et le calendrier des activités de maintenance, en plus de la relation directe avec le nombre d’erreurs trouvées dans les systèmes d’affaires (UMARJI; SEAMAN, 2008), ce qui démontre que les questions liées à l’accessibilité ne sont pas au centre des préoccupations ou ne sont souvent pas prises en compte par les mêmes propositions.
Le souci de satisfaire tous les besoins et exigences de ses utilisateurs et des autres personnes potentielles impliquées et la conscience que l’acceptation du système implique plusieurs facteurs, font en sorte que la facilité d’utilisation et l’accessibilité sont pensées et considérées conjointement avec le coût, l’utilité, la fiabilité, l’acceptation sociale, etc. (NIELSEN, 1994).
Les études d’utilisabilité et d’accessibilité peuvent s’approprier les études d’autres domaines (GAMACHE et al., 2018; LAKSHMI; KUMAR; DAS, 2018; STITZ; BLUNDELL, 2018; VENTURI, 1995), afin de pouvoir mieux suivre la conduite des études empiriques, impliquant des êtres humains, nécessaires à la validation de la recherche en génie logiciel.
L’expérience de l’utilisateur suscite un intérêt croissant dans la communauté de l’Interaction Homme-Machine (IHM). Même si la communauté IHM semble accepter que la fonctionnalité seule ou les principes d’utilisabilité ne suffisent plus, il n’y a pas de compréhension cohérente de ce qu’est réellement l’expérience de l’utilisateur (HASSENZAHL, 2018). L’ISO 9241-210 propose de définir l’expérience de l’utilisateur comme l’ensemble des aspects de l’expérience de l’utilisateur lorsqu’il interagit avec un produit, un service, un environnement ou une installation (ABNT, 2011).
S’appuyant sur des études antérieures, cet article présente une revue systématique de la littérature (RSL) impliquant l’utilisation d’évaluations heuristiques dans les décisions en matière d’accessibilité, en vue de répondre à un ensemble de questions pertinentes qui sont encore ouvertes dans la littérature dans le domaine. Parmi les apports de cette étude, elle présente un ensemble de données non observées dans les revues précédentes, telles que l’analyse et le regroupement des modèles d’évaluation, des heuristiques et des métriques utilisées, et la réalisation d’une étude sur les auteurs principaux. Initialement, les 8548 articles qui ont été pris en compte dans cette revue systématique ont été publiés dans les bases de données Web of Science et Scopus. Ceux-ci ont ensuite été analysés et filtrés et ont abouti aux 101 articles analysés dans cette revue. Par conséquent, les résultats de cet article mettent à jour les conclusions précédentes (CAMPOVERDE-MOLINA, LUJAN-MORA; GARCIA, 2020; NAGARAJU; CHAWLA, 2019; NATHAN et al., 2018; PAIVA, FREIRE; FORTES, 2021). Une autre contribution de cette étude est de vérifier une période avant et après l’acte législatif européen sur l’accessibilité, qui a été introduit après que les organismes du secteur public de l’Union européenne ont été obligés d’assurer l’accessibilité des sites web. Cela est le résultat de la directive sur l’accessibilité du Web (CEN e CENELEC, 2019; COMMISSION EUROPÉENNE, 2015). En outre, un point à souligner comme différentiel dans cet article est la présentation de TreeMaps (SHNEIDERMAN, 1992) (analyse des expressions contenues dans les titres de l’ensemble des articles), WordCloud (analyse des mots-clés des auteurs principaux), analyse de co-citation et couplage bibliographique. L’outil Bibliometrix R (ARIA; CUCCURULLO, 2017) a été utilisé pour saisir ces mesures.
Cet article est divisé en cinq sections. La section 1 fournit une brève introduction au sujet. La section 2 présente la méthodologie RSL. La section 3 présente les principaux résultats et axes d’analyse de la revue systématique. La section 4 résume les travaux entrepris, discute de certaines limites, indique les lignes directrices de recherche et fait des suggestions pour les axes de recherche futurs, tandis que la section 5 tire certaines conclusions.
2. MÉTHODOLOGIE
Cette revue systématique combine des informations provenant d’études récentes de même nature, réalisées et publiées dans différents domaines de connaissances (ALMEIDA-FILHO; SILVA; FERREIRA, 2020; ARAÚJO; CARNEIRO; PALHA, 2020; GONZÁLEZ-PEREA; GALÁN; VILLARINY, 2019; LAENGLE et al., 2017; MARIZ; ALMEIDA; OISE, 2018; NASCIMENTO; ALENCAR, 2016; PEREIRA; COSTA, 2015; RUSCHEL; SANTOS; LOURES, 2017; TERASHIMA; CLARK, 2021; ZOPOUNIDIS et al., 2015).
Dans la méthodologie de cette étude, les questions qui seront analysées dans l’enquête sont définies; Ensuite, les articles sont répertoriés et ensuite filtrés, sur la base de procédures standard; Ensuite, les principaux résultats obtenus sont présentés; et enfin, les résultats sont analysés.
2.1 DÉFINITION DES QUESTIONS PERTINENTES À LA RECHERCHE
La phase de définition a consisté à identifier les points spécifiques auxquels les articles publiés doivent s’intégrer en vue de leur présentation et de leur discussion dans le RSL. Ainsi, au départ, les points spécifiques abordés ont été énumérés, ce qui a conduit à la compilation d’une série de questions de recherche pour guider l’analyse des résultats, déterminer s’il y avait des lacunes dans la littérature et définir la portée de la revue. Ces questions de recherche, qui ne sont pas classées selon leur importance, sont présentées au tableau 1.
Tableau 1 – Questions de recherche
| Questions de recherche | Description |
| T1 | Y a-t-il eu une augmentation du nombre de modèles heuristiques d’évaluation de l’accessibilité? |
| 2e trimestre | Y a-t-il eu une augmentation du nombre d’articles citant l’évaluation heuristique pour les décisions en matière d’accessibilité? |
| T3 | Quelles sont les principales références trouvées qui traitent des évaluations heuristiques pour les décisions en matière d’accessibilité? |
| T4 | Qui sont les chercheurs les plus pertinents dans le domaine de la recherche en évaluation heuristique pour l’accessibilité? |
| Q5 | Les modèles d’évaluation heuristique sont-ils plus présents dans les revues axées sur la recherche opérationnelle? |
| T6 | Quels sont les modèles d’évaluation les plus cités? |
| Q7 | Quels types de technologies d’assistance les modèles trouvés aident-ils le plus? |
| Q8 | Quels groupes de personnes font l’objet de la recherche? |
| Q9 | Quelles sont les limites et les lacunes les plus souvent citées dans les études portant sur les modèles d’évaluation heuristique? |
| Q10 | Quelles sont les heuristiques les plus analysées par les modèles publiés ? |
| Q11 | Quels sont les paramètres les plus utilisés dans les évaluations? |
| Q12 | Existe-t-il un lien entre le modèle d’évaluation heuristique utilisé et le type de technologie d’assistance utilisée et/ou le public cible étudié? |
Source : auteur.
2.2 COLLECTE ET SÉLECTION DES ARTICLES
L’ensemble des articles publiés a été compilé à partir de la base de données Web of Science et de la base de données Scopus. Pour effectuer des recherches dans le service fourni par les bases de données, deux ensembles de mots-clés ont été formulés, comme le montre le tableau 2. Une première série comportait 9 mots-clés liés à l’accessibilité. Le deuxième ensemble, avec 12 mots-clés, est lié à l’évaluation heuristique. Certains des mots-clés choisis ont également été pris en compte dans l’examen par (PAIVA; FREIRE; POINTS FORTS; 2021); toutefois, les mots-clés présentés dans le tableau 2 ne se limitent pas à ceux qu’ils utilisent.
Tableau 2 – Mots-clés
| Accessibilité : mots-clés | Heuristique : mots-clés |
| accessibilité; les technologies d’assistance; les technologies d’adaptation; les technologies de réadaptation; Accessibilité; la transmissibilité; appareils et accessoires fonctionnels; dispositifs adaptatifs; Dispositifs de rééducation | évaluation heuristique; modèle heuristique; méthode heuristique; techniques heuristiques; les techniques d’inspection; les méthodes d’inspection; l’évaluation des inspections; modèle d’inspection; inspection heuristique; modèle d’évaluation; les méthodes d’évaluation; Techniques d’évaluation |
Source : auteur.
Les recherches ont été effectuées en combinant les mots-clés des deux groupes. Ainsi, chacun des 9 mots-clés du groupe Accessibilité a été combiné avec chacun des 12 mots-clés du groupe Heuristique, à l’aide de l’opérateur booléen « AND ». Un total de 301 résultats ont été initialement trouvés dans la base de données Web of Science Core Collection et 8247 résultats dans la base de données Scopus (Elsevier), totalisant 8548 résultats trouvés. Cette première série d’articles publiés a été filtrée selon des règles prédéterminées afin de sélectionner uniquement ceux qui sont cohérents avec la revue systématique proposée comme indiqué à la section 2.3.
2.3 PROCESSUS DE FILTRAGE
Tout d’abord, un filtre a été utilisé pour récupérer uniquement les articles publiés de 2017 à 2021, le but étant d’obtenir les caractéristiques les plus récentes et pertinentes de la littérature scientifique, en observant les termes de recherche. Après le filtre, 158 articles ont été retirés des résultats de la recherche Web of Science, laissant 143 résultats. Pendant son séjour à Scopus, 4480 œuvres ont été enlevées, laissant 3767. Au total, après le filtre 1, il restait 3910 papiers.
Un deuxième filtre a été utilisé pour enlever les papiers qui n’étaient pas caractérisés comme des articles. Le but du filtre était de se concentrer uniquement sur l’examen des articles d’une grande pertinence académique, catégorisés comme « Article » sur les plateformes de recherche. Ainsi, les livres et autres catégories de matériel publié ont également été supprimés. Les articles qui ont émergé des présentations lors de conférences, et qui ont ensuite été publiés dans des revues scientifiques, ont donc été inclus dans l’analyse puisqu’ils avaient maintenant le statut d’articles. Un total de 63 articles ont été supprimés par le deuxième filtre dans Web of Science, et un total de 1281 articles ont été retirés de la base de données Scopus par le filtre 2. Cela a laissé 80 articles du Web of Science et 2486 de Scopus. Au total, 2566 articles restaient à analyser.
Un troisième filtre a été utilisé plus tard. On a fait observer que certains de ces articles pourraient être facilement exclus puisqu’ils n’appartiennent pas au domaine de recherche visé par le présent document. Par exemple, l’enquête a révélé de nombreux articles dans les domaines de la santé, tels que la médecine et les soins infirmiers. De tels articles qui n’ont pas été classés dans la catégorie « informatique », selon les domaines de recherche des bases de données utilisées, n’ont pas été pris en compte dans cette revue systématique. 55 articles ont été exclus des résultats du Web of Science, après le troisième filtre, laissant 25, et 1795 articles ont été exclus des résultats de Scopus, laissant 691. Par conséquent, un ensemble de 716 articles est resté après le filtre 3.
Enfin, ces articles ont été analysés pour exclure les articles qui n’ajouteraient pas d’informations pertinentes à cette recherche. Une vérification de chaque article a été effectuée, dans le but de sélectionner uniquement les articles qui présentaient, en bref, des évaluations de l’accessibilité des applications technologiques. Ainsi, il a été possible d’éliminer les études en double trouvées dans les deux bases de données utilisées. Au total, 101 articles ont été sélectionnés et ont formé l’ensemble final, qui a été analysé et catégorisé selon les propositions de cet article. La figure 1 illustre le processus d’application de filtres à l’ensemble initial d’articles.
Figure 1- Processus de filtrage
2.4 ANALYSE DU COUPLAGE ET DE LA COCITATION
Tout au long de cet article, les résultats et la discussion de la revue systématique seront présentés. De nombreux graphiques sont explicites et répondent à certaines des questions de l’enquête. Certains graphiques nécessitent des explications supplémentaires, et celles-ci sont données dans le texte.
Une analyse de couplage bibliographique des sources a été réalisée, de sorte que les articles obtenus à partir d’un ensemble initial ont été regroupés en fonction de leurs sources. Cette analyse relate comment différentes sources sont citées, au moyen d’ensembles. Ensuite, les articles qui mentionnent les auteurs de chaque groupe formé ont été répertoriés. La force du couplage bibliographique augmente au fur et à mesure que le nombre d’articles similaires est répertorié dans les listes des sources analysées. Cette analyse nous permet de comprendre quelles sont les sources les plus pertinentes pour un nombre donné d’articles (ECK; WALTMAN, 2010; PERIANES-RODRIGUEZ; WALTMAN; ECK, 2016; SMALL, 1974; WALTMAN; ECK; NOYONS, 2010).
Une analyse de co-citation des références citées a également été effectuée, dans le but de mesurer la force des liens entre les références citées d’un ensemble d’articles. En utilisant un ensemble donné d’articles, une liste de références citées peut être obtenue à partir d’une base de données telle que le Web of Science ou Scopus. Si l’on considère un ensemble d’articles, plus le nombre d’articles de cet ensemble qui citent deux références en même temps est élevé, plus la force de cocitation entre ces deux références citées est grande. Cette analyse nous permet de comprendre comment les références les plus importantes dans un ensemble d’articles se rapportent aux articles de l’ensemble en fonction de l’endroit où les références elles-mêmes sont citées. (ECK; WALTMAN, 2010; PERIANES-RODRIGUEZ; WALTMAN; ECK, 2016; SMALL, 1974; WALTMAN; ECK; NOYONS, 2010).
Afin de créer une carte reliant les mots-clés des auteurs les plus pertinents des articles analysés, une analyse en réseau des mots-clés des auteurs a été réalisée. La force de la connexion entre les mots-clés augmente à mesure que de plus en plus d’articles les utilisent (ECK; WALTMAN, 2010; PERIANES-RODRIGUEZ; WALTMAN; ECK, 2016; SMALL, 1974; WALTMAN; ECK; NOYONS, 2010).
3. RÉSULTATS ET DISCUSSION DE LA
Tout d’abord, afin de répondre aux deux premières questions de recherche, les articles ont été séparés par année de publication et par la fréquence de leur citation au fil des ans. La figure 2 illustre les résultats de la catégorisation des articles par rapport à l’année de publication au moyen d’un graphique en aires, qui montre une tendance à la croissance du nombre d’articles publiés chaque année à partir de 2018. Pour 2021, seuls les articles publiés jusqu’au 2 juillet ont été comptabilisés. Par conséquent, à des fins de comparaison, il est évident que le nombre total d’articles, publiés uniquement au cours du premier semestre de 2021, dépasse déjà la moitié des articles publiés au cours de chacune des autres années précédentes. Une croissance plus évidente est observée en 2019, peut-être parce que, cette année-là, l’Union européenne a introduit l’acte législatif européen sur l’accessibilité, qui est actuellement considéré comme l’un des principaux exemples de législation sur l’accessibilité numérique dans le monde. En plus du fait que les pays membres de l’Union européenne devaient se conformer à la directive sur l’accessibilité du Web, approuvée par le Parlement européen, qui exige que les sites Web des organismes du secteur public soient conformes aux normes d’accessibilité depuis le 23 septembre 2018. En regardant la figure 3, notez que les pays qui ont produit le plus d’articles dans cet échantillon étaient l’Espagne, la Malaisie, les États-Unis et le Brésil. Cependant, plus de 60% des articles trouvés proviennent de pays appartenant à l’Union européenne, ce qui explique la plus grande attention portée à l’accessibilité en raison de la législation susmentionnée. Par conséquent, la réponse à Q1 est la suivante : oui, le nombre de modèles utilisés dans l’évaluation heuristique de l’accessibilité augmente d’année en année depuis 2018.
Figure 2 – Production scientifique annuelle
Figure 3 – Production scientifique du pays
En ce qui concerne le T2, la figure 4 illustre l’évolution du nombre cumulé de citations d’articles sélectionnés par an, et une courbe de croissance lisse peut être mise en évidence visuellement. Ainsi, on remarque qu’il n’y a pas eu de temps pour que les articles les plus récents soient cités par rapport aux études précédentes. Il y a eu une augmentation du nombre d’articles publiés, mais les articles les plus récents, naturellement, ont toujours un nombre inférieur de citations, ce qui démontre que les articles plus anciens ont plus de pertinence pour les discussions récentes sur le sujet. Au premier semestre 2021, les articles sélectionnés ont reçu 6 citations, démontrant que les auteurs sont plus intéressés par l’état de l’art dans ce domaine à partir des sources, mais démontrant également que les articles continuent d’être cités au fil des ans, et montrant qu’il est devenu naturel pour les articles plus récents de s’inspirer des précédents. Ainsi, la réponse à Q2 est que le nombre d’articles citant l’évaluation heuristique pour les décisions d’accessibilité a augmenté.
Figure 4 – Nombre de citations par an
La vérification d’autres citations a été effectuée, à l’aide d’informations extraites des bases de données des revues en ligne, pour prouver la liste des articles. L’outil Bibliometrix R (ARIA; CUCCURULLO, 2017) a été utilisé pour analyser le couplage bibliographique des sources et pour effectuer une analyse de co-citation via la visualisation de réseau et la division par grappes. Dans la recherche sur le couplage bibliographique, le degré de parenté entre les articles est basé sur le nombre de références partagées. Dans l’analyse des cocitations, le lien entre les documents cités est observé en raison de la façon dont les éléments de référence sont cités ensemble (SMALL, 1974). La figure 5 montre une analyse de co-citation pour 27 références, et trois groupes sont identifiés.
Figure 5 – Analyse de la co-citation
Le tableau 3 présente les trois groupes, en énumérant les articles qui forment chacun d’eux. Il a été observé que les études générales portant sur l’évaluation de l’accessibilité ont été attribuées au groupe 1. D’autre part, les groupes 2 et 3 comprenaient des documents axés sur l’évaluation des sites Web gouvernementaux.
Tableau 3 – Regroupement des groupes de cocitations
| Groupe 1 | Groupe 2 | Groupe 3 |
| Vigo M. 2013 | Abananomie A. 2005 | Nielsen J. 1994-2 |
| Nielsen J. 1994-1 | al-Faries a. 2013 | Al-Khalifa H.S. 2017 |
| Puissance c. 2012 | Al-Khalifa H.S. 2012 | Youngblood N.S. 2012 |
Source : auteur.
Tableau 3 – Regroupement des groupes de cocitations (conclusion)
| Groupe 1 | Groupe 2 | Groupe 3 |
| Brajnik G. 2008-1 | Baowaly M.K. 2012 | Jati H. 2009 |
| ACM: New York NY États-Unis. | ADEPOJU S.A. 2016 | Roi B.A. 2016 |
| Aizpurua A. 2016 | Akgul Y. 2016 | |
| Lazar J. 2007 | Al-Radaideh M. 2011 | |
| Petrie H. 2007 | Al Mourad b. 2013 | |
| Ahmi A. 2015 | Le juge Grantham 2012 | |
| Brajnik G. 2008-2 | Latif M.H.A. 2010 | |
| Brajnik G. 2011 | Lujn-Mora S. 2014 |
Source : auteur.
Pour analyser comment les sources sont liées en fonction de leurs références, une analyse de couplage bibliographique a été effectuée et est illustrée dans la représentation visuelle du réseau à la figure 6. Dans ce cas, trois grappes différentes ont été formées. Universal Access in the Information Society, Library Hi Tech, IEEE Access et Advances in Human-Computer Interaction ont été identifiés comme les sources les plus pertinentes pour les connexions au sein du réseau.
Figure 6 – Analyse du couplage bibliographique
Compte tenu des informations extraites des analyses, on peut répondre au 3e trimestre en indiquant que les principales études qui traitent des évaluations heuristiques pour les décisions en matière d’accessibilité sont Al-Faries (2013), Al-Khalifa (2012), Al-Khalifa (2017), Vigo (2013) et Abanumy (2005) et que les sources de celles-ci sont Universal Access in the Information Society, Library Hi Tech, IEEE Access et Advances in Human-Computer Interaction.
Pour répondre au 4e trimestre, une étude a été menée sur les auteurs des articles catalogués. Les noms de 307 auteurs ont été trouvés dans les articles publiés. 302 de ces auteurs ont co-écrit deux ou plusieurs des 101 articles alors que seulement cinq d’entre eux sont d’un seul auteur. L’outil R de Bibliometrix a été utilisé pour recueillir l’impact des auteurs et cet impact est illustré dans le tableau 4 pour les auteurs principaux. Parmi les mesures présentées figurent le nombre d’articles publiés, le nombre total de citations, l’indice h, l’indice g et l’indice m, compte tenu de l’ensemble des articles analysés dans ce RSL. Chacun des auteurs de ce tableau est coauteur d’au moins trois des 101 articles identifiés pour cette étude.
Tableau 4 – Impact des auteurs
| Auteur | h_index | g_index | m_index | Nombre total de citations | Nombre d’articles | PY_start | |||
| ACOSTA-VARGAS P | 2 | 3 | 0.667 | 18 | 3 | 2019 | |||
| DOUSH IA | 2 | 3 | 0.4 | 22 | 3 | 2017 | |||
| ISMAILOVA R | 3 | 3 | 0.6 | 75 | 3 | 2017 | |||
| AZIZ N | 1 | 2 | 0.2 | 4 | 2 | 2017 | |||
| BRANCO F | 2 | 2 | 0.4 | 37 | 2 | 2017 | |||
| FREIRE AP | 2 | 2 | 2 | 5 | 2 | 2021 | |||
| GONALVES R | 2 | 2 | 0.4 | 37 | 2 | 2017 | |||
| HUSSAIN A | 1 | 2 | 0.25 | 4 | 2 | 2018 | |||
| INAL Y | 2 | 2 | 0.4 | 40 | 2 | 2017 | |||
| LUJAN-MORA S | 2 | 2 | 0.667 | 15 | 2 | 2019 | |||
| LUJN-MORA S | 2 | 2 | 0.5 | 17 | 2 | 2018 | |||
| MARTINS J | 2 | 2 | 0.4 | 37 | 2 | 2017 | |||
| MUTALIB AA | 1 | 2 | 0.2 | 4 | 2 | 2017 | |||
| PAIVA DMB | 2 | 2 | 0.5 | 5 | 2 | 2018 | |||
Source : auteur.
Comme le montre le tableau 4, parmi les auteurs principaux, trois sont co-auteurs de plus de 2 des articles, à savoir, Acosta-Vargas P, Doush IA et Ismailova R. En fait, il est souligné qu’Acosta-Vargas, bien qu’apparaissant seulement en 2019 dans ce domaine, est déjà l’auteur le plus important selon les indices présentés. En réponse à Q4, compte tenu de l’indice g et du nombre d’articles, ces trois auteurs se distinguent comme les chercheurs les plus pertinents dans le domaine de la recherche en évaluation heuristique pour l’accessibilité. Acosta-Vargas P se distingue également par l’indice m, tandis qu’Ismailova R se distingue par le nombre de citations. Le tableau 5 illustre la relation entre ces auteurs et les modèles d’évaluation heuristique analysés.
Tableau 5 – Auteurs principaux x modèles
| Auteur | Modèle |
| Acosta-Vargas P. | WCAG 2.1, WCAG 2.2, WCAG 2.1 + Brajnik, JClic, Ardora, Chanchí et al (2019), Case Study, Salvador-Ullauri L. et al (2020). |
| Doush IA. | AChecker, validateur HTML, validateur CSS, APrompt, Cynthia dit, EvalAccess 2.0, SortSite, TAW, WAVE, ISAB. |
| Ismailova R. | Enquête, EvalAccess 2.0, WCAG 1.0, WebXACT/Bobby, Cynthia Says, L’accessibilité fonctionnelle, WebInSight, TAW, AChecker. |
Source : auteur.
Q5 est directement lié aux revues scientifiques qui publient des articles qui conçoivent et appliquent l’évaluation heuristique pour aider à prendre de meilleures décisions en matière d’accessibilité. En tout, 55 revues scientifiques différentes ont été trouvées. Seulement 16 de ces revues ont publié plus de 2 articles qui ont été inclus dans le RSL. Le tableau 6 présente chacune de ces revues scientifiques en fonction du nombre d’articles publiés par chacune d’elles.
Tableau 6 – Articles publiés par revue
| Sources | Articles de presse |
| ACCÈS UNIVERSEL DANS LA SOCIÉTÉ DE L’INFORMATION | 19 |
| ACCÈS IEEE | 7 |
| RISTI – REVISTA IBERICA DE SISTEMAS E TECNOLOGIAS DE INFORMACAO | 6 |
| SCIENCES APPLIQUÉES (SUISSE) | 4 |
| REVUE INTERNATIONALE DE L’INTERACTION HOMME-MACHINE | 4 |
| TRANSACTIONS ACM SUR L’INFORMATIQUE ACCESSIBLE | 2 |
| PROGRÈS DANS L’INTERACTION HOMME-MACHINE | 2 |
| COMPORTEMENT ET TECHNOLOGIES DE L’INFORMATION | 2 |
| LES ORDINATEURS DANS LE COMPORTEMENT HUMAIN | 2 |
| BIBLIOTHÈQUE ÉLECTRONIQUE | 2 |
| REVUE INTERNATIONALE DES TECHNOLOGIES MOBILES INTERACTIVES | 2 |
| REVUE INTERNATIONALE DE TECHNOLOGIE ET D’INTERACTION HUMAINE | 2 |
| JOURNAL DES TECHNOLOGIES DE L’INFORMATION ET DE LA COMMUNICATION | 2 |
| JOURNAL OF SPECIAL EDUCATION TECHNOLOGY | 2 |
| BIBLIOTHÈQUE HI TECH | 2 |
| OUTILS ET APPLICATIONS MULTIMÉDIAS | 2 |
Source : auteur.
En analysant le tableau 6, notez que seulement 16 des 55 sources scientifiques ont été citées, c’est-à-dire que 39 des sources ont publié seulement 1 article scientifique lié au sujet spécifié. Ces chiffres montrent que les auteurs peuvent rechercher des revues plus spécifiques qui traitent d’un certain type de modèle d’évaluation heuristique, ou des sources spécifiques en relation avec des environnements où il peut y avoir une certaine préoccupation avec l’accessibilité afin de l’évaluer.
Une analyse plus spécifique a été réalisée avec l’outil Bibliometrix R (ARIA; CUCCURULLO, 2017) sur l’impact des revues scientifiques. Le tableau 7 présente un ensemble de mesures impliquant les revues les plus pertinentes en fonction de l’indice h par rapport aux citations des études de chaque revue. Le nombre d’articles publiés, le nombre total de citations, l’indice h, l’index g et l’index m sont affichés, en considérant les 101 articles analysés dans ce RSL. Le Facteur d’Impact (FI) calculé de chaque revue pour les deux dernières années est également affiché.
Tableau 7 – Impact des revues
| Élément | h_index | g_index | m_index | TC | NP | PY_start | SI | ||||||||
| ACCÈS UNIVERSEL DANS LA SOCIÉTÉ DE L’INFORMATION | 7 | 13 | 1.4 | 183 | 13 | 2017 | 1.815 | ||||||||
| TRANSACTIONS ACM SUR L’INFORMATIQUE ACCESSIBLE | 2 | 2 | 0.666666667 | 23 | 2 | 2019 | 2.641 | ||||||||
| PROGRÈS DANS L’INTERACTION HOMME-MACHINE | 2 | 2 | 0.5 | 5 | 2 | 2018 | 1.355 | ||||||||
| LES ORDINATEURS DANS LE COMPORTEMENT HUMAIN | 2 | 2 | 0.4 | 33 | 2 | 2017 | 5.003 | ||||||||
| BIBLIOTHÈQUE ÉLECTRONIQUE | 2 | 2 | 0.4 | 11 | 2 | 2017 | 0.792 | ||||||||
| ACCÈS IEEE | 2 | 3 | 0.666666667 | 25 | 3 | 2019 | 3.745 | ||||||||
| Élément | h_index | g_index | m_index | TC | NP | PY_start | SI | ||||||||
| REVUE INTERNATIONALE DE L’INTERACTION HOMME-MACHINE | 2 | 3 | 0.4 | 34 | 3 | 2017 | 1.713 | ||||||||
| REVUE INTERNATIONALE DE TECHNOLOGIE ET D’INTERACTION HUMAINE | 2 | 2 | 0.666666667 | 6 | 2 | 2019 | 0.711 | ||||||||
| JOURNAL DES TECHNOLOGIES DE L’INFORMATION ET DE LA COMMUNICATION | 2 | 2 | 0.4 | 12 | 2 | 2017 | 1.833 | ||||||||
| RISTI – REVISTA IBERICA DE SISTEMAS E TECNOLOGIAS DE INFORMACAO | 2 | 2 | 0.666666667 | 8 | 3 | 2019 | 0.531 | ||||||||
Source : auteur.
Il est intéressant d’observer dans le tableau 7 que, dans toutes les revues énumérées, les exemples d’articles ont, en moyenne, plus de citations par article que la moyenne globale de la revue. Par conséquent, ils tirent le FI des revues respectives vers le haut.
En examinant les mots-clés indiqués dans le catalogue d’articles, des informations sous forme de WordCloud pourraient être extraites. La figure 7 illustre les principaux termes présents dans les articles, illustrant ainsi pour quels thèmes les revues ont été considérées dans ce RSL et selon quels critères elles peuvent être classées. Nous soulignons les termes accessibilité et convivialité comme les plus pertinents parmi les 20 termes les plus pertinents de tout le catalogue. Les termes qui font référence aux handicaps et aux personnes âgées entrent également dans la composition de la figure. Il est important de mentionner qu’un article publié peut avoir plus d’un mot-clé.
Figure 7 – WordCloud des termes principaux
La figure 8 montre les 10 expressions de deux mots (Bigrammes) qui apparaissent le plus dans les titres des articles analysés dans ce RSL. Dans ce TreeMap, différentes informations peuvent être analysées par rapport à la figure 7, telles que les termes « revue de littérature » et « littérature systématique », montrant ainsi le format de certaines de ces études dans la région. Dans la figure 8, le terme accessibilité est confirmé comme étant le plus pertinent pour les revues qui publient des évaluations heuristiques de l’accessibilité. Les sites Web gouvernementaux sont également présentés comme une expression pertinente dans ce domaine de recherche et sont présents dans 12% des articles. Ainsi, la réponse à Q5 est « oui » : les modèles d’évaluation heuristique sont plus présents dans les revues axées sur la recherche opérationnelle.
Figure 8 – TreeMap of Bigrams
La réponse à la question 6 peut être identifiée à la figure 9. Les modèles les plus cités et utilisés dans les évaluations heuristiques de l’accessibilité qui sont scientifiquement documentés et indexés par Scopus et Web of Science sont : les normes WCAG, les outils AChecker et WAVE. Il est à noter qu’en plus des modèles eux-mêmes, des techniques, des outils, des normes, des études, des examens et des mesures sont utilisés pour évaluer l’accessibilité dans les logiciels. Les WCAG ont différentes versions qui ont été citées par les études (1.0, 2.0, 2.1, 2.2 et d’autres variantes (ACOSTA-VARGAS et al., 2020; ACOSTA-VARGAS; SALVADOR-ULLAURI; LUJAN-MORA, 2019; AKGÜL, 2021; ALAJARMEH, 2021; ALSAEEDI, 2020; BABU; XIE, 2017; BAI; ÉGARÉ; MORK, 2019; HASSOUNA; SAHARI; ISMAIL, 2017; ISMAILOVA; KIMSANOVA, 2017; MADEIRA et al., 2021; MARTINS; GONÇALVES; BRANCO, 2017; SALVADOR-ULLAURI et al. 2020; WENTZ et al., 2019). L’outil le plus utilisé était AChecker.
Figure 9 – Fréquence de citation des modèles
Dans le tableau 8, il y a des descriptions des modèles qui sont mentionnés plus d’une fois et leurs occurrences respectives dans les articles de l’échantillon final. 91 modèles différents n’ont été cités qu’une seule fois, tandis que 25 modèles différents ont été cités plus d’une fois.
Tableau 8 – Nombre d’occurrences des modèles
| Modèles/Techniques/Outils/Modèles | Fréquence |
| WCAG | 17 |
| AChecker | 13 |
| VAGUE | 10 |
| TAW | 6 |
| Interview | 6 |
| Enquête | 6 |
| Validateur W3C HTML/CSS | 5 |
| Site de tri | 4 |
| Questionnaire | 4 |
| Expérience | 4 |
| EvalAccess | 4 |
| FAE | 3 |
| Étude de cas | 3 |
| WCAG 2.1 + Brajnik | 2 |
| Pingdom AB | 2 |
| Test adapté aux appareils mobiles | 2 |
| ARIA | 2 |
Source : auteur.
Tableau 8 – Nombre d’occurrences des modèles (conclusion)
| Modèles/Techniques/Outils/Modèles | Fréquence |
| Validateur total | 2 |
| SiteImprove | 2 |
| Normand | 2 |
| Nielsen | 2 |
| Prototype | 2 |
| Évaluations UX | 2 |
| Chanchí et all (2019) | 2 |
| Cynthia dit | 2 |
Source : auteur.
Pour répondre à la question 7, il a fallu recueillir les technologies impliquées dans toutes les études des articles de l’échantillon final. Il a été déterminé que les technologies évaluées n’étaient pas nécessairement directement ou correctement utiles, mais qu’elles étaient utilisées par un public dont les gens bénéficiaient de bonnes pratiques d’accessibilité. Initialement, une minorité d’études évaluaient correctement les technologies d’assistance, comme l’illustre la figure 10.
Figure 10 – Types de technologies évaluées
Le tableau 9 énumère les brèves descriptions des technologies d’assistance évaluées par les articles. Seule la technologie TalkBack a fait l’objet d’une évaluation dans plus d’une étude différente (ROBLES et al., 2019; YAN; RAMACHANDRAN, 2019).
Tableau 9 – Description des technologies d’assistance
| Types de technologies d’assistance évaluées |
| Systèmes d’assistance en général |
| Conception de systèmes interactifs d’assistance |
| Dispositif de pointage d’assistance basé sur une caméra montée sur la tête |
| Interaction graphique (grossissement sécurisé, impression, personnalisation Mise à jour en temps réel, interaction vocale, exportation de données, sonification) |
| Bras robotique collaboratif |
| Didacticiel d’assistance interactif |
| Accessibilité du clavier |
| Applications mobiles d’assistance en santé |
| Langage assisté par mobile et basé sur la gamification |
| Stimuli d’entraînement multimédia |
| TalkBack |
| Assistance à la navigation à distance basée sur le téléguidage |
Source : auteur.
Parmi les autres technologies évaluées par les articles, nous soulignons l’évaluation des sites Web en général, des applications mobiles, des sites Web gouvernementaux, des logiciels en général et des logiciels éducatifs, comme illustré à la figure 11.
Graphique 11. Technologies non assistées évaluées
La réponse à la question Q7 est que TalkBack est le type de technologie d’assistance le plus pris en charge par les modèles que nous avons étudiés. Cependant, en général, les sites Web sont les plus évalués en raison de l’heuristique d’accessibilité.
Pour répondre à la question 8, il fallait passer en revue tous les articles sélectionnés, identifier et regrouper les groupes de personnes caractérisés comme le public cible de chaque étude. Il a été remarqué que le groupe des personnes ayant une déficience visuelle (y compris les personnes aveugles, les personnes ayant une basse vision et d’autres personnes ayant des problèmes visuels) est l’objet le plus fréquent de la recherche impliquant une évaluation heuristique de l’accessibilité. La figure 12 illustre le pourcentage d’occurrence de chaque groupe d’individus décrit dans les articles RSL.
Graphique 12. Occurrence du public cible
Le tableau 10 présente une description des groupes de personnes qui ont été sélectionnés comme public cible de la recherche, le nombre d’occurrences de ces groupes dans les articles et, dans certains cas, quelques observations sur le regroupement. Certaines études se sont concentrées sur plus d’un groupe d’individus, de sorte que la somme globale dépasse le nombre d’articles analysés dans cette revue systématique.
Tableau 10 – Public cible des études
| Public cible des études | Occurrences | Observations |
| Personnes ayant une déficience visuelle | 29 | Il s’agit notamment des utilisateurs aveugles, malvoyants, de problèmes de contraste et d’autres utilisateurs malvoyants |
| Personnes handicapées | 21 | Quelconque |
| Personnes en général | 17 | Quelconque |
| Public cible des études | Occurrences | Observations |
| Utilisateurs de sites Web éducatifs | 10 | Il s’agit notamment des administrateurs, des élèves (handicapés non spécifiés ou non), des enseignants |
| Les personnes âgées | 10 | |
| Personnes atteintes d’un trouble du spectre de l’autisme (TSA) | 6 | |
| Personnes ayant un handicap physique ou sensoriel | 5 | |
| Personnes ayant une déficience auditive | 4 | |
| Utilisateurs des sites Web du gouvernement | 4 | |
| Personnes ayant une déficience intellectuelle | 3 | |
| Personnes ayant des troubles d’apprentissage | 3 | |
| Parties prenantes impliquées dans le produit | 2 | |
| Personnes atteintes du syndrome de Down | 1 | |
| Personnes ayant des troubles de la parole | 1 | |
| Personnes atteintes du trouble déficitaire de l’attention avec hyperactivité (TDAH) | 1 | |
| Personnes photosensibles | 1 |
Source : auteur.
En réponse à la question Q9, les limites et les lacunes actuelles les plus citées dans les travaux portant sur les modèles d’évaluation heuristique sont les suivantes : les ressources technologiques utilisées; l’orientation des études, qui ne sont pas toujours axées uniquement sur l’accessibilité; la limitation de la recherche liée aux objectifs abordés ici dans ce RSL; et la diversité de la population étudiée. Le nombre de fois que chaque type de limitation apparaît dans l’échantillon de cette revue est indiqué dans le tableau 11 ci-dessous. Il est important de souligner que différents articles citaient plus d’un type de limitation différente, ce qui fait que le nombre total d’occurrences est supérieur au nombre d’articles de l’échantillon.
Tableau 11 – Limites des études
| Limitations | Fréquence |
| Limites des ressources technologiques utilisées | 32 |
| L’évaluation de l’accessibilité n’est pas au centre de la recherche | 24 |
| Recherche limitée | 24 |
| Diversité de la population étudiée | 18 |
| Obstacles lors des interactions ou de la collecte de données avec les intervenants | 7 |
| Le résultat est au stade préliminaire | 6 |
| Coût | 5 |
| Heure | 5 |
| Pas d’accent sur les aspects culturels, les besoins des utilisateurs et les aspects contextuels | 4 |
| Biais des chercheurs et généralisabilité de leurs résultats | 4 |
| Anciennes lignes directrices | 2 |
| Lignes directrices subjectives | 2 |
| Connaissance de la population cible | 1 |
Source : auteur.
La figure 13 montre un graphique qui énumère les limitations mentionnées en pourcentage de leur nombre total, et montre donc les limitations les plus fréquemment mentionnées.
Figure 13 – Fréquence des limitations
Pour répondre à la question Q10, l’information a dû être extraite des heuristiques utilisées dans chacune des études rapportées par les articles de ce RSL. Les heuristiques appartiennent généralement à un groupe heuristique ou à un référentiel spécifique. Comme le montre le tableau 12, les groupes, les dépôts, les références et les études heuristiques mentionnés dans plus d’un article ont été décrits.
Tableau 12 – Sources de l’heuristique
| Heuristique | Fréquence |
| WCAG 2.0 | 28 |
| WCAG 2.1 | 11 |
| Nielsen | 10 |
| WCAG 1.0 | 9 |
| Heuristique | Fréquence |
| Normes US Section 508 | 8 |
| WCAG | 7 |
| W3C | 5 |
| Interview | 4 |
| WAI-ARIA | 4 |
| Lignes directrices propres | 4 |
| Expérience | 3 |
| ISO 9241-11 | 3 |
| Norme ISO/CEI 40500 | 2 |
| Silva, Holden et Jordan, 2015 | 2 |
Source : auteur.
En tenant compte de toutes les citations de l’échantillon final, un graphique a été construit qui montre la relation proportionnelle entre les principales sources d’heuristiques citées qui sont regroupées, indépendamment de la versioning, et les autres sources moins citées. Ce graphique est illustré à la figure 14.
Figure 14 – Sources de l’heuristique
À partir de la figure 14, notez que les sources les plus récurrentes sont les différentes versions des WCAG du W3C, qui sont rédigées par le même groupe qui fournit d’autres ensembles de directives internationalement reconnus, et qui sont également citées dans l’échantillon final de ce RSL (UAAG; FERATI; VOGEL, 2020), ATAG (FERATI; VOGEL, 2020) WAI-ARIA (COSTA; DUARTE, 2017; FERATI; VOGEL, 2020; GARCÍA-SANTIAGO; OLVERA-LOBO, 2021) mais sont inclus dans la catégorie Autres du graphique présenté. Certaines études ont également cité ISO/IEC 40500 (MARCO; ALONSO; QUEMADA, 2019; NAVARRETE; LUJÁN-MORA, 2018), qui est l’équivalent des WCAG 2.0. Par conséquent, la réponse à Q10 est la suivante : les heuristiques les plus analysées par les modèles publiés sont les heuristiques décrites par WCAG (Perceptibility, Operability, Understanding and Robustness) (CALDWELL et al., 2008).
Les paramètres les plus utilisés dans les évaluations sont les niveaux de conformité aux WCAG (A, AA, AAA) (CALDWELL et al., 2008). Il s’agit de la réponse à la question 11, comme le montre le tableau 13, qui énumère toutes les sources (citées plus d’une fois) à partir desquelles les paramètres d’évaluation ont été extraits. Sur un total de 85 sources de différentes métriques citées dans les articles, seulement 15 ont été citées plus d’une fois et une seule source (W3C WCAG) se démarque avec une différence de 29 citations de plus que les autres sources les plus signalées (revue de littérature et questionnaire).
Tableau 13 – Sources des paramètres
| Source des métriques | Références |
| W3C WCAG | 36 |
| Revue de la littérature | 7 |
| Questionnaire | 7 |
| Enquête | 6 |
| Interview | 6 |
| Expérience | 6 |
| Étude personnelle | 4 |
| Recherche qualitative | 3 |
| Nielsen | 3 |
| L’ | 2 |
| Chapitre 508 | 2 |
| Essai pilote | 2 |
| CNT 5854 | 2 |
| Étude de cas | 2 |
| Normes ARIA | 2 |
Source : auteur.
Pour répondre à la dernière question de recherche, ce qui devait être étudié pour toutes les technologies d’assistance étudiées était quel modèle d’évaluation était utilisé dans l’étude. Il a toutefois été observé que le nombre de technologies d’assistance elles-mêmes est faible par rapport au nombre total de technologies mentionnées et qu’il n’y a pas eu de répétition de l’occurrence de technologies d’assistance dans les articles de l’échantillon, à l’exception de TalkBack, ce qui rend impossible l’établissement d’une association entre le type de technologie utilisé et le modèle utilisé pour évaluer l’heuristique.
La réponse à la question 12 est en partie non. Il n’y a aucune preuve d’une association entre le modèle d’évaluation de l’accessibilité et la technologie d’assistance évaluée. En observant les études qui ont impliqué l’évaluation de TalkBack (MADEIRA et al., 2021; ROBLES et al., 2019; YAN; RAMACHANDRAN, 2019), on remarque que les modèles mentionnés sont divers et ne se répètent pas. Lors d’une vérification rapide, le modèle d’évaluation le plus cité dans les articles de ce RSL (normes WCAG) ne présente aucune association avec une technologie spécifique, car aucun modèle de répétition n’a été observé. Toutefois, une relation pourrait être établie entre les principaux publics cibles non généralisés et les modèles d’évaluation trouvés dans la littérature, comme le montre le tableau 14. Notez que le modèle WCAG est le plus récurrent dans les études destinées aux malvoyants, tandis que les questionnaires et les entretiens sont les plus utilisés pour évaluer les produits destinés aux personnes âgées, tandis que Wave et AChecker apparaissent davantage dans les enquêtes axées sur les personnes ayant un handicap physique ou sensoriel.
Tableau 14 – Modèles et public cible
| Modèles/ Public cible | Les malvoyants | Les personnes âgées | Personnes atteintes d’un trouble du spectre de l’autisme (TSA) | Personnes ayant un handicap physique ou sensoriel | Les malentendants |
| WCAG | 5 | ||||
| AChecker | 3 | 2 | 1 | ||
| Interview | 3 | 2 | 1 | ||
| Brajnik | 2 | ||||
| Questionnaire | 2 | 2 | |||
| eXaminator | 1 | 1 | 1 | ||
| Vague | 1 | 2 | 1 | ||
| TAW | 1 | 1 | 1 | ||
| Modèles/ Public cible | Les malvoyants | Les personnes âgées | Personnes atteintes d’un trouble du spectre de l’autisme (TSA) | Personnes ayant un handicap physique ou sensoriel | Les malentendants |
| Modèle d’interaction de périphérique propre | 1 | 1 | 1 | 1 | |
| Ivarsson et Gorschek (2011) | 1 | 1 | 1 | ||
| Expérience | 1 | 1 | |||
| Étude de cas | 1 | 1 | |||
| Enquête | 1 | 1 |
Source : auteur.
4. DISCUSSION, VOIES FUTURES ET TENDANCES
Cette recherche a présenté l’analyse des résultats obtenus à partir du regroupement d’articles dans un reflex. Au total, 101 articles ont été regroupés selon l’année de publication, les références, les auteurs, les modèles, les technologies, le public cible, les limites, les heuristiques et les mesures. Sur la base de la présentation des résultats, une série de questions de recherche a été élaborée et répondue. Le tableau 15 présente les conclusions de l’analyse effectuée sur l’ensemble des 12 questions de recherche initialement présentées dans le tableau 1.
Tableau 15 – Conclusions de la recherche
| Questions de recherche | Description |
| T1 | Oui, le nombre de modèles utilisés dans l’évaluation heuristique de l’accessibilité augmente d’année en année. |
| 2e trimestre | Oui. Le nombre d’articles citant l’évaluation heuristique pour les décisions en matière d’accessibilité a augmenté, mais les nouveaux articles n’ont pas eu beaucoup de temps pour être cités plus souvent |
| T3 | Al-Faries A. (2013), Al-Khalifa H.S. (2012), Al-Khalifa H.S. (2017), Vigo M. (2013) et Abanumy A. (2005) |
| T4 | Acosta-Vargas P., Doush I.A. et Ismailova R. |
| Q5 | Oui. Les modèles d’évaluation heuristique sont plus présents dans les revues axées sur la recherche opérationnelle |
| T6 | Les modèles les plus cités et utilisés dans les évaluations heuristiques de l’accessibilité scientifiquement documentés et indexés par Scopus et Web of Science sont : les normes WCAG, les outils AChecker et WAVE |
| Q7 | TalkBack est le type de technologie d’assistance le plus pris en charge par les modèles étudiés, cependant, en général, les sites Web sont le produit le plus évalué en raison de l’heuristique d’accessibilité |
| Q8 | Le groupe de personnes ayant une déficience visuelle (y compris les personnes aveugles, les personnes ayant une basse vision et d’autres personnes ayant des problèmes visuels) est le sujet de recherche le plus fréquent impliquant une évaluation heuristique de l’accessibilité |
| Q9 | Les limites et les lacunes actuelles les plus citées dans les travaux portant sur les modèles d’évaluation heuristique sont les suivantes : les ressources technologiques utilisées; l’orientation des études, qui ne sont pas toujours axées uniquement sur l’accessibilité; la limitation de la recherche liée aux objectifs abordés ici dans ce RSL; et la diversité de la population étudiée |
| Q10 | Les heuristiques les plus envisagées par les modèles publiés sont les heuristiques décrites par WCAG (Perceptibility, Operability, Understanding and Robustness) |
| Q11 | Les mesures les plus utilisées dans les évaluations sont les niveaux de conformité WCAG (A, AA, AAA) |
| Q12 | Il n’y a aucune preuve d’une association entre le modèle d’évaluation de l’accessibilité et la technologie d’assistance évaluée. Cependant, le modèle WCAG est le plus récurrent dans les études destinées aux malvoyants, tandis que les questionnaires et les entretiens sont les plus utilisés pour évaluer les produits destinés aux personnes âgées, tandis que Wave et AChecker apparaissent davantage dans les enquêtes axées sur les personnes ayant un handicap physique ou sensoriel. |
Source : auteur.
Compte tenu des résultats, la prédominance de l’utilisation des heuristiques et des mesures des WCAG peut être confirmée, tout comme l’ensemble du contexte évaluatif des WCAG. En outre, l’augmentation du nombre d’articles publiés dans ce domaine démontre l’importance de l’évaluation heuristique pour soutenir l’accessibilité dans les produits logiciels.
En résumé, les principales contributions de cette étude sont d’avoir effectué un examen de l’état de l’art de l’évaluation heuristique de l’accessibilité qui peut servir de base à de futures recherches dans le domaine de l’accessibilité numérique; définir et répondre à un ensemble de questions de recherche pertinentes à la littérature; étendre les RSL précédents quant à la portée de la recherche en insérant des approches liées aux modèles, aux heuristiques et aux paramètres les plus utilisés pour évaluer l’accessibilité des produits technologiques.
En ce qui concerne les axes de recherche futurs, des recherches plus spécifiques liées à l’utilisation de différentes technologies d’assistance appuyées par des évaluations heuristiques sont suggérées. Enquêtes spécifiant un public cible défini, ainsi que la définition et la réponse à de nouvelles questions de recherche à l’aide de la base de données créée dans cette étude. Les études futures devraient continuer à affiner les méthodes heuristiques et ainsi socialiser les meilleures pratiques d’accessibilité.
Les recherches futures pourraient également proposer de nouvelles méthodes d’évaluation des ressources numériques. Il est suggéré de mettre à l’essai ces nouvelles méthodes auprès d’utilisateurs bien définis afin d’identifier les obstacles qu’ils peuvent rencontrer dans l’utilisation des ressources technologiques couvertes par les tests. En outre, un complément à cette approche est suggéré, à savoir un sondage auprès des intervenants impliqués dans le développement de logiciels, afin de savoir s’ils connaissent les lignes directrices en matière d’accessibilité diffusées dans la littérature et s’ils ont déjà appliqué certaines des lignes directrices dans les produits logiciels.
De plus, une étude sur les métriques utilisées dans l’évaluation de l’accessibilité sera nécessaire, afin d’analyser la validité des métriques existantes et de proposer des améliorations permettant l’utilisation efficace de ces techniques dans les projets logiciels.
Bien qu’il y ait des avantages à évaluer l’accessibilité dans la prise de décision dans la construction de logiciels, qui sont bien répartis dans la littérature, il y a encore des défis à explorer dans le domaine. La mise en œuvre de l’évaluation heuristique pour les décisions sur l’accessibilité dans les organisations et l’utilisation appropriée de l’heuristique est répandue dans la recherche de solutions dans les domaines de connaissance les plus différents (VENTURI, 1995). Les modèles d’évaluation peuvent prendre du temps et impliquer des coûts et des efforts financiers. Ainsi, les modèles les plus couramment utilisés permettent la flexibilité de certains de leurs paramètres afin de faciliter leur applicabilité. De nombreux modèles hybrides ont émergé qui combinent des outils automatisés, des principes théoriques bien établis et des techniques de conception.
En ce qui concerne ce RSL, les technologies d’assistance ne correspondent qu’à 13% des technologies mentionnées dans l’ensemble des articles sélectionnés (voir Figure 10) alors que 14% du public cible des études est le grand public, sans caractérisation des utilisateurs (voir Figure 12). Cela montre que, bien que la plupart des études se concentrent sur des utilisateurs spécifiques, les technologies évaluées n’ont pas été conçues pour aider directement un groupe spécifique. À partir de cette recherche, il a été remarqué qu’il n’y a aucune preuve d’une association entre le modèle pour évaluer l’accessibilité et la technologie d’assistance évaluée, mais il a été possible d’établir quels modèles sont les plus utilisés par les publics spécifiques les plus cités dans les études.
Pour conclure, le maintien de l’analyse des limites permanentes dans les modèles évaluatifs est considéré comme important pour les perspectives futures. La comparaison entre différentes études de revue devrait permettre de déterminer si certaines de ces limites ont été atténuées ou non. À partir de cette étude, les limites les plus fréquentes concernent les ressources technologiques utilisées, l’orientation des études, l’orientation de la recherche et la diversité de la population étudiée.
5. CONCLUSIONS
L’évolution des techniques de prise de décision a transformé la façon dont les chercheurs analysent les problèmes lors du développement d’une solution logicielle / matérielle. Cet article prend la forme d’une revue systématique de la littérature et vise à fournir une vue d’ensemble de la façon dont les modèles d’évaluation heuristique ont été utilisés pour soutenir l’accessibilité, qu’il s’agisse d’évaluer les technologies d’assistance ou d’évaluer toute autre technologie au cours des dernières années. Dans l’ensemble, ce RSL a confirmé les résultats d’études antérieures et a ajouté de nouvelles questions de recherche aux études au format RSL qui ont été utilisées à ce jour.
Compte tenu de l’optimisation continue de l’ensemble des articles sélectionnés pour les études futures, comme il s’agit d’un sujet très spécifique, il est suggéré d’envisager de nouveaux processus de filtrage, afin d’éviter d’autres variations dans l’utilisation des évaluateurs pour les projets qui valorisent l’accessibilité en dehors du contexte de cette recherche. Ce RSL montre que certaines études appliquées sélectionnées démontrent déjà des limites concernant les objectifs et les spécifications de l’évaluation en mettant l’accent sur l’accessibilité. Quant aux auteurs et aux sources des références cataloguées, ils ont été décrits en utilisant les indices d’impact et de fréquence des apparitions, ignorant la profondeur thématique établie par leurs articles connexes et l’immersion dans les concepts dans le domaine.
Le nombre d’articles publiés sur l’évaluation heuristique pour la prise de décision en matière d’accessibilité a augmenté ces dernières années, et cela a été particulièrement visible entre 2018 et 2019. La directive sur l’accessibilité du Web, approuvée par le Parlement européen, obligeait les pays membres de l’Union européenne à se conformer aux normes d’accessibilité de ses sites Web publics dès septembre 2018. Par conséquent, des études sur l’accessibilité ont été élaborées naturellement et des modèles d’évaluation de l’accessibilité ont été utilisés plus largement. Ajouté à cette directive, le règlement européen sur l’accessibilité a été initié en 2019 et est devenu une référence mondiale en matière de législation sur l’accessibilité numérique.
L’objectif principal de ce RSL était de fournir un aperçu de l’état de l’art d’un domaine de recherche qui peut impliquer de souligner les lacunes dans la littérature. En bref, les techniques et méthodes utilisées pour assurer l’objectif principal se veulent solides et sont sujettes à mise à jour. Les résultats de la présente étude ont montré la pertinence des questions de recherche et ont mené à des découvertes intéressantes sur la littérature des évaluations heuristiques pour les décisions en matière d’accessibilité.
REMERCIEMENTS
Ce travail a été partiellement soutenu par CIn/Samsung, SiDi, CNPq (315245/2020-4, 305768/2016-6, 428832/2018-0) et Capes (001) pour lesquels les auteurs sont reconnaissants.
RÉFÉRENCES
ABNT – Associação Brasileira de Normas Técnicas Ergonomia da interação humano-sistema: parte 210 : projeto centrado no ser humano para sistemas interativos. 2011. Available: https://moodle.ufsc.br/pluginfile.php/4330158/mod_resource/content/4/ABNT_NBR_ISO_9241-210_2011.pdf. Acess in: 23 mar. 2023.
ACOSTA-VARGAS, Patricia et al. Evaluation of accessibility in teleconferencing systems for low vision users during covid-19. RISTI-Revista Iberica de Sistemas e Tecnologias de Informacao, p. 205-218, 2020.
ACOSTA-VARGAS, Patricia; SALVADOR-ULLAURI, Luis Antonio; LUJÁN-MORA, Sergio. A heuristic method to evaluate web accessibility for users with low vision. IEEE Access, v. 7, p. 125634‑125648, 2019. DOI: https://doi.org/10.1109/ACCESS.2019.2939068.
AKGÜL, Yakup. Accessibility, usability, quality performance, and readability evaluation of university websites of Turkey: a comparative study of state and private universities. Universal access in the information society, v. 20, n. 1, p. 157-170, 2021. DOI :https://doi.org/10.1007/s10209-020-00715-w.
ALAJARMEH, Nancy. Evaluating the accessibility of public health websites: an exploratory cross-country study. Universal Access in the Information Society, p. 1-19, 2021. DOI :https://doi.org/10.1007/s10209-020-00788-7.
ALMEIDA-FILHO, Adiel Teixeira de; SILVA, Diogo Ferreira de Lima; FERREIRA, Luciano. Financial modelling with multiple criteria decision making: a systematic literature review. Journal of the Operational Research Society, 1-19, 2020. DOI: https://doi.org/10.1080/01605682.2020.1772021.
ALSAEEDI, Abdullah. Comparing web accessibility evaluation tools and evaluating the accessibility of webpages: proposed frameworks. Information, v. 11, n. 1, p. 40, 2020. DOI :https://doi.org/10.3390/info11010040.
ARAÚJO, Adolpho Guido; CARNEIRO, Arnaldo Manoel Pereira; PALHA, Rachel Perez. Sustainable construction management: a systematic review of the literature with meta-analysis. Journal of Cleaner Production, v. 256, p. 120350, 2020. DOI: https://doi.org/10.1016/j.jclepro.2020.120350.
ARIA, Massimo; CUCCURULLO, Corrado. bibliometrix: an R-tool for comprehensive science mapping analysis. Journal of informetrics, v. 11, n. 4, p. 959-975, 2017. DOI: https://doi.org/10.1016/j.joi.2017.08.007.
BABU, Rakesh; XIE, Iris. Haze in the digital library: design issues hampering accessibility for blind users. The Electronic Library, v. 35, n. 5, p. 1052-1065, 2017. DOI: https://doi.org/10.1108/EL-10-2016-0209.
BADAMPUDI, Deepika. Reporting ethics considerations in software engineering publications. In: 2017 ACM/IEEE International Symposium on Empirical Software Engineering and Measurement (ESEM), p. 205-210, 2017. DOI: https://doi.org/10.1109/ESEM.2017.32.
BAI, Aleksander; STRAY, Viktoria; MORK, Heidi. What methods software teams prefer when testing web accessibility. Advances in Human-Computer Interaction, v. 2019, p. 1-14, 2019. DOI: https://doi.org/10.1155/2019/3271475.
CALDWELL, Ben et al. Web Content Accessibility Guidelines 2.0 (WCAG). W3C, 2008. Available in: https://www.w3.org/WAI/WCAG20/versions/guidelines/wcag20-guidelines-20081211-a4.pdf. Acess in: 23 mar. 2023.
CAMPOVERDE-MOLINA, Milton; LUJAN-MORA, Sergio; GARCIA, Llorenc Valverde. Empirical studies on web accessibility of educational websites: a systematic literature review. IEEE Access, v. 8, p. 91676-91700, 2020. DOI: https://doi.org/10.1109/ACCESS.2020.2994288.
CEN & CENELEC. EN 17161:2019: design for all: accessibility following a design for all approach in products, goods and services: extending the range of users. Brussels: Cen-Celenic, 2019.
CHI, Chia-Fen; TSENG, Li-Kai; JANG, Yuh. Pruning a decision tree for selecting computer-related assistive devices for people with disabilities. IEEE Transactions on Neural Systems and Rehabilitation Engineering, v. 20, n. 4, p. 564-573, 2012. DOI: :https://doi.org/10.1109/TNSRE.2012.2193419.
COSTA, Daniel; DUARTE, Carlos. Visually impaired people and the emerging connected TV: a comparative study of TV and Web applications’ accessibility. Universal Access in the Information Society, v. 16, p. 197-214, 2017. DOI: https://doi.org/10.1007/s10209-016-0451-6.
ECK, Nees Van; WALTMAN, Ludo. Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics, v. 84, n. 2, p. 523-538, 2010. DOI: https://doi.org/10.1007/s11192-009-0146-3.
EUSÉBIO, Celeste; SILVEIRO, André; TEIXEIRA, Leonor. Website accessibility of travel agents: an evaluation using web diagnostic tools. Journal of Accessibility and Design for All, v. 10, n. 2, p. 180‑208, 2020. DOI: https://doi.org/10.17411/jacces.v10i2.277.
EUROPEAN COMMISSION . Proposal for a directive of the European Paliament and of the Concil on the approximation of the laws, regulations and administrative provisions of the Member States as regards the accessibility requirements for products and services. EUR‑Lex, 2015. Available in: https://eur‑lex.europa.eu/legal‑content/EN/TXT/?uri=COM%3A2015%3A0615%3AFIN. Acess in: 23 mar. 2023.
FERATI, Mexhid; VOGEL, Bahtijar. Accessibility in web development courses: A case study. Informatics. v. 7, n. 1, p. 1‑15, 2020. DOI: https://doi.org/10.3390/informatics7010008.
GAMACHE, Stephanie et al. Measure of environmental accessibility (MEA): development and inter-rater reliability. Journal of accessibility and design for all, v. 8, n. 1, p. 1-32, 2018. DOI: https://doi.org/10.17411/jacces.v8i1.141.
GARCÍA-SANTIAGO, Lola; OLVERA-LOBO, Maria-Dolores. How accessibility guidelines are used in Spanish World Heritage websites: an exploratory study. Library Hi Tech, v. 39, n. 1, p. 144-165, 2021. DOI: https://doi.org/10.1108/LHT-05-2019-0113.
HASSENZAHL, Marc. The thing and I: understanding the relationship between user and product. Funology 2: from usability to enjoyment, p. 301-313, 2018. DOI: https://doi.org/10.1007/978-3-319-68213-6_19.
HASSOUNA, Mohammed Saleh; SAHARI, Noraidah; ISMAIL, Amirah. University website accessibility for totally blind users. Journal of Information and Communication Technology, v. 16, n. 1, p. 63-80, 2017. DOI: https://doi.org/10.32890/jict2017.16.1.8218.
HORTON, Emily L. et al. A review of principles in design and usability testing of tactile technology for individuals with visual impairments. Assistive technology, v. 29, n. 1, p. 28-36, 2017. DOI: https://doi.org/10.1080/10400435.2016.1176083.
ISMAILOVA, Rita; KIMSANOVA, Gulida. Universities of the Kyrgyz Republic on the Web: accessibility and usability. Universal Access in the Information Society, v. 16, n. 4, p. 1017-1025, 2017. DOI:https://doi.org/10.1007/s10209-016-0481-0.
LAENGLE, Sigifredo et al. Forty years of the European Journal of Operational Research: A bibliometric overview. European Journal of Operational Research, v. 262, n. 3, p. 803-816, 2017. DOI: https://doi.org/10.1016/j.ejor.2017.04.027.
LAKSHMI, Krishnan; KUMAR, PD Madan; DAS, Himangshu. Design considerations for a dental health care for patients with special needs. Journal of accessibility and design for all, v. 8, n. 1, p. 80‑101, 2018. DOI: https://doi.org/10.17411/jacces.v8i1.168.
MADEIRA, Stephane et al. Accessibility of mobile applications for tourism—is equal access a reality? Universal Access in the Information Society, v. 20, p. 555-571, 2021. DOI: https://doi.org/10.1007/s10209-020-00770-3.
MAFFEO, Bruno. Engenharia de software e especificação de sistemas. Rio de Janeiro: Campus, 1992.
MARCO, Lourdes; ALONSO, Álvaro; QUEMADA, Juan. An identity model for providing inclusive services and applications. Applied Sciences, v. 9, n. 18, p. 3813, 2019. DOI: https://doi.org/10.3390/app9183813.
MARIZ, Fernanda Bar; ALMEIDA, Mariana R.; ALOISE, Daniel. A review of dynamic data envelopment analysis: state of the art and applications. International Transactions in Operational Research, v. 25, n. 2, p. 469‑505, 2018. DOI: https://doi.org/10.1111/itor.12468.
MARTINS, José; GONÇALVES, Ramiro; BRANCO, Frederico. A full scope web accessibility evaluation procedure proposal based on Iberian eHealth accessibility compliance. Computers in Human Behavior, v. 73, p. 676-684, 2017. DOI: https://doi.org/10.1016/j.chb.2016.12.010.
NAGARAJU, M.; CHAWLA, Priyanka. A methodical search of web content accessibility for visual disabled people. International Journal of Engineering and Advanced Technology, v. 8, n. 6, p. 1713‑1719, 2019. DOI: https://doi.org/10.35940/ijeat.F8425.088619.
NASCIMENTO, Kayo Renato Da Silva; ALENCAR, Marcelo Hazin. Management of risks in natural disasters: a systematic review of the literature on NATECH events. Journal of Loss Prevention in the Process Industries, v. 44, p. 347-359, 2016. DOI: https://doi.org/10.1016/j.jlp.2016.10.003.
NATHAN, S. S. et al. Accessibility, disability and deaf: a review. International Journal of Engineering and Technology, v. 7, n. 4.19, p. 369-371, 2018.DOI: https://doi.org/10.14419/ijet.v7i3.12.16109.
NAVARRETE, Rosa; LUJÁN-MORA, Sergio. Bridging the accessibility gap in Open Educational Resources. Universal Access in the Information Society, v. 17, n. 4, p. 755-774, 2018. DOI:https://doi.org/10.1007/s10209-017-0529-9.
NIELSEN, Jakob. Usability inspection methods. New York: John Wiley & Sons, 1994.
PEREA, Lourdes González; GALÁN, Jesús Hernández; VILLARINY, Natalí González. The presence of universal accessibility in doctoral dissertations deposited in Spain between 1998-1999 and 2017-2018 academic years. Journal of accessibility and design for all, v. 9, n. 2, p. 118-140, 2019. DOI: https://doi.org/10.17411/jacces.v9i2.213.
PAIVA, Débora Maria Barroso; FREIRE, André Pimenta; FORTES, Renata Pontin de Matos. Accessibility and software engineering processes: a systematic literature review. Journal of Systems and Software, v. 171, p. 110819, 2021. DOI: https://doi.org/10.1016/j.jss.2020.110819.
PEREIRA, Valdecy; COSTA, Helder Gomes. A literature review on lot size with quantity discounts: 1995-2013. Journal of Modelling in Management, v. 10, n. 3, p. 341-359, 2015. DOI: https://doi.org/10.1108/JM2-07-2013-0029.
PERIANES-RODRIGUEZ, Antonio; WALTMAN, Ludo; ECK, Nees Jan Van. Constructing bibliometric networks: A comparison between full and fractional counting. Journal of Informetrics, v. 10, n. 4, p. 1178-1195, 2016. DOI: https://doi.org/10.1016/j.joi.2016.10.006.
RANADA, Åsa Larsson; LIDSTRÖM, Helene. Satisfaction with assistive technology device in relation to the service delivery process – a systematic review. Assistive Technology, v. 31, n. 2, p. 82‑97, 2019. DOI: https://doi.org/10.1080/10400435.2017.1367737.
ROBLES, Teresita de Jesús Álvarez et al. Adapting card sorting for blind people: Evaluation of the interaction design in TalkBack. Computer Standards & Interfaces, v. 66, p. 103356, 2019. DOI: https://doi.org/10.1016/j.csi.2019.103356.
RUSCHEL, Edson; SANTOS, Eduardo Alves Portela; LOURES, Eduardo de Freitas Rocha. Industrial maintenance decision-making: A systematic literature review. Journal of Manufacturing Systems, v. 45, p. 180‑194, 2017. DOI: https://doi.org/10.1016/j.jmsy.2017.09.003.
SALVADOR-ULLAURI, Luis et al. Combined method for evaluating accessibility in serious games. Applied Sciences, v. 10, n. 18, p. 6324, 2020. DOI: https://doi.org/10.3390/APP10186324.
SHNEIDERMAN, Ben. Tree visualization with tree-maps: 2-d space-filling approach. ACM Transactions on graphics, v. 11, n. 1, p. 92-99, 1992.
SINGER, Janice; VINSON, Norman G. Ethical issues in empirical studies of software engineering. IEEE Transactions on Software Engineering, v. 28, n. 12, p. 1171-1180, 2002. DOI: https://doi.org/10.1109/TSE.2002.1158289.
SMALL, Henry. Co-citation in the scientific literature : a new measure of the relationship between two documents. Journal of the American Society for information Science, v. 24, n. 4, p. 28-31, 1974.
STITZ, Tammy; BLUNDELL, Shelley. Evaluating the accessibility of online library guides at an academic library. Journal of Accessibility and Design for All, v. 8, n. 1, p. 33-79, 2018. DOI: https://doi.org/10.17411/jacces.v8i1.145.
TERASHIMA, Mikiko; CLARK, Kate. Measuring economic benefits of accessible spaces to achieve’meaningful’access in the built environment: a review of recent literature. Journal of Accessibility and Design for All, v. 11, n. 2, p. 195-231, 2021. DOI: https://doi.org/10.17411/jacces.v11i2.274.
UMARJI, Medha; SEAMAN, Carolyn. Why do programmers avoid metrics?. In: Proceedings of the Second ACM-IEEE international symposium on Empirical software engineering and measurement, p. 129-138, 2008. DOI: https://doi.org/10.1145/1414004.1414027.
VENTURI, Gustavo. O universalismo ético: Kohlberg e Habermas. Lua Nova: Revista de Cultura e Política, p. 67‑84, 1995. DOI: https://doi.org/10.1590/s0102‑64451995000200005.
WALTMAN, Ludo; VAN ECK, Nees Jan; NOYONS, Ed CM. A unified approach to mapping and clustering of bibliometric networks. Journal of informetrics, v. 4, n. 4, p. 629-635, 2010. DOI: https://doi.org/10.1016/j.joi.2010.07.002.
WENTZ, Brian et al. Documenting the accessibility of 100 US bank and finance websites. Universal Access in the Information Society, v. 18, p. 871-880, 2019. DOI: https://doi.org/10.1007/s10209-018-0616-6.
WOHLIN, Claes et al. Experimentation in software engineering. Berlin: Springer; Berlin: Heidelberg, 2012.
YAN, Shunguo; RAMACHANDRAN, P. G. The current status of accessibility in mobile apps. ACM Transactions on Accessible Computing, v. 12, n. 1, p. 1-31, 2019. DOI: https://doi.org/10.1145/3300176
ZOPOUNIDIS, Constantin et al. Multiple criteria decision aiding for finance: An updated bibliographic survey. European Journal of Operational Research, v. 247, n. 2, p. 339-348, 2015. DOI: https://doi.org/10.1016/j.ejor.2015.05.032
[1] Enseignant. ORCID : 0000-0003-4467-0113. CURRICULUM LATTES : http://lattes.cnpq.br/9433837114578364.
[2] Docteur. ORCID : 0000-0002-6491-9783. CURRICULUM LATTES : http://lattes.cnpq.br/3252289006108114.
[3] Conseiller. Médecin. ORCID : 0000-0001-6069-3601. CURRICULUM LATTES : http://lattes.cnpq.br/9944976090960730.
Envoyé: 02 de Mars 2023.
Approuvé: 15 mars 2023.
