Abstract :
[fr] L’utilisation des résultats de revues systématiques (RSs) et méta-analyses (MAs) dans le domaine des sciences psychologiques est devenue de plus en plus populaire ces dernières années. En effet, ces méthodes offrent la possibilité de synthétiser les données et les résultats de plusieurs études individuelles sur une même thématique et sont considérées comme ayant un très haut niveau de preuves. Cependant, la validité des conclusions apportées par les RSs/MAs repose sur l’application d’un ensemble de procédures par les auteurs et est sujette à de nombreux biais. Des faiblesses dans la réalisation de ces études ont été mises en évidence, principalement dans le domaine (bio)médical. Seules quelques recherches ont été menées sur cette problématique dans le domaine des sciences psychologiques, mais les premiers résultats ont montré que certaines MAs manquaient de transparence et présentaient des faiblesses méthodologiques. Les recherches menées dans le cadre de cette thèse de doctorat ont donc été réalisées dans le but de fournir une vue d’ensemble sur la qualité des RSs/MAs publiées dans le domaine des sciences psychologiques, ainsi que d’apporter des connaissances supplémentaires sur l’application de l’outil AMSTAR2 (A MeaSurement Tool to Assess Systematic Review) spécialement conçu pour évaluer la qualité méthodologique des RSs/MAs. Plus spécifiquement, la qualité de rédaction des MAs a été investiguée au moyen de l’outil PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-analyses) sur un échantillon de publications indexées dans la base de données PsycINFO. Nous avons pu mettre en évidence que la qualité de rédaction des MAs dans le domaine de la psychologie était insuffisante, avec seulement 4 % de notre échantillon qui adhérait à l’ensemble des 27 items de PRISMA. Cependant, les résultats indiquent que la déclaration de l’utilisation de l’outil PRISMA dans la méthodologie de la MA a un impact positif sur la présentation des articles. Une série de points clés, comme par exemple la sélection des études ou l’évaluation du risque de biais, sont mieux rapportés dans les MAs qui utilisent l’outil PRISMA que dans celles qui ne déclarent pas l’utiliser.La qualité méthodologique des MAs a également été évaluée : elle a été caractérisée comme insuffisante dans 95 % de notre échantillon selon les critères proposés par l’outil AMSTAR2. Bien que les critères concernant les analyses statistiques et l’évaluation du biais de publication aient bien été remplis, des améliorations sont à prévoir pour les critères relatifs à l’utilisation du protocole de recherche, à l’identification de la littérature, à la collecte des données et à l’évaluation du risque de biais dans les études individuelles.Suite à ces investigations, il a été décidé d’évaluer plus spécifiquement la présence d’outcome reporting bias dans les MAs, vu les problèmes potentiels posés par des variations entre protocole de recherche initial et publication des résultats. Dans un nouvel échantillon, un tiers des MAs présentait au moins une différence entre les outcomes prévus dans le protocole et ceux présentés dans la MA publiée.Concernant la contribution à l’outil AMSTAR2, nous avons cherché à analyser ses propriétés psychométriques. Nos résultats démontrent qu’AMSTAR2 a de bonnes données psychométriques. En effet, la valeur médiane du Kappa de Cohen suggère une fiabilité inter-observateur modérée pour l’outil AMSTAR. Les données concernant la validité de l’outil ont également montré des résultats encourageants avec une association fortement positive entre les scores de AMSTAR (la première version de l’outil) et AMSTAR2.Enfin, vu les résultats de l’évaluation méthodologique (95% des études évaluées comme critically low selon AMSTAR2), nous avons souhaité développer une forme de priorisation des critères de l’outil AMSTAR2. Pour ce faire, une enquête de type Best-Worst Scaling a été menée auprès de 242 experts, permettant d’établir l’importance relative de chacun des items. Les critères concernant les analyses statistiques et la recherche de la littérature ont été considérés comme étant les plus importants pour évaluer la qualité méthodologique d’une MA.En conclusion, nos recherches ont permis de mieux caractériser les forces et les faiblesses des pratiques utilisées dans la réalisation des MAs issues des sciences psychologiques ainsi que les propriétés psychométriques de l’outil AMSTAR2. Des améliorations sont à envisager pour renforcer les pratiques de recherches dans la réalisation des RSs/MAs issues du domaine des sciences psychologiques. Dès lors, une plus large diffusion et utilisation des outils mis à disposition des auteurs, comme par exemple PRISMA et AMSTAR, le développement et le suivi de protocole de recherche ou encore l’implication de personnes qualifiées dans l’équipe de recherche, comme un bibliothécaire spécialisé ou un statisticien, pourraient permettre la réalisation et la diffusion de MAs plus transparentes, de meilleures qualités et reproductibles./Systematic reviews (SRs) and meta-analyses (MAs) in psychological sciences have become tremendously popular in recent years. Indeed, they offer the possibility of synthesizing results of several studies dealing with the same research question and drawing conclusions that are considered to have a very high level of evidence. However, the validity of the conclusions provided by the SR/MAs relies on the application, by the authors, of a set of procedures and is subject to numerous biases. Weaknesses in the conduct of these studies have been highlighted mainly in the (bio)medical field. Few research has been carried out in the field of psychological sciences, but initial results have shown that some MAs lack transparency and present methodological weaknesses. The research performed for this thesis was therefore carried out with the aim of providing an overview of the quality of published SR/MAs in psychological sciences as well as providing additional knowledge on the application of the AMSTAR2 tool (A MeaSurement Tool to Assess Systematic Review) specifically designed to assess the methodological quality of SR/MAs.More specifically, the completeness of the reporting was investigated using the PRISMA Statement (Preferred Reporting Items for Systematic Reviews and Meta-analyses) on a sample of publications indexed in the PsycINFO database. We emphasized that the reporting completeness of MAs is poor, since very few studies (4%) completely adhered to all 27 PRISMA items. However, mention of PRISMA in the methodology section of the MA has a positive influence on its reporting. Several key points, such as study selection or risk of bias assessment are better reported in MAs that mention PRISMA in their methodology than in those that do not report using it. The methodological quality of the MAs was also evaluated: it was characterized as insufficient in 95% of our sample according to the criteria proposed by the AMSTAR2 tool. Although the criteria concerning the statistical analyses and the assessment of publication bias were well met, improvements are to be envisaged for the criteria concerning the use of the research protocol, the literature search, the data collection and the evaluation of the risk of bias in individual studies.Following these investigations, it was decided to evaluate more specifically the presence of outcome reporting bias in the MAs given the potential issues arising from the differences between the initial research protocol and the publication of the results. In a new sample, one third of the MAs presented at least one discrepancy between outcomes initially included in the research protocol and those presented in the associated publication.Concerning the contribution to the AMSTAR2 tool, we investigated its psychometric properties. The AMSTAR2 tool has moderate inter-observer reliability as suggested by the Cohen's median Kappa value. Moreover, the results on the validity of the tool also showed to be encouraging with a positive association between the scores of AMSTAR (the first version of the tool) and AMSTAR2.Finally, given the results of the methodological evaluation (95% of the studies evaluated as critically low according to AMSTAR2) we were interested in developing a kind of prioritization of the AMSTAR2 tool criteria. To do this, a Best-Worst Scaling survey was conducted among 242 experts, allowing us to establish the relative importance of each item. The criteria concerning statistical analysis and literature search were considered to be the most important in assessing the methodological quality of a MA. In conclusion, our research has allowed us to better characterize the strengths and weaknesses of the practices used in the realization of MAs from the psychological sciences as well as the psychometric properties of the AMSTAR2 tool. Improvements should be considered to strengthen research practices in the completion of SRs and MAs from the psychological sciences. Therefore, a wider dissemination and use of the tools made available to authors such as PRISMA and AMSTAR, the development and adherence to research protocols or the involvement of qualified persons in the research team such as a specialized librarian or statistician, could lead to more transparent, high quality and reproducible MAs.
