Y a-t-il un biais systématique dans les estimations de la couverture du programme produites par les évaluations de la couverture SQUEAC ?
Ceci est un post-scriptum pour l'article de recherche « Existe-t-il un biais systématique dans les estimations de la couverture du programme renvoyées par les évaluations de la couverture SQUEAC? » by Mark Myatt and Ernest Gueverra, que vous pouvez lire ici.
ENN remercie le Bureau régional de l'UNICEF pour l'Afrique de l'Ouest et du Centre (WCARO) pour son soutien à la traduction des articles sur Field Exchange en français.
Par Sheila Isanaka, Rebecca F. Grais, et Ben G.S. Allen
Nous remercions Mark Myatt et Ernest Gueverra d'avoir ajouté ce travail important à la discussion en cours sur les méthodologies de couverture appropriées pour la prise en charge de la malnutrition aiguë. Un examen des méthodologies de couverture en 2015 a mis en lumière l'incertitude quant à l'utilisation des méthodes actuellement recommandées pour l'évaluation de la couverture et la nécessité de disposer d'un plus grand nombre de données pertinentes examinées par des pairs pour guider les orientations à l'échelle mondiale (Epicentre, 2015). Nous sommes ravis que notre travail (Isanaka et al 2018) puisse avoir motivé une réflexion supplémentaire sur ces questions importantes et nous espérons que les intéressés et les décideurs politiques continueront à insister sur une expérience de haute qualité et fondée sur des données pertinentes pour informer les programmes de nutrition.
Le rapport de Myatt et Gueverra (2019) montre que l'estimation de la couverture à l'aide de la méthodologie SQUEAC peut produire des estimations biaisées dans les deux sens. Pour la première fois, Myatt et Gueverra quantifient l'ampleur de ce biais, ne montrant qu'une corrélation modérée entre les estimations préalables (à priori) et de vraisemblance (coefficient de corrélation de Pearson, intervalle de confiance à 95 % : 0.67 to 0.78). Ces nouvelles données concordent avec nos constatations et appuient notre conclusion selon laquelle des conflits entre les modes de calculs des estimations à priori et de calculs de vraisemblance sont bien possibles, et peuvent mener à des estimations biaisées et imprécises de la couverture. Comme Myatt et Gueverra l'ont mentionné, le risque d'un tel biais est faible lorsque le personnel formé effectue une enquête en utilisant des méthodes SQUEAC appropriées. Notre travail corrobore cette constatation, et nous ne montrons aucun conflit lorsqu'une équipe de soutien externe a fait une estimation préalable. Notre expérience, cependant, va plus loin que ce qui est possible dans l'analyse secondaire de Myatt et Gueverra pour suggérer que dans des contextes où les ressources sont limitées, où les capacités et les ressources suffisantes peuvent ne pas être disponibles et où la méthodologie correcte peut ne pas être appliquée fidèlement, les conflits et biais peuvent être plus courants.
Nous sommes tout à fait d'accord pour dire que les évaluations de la couverture devraient être effectuées à l'aide des méthodes appropriées décrites dans le manuel du SQUEAC (Myatt et al. 2012). Notre évaluation de la SQUEAC a suivi ces directives, y compris la triangulation par source et méthode, l'utilisation de l'outil BBQ, l'échantillonnage jusqu'à redondance et une petite enquête. Nous avons utilisé la pondération de booster et de barrière par personnes responsables d'enfants souffrant de malnutrition aiguë sévère (MAS) comme indiqué dans d'autres contextes (Blanárová et al. 2016) comme l'un des éléments du développement de la méthode d'estimations préalables. Les diverses méthodes d'estimations préalables de nos analyses ont été combinées pour simuler différents scénarios possibles, y compris des situations où aucun soutien externe n'est disponible. Ceci a été fait dans le but pédagogique de l'étude et, comme expliqué dans le document, ne reflète pas nécessairement les procédures typiques du SQUEAC.
Nous notons que la base de données utilisée dans l'analyse de Myatt et Gueverra est probablement constituée d'enquêtes menées par des consultants expérimentés en matière de couverture (celles fournies, par exemple, par le Coverage Monitoring Network ou Valid International) et comprend donc des méthodes d'estimations préalables élaborées par des consultants spécialisés utilisant des méthodes de référence qui pourraient être moins susceptibles d'entrer en conflit. Les analyses comprennent également des données provenant de programmes d'alimentation complémentaire et ne normalisent pas les calculs d'estimation de la couverture selon les orientations actuelles concernant l'utilisation d'une couverture unique (Balegamire S, 2015), choix analytiques qui peuvent influencer la mesure dans laquelle les conflits et les biais ont été détectés. Cependant, nous accueillons favorablement les nouvelles données présentées par Myatt et Gueverra (2019) comme une étape importante vers une meilleure compréhension des implications de l'utilisation de la méthodologie SQUEAC pour une estimation valide de la couverture.
Dans l'ensemble, nous attendons avec impatience la poursuite de discussions fondées sur des données pertinentes et examinées par des pairs sur les méthodes de couverture appropriées. Il existe plusieurs méthodes de suivi de la couverture du programme, et une conception appropriée d'étude doit être choisie en tenant compte des capacités de l'équipe, des ressources et des attentes de rapports. SQUEAC peut être une méthode techniquement exigeante et nécessite des capacités de ressources appropriées pour éviter le risque de biais. Comme nous l'avons montré avec Myatt et Gueverra, des conflits et une estimation de couverture biaisée est possible et devrait être prise en compte dans le choix de la conception appropriée de l'étude et l'affectation des ressources appropriées pour l'évaluation.
Références
Balegamire S, Siling K, Alvarez Moran JS, Guevarra E, Woodhead S, Norris A, Fieschi L, Paul Binns P, and Myatt M, A single coverage estimator for use in SQUEAC, SLEAC, and other CMAM coverage assessments, 2015, Field Exchange 49 Texte intégral : https://www.ennonline.net/fex/49/singlecoverage
Blanárová L, Woodhead S, and Myatt M, Community weighting of barriers and boosters in Democratic Republic of Congo, 2016, Field Exchange 52 Texte intégral : https://www.ennonline.net/fex/52/barriersandboostersdrc
Épicentre. Examen des méthodologies à l'échelle mondiale : commentaires, questions et les moyens de progresser. London: Coverage Monitoring Network; 2015.
Isanaka S, Hedt-Gauthier BL, Grais RF, Allen BG, Estimating program coverage in the treatment of severe acute malnutrition: a comparative analysis of the validity and operational feasibility of two methods, Population Health Metrics, 2018,16:100,1-9 Texte intégral : https://pophealthmetrics.biomedcentral.com/articles/10.1186/s12963-018-0167-3
Myatt M, Guevarra E, Fieschi L, Norris A, Guerrero S, Schofield L, Jones D, Emru E, Sadler K (2012) Semi-Quantitative Evaluation of Access and Coverage (SQUEAC) / Simplified Lot Quality Assurance Evaluation of Access and Coverage (SLEAC) Technical Reference, Food and Nutritional technical Assistance III Project (FANTA-III), FHI 360 / FANTA, Washington, DC, October 2012 https://www.fantaproject.org/monitoring-and-evaluation/squeac-sleac