Y a-t-il un parti pris systématique dans les estimations de la couverture du programme retournées par les évaluations de la couverture SQUEAC?

Read an English version of this article here

Lisez un post-scriptum rédigé par Sheila Isanaka, Rebecca F. Grais, and Ben G.S. Allen à propos de cet article ici.

Par Mark Myatt et Ernest Gueverra

Mark Myatt est consultant épidémiologiste. Ses domaines d’expertise incluent la conception de sondages, la nutrition et les maladies infectieuses. Il a travaillé avec FANTA, Valid International, Centers for Disease Control and Prevention (Centres pour le Contrôle et la Prévention des Maladies), l'Université Tufts, Action Against Hunger UK, Concern Worldwide et le Coverage Monitoring Network en qualité de développeur principal de la méthode d'évaluation de la couverture SQUEAC.

Ernest Guevarra dirige l’équipe d’évaluation de la couverture et d’enquête de Valid International. Il a une formation officielle de médecin et de praticien de la santé publique. Plus récemment, il a travaillé en Sierra Leone, au Niger, au Soudan, en Éthiopie et au Ghana. Il est le principal développeur des méthodes d’évaluation de la couverture SQUEAC, SLEAC et S3M chez Valid International.

ENN remercie le Bureau régional de l'UNICEF pour l'Afrique de l'Ouest et du Centre (WCARO) pour son soutien à la traduction des articles sur Field Exchange en français.  

Contexte

Un article récent de Isanaka et al (2018) (résumé dans l’encadré 1) identifie un problème potentiellement grave en rapport aux estimations de couverture faites à l’aide de la méthode d’évaluation semi-quantitative de l’accessibilité et de la couverture (SQUEAC). L’article:

Isanaka S, Hedt-Gauthier BL, Grais RF, Allen BG, Estimation de la couverture du programme dans le traitement de la malnutrition aiguë sévère : une analyse comparative de la validité et de la faisabilité opérationnelle de deux méthodes, Métriques de santé de la population, 2018,16:100,1-9

Un résumé de l’article est donné dans Encadré 1. La version complète de l’article est disponible à l’adresse suivante :

                  https://pophealthmetrics.biomedcentral.com/articles/10.1186/s12963-018-0167-3

Les estimations de la couverture effectuées par SQUEAC reposent sur la condensation de données recueillies auprès de diverses sources à l’aide de diverses méthodes. Ces données sont utilisées pour faire une estimation éclairée du niveau de couverture atteint par un programme. Cette estimation éclairée est connue sous le nom de précédent. Le précédent sert à éclairer la conception d’une enquête sur la couverture d'un petit échantillon. Le précédent est également combiné aux données de l’enquête sur la couverture, connues sous le nom de vraisemblance, afin de fournir une estimation de la couverture qu’un programme atteint à l’aide d’une technique statistique largement acceptée connue sous le nom d' analyse conjuguée. Un problème avec cette approche est qu’un précédent très mal spécifié peut entraîner une estimation biaisée de la couverture. Un précédent qui est beaucoup plus élevé que la couverture réelle peut conduire à une estimation de la couverture biaisée vers le haut. Un précédent qui est beaucoup plus bas que la couverture réelle peut conduire à une estimation de la couverture biaisée vers le bas. Ces situations sont connues sous le nom de conflits de précédent. Si un conflit de précédent est détecté, les résultats de l’analyse conjuguée sont rejetés et une estimation de la couverture est faite à l’aide des seules données de l’enquête. Cette estimation ne sera pas biaisée, mais pourrait manquer de précision (c.?à?d. avoir un large intervalle de crédibilité de 95 %) en raison de la petite taille de l’échantillon utilisé dans l’enquête sur la couverture. L’article d’Isanaka et al. (2018) identifie les conflits de précédent comme une faiblesse de la méthode d’évaluation de la couverture SQUEAC qui conduit à une surestimation systématique de la couverture.

La question des conflits de précédent n’est pas nouvelle. Elle est abordée en détail dans la référence technique de SQUEAC Depuis plusieurs années, le calculateur BayesSQUEAC fournit un test formel pour les conflits de précédent. Le cas particulier du personnel non formé produisant un avant-goût exagérément optimiste et trop fort, comme l’indique l’article Isanaka et al. (2018), est présenté comme une étude de cas dans la référence technique de SQUEAC. L’article d’Isanaka et al. (2018) confirme l’existence d’un problème qui est franchement admis, discuté, et contre lequel on met en garde dans la documentation et la formation de SQUEAC. Cela ne doit cependant pas nous empêcher de prendre très au sérieux cette critique de la méthode SQUEAC. Il est possible qu’il y ait un grave problème avec la méthode SQUEAC qui mène à un échec général et systématique à identifier les programmes ne répondant pas aux normes de couverture et laissant, de ce fait, de nombreux enfants vulnérables non traités. Cette question est examinée dans cet article.

Méthode

Une base de données a été créée à partir des rapports d’évaluation de la couverture de SQUEAC et des données d’évaluation de la couverture de SQUEAC fournies par le Coverage Monitoring Survey et VALID International Ltd. Des rapports et des données pour n = 304 évaluations de la couverture SQUEAC réalisées dans 29 pays entre 2009 et 2017 étaient disponibles. Seules les données des évaluations de la couverture de SQUEAC qui ont complété une enquête d’estimation de la couverture de SQUEAC de phase III (n = 274) sont incluses dans l’analyse présentée ici.

Pour chaque évaluation de la couverture SQUEAC, le mode du précédent a été calculé comme suit :

Le numérateur (N Probabilité) et le dénominateur (DProbabilité) pour le mode de la vraisemblance ont été calculés pour l’estimateur de la couverture principale (c.-à-d. un point, une période ou une couverture unique) indiqué dans le rapport d’évaluation de la couverture SQUEAC :

Il s’agissait de l’estimateur pour lequel la probabilité à priori a été développée. Tester une probabilité à priori pour définir la couverture actuelle en utilisant une estimation de probabilité pour une couverture unique pourrait, par exemple, ne pas constituer un test adéquat ou juste et résulterait presque toujours en un conflit entre la probabilité à priori et l’évidence vraisemblable. C'est pour cela que l'analyse a suivi les intentions des équipes d’évaluation de la couverture.

La relation entre les modes du précédent et les modes de la vraisemblance a été explorée en calculant, en traçant et en résumant la différence :

et en traçant les modes du précédent par rapport aux modes de la vraisemblance.

La force de l’association linéaire entre les modes du précédent et les modes de la vraisemblance a été évaluée à l’aide du coefficient de corrélation Pearson. La régression linéaire des moindres carrés ordinaires a été utilisée pour déterminer la pente de la ligne qui décrit le mieux la relation entre les modes du précédent et les modes de la vraisemblance.

Pour chaque évaluation de la couverture SQUEAC, les conflits de précédent ont été détectés au moyen d’une approche de test. Des tableaux deux par deux ont été construits avec des cellules :

et le test d’indépendance exact de Fisher calculé pour chacun des tableaux construits. Le test exact de Fisher a été utilisé pour éviter les problèmes liés à la petite taille des échantillons et à la distribution très inégale des données au sein des tableaux donnant lieu à de petits nombres attendus, ce qui poserait problème si des méthodes approximatives telles que le test normal (z) et le test du khi² avaient été utilisés. Une valeur p bilatérale de p < 0,05 a été considérée comme preuve d'un conflit entre probabilité à priori et évidence vraisemblable.

H0 : mode du précédent = mode de la vraisemblance

Un conflit de précédent est détecté lorsque cette hypothèse nulle est rejetée. Cela se produit lorsque l’une ou l’autre des hypothèses alternatives

HA : mode du précédent >> mode de la vraisemblance

HA : mode du précédent << mode de la vraisemblance

est plus compatible avec les données observées que l’hypothèse nulle. C’est-à-dire qu’un test bilatéral a été utilisé. Les « >> » et les « <<< » sont utilisés pour indiquer les modes du précédent qui sont supérieurs et inférieurs à ce qui serait attendu par hasard seulement. Il s’agit d’une procédure similaire à l’application du test z utilisé par Isanaka et al. (2018) et dans le calculateur BayesSQUEAC qui est utilisé dans la plupart des évaluations de couverture SQUEAC. Le test exact de Fisher a été utilisé pour éviter des problèmes avec de petits échantillons et une distribution très inégale des données dans les tableaux donnant lieu à de petits nombres attendus, ce qui serait problématique si des méthodes approximatives telles que le test z et le test chi-carré étaient utilisées. Une valeur p bilatérale de p < 0,05 a été prise comme preuve d’un conflit de précédent.

La demi-largeur des intervalles de confiance à 95 % (E) pour les modes de la (p) a été calculée en utilisant l’approximation normale et en appliquant une correction de population finie (c.-à-d. parce que la malnutrition aiguë sévère est une affection rare) pour chaque évaluation de la couverture SQUEAC pour laquelle un conflit de précédent a été détecté :

La taille de la population utilisée pour calculer la correction de la population finie (c.-à-d. 600) a été calculée en supposant une population globale de 100 000 personnes dont 20 % ont entre 6 et 59 mois et une prévalence de 3 % de malnutrition aiguë sévère (MAS). Ce sont des suppositions conservatrices. Il n’était pas nécessaire d’utiliser la prévalence de la malnutrition aiguë modérée (MAM) pour calculer la correction de la population finie, car aucun conflit de précédent n’a été constaté dans les évaluations des programmes d’alimentation supplémentaires (PAM).

La précision relative obtenue à l’aide des données de vraisemblance a été calculée comme suit :

Une estimation de la couverture de 50 % (p) avec un intervalle de confiance de 95 % pour ±10 % (E) a une précision relative :

La précision relative qui en a résulté a été comparée à la précision relative qui aurait été atteinte par un programme de vaccination élargi standard avec la même estimation ponctuelle de la proportion de couverture. (p), une taille d’échantillon de n = 210, et un effet de plan d’enquête de 2,0. Cette précision relative a été utilisée comme 'référence standard' pour la précision des méthodes évaluant la couverture des programmes de survie de l'enfant. Une évaluation SQUEAC a été classée comme un 'échec' si un conflit de précédent a été détecté et la précision relative de l'estimation de la couverture, réalisée en utilisant uniquement les données de vraisemblance, étaient inférieure à cette 'référence standard'.

Résultats

Tableau 1 présente une description de la base de données de l'étude.

Graphique 1 montre la répartition des différences entre les modes du précédent et les modes de la vraisemblance. La différence médiane était de -0,97% (EI = -8,31% ; +8,39%). Les différences ont été normalement distribuées (test de normalité de Shapiro-Wilk p = 0,6287) autour d'une valeur centrale proche de zéro (moyenne = -0,67%, IC à 95% = -2,25%; +0,90%).

Graphique 1 : répartition des différences entre les modes du précédent et les modes de la vraisemblance sur 274 évaluations de couverture SQUEAC de stade III

Les modes du précédent et de la vraisemblance sont exprimés en pourcentages

Les lignes verticales pointillées indiquent la position du quartile inférieur, de la médiane et du quartile supérieur des différences. La moitié des évaluations de la couverture SQUEAC se situent entre ces deux lignes.

en traduction - Version française bientôt disponible

Graphique 2 : Diagramme de dispersion des modes du précédent par rapport aux modes de la vraisemblance dans 274 évaluations de la couverture SQUEAC de stade III

La ligne continue est la ligne de régression des moindres carrés ordinaires.

La ligne pointillée est la ligne d’égalité (c’est-à-dire la ligne sur laquelle mode du précédent = mode de la vraisemblance).

Les cercles pleins marquent les évaluations avec des conflits de précédent.

en traduction - Version française bientôt disponible

Graphique 2 montre le diagramme de dispersion des modes du précédent par rapport aux modes de la vraisemblance. Les modes du précédent et les modes de la vraisemblance étaient positivement associés. Le coefficient de corrélation de Pearson était r = 0,73 (IC 95% = 0,67; 0,78). Il s'agit là d'une preuve évidente (p <0,0001) réfutant l’hypothèse nulle suivant laquelle les modes probabilité à priori et évidence vraisemblable ne sont pas corrélatifs. La pente de la droite de régression

était de β = 0,55 (95% CI = 0,49; 0,61).

Des conflits de précédent ont été détectés dans 20 (7,30%) des 274 évaluations SQUEAC. Dans 10 évaluations SQUEAC avec des conflits de précédent, le mode du précédent était inférieur au mode de la vraisemblance. Dans 10 évaluations SQUEAC avec des conflits de précédent, le mode du précédent était supérieur au mode de la vraisemblance (voir Illustration 2).

La précision relative des estimations de la couverture basées uniquement sur les données de vraisemblance était inférieure à celle obtenue avec la 'référence standard' dérivée du PEV dans 7 des 20 évaluations SQUEAC avec des conflits de précédent. Cela signifie que 7 (2,55%) des 274 évaluations SQUEAC ont été classées comme étant un échec en raison des conflits de précédent et de une taille d'échantillon inadéquate pour que les données de vraisemblance permettent d'estimer la couverture avec une précision utile.

Tableau 1 : La base de données de l'étude

^* La couverture ponctuelle mesure le dépistage et le recrutement; La couverture par période mesure le dépistage, le recrutement et la conservation des cas, mais surestime la couverture; La couverture unique ajuste la couverture par période en éliminant le biais par l'ajout d'une estimation du nombre de cas de guérison en cours dans la communauté du dénominateur.

^** PTA = Programme Thérapeutique Ambulatoire traitant des cas de malnutrition aiguë sévère; PAS = Programme d'Alimentation Supplémentaire traitant des cas de malnutrition aiguë modérée.

Discussion

La magnitude du coefficient de corrélation de Pearson (r = 0,73. 95% CI = 0,67; 0,78) pourrait être caractérisée comme n'indiquant qu'une association modérément forte. Il est toutefois peu réaliste d’attendre une association plus forte entre des suppositions informées (i.e. les modes de probabilité à priori) et les estimations (i.e. modes de l'évidence vraisemblable) obtenues à partir de données réduites et échantillonnées relatives à la vraisemblance. La nature même du mode de la probabilité à priori (c’est-à-dire une hypothèse informée) et du mode de l'évidence vraisemblable (c’est-à-dire une estimation faite à partir d’un petit échantillon soumis à une variation d'échantillonnage considérable) réduit considérablement la probabilité de trouver une association plus importante entre eux ceux-ci.

La distribution des différences entre le mode du précédent était symétrique par rapport à une valeur centrale. Cela n'est pas compatible avec la tendance systématique (dans un sens ou dans l'autre) des modes du précédent. Le précédent a tendance à surestimer la couverture lorsque la couverture réelle est faible et à sous-estimer la couverture lorsque la couverture réelle est élevée. Les conflits de précédent suivaient ce modèle. Des conflits de précédent ont été détectés dans 7,30% des 274 évaluations SQUEAC mais ont conduit à des estimations de couverture peu précises dans seulement 2,25% des 274 évaluations SQUEAC. Les conflits de précédent dans lesquels le mode du précédent était inférieur au mode de la vraisemblance étaient aussi courants que les conflits de précédent dans lesquels le mode du précédent était supérieur au mode de la vraisemblance. Ces résultats indiquent qu'il n'y a pas d'échec général et systématique dans SQUEAC. Il y a une leçon importante à tirer l'article al. (2018) d'Isanaka et al. L'évaluation SQUEAC rapportée par Isanaka et al. (2018) n'a pas été satisfaisante. Ceci est admis dans la section discussion de l'article. Il n’existe aucune preuve de l’utilisation des outils et des pratiques SQUEAC standard tels que la triangulation par source et méthode, l’échantillonnage jusqu’à redondance, l’itération, l’outil barrières-boosters-questions (BBQ), les petites études et enquêtes, les cartes mentales et les cartes conceptuelles. . La résolution des résultats contradictoires par la collecte ultérieure de données (itération) est un processus clé de SQUEAC qui n’a pas été utilisé. L'article explique notamment que l'itération n'était pas faite, même lorsque c'était recommandé. La recherche d'un large éventail de candidats pour le mode du précédent, tel qu'indiqué dans l'article, aurait dû forcer à repenser et à collecter davantage de données (itération). Les sources qui avaient servi à établir les modes du précédent problématiques étaient peu orthodoxes. SQUEAC utilise les soignants et les membres de la communauté pour identifier et classer les obstacles à la couverture, mais ces informateurs ne sont jamais chargés de la construction du précédent. Un précédent faible ou non informatif doit toujours être utilisé avec un large éventail de candidats pour le mode du précédent lorsque le temps et les ressources nécessaires pour une itération ne sont pas disponibles. Une constatation clé, mais sous-estimée, est que la mise au point du précédent par le personnel qualifié ne posait pas de problème. La leçon à tirer est que vous risquez de faire preuve de partialité lorsque vous exécutez SQUEAC avec du personnel non formé, utilisez des sources inappropriées et ignorez les processus, méthodes et outils clés de SQUEAC.

Conclusion

Des conflits de précédent peuvent se produire et se produisent, mais aboutissent rarement à des estimations de couverture peu précises. Ils ne débouchent pas à une surestimation générale et systématique de la couverture. Le travail de Isanaka et al. (2018) démontre l'importance d'utiliser du personnel qualifié et d'utiliser correctement les processus, méthodes et outils de SQUEAC.

Encadré  1 : Résumé de l'article par Isanaka et al. (2018)

L'article de Isanaka et al. (2018) publié dans Métriques de santé de la population reconnaît qu'il est difficile d'évaluer la couverture des programmes de nutrition en raison de la faible prévalence de la maladie et des critères d'entrée sélectifs. Il reconnaît également que SQUEAC constitue un "pas en avant dans l'évaluation de la couverture des programmes d'alimentation thérapeutique" et peut "identifier simultanément les obstacles à l'accès aux soins et estimer la couverture du programme". Il note toutefois que "la validité de certains éléments méthodologiques a fait l'objet de débats". Les éléments méthodologiques en question concernent l'utilisation d'une analyse Bayésienne conjuguée pour améliorer la précision des estimations de la couverture effectuées à l'aide de petits échantillons. Le problème n'est pas que les approches Bayésiennes soient généralement non valides, mais que cette approche va au-delà des capacités techniques du personnel employé par les ONG, les agences des Nations Unies et les ministères de la santé et que son utilisation par les mauvaises personnes entraînera (dans le pire des cas) à une surestimation systématique de la couverture et (dans le meilleur des cas) à des estimations de couverture avec une précision très faible.

Isanaka et al. (2018) étudient cette question en comparant les résultats d'une évaluation de la couverture SQUEAC réalisée par des personnes non formées par rapport à une enquête de sondage en grappes en deux étapes avec une première étape stratifiée spatialement sélectionnant des communautés et une recherche de cas active et adaptative dans la deuxième étape. La méthode de comparaison utilisée est très similaire à la méthode utilisée par les enquêtes de probabilité du stade III de SQUEAC. La seule différence est que l'échantillon utilisé est de plus grande taille. Cela signifie que toute différence substantielle constatée entre les résultats de SQUEAC et les résultats de l’enquête sera due au fait que le personnel non formé réalise un travail médiocre dans la spécification du précédent utilisé dans l’analyse Bayésienne conjuguée.

L'article indique que les précédents créés par du personnel et des membres de la communauté non formés ont conduit à des estimations de couverture biaisées vers le haut. Les estimations ponctuelles de la couverture établies à partir des données de l'enquête de vraisemblance étaient similaires à celles de la plus grande enquête en grappes à deux étapes. Cela signifie que le problème vient du fait que le précédent Bayésien produit par du personnel et des membres de la communauté non formés est trop optimiste et trop fort (c’est-à-dire trop certain). Les biais rapportés ont toutefois été systématiquement détectés à l’aide des méthodes standard de diagnostic SQUEAC et des logiciels SQUEAC (c.-à-d. des graphes et des tests dans BayesSQUEAC) pour la détection des conflits de précédent. Les estimations de couverture effectuées à l'aide d'un précédent produit par du personnel qualifié étaient en accord avec celles de l'échantillon en grappes à deux étapes.

Les auteurs concluent que le SQUEAC est techniquement exigeant et ne devrait être utilisé que lorsque la capacité technique appropriée est disponible. Ils s'interrogent également sur la validité des méthodes utilisées par SQUEAC pour produire des précédents lorsque ces méthodes sont utilisées dans des contextes à capacité limitée.

Post Scriptum par Sheila Isanaka, Rebecca F. Grais, et Ben G.S. Allen. 

Références 

Isanaka S, Hedt-Gauthier BL, Grais RF, Allen BG. Estimating program coverage in the treatment of severe acute malnutrition: a comparative analysis of the validity and operational feasibility of two methods, Population Health Metrics, 2018,16:100,1-9 Full text available from: https://pophealthmetrics.biomedcentral.com/articles/10.1186/s12963-018-0167-3

Myatt M, Guevarra E, Fieschi L, Norris A, Guerrero S, Schofield L, Jones D, Emru E, Sadler K (2012) Semi-Quantitative Evaluation of Access and Coverage (SQUEAC) / Simplified Lot Quality Assurance Evaluation of Access and Coverage (SLEAC) Technical Reference, Food and Nutritional technical Assistance III Project (FANTA-III), FHI 360 / FANTA, Washington, DC, October 2012 www.fantaproject.org/monitoring-and-evaluation/squeac-sleac

Myatt M (2013) BayesSQUEAC v3.00: A graphical calculator for Bayesian beta-binomial conjugate analysis of coverage proportions in CTC and CMAM programs using a bootstrap aggregating (bagging) estimator implementing sample size calculation and formal testing for priorlikelihood conflicts, Brixton Health / Valid International, Oxford, UK, 2013.