Revue du système d’information de la PCMA dans le nord du Nigéria, au moyen d’une approche de type « boîte à outils »

Read an English version of this article here

Par Cora Mezger, Veronica Tuffrey, Gloria Olisenekwu, Charles Umar, Simeon Nanama et Assaye Bulti

Cora Mezger dirige actuellement le service de consultation statistique de l’université d’Oxford. Titulaire d’un doctorat en économie de l’université du Sussex, elle était auparavant responsable de l’équipe chargée des statistiques officielles au sein de l’entreprise Oxford Policy Management.

Veronica Tuffrey est nutritionniste en santé publique. Elle possède plus de vingt ans d’expérience comme consultante en nutrition internationale et conférencière sur les méthodes de recherche. Elle est titulaire d’un master et d’un doctorat de l’École d’hygiène et de médecine tropicale de Londres.

Gloria Olisenekwu est coordonnatrice des enquêtes auprès d’Oxford Policy Management au Nigéria. Elle a mené et participé à de nombreuses collectes de données en Afrique de l’Ouest.

Charles Umar dirige actuellement un projet concernant la santé et la nutrition des enfants mis en œuvre au Nigéria par Nutrition International. Il possède plus de 15 ans d’expérience en tant que professionnel de la santé publique.

Simeon Nanama est responsable de la nutrition pour le bureau de l’UNICEF au Nigéria. Il est titulaire d’un doctorat en nutrition internationale de l’université Cornell et d’un doctorat en technologie alimentaire de l’université de Ouagadougou, au Burkina Faso.

Assaye Bulti est responsable des données et des enquêtes de routine du programme de nutrition pour le bureau de l’UNICEF au Nigéria. Titulaire d’une maîtrise en épidémiologie de l’École d’hygiène et de médecine tropicale de Londres, il a suivi une formation en santé publique.

Les auteurs remercient sincèrement l’ensemble des partenaires nationaux pour le soutien qu’ils ont apporté à cette étude, ainsi que la Fondation du Fonds d’investissement pour l’enfance (CIFF) pour sa contribution financière et technique.

Contexte

Le Nigéria est le deuxième pays au monde où le nombre de cas de retard de croissance chez les enfants est le plus élevé. Il connaît par ailleurs une mauvaise performance du taux de malnutrition aiguë globale (MAG), avec une prévalence de 8,7 % dans sa partie nord-est et de 8,3 % dans les zones du nord-ouest (Enquête nationale de nutrition et de santé, 2018). La prise en charge communautaire de la malnutrition aiguë (PCMA) a été introduite au Nigéria en 2009, puis déployée afin de couvrir 12 États situés au nord du pays. Le programme est dirigé par le Gouvernement du Nigéria, avec le soutien technique de l’UNICEF et des financements assurés par divers partenaires, notamment la Fondation du Fonds d’investissement pour l’enfance (CIFF). En 2014, on estimait que 37 % des cas de malnutrition aiguë sévère (MAS) bénéficiaient du programme PCMA (Banda et al, 2014). D’après les données fournies par l’UNICEF pour l’année 2017, près de 95 000 enfants étaient soignés chaque semaine dans quelque 700 centres de stabilisation et établissements proposant un programme de traitement ambulatoire (PTA).

Selon une pratique courante à l’échelle mondiale, le suivi du programme de PCMA fonctionne en parallèle avec le système national d’information sanitaire. Au départ, le suivi s’appuyait essentiellement sur des documents papier, mais il a été en partie modernisé et numérisé en 2017, l’utilisation de smartphones permettant de normaliser et d’accélérer la collecte et la gestion des données. Un ensemble de formulaires imprimés remplis par les établissements de santé constitue la base des deux systèmes. Dans le cadre du système numérique, les établissements de santé transmettent chaque semaine de nouvelles données sous forme de SMS, qu’ils envoient directement aux autorités fédérales. Dans le cadre du système papier, les établissements de santé remettent chaque mois en mains propres les données regroupées au point focal en charge de la nutrition au sein des collectivités locales, lequel les transmet à la personne responsable de la nutrition de l’État concerné, qui les fera saisir dans une feuille de calcul. Les données sont ensuite transférées à d’autres utilisateurs travaillant au sein de l’administration des États et à l’UNICEF.

En 2017, la CIFF et l’UNICEF ont conjointement demandé un examen de la qualité des données générées par la combinaison des systèmes papier et de messagerie SMS, issues des établissements proposant un PTA dans le cadre de la PCMA, ainsi qu’une évaluation des modalités d’utilisation des données. Le principal objectif de cette démarche était de tirer des enseignements afin d’éclairer les améliorations à apporter au système de gestion de l’information existant. À l’époque de la mise en œuvre de cette étude, en novembre 2017, les systèmes papier et numérique fonctionnaient en parallèle, comme le montre la figure 1. Une comparaison de leurs avantages et de leurs inconvénients respectifs a été effectuée pour évaluer la faisabilité d’une suppression progressive du système papier. Le présent article décrit et examine le processus d’évaluation, en vue de renseigner d’autres études analogues. Une synthèse des conclusions de l’étude est par ailleurs disponible¹.

Figure 1 : Circulation des données dans le système d’information sur la PCMA

Conception de l’étude

Une approche mixte a été adoptée, associant des activités menées sur le terrain à des fins de collecte de données primaires et une analyse documentaire des données secondaires, accompagnée de l’examen de certains documents.

Dimensions de la qualité prises en compte

La plupart des études qui évaluent les systèmes d’information sur la santé publique limitent leur analyse à trois dimensions : la complétude, l’exactitude et le respect des délais de transmission des informations produites (Chen et al, 2014). Nous avons choisi d’adopter une définition plus large de la qualité des données afin d’évaluer non seulement la qualité des informations elles-mêmes, mais aussi leur degré de pertinence et d’accessibilité pour que les utilisateurs puissent s’en servir efficacement. À cette fin, nous avons ajouté cinq dimensions supplémentaires à la conception de l’étude : fiabilité, intégrité, confidentialité, pertinence et accessibilité.

Cadre conceptuel

Nous avons élaboré un cadre conceptuel, au regard duquel nous avons pu évaluer les composantes du système (figure 2). Nous nous sommes appuyés sur le cadre Performance de la Gestion des Systèmes d’Information de Routine (PRISM), établi par MEASURE Evaluation, que nous avons renforcé pour couvrir tous les aspects (Belay et Lippeveld, 2013). Le cadre conceptuel prend en compte les données et les sources de données, les processus de collecte, de gestion et d’analyse des données, les ressources organisationnelles (notamment les formulaires et les logiciels de saisie des données, la formation et l’encadrement du personnel), ainsi que les ressources comportementales (notamment la confiance et la motivation du personnel).

Figure 2 : Cadre conceptuel 

Boîte à outils méthodologiques utilisée pour l’évaluation

Le groupe d’étude a élaboré une boîte à outils de méthodes permettant d’évaluer la qualité de l’ensemble des composantes du cadre conceptuel (encadré 1). Le tableau 1 montre l’application de ces outils méthodologiques à chaque stade du cadre conceptuel.

Encadré 1 : Boîte à outils méthodologiques utilisée pour évaluer le système d’information

Principales méthodes de collecte de données :

• Entretiens semi-directifs avec les acteurs de la collecte, du traitement et de l’analyse des données et les personnes responsables de l’assurance qualité ou participant à celle-ci. Il s’agissait notamment de l’infirmière en chef, de la personne responsable de la PCMA et des agents de santé dans les établissements médicaux ; des agents de la nutrition ou des fonctionnaires chargés du suivi et de l’évaluation au sein des collectivités locales ; du responsable de la nutrition de l’État ; et du personnel de l’UNICEF aux échelons infranational et fédéral. Les entretiens ont porté sur les ressources et les processus décrits dans le cadre conceptuel.
• Entretiens semi-directifs avec les utilisateurs actuels et potentiels des données relatives à la PCMA (autres que ceux participant à la production de données).
• Observations de la mise en œuvre des protocoles à chaque niveau de circulation des données, à l’aide de listes de contrôle.
• Vérification des registres dans les établissements de santé en recomptant les formulaires remplis par les sources pendant une période d’échantillonnage donnée (principalement le mois de juillet 2017), en vue d’obtenir des résultats quantitatifs en matière d’exactitude (à partir des fiches de PTA et des fiches d’inventaires des aliments thérapeutiques prêts à l'emploi ou ATPE).

Analyse des données secondaires (activités documentaires) :

• Analyse des données mensuelles fournies par les établissements de santé, plus précisément des caractéristiques des sources de données, ainsi que des principaux indicateurs de performance ;
• Examen de la documentation (formulaires, directives, supports de formation et protocoles de PCMA). 

Tableau 1 : Outils de collecte de données utilisés à chaque stade du cadre conceptuel

Choix de l’échantillon

Le groupe d’étude a d’abord envisagé d’utiliser un échantillonnage aléatoire à deux degrés de 75 établissements, de sorte que les résultats puissent fournir une inférence statistique couvrant une zone géographique plus vaste. Cependant, il a été décidé qu’il serait plus utile de réaliser une analyse approfondie d’un échantillon de taille plus modeste, ne comptant que neuf établissements répartis dans trois collectivités locales situées dans un seul État. L’hypothèse sous-jacente était que toute défaillance décelée au niveau des ressources et des processus serait liée à la conception et à la mise en œuvre de l’ensemble du système, et que les conclusions auraient par conséquent des incidences systémiques. Les considérations budgétaires ont également influé sur cette décision. L’État de Sokoto, ainsi que trois collectivités locales et neuf établissements de santé ont été choisi afin d’offrir une représentation géographique diversifiée, en tenant compte par ailleurs de certains aspects logistiques tels que le jour d’ouverture du centre de PCMA.

Mise en œuvre de l’étude

Les activités sur le terrain se sont déroulées principalement en novembre et décembre 2017. Une équipe composée de trois agents de terrain a travaillé en étroite coordination avec le personnel du bureau local de l’UNICEF et du ministère de la Santé sur les questions de logistique et d’obtention des autorisations. Les agents ont acquis une connaissance approfondie des protocoles d’étude en collaborant activement à l’élaboration de tous les outils, en examinant conjointement tous les aspects de l’évaluation, en procédant à des essais théoriques conjoints, ainsi qu’en participant à un test préliminaire et à un essai pilote. Les établissements de santé ont été informés des visites à venir et, juste avant, des objectifs de l’étude, ce qui a permis d’obtenir leur confiance et leur coopération, tout en limitant les risques que les données ou les processus de collecte et de transmission de celles-ci soient délibérément modifiés. Ils ont reçu de plus amples informations sur l’étude après que chacune des activités prévues a été autorisée.

Pour l’évaluation de chaque établissement de santé, l’équipe d’enquêteurs arrivait avant l’ouverture et commençait par interroger la personne responsable de la PCMA, faire l’inventaire des stocks d’ATPE pour vérifier la consommation de ceux-ci le jour de la visite, et récupérer les fiches de PTA des patients n’ayant pas rendez-vous ce jour-là afin de les contrôler. Au cours de la journée, l’équipe se scindait pour, d’une part, recompter les fiches de PTA et, d’autre part, observer la saisie des données au moment de l’admission et de la délivrance du traitement. Après la fermeture de l’établissement, les enquêteurs menaient des entretiens semi-directifs ou formaient des groupes de discussion avec des agents de santé, comptaient les stocks d’ATPE, finalisaient la vérification des fiches de PTA en cours d’utilisation, numérisaient les formulaires et les registres de collecte de données, et observaient toutes les activités de comptage et de transfert des données qui avaient lieu en fin de journée. Le travail sur le terrain réalisé au niveau des collectivités locales, de l’État de Sokoto et à l’échelon fédéral a également consisté à mener des entretiens semi-directifs et à observer la saisie et le transfert des données.

Analyse des données

L’analyse documentaire a consisté à examiner les informations communiquées mensuellement sur papier et celles transmises chaque semaine par SMS, fournies par l’UNICEF. Les données recueillies auprès des établissements et des collectivités locales ont été comparées aux ensembles de données papier et numériques. Les renseignements tirés des observations et des entretiens ont également été compilés. Des résultats détaillés pour chaque ressource, processus et produit figurant dans le cadre conceptuel ont fait l’objet d’une présentation et de discussions, avant d’être regroupés dans une conclusion générale accompagnée d’un ensemble de recommandations pour chaque dimension de la qualité. Tout au long de l’évaluation, un système de notation à trois niveaux, décrit dans le tableau 2, a été utilisé. Les conclusions relatives à chaque dimension sont présentées dans le tableau 3. Celles concernant certains aspects de la qualité des données seront intégralement présentées dans une revue à comité de lecture.

Tableau 2 : Système de notation (au moyen « smileys ») utilisé pour évaluer la performance du système d’information sur la PCMA

Tableau 3 : Principales conclusions de l’évaluation

Difficultés rencontrées et leçons apprises

L’approche approfondie appliquée à un petit échantillon d’établissements de santé sélectionnés à dessein s’est avérée être un choix de conception approprié et instructif. L’éventail des activités que nous avons menées a généré une multitude d’informations au travers des diverses composantes du cadre conceptuel et des différents niveaux de production des données. L’analyse de ces informations a fourni une image précise des atouts et des points faibles de la conception et du fonctionnement du système d’information sur la PCMA, ainsi que de l’utilisation des données. Il est peu probable que nos constatations soient dues au hasard. Cependant, notre approche a eu pour effet que les résultats quantitatifs issus de la composante « vérification » n’ont pas été représentatifs de l’ensemble des activités de PCMA menées dans le nord du Nigéria. Ils doivent donc être, à l’avenir, mentionnés avec prudence, eu égard, par exemple, à une possible sous-déclaration des patients perdus de vue ou décédés.

L’un des problèmes concrets rencontrés au cours des activités réalisées sur le terrain est la difficulté d’accéder aux fiches de PTA afin d’en vérifier les données. Ceci s’explique par le manque d’espace et de systèmes de stockage dans les établissements de santé, et par le risque de dégradation et de perte des documents qui en découle. L’évaluation nous a permis d’identifier ce problème durant l’analyse des « processus ». En outre, la perte des documents source a directement influé sur la vérification des chiffres lors des recomptages. Il est possible de limiter ce type de problèmes en choisissant une période de référence récente, afin de réduire la probabilité d’une perte ou d’une dégradation des documents au moment de l’évaluation. Nous avons procédé à une triangulation entre les fiches de PTA et les données saisies dans le registre de PCMA, afin d’en apprendre davantage sur l’étendue des pertes de fiches de PTA.

L’une des difficultés auxquelles nous nous sommes heurtés lors de la vérification des indicateurs de performance est l’utilisation inégale du champ « statut final » sur les fiches de PTA, lequel constitue la principale source de données relatives à la sortie du programme (indicateur de performance de la PCMA essentiel pour l’établissement de rapports conformes aux normes Sphère). Dans 64 % des cas, la rubrique « statut final » de la fiche de PTA n’a pas été remplie et n’a donc pas pu être prise en compte dans le recomptage des données pour satisfaire au niveau de ventilation requis par les protocoles d’étude. Afin d’éviter de devoir s’appuyer sur une analyse globale de l’ensemble des sorties du programme, l’équipe a décidé d’utiliser d’autres informations figurant sur les fiches de PTA (périmètre brachial, poids et ATPE prescrits) pour établir les raisons les plus « probables » des sorties. Même après l’application de cette méthode, il reste impossible de les déterminer dans 3 % des cas. Lors de la vérification des données, ces derniers ont été répertoriés dans une catégorie distincte (« motif de sortie du programme indéterminé »).

Si les conclusions relatives aux ressources, aux processus et aux produits brossent généralement un tableau cohérent du système d’information, la synthétisation des résultats sous la forme d’un message unique et facilement compréhensible pour chaque dimension de la qualité a parfois été délicate. Ainsi, l’état complet et le respect des délais de transmission des données analysées au niveau des produits ont mis en évidence des difficultés dans la soumission des données, et les défaillances qui en découlent relativement à ces dimensions de la qualité. En revanche, au niveau des ressources, les observations et les entretiens ont révélé qu’une grande importance est accordée à ces dimensions de la qualité dans le cadre des procédures intégrées d’assurance qualité des données.

L’un des enseignements tirés des activités menées sur le terrain est l’importance de travailler en équipe de taille réduite et solidement formée, afin d’empêcher l’introduction d’erreurs durant l’exercice de vérification. La réalisation d’un test préliminaire et d’un essai pilote des outils à petite échelle a également été primordiale pour garantir la bonne application des méthodes. Après l’essai pilote, la séquence des activités sur le terrain, ainsi que la conception des questions posées lors des entretiens semi-directifs et dans les groupes de discussion, ont fait l’objet d’ajustements en vue d’améliorer le processus.

Si le sujet de l’utilisation des données a été largement couvert durant les entretiens avec le personnel participant également à la production des données (avec un taux de réponse de 100 % dans ce groupe), le taux de réponse des autres utilisateurs et des utilisateurs potentiels de données a été mitigé. Nous sommes parvenus à organiser des entretiens avec deux des trois organisations non gouvernementales que nous avons contactées. En revanche, nos tentatives pour interroger trois représentants de la fonction publique au niveau de l’État de Sokoto et à l’échelon fédéral sont restées vaines. Étant donné que l’efficacité d’un système d’information réside à la fois dans la production de données de bonne qualité et dans l’utilisation de celles-ci pour la prise de décisions, il est essentiel de l’évaluer de manière appropriée. L’enseignement à retenir est qu’il convient de recenser les principaux utilisateurs des données, d’entrer en contact avec eux et de les informer de la réalisation de l’étude bien avant de débuter le travail sur le terrain, afin d’obtenir leur adhésion au processus.

Conclusions

L’évaluation de la qualité des données dans les domaines de la santé et de la nutrition s’appuie souvent sur l’analyse de données secondaires, ou parfois sur des méthodes de vérification à partir d’un vaste échantillon, afin de fournir une estimation précise et statistiquement fiable de l’exactitude et de la complétude des données. Cependant, d’autres approches complémentaires sont nécessaires pour comprendre les causes des problèmes recensés et évaluer d’autres dimensions essentielles de la qualité et de l’utilisation des données. Nos méthodes d’étude ont permis d’évaluer l’intégralité du processus de production et d’utilisation des données suivi par le programme de PCMA dans le nord du Nigéria, et ont fourni des informations précieuses et contextualisées sur les atouts et les points faibles de l’ensemble du système. Les conclusions indiquent clairement quels éléments du système doivent être améliorés, et à quel(s) niveau(x). Elles ont été traduites par des recommandations concrètes adaptées à toutes les parties prenantes concernées¹. Étant donné les similitudes existant dans la conception et le fonctionnement des systèmes d’information sur la PCMA et d’autres systèmes d’information sanitaire de différents pays, l’approche adoptée dans cette étude et les enseignements tirés peuvent s’avérer utiles pour la mise en œuvre d’évaluations analogues des facteurs déterminant la qualité et l’utilisation des données.

Dans le cas du système d’information sur la PCMA au Nigéria, les recommandations de l’étude ont abouti à plusieurs actions de suivi. Dans l’État de Sokoto, les parties prenantes de la PCMA ont reçu les conclusions de l’évaluation, les agents de santé ont bénéficié de nouvelles formations et les réunions mensuelles portant sur la PCMA ont été renforcées afin de mettre en commun les meilleures pratiques. Le rapport final a servi de document de référence pour l’évaluation des interventions nutritionnelles de l’UNICEF dans les situations d’urgence en 2019. Les conclusions de l’étude ont par ailleurs été intégrées dans les recommandations formulées à l’intention du Secteur Nutrition dans le nord-est du pays. Actuellement retranscrites sous la forme d’un plan stratégique sectoriel, elles ont donné lieu à une vérification de plus grande envergure mise en œuvre en 2018-2019 par le Gouvernement dans 12 États, qui s’est appuyée sur les protocoles élaborés pour la présente étude.

Pour en savoir plus, veuillez contacter Cora Mezger à : c.l.mezger@gmail.com

Banda et al. (2014). SLEAC Survey of CMAM program Northern States of Nigeria.

Belay et Lippeveld. (2013). Inventory of PRISM Framework and Tools: Application of PRISM Tools and Interventions for Strengthening Routine Health Information System Performance, Measure Evaluation, p. 5. Disponible à l’adresse suivante : www.measureevaluation.org/resources/publications/wp-13-138

Chen et al. (2014). « A review of data quality assessment methods for public health information systems. », International journal of environmental research and public health, 11(5):5170-207.

Bureau national des statistiques du Nigéria. (2018). Enquête nationale de nutrition et de santé (ENNS) 2018. Disponible à l’adresse suivante : www.unicef.org/nigeria/reports/national-nutrition-and-health-survey-nnhs-2018