Une méthode d’évaluation de la qualité des données de dispositifs de surveillance

L’analyse des données collectées dans le cadre d’un dispositif de surveillance en santé animale permet d’évaluer son fonctionnement ainsi que la situation épidémiologique du danger sanitaire surveillé. Toutefois, la qualité de cette analyse dépend fortement de la qualité des données recueillies, qui nécessite donc d’être évaluée au préalable.

C’est dans ce cadre qu’une méthodologie d’évaluation de la qualité des données collectées dans le cadre des dispositifs de surveillance en santé animale, et gérés à l’aide du système d’information de la DGAL - SIGAL-, a été développée au sein de l’Anses-Lyon.

Cette méthodologie a pour objectif d’étudier la validité des données collectées, c’est à dire leur capacité à refléter la réalité du terrain, dès lors que l’éleveur et le vétérinaire participent au dispositif de surveillance concerné. Elle n’a donc pas pour objectif d’évaluer la qualité de l’échantillonnage (et notamment, la sous-déclaration, pour les dispositifs de surveillance évènementielle).

La méthodologie d’évaluation proposée est à la fois quantitative et qualitative :

• l’évaluation quantitative consiste à décrire la qualité des données enregistrées dans SIGAL. Elle est menée dans un premier temps sur l’ensemble des données enregistrées, afin d’étudier le respect des spécifications générales d’enregistrement (incluant notamment la recherche de doublons). Dans un second temps, différentes dimensions sont étudiées parmi les données respectant ces spécifications générales d’enregistrement. Cinq dimensions sont abordées : la complétude, le format, la plausibilité, la vitesse de circulation des données, et la cohérence entre les données.

• l’évaluation qualitative est menée à partir d’entretiens semi-directifs auprès des acteurs de terrain impliqués dans la circulation des données (vétérinaires, GDS, DDecPP, laboratoires d’analyse). Elle permet d’interpréter les résultats quantitatifs, et d’identifier les facteurs influençant la qualité des données. Quatre dimensions sont abordées : la compréhension, la pertinence, la crédibilité, et l’accès et l’utilisation aux données.

L’évaluation peut se conduire au niveau national, ou départemental. Les résultats se présentent alors sous forme de boxplot, pour chacune des données et des dimensions étudiées. Par exemple, la qualité de l’identifiant bovin collecté dans le cadre du dispositif de déclaration des avortements a été évaluée à partir de trois dimensions, dont les résultats témoignent, pour l’ensemble des départements, d’une très bonne complétude, d’un respect hétérogène du format de la donnée enregistrée et d’une validité (attestée par la présence du bovin dans la BDNI) comprise pour la majorité des départements entre 90 et 95%.

Le guide présentant la méthodologie d’évaluation de la qualité des données d’un dispositif de surveillance est disponible ici.

Il a été utilisé pour évaluer le dispositif de déclaration des avortements chez les bovins, dont les résultats ont fait l’objet d’un article dans le BE n°58 (page 17 - 20).

Il convient de noter que la version actuelle du guide est une version « bêta » qui méritera très certainement d’être enrichie par les retours des différents évaluateurs qui seront amenés à utiliser ce guide.