Audit public de la Note de l'Observatoire (A–E) : sensibilité, robustesse au case-mix, stabilité inter-cycles et équité de couverture
A public audit of the Praetor Observatory A–E rating: weight sensitivity, case-mix robustness, inter-cycle stability and coverage equity
Tarik Tarri — Institut Praetor (Nexcellis), France
Résumé
La Note de l'Observatoire est un indicateur composite A–E attribué par Praetor aux établissements de santé français du périmètre de certification HAS, construit exclusivement sur des données officielles ouvertes (certification HAS, indicateurs de qualité IQSS, satisfaction e-Satis). La présente étude soumet cet indicateur à un audit de robustesse pré-enregistré, mené par son producteur selon les standards OCDE/JRC applicables aux indicateurs composites, sur le parc entier (2 537 établissements, extraction scellée du 20/08/2026). L'objectif principal — la robustesse de la lettre aux choix de pondération — est atteint : au plus 13,6 % des établissements changent de lettre sous une réallocation de ±10 points des poids, et aucun ne se déplace de plus d'une lettre. Deux objectifs secondaires sont également atteints : la note se révèle insensible à la lourdeur de la patientèle une fois le statut de certification et la catégorie contrôlés (ρ partiel = −0,007, contre −0,22 en brut), et stable entre cycles de certification (88,0 % des établissements à ±1 lettre, cohérence directionnelle de 100 % avec les décisions HAS). Le troisième objectif secondaire révèle en revanche une limite réelle : la couverture des piliers varie fortement selon la catégorie d'établissement (jusqu'à 82,6 points d'écart), reflet des périmètres de mesure des instruments nationaux. Conformément à l'engagement du protocole, ce résultat défavorable est publié et donne lieu à des recommandations d'affichage. L'intégralité du dispositif de preuve (protocole pré-enregistré, données scellées par empreintes SHA-256, code) est jointe en annexes et dans l'archive de réplication.
Abstract (English)
The Observatory Rating is an A–E composite indicator assigned by Praetor to French healthcare facilities within the HAS certification perimeter, built exclusively from official open data (HAS certification, IQSS quality indicators, e-Satis patient satisfaction). This study submits the indicator to a pre-registered robustness audit conducted by its producer, following OECD/JRC standards for composite indicators, on the full population (2,537 facilities, sealed extraction of 2026-08-20). The primary objective — robustness of the letter grade to weighting choices — is met: at most 13.6% of facilities change letters under ±10-point weight reallocations, and none moves by more than one letter. Two secondary objectives are also met: the rating proves insensitive to patient case-mix once certification status and facility category are controlled for (partial ρ = −0.007, versus −0.22 unadjusted), and stable across certification cycles (88.0% of facilities within ±1 letter, 100% directional coherence with HAS decisions). The third secondary objective, however, reveals a genuine limitation: pillar coverage varies strongly across facility categories (up to an 82.6-point gap), reflecting the measurement perimeters of the national instruments. As committed in the protocol, this unfavourable result is published and motivates display recommendations. The full evidence chain (pre-registered protocol, SHA-256-sealed data, code) is provided in the appendices and the replication archive.
Résultats — objectifs pré-enregistrés
- Objectif principal — sensibilité aux pondérationsAtteint
Au pire cas, 13,6 % des établissements changent de lettre sous ±10 points de réallocation des poids (seuil pré-enregistré : 20 %) ; aucun ne se déplace de plus d'une lettre sur 18 pondérations alternatives.
- Objectif secondaire n° 1 — robustesse au case-mixAtteint
À statut de certification et catégorie contrôlés, la corrélation partielle tombe de −0,22 (brut) à −0,007 : la note ne pénalise pas les établissements aux patientèles les plus lourdes.
- Objectif secondaire n° 2 — stabilité inter-cyclesAtteint
88,0 % des établissements restent à ±1 lettre entre cycles de certification, avec une cohérence directionnelle de 100 % avec les décisions HAS.
- Objectif secondaire n° 3 — équité de couverturePartiellement non atteint — publié tel quel
Le taux de « Non noté » est homogène entre groupes, mais la couverture partielle des piliers varie jusqu'à 82,6 points selon la catégorie — résultat défavorable publié tel quel, avec recommandations d'affichage.