Study Design and EvaLuatIon - PowerPoint Presentation

Study Design and EvaLuatIon of Performance-based Financing (PBF) in The Republic of the Congo Donald Shepard, Wu Zeng, Jean Rusatira, Aaron Beaston-Blaakman Workshop on PBF, Brazzaville, The Republic of the Congo December 20, 2011, Updated Dec. 30, 2011

Two arms (variable & fixed) designDessin avec deux bras (payement variable & fixe) Three departments Pool, Plateaux, NiariOperational health centers within the three departments randomized to be one of two PBF armsImplementing variable RBF (Arm 1: PBF arm)Implementing fixed RBF. Receiving the same funding as average RBF facilities (Arm 2: resource arm) Trois départements Pool, Plateaux, Niari Les centres des santé opérationnels seront attribués de façon aléatoire a l’une des 2 catégories suivantes: Intervention n°1 : payement variable. Structures avec subventions liées aux performances (catégorie 1) Intervention n°2 : payement fixe. Structures avec subventions non liées aux performances (catégorie 2)

Pre-post evaluationHealth facility and household survey conducted before and after the implementation of RBF Health facility survey Randomly draw health facilities for evaluationHousehold survey Women of reproductive age (15- 44 years)Children under five Enquête des structures de santé et des ménages a mener avant et après la mise en place du RBFStructures de Santé Structures de sante choisies de façon aléatoire pour l’évaluation Ménages Femmes a l’age de reproduction (15- 44 ans) Enfants de moins de 5 ans

Health Facility SurveyEnquêtes des structures de santé

Sample Size/Taille de l’échantillon There are approx 114 health facilities in the districts in the three departments O n average, 57 health facilities per armRandomly draw 28 health facilities/arm +114 structures sanitaires dans les 3 départementsEn moyenne , 57 structures de santé par catégorie (bras)De façon aléatoire 28 structures/catégorie

Evaluation indicators, 1Incentivized servicesPreventive care Vaccinations Maternal health services Pre-post natal careInstitutional deliveryFamily planningPrevention of HIV/AIDS (e.g. PMTCT and VCT ) Health care of illnesses with great public health concerns HIV/AIDS services (e.g. ART) Testing and treatment of fever Treatment of respiratory infection (infections respiratoires superieures ) Treatment of diarrheaQuality and managementTimely reporting required indicatorsAccurate documentation and reporting Results-based financing (RBF) services Soins préventifs Vaccinations Santé maternelle Consultation Pré/Post natale Accouchements assistes Planification familiale Prévention VIH/SIDA (ex PTME and VCT) Soins de sante des maladies de grande envergure de sante publique: VIH/SIDA services (ex. ARV) Test et traitement de la fièvre Traitement des infections respiratoires (infections respiratoires supérieures) Traitement de la diarrhée Qualité et gestion Préparation et production a temps des rapport sur les indicateurs demandes Exactitude dans la documentation et rapportage.

Evaluation indicators, 2Non-incentivized servicesQuality of curative care for adults (excluding pregnant women) Abdominal pain ( douleurs abdominales)Utilization of curative care for adultsNumber of visits/capitaServices sans RBF Qualité des soins curatives des adultes (exclus les femmes enceintes) douleurs abdominales Utilisation des soins de sante curatives des adultes Nombre des visites/capita

Data collection strategies/Strategies de la collection des donnéesData Abstracted from monthly facility report to the district CSS Obtained from district hospitals, complemented with health facility survey if data missing From 2011 Jan to date (Pre measurement)DonnéesExploitation des rapports mensuels des CSI soumis au CSSObtenus des CSS et complétées des info 's de l’enquête des structures de santé en cas de besoin De Jan 2011 a ce jour (Pré-mesurage)

Household Survey/Equête des ménages

Evaluation indicatorsPreventive care Vaccinations Ownership and use of bed net Maternal health servicesPre- and post-natal careInstitutional deliveryFamily planningPrevention of HIV/AIDS (e.g. PMTCT and VCT) Health care of illnesses of public health importance Testing and treatment of fever (Tem) Treatment of respiratory infection (infections respiratoires superieures ) Treatment of diarrhea Soins préventifsVaccinationsPossession et utilisation des moustiquaires Santé maternelle Consultation Pré/Post natale Accouchements assistes Planification familiale Prévention VIH/SIDA (ex PTME and VCT) Soins de sante pour les maladies de grande envergure de santé publique: VIH/SIDA services (ex. ARV) Test et traitement de la fièvre Traitement des infections respiratoires (infections respiratoires supérieures) Traitement de la diarrhée

Sample size/Taille de l’echantillon Simple random sample Number of pregnant women: 123/arm Number of children 24-59 months: 200/armNumber of children under 24 months: 250/armCluster sample (assuming design effect is 2)Number of pregnant women: 268/armNumber of children 24-59 months: 400/arm (643 households/arm)Number of children under 24 months: 500/arm (households/arm) Combining all three categories together, we would like to have household of 650 for the evaluation, using number of children < 2 Simple échantillonnage aléatoire Nombre de femmes enceintes: 123/catégorie (bras ) Nombre d’enfants (24-59 mois): 200/catégorie Nombre d’enfants de < 24 mois: 250/catégorie Echantillonnage par grappe (supposant un effet de plan de 2) Nombre de femmes enceintes: 268/catégorie Nombre d’enfants de 24-59 mois: 400/catégorie (643 ménages/catégorie)Nombre d’enfants < 24 mois: 500/catégorie (ménage/arm)Combine toutes les 3 populations, nous voudrions avoir 650 ménages pour l’évaluation en utilisant le nombre d’enfants < 2 ans par catégorie

Sampling objectives/Objective de l’échantillonnageEvery household in study area with young child should have approximately equal probability of selection Every sampled household can be linked to a study health center and its arm Relatively large number of clusters minimizes the design effect ( effet du plan), improving the accuracy of the sampleChaque ménage ayant un enfant dans la zone d’ étude devrait avoir approximativement une probabilité égale de sélectionChaque ménage sélectionné pourrait être lié a un centre de sante faisant l’objet de l’étude et a sa catégorie Un nombre relativement grand de l’échantillon par grappe minimise l’effet du plan et ainsi assure l’exactitude de l’échantillon

Sampling strategy, 1Data collected with questionnaire of short, objective questions based on World Bank survey for PBF in Rwanda Multi-level sampling: health centers, villages, households Department team leader asks the health center staff to list the villages in its catchment area. Department team leaders and field coordinator work with census and Planning Department to enumerate all villages under each health center with their estimated current populations..Field coordinator determines number of villages to be sampled based on the average population per village, and randomly selects the villages.Données collectées avec un court questionnaire, questions objectives basées sur l’enquête de la Banque Mondiale pour le PBF au RwandaEchantillonnage a multiple-niveaux: structures de sante, villages, ménages Les chefs de l'équipe demanderont aux responsables des CSI de dresser une liste des villages dans l’aire de sante Les chefs de l'équipe au niveau des départements et le coordonnateur travaillent avec le Département du Plan pour énumérer tous les villages sous chaque centre de sante. Le coordonnateur et les chefs de l'équipe détermineront le nombre des villages a sélectionner sur base de la moyenne de la population par village, et de façon aléatoire ils sélectionneront les villages

Sampling strategy, 2Relais or head asked to make a list of households in their village with children under 2 Relais or head asked randomly sample 5 households with children under 2 using systematic sampling following specified procedures. Relais or head asked to alert mothers that an interviewer will come on specified date and requests their cooperation.Relais or village head each given small monetary incentive (e.g. 2000 F CFA) to cover travel and incidental expensesInterviewer surveys selected households on specified date.Relais/chef de village établira une liste des ménages ayant des enfants <2 ans dans leur villages Relais/Chef de village demandera de façon aléatoire 5 ménages ayant des enfants <2 ans en utilisant un échantillonnage systématique suivant les procédures spécifiées. Relai/Chef de village informera les mères de la date de la visite d’un enquêteur et demandera leur coopération Relai/Chef de village recevra un montant pour couvrir ses dépenses de transport et autres (ex 2.000 FCFA) La personne chargée de l’interview enquêtera les ménages sélectionnes a une date déterminée.

Post-measurement/Post mesurageIf funding available, Same indicators will be collected one year after the implementation of RBF S’il y a disponibilité des fonds, Les mêmes indicateurs seront collectes une année après la mise en œuvre du RBF

Statistical analysis/Analyse statistique Baseline evaluation to assess the comparability of the three arms Difference-in-difference approach to examine the effect of PBF Adjusts for design effect and control for key covariatesEvaluation de base pour déterminer la comparabilité des trois catégoriesApproche de différence des différence pour examiner l’effet du RBFAjuster l’effet du plan et contrôler les covariantes clés

Monitoring of implementation

Indicators for monitoring implementation, 1 Item Sample of 10 Indicators to be examined in evaluating ANSS (Purchasing Agent, CORDAID) Rusatira (activities in Brazzaville) Team leaders (activities in field) 1 Timeliness of Implementation of PBF Is the planned schedule of activities of ANSS appropriate 100% 0% Has the implementation of ANSS activities followed the plan 100% 0% How often and regularly are PBF payments made? 100% 0% 2 Method and Efficiency of Operation Has ANSS helped incentive health facilities to set up bank accounts to receive incentive payments? 100% 0% Do all intervention health facilities have bank accounts? 100% 0% How consistent is payment related to activity or PBF study arm for intervention groups? 50% 50% 3 Verification and relability checking of data Has ANSS implented a thorough to verify the accuracy and appropriateness of supervisors' ratings? 25% 75% Has ANSS implented a thorough to train supervisors and peers to judge the quality of services? 25% 75% Has ANSS implented a thorough validation plan to ensure the accuracy of all quantitative data received? 25% 75% How reliable are reports from ANSS (Agence d'Achats de Services de Sante)? 25% 75% 4 Relationship with health facility managers How strong is the communication and regular communication between ANSS and facility managers? 25% 75%

Indicators for monitoring implementation, 2

Proposed EPOS Staffing Central level staff (3)Field supervisor (1) Department team leaders (3) Interviewers (3) Data entry staff (3)Personnel Niveau Central (3)Coordinateur base a Brazza (1)Chefs de l'équipe au niveau des départements (3)Enquêteurs (3)Personnel charges de la saisie des données (3)

Thank you / Merci Aaron Beaston-Blaakman [aaron.beaston-blaakman@epos.de] Donald Shepard [shepard@brandeis.edu]Wu Zeng [wuzengcn@brandeis.edu]Jean de Dieu Rusatira [Jean.Rusatira@epos.de]