Measuring Competency of Pharmacy Residents: A Survey of Residency Programs’ Methods for Assessment and Evaluation

Abstract

ABSTRACT

Background: The Canadian Pharmacy Residency Board (CPRB) specifies the competencies that pharmacy residents must attain and the need for assessment and evaluation. Methods of assessment and evaluation are left to the discretion of individual programs. There is a scarcity of published literature compiling and comparing the strategies used by Canadian residency programs.

Objectives: To determine curricular components used for assessment and evaluation; to describe the tools used by programs; to characterize the scheduling, frequency, and repetition of curricular components; and to determine the individuals or groups involved.

Methods: Coordinators of hospital pharmacy residency programs with CPRB accreditation or accreditation pending were surveyed to collect information about the assessment and evaluation of select CPRB standards.
Results: From the 37 eligible residency programs, 20 unique responses (54%) were received. All respondents were general practice programs (100%) in predominantly multicentre organizations (70%). Programs were similar in terms of assessment components used, with all respondents citing care plan review, direct observation of patient care, journal clubs, creation of project timelines, and ethics submission. The predominant evaluation components were within-department presentations (100%), written manuscripts (95%), drug information rotations (85%), and longitudinal evaluations (75%). Standardized forms (70%–100%) defined by Bloom’s taxonomy (65%) and the CPRB “levels and ranges” document (60%) were the principle means used. Assessments for patient care and for provision of education were generally carried out immediately (80% and 95%, respectively), whereas project management skills were assessed predominantly at final evaluation (75%). Self-assessment and assessment by pharmacy team members occurred for every competency, whereas patients (0%–10%) and allied health professionals (5%) were less frequently involved.

Conclusions: The assessment and evaluation strategies reported by programs were congruent. The results provide a summary of national practices and will allow existing and developing programs to examine their approach to assessment and evaluation for alignment with national standards.

RÉSUMÉ

Contexte: Le Conseil canadien de résidence en pharmacie (CCRP) précise les compétences que les résidents en pharmacie doivent acquérir ainsi que le besoin d’observation et d’évaluation. Les méthodes d’observation et d’évaluation sont laissées à la discrétion de chacun des programmes. La littérature publiée qui compile et compare les stratégies utilisées par les programmes en résidence canadiens est rare.

Objectifs : Déterminer les composantes des programmes utilisés pour l’observation et l’évaluation des normes; décrire les outils utilisés par ces programmes; établir l’horaire, la fréquence et la répétition des éléments qui constituent ces programmes et déterminer les personnes ou les groupes concernés.

Méthodes : Les coordinateurs des programmes de résidence en pharmacie hospitalière ayant un agrément ou dont l’agrément est en cours de procédure ont été interrogés afin qu’ils fournissent des informations concernant l’observation et l’évaluation des normes CCRP sélectionnées.

Résultats : Des 37 programmes de résidence admissibles, 20 réponses individuelles (54 %) sont parvenues aux investigateurs. Tous les répondants représentaient des programmes de pratique générale (100 %) dans des organismes majoritairement multicentriques (70 %). Les programmes étaient similaires en termes de points à observer : tous les répondants citaient l’examen des plans de soins, l’observation directe des soins aux patients, les clubs de journaux, la création d’échéanciers pour la réalisation de projets et la proposition de documents sur l’éthique. Les critères d’évaluation prédominants consistaient en des présentations au sein du département (100 %), la rédaction de manuscrits (95 %), des rotations reliées au service d’information pharmacothérapeutique (85 %) et les évaluations longitudinales (75 %). Les formulaires standardisés (70 %–100 %) définis par la taxonomie de Bloom (65 %) et le document Levels and ranges (niveaux de performance des compétences) du CCRP (60 %) étaient les ressources de base utilisées. L’observation des soins aux patients et de la formation avait généralement lieu immédiatement (respectivement 80 % et 95 %,), tandis que les compétences en matière de gestion de projet étaient majoritairement évaluées en dernier (75 %). L’auto-observation et l’observation effectué par des membres de l’équipe de pharmacie portaient sur chaque compétence, tandis que les patients (0 % – 10 %) et les autres professionnels de la santé (5 %) participaient plus rarement à cette observation.

Conclusions : Les stratégies d’observation et d’évaluation rapportées par les programmes concordaient. Les résultats fournissent un résumé des pratiques nationales et permettront aux responsables des programmes existants et en cours d’élaboration d’étudier l’approche de l’observation et de l’évaluation pour l’aligner sur les normes nationales.