An Instrument to Objectively Measure Pharmacist Professionalism as an Outcome: A Pilot Study

Abstract

ABSTRACT

Background: Historically, academic success has been a major outcome for evaluating the effectiveness of pharmacy education programs and admission criteria. In other words, students’ overall grades and/or specific course grades have determined academic success. However, there is a disconnection between students’ grades and their performance during practicums or in practice. It was postulated that professionalism might be an alternative outcome for measuring graduates’ abilities.

Objective: To construct an objective measure of professional attitudes and behaviours for recently graduated pharmacists.

Methods: A self-report instrument was developed using the American Board of Internal Medicine’s 6-tenet definition of professionalism. Four months after completing the doctor of pharmacy degree (PharmD), pharmacists were asked to complete an online version of the professionalism instrument. The Rasch Measurement Model (Winsteps, Chicago, Illinois) was used to construct a measure from the responses. Using data that fit the model, the Rasch Measurement Model can build the interval-level measurements needed for future inferential statistical interpretations of ordinal-level data gathered with this instrument.

Results: Twenty-seven PharmD graduates completed the 15-item instrument. The Rasch Measurement Model was used to construct continuous, linear measures of pharmacist professionalism from these instrument rating scale data. Most of the scales functioned without modification, but 2 of the scales functioned only after being collapsed. One person and one item “misfit” the Rasch Measurement Model and were omitted from the analysis. After these adjustments, the data fit the model well. As a measurement tool, this instrument was overwhelmingly unidimensional; the linear model explained 99.9% of the variation in the data using principal contrast analysis. Item separation was 3.64 logits, person separation was 2.31 logits, and reliability was 0.93 by Cronbach’s a.

Conclusion: The Rasch Measurement Model was used to construct an objective measure of pharmacists’ professionalism. The results of this pilot project suggest a promising outcome measure for evaluating pharmacy graduates soon after completion of university.

RÉSUMÉ

Contexte : Historiquement, le rendement scolaire était le principal résultat pour évaluer l’efficacité des programmes d’enseignement de la pharmacie et des critères d’admission. En d’autres mots, les notes globales des étudiants et (ou) leurs notes pour un cours particulier déterminaient le rendement scolaire. Cependant, il y a un écart entre les notes des étudiants et leur performance durant les stages ou l’exercice de leur profession. On a émis l’hypothèse selon laquelle le professionna - lisme pourrait être un résultat de rechange pour mesurer les compétences des diplômés.

Objectif : Créer une mesure objective de l’attitude et des comportements professionnels des pharmaciens récemment diplômés.

Méthodes : Un outil d’auto-évaluation a été développé à l’aide de la définition du professionnalisme selon les six principes de l’American Board of Internal Medicine. Quatre mois après avoir obtenu leur doctorat professionnel en pharmacie (Pharm. D.), les pharmaciens devaient répondre aux questions de la version en ligne de l’outil d’évaluation du professionnalisme. Le modèle de Rasch (Winsteps, Chicago, Illinois) a servi à concevoir une mesure à partir des réponses. En utilisant des données adaptées au modèle, le modèle de Rasch peut générer les mesures dotées d’une échelle d’intervalle nécessaires pour les futures interprétations statistiques inférentielles des données ordinales collectées à partir de cet instrument.

Résultats : Au total, 27 détenteurs d’un diplôme de Pharm. D. ont rempli le questionnaire à 15 items. Le modèle de Rasch a été utilisé pour générer des mesures linéaires continues du professionnalisme des pharmaciens en se servant des données issues des échelles de notation de l’outil. La plupart des échelles ont produit des résultats appropriés, mais deux ont donné des résultats appropriés seulement une fois groupées. Les données issues d’une personne et d’un item ne concordaient pas avec le modèle de Rasch et ont été exclues de l’analyse. À la suite de ces ajustements, les données cadraient bien avec le modèle. Cet instrument, en tant qu’outil de mesure, était extraordinairement unidimensionnel; le modèle linéaire expliquait 99,9 % de la variation des données selon l’analyse du contraste principal. Les valeurs suivantes ont été observées : répartition des items, 3,64 logits; répartition des personnes, 2,31 logits; et fiabilité (déterminée par le coefficient alpha de Cronbach), 0,93.

Conclusion : Le modèle de Rasch a été utilisé pour générer une mesure objective du professionnalisme des pharmaciens. Les résultats de ce projet pilote laissent croire à un avenir prometteur pour cet outil d’évaluation des pharmaciens nouvellement diplômés.