Percepções de estudantes de medicina sobre o OSCE: análise de seu papel como instrumento de avaliação formativa em uma universidade na Amazônia

ARTIGO ORIGINAL

SILVA, Dyone Karla Barbosa da ^[1], SANTOS, Bráulio Érison França dos ^[2], LOPES, Bruno Rafael da Silva ^[3], SENA, Iuri Silva ^[4], BELFOR, Jiulyanne Andrade ^[5], MORAIS, Leila do Socorro da Silva ^[6], JÚNIOR, Mário Koga ^[7]

SILVA, Dyone Karla Barbosa da. Et al. Percepções de estudantes de medicina sobre o OSCE: análise de seu papel como instrumento de avaliação formativa em uma universidade na Amazônia. Revista Científica Multidisciplinar Núcleo do Conhecimento. Ano 04, Ed. 05, Vol. 02, pp. 66-85 Maio de 2019. ISSN: 2448-0959

RESUMO

O Objective Structured Clinical Examination (OSCE) é uma ferramenta baseada em estações práticas simuladas que permitem avaliar habilidades técnicas, aspectos afetivos e de raciocínio clínico dos discentes de medicina. Dessa forma, considera-se que as percepções dos alunos avaliados podem corroborar para o aprimoramento da sua aplicação nesse contexto. Portanto, foi realizado estudo quantiqualitativo, descritivo e transversal através de questionário semiestruturado com questionamentos objetivos e subjetivos, do qual participaram 53 alunos de medicina da Universidade Federal do Amapá da 5ª e da 6ª série. A concordância para os questionamentos objetivos foi aferido pela escala de Likert, e para interpretar os dados subjetivos foram utilizadas a plataforma Wordle.net e a Técnica de Bardin. Nesse sentido, a maioria dos alunos indicou que o OSCE foi relevante para a sua formação médica e permitiu reflexões em relação ao seu desempenho. Todavia, o presente estudo também revelou fatores estressantes para os discentes, relacionados ao período que antecederam a prova, assim como durante a sua realização, devido a dificuldades logísticas, passíveis de correção. Portanto, as percepções ilustradas indicaram que OSCE é uma válida ferramenta de avaliação formativa, ao mesmo tempo em que revelaram aspectos negativos relativos à sua aplicação. A partir disso, é possível aperfeiçoar a estratégia avaliativa utilizada e orientar novas pesquisas capazes de contribuir para a melhoria do processo de ensino-aprendizagem.

Palavras-chave: Avaliação Educacional, Estudantes de Medicina, Competência Clínica, Educação Médica, Internato e Residência.

INTRODUÇÃO

Apesar do avanço tecnológico, algumas competências médicas continuam sendo as mais importantes ferramentas diagnósticas e terapêuticas diante de um caso clínico. Nesse contexto, os métodos avaliativos precisaram ser adaptados para que exijam do aluno não somente o domínio técnico, mas competências clínicas como habilidades de comunicação, capacidade de raciocínio, reflexão e profissionalismo. Essa concepção ampliada de competência considera a associação de capacidades cognitivas, psicomotoras e afetivas para a realização de tarefas essenciais à prática profissional¹.

Baseado nisso, o OSCE (Objective Structured Clinical Examination) foi introduzido como um método de avaliação das competências clínicas que considera o desempenho do aprendiz em situações delimitadas, baseadas em um roteiro predefinido, em que há interação com paciente simulado ou recursos didáticos por meio de estações de avaliação em rodízio, com o propósito de realizar diferentes tarefas².

Atualmente, o OSCE é considerado um dos métodos mais confiáveis para esse tipo de avaliação, já que em cada estação os candidatos são convidados a demonstrar, além de habilidades relacionadas ao exame físico, anamnese e interpretação de dados, aspectos afetivos e de comunicação³. Cada estação possui um responsável pela avaliação do aluno, permitindo uma observação direta do desenvolvimento de suas competências⁴.

O sucesso de aplicação do OSCE depende de muitos aspectos, como construção e número das estações, método de pontuação (checklist e/ou pontuação global), quantidade de alunos avaliados, tempo para realização das tarefas e treinamento dos atores⁴. O desafio operacional e o custo também são fatores limitantes para sua execução.

Diante da necessidade de aprimorar esse instrumento como método avaliativo de estudantes do internato da Universidade Federal do Amapá, esta pesquisa buscou verificar a percepção dos internos de medicina em relação à aplicação do OSCE como instrumento de avaliação formativa, assim como analisar sua percepção sobre os fatores que podem interferir no desempenho dos discentes como nível de ansiedade, grau de dificuldade das estações, recursos utilizados e satisfação diante das estações.

METODOLOGIA

Pesquisa de abordagem quantiqualitativa, descritiva e transversal, realizada no curso de medicina da Universidade Federal do Amapá, no período de setembro de 2015 a janeiro de 2016. Em relação ao critério de inclusão, foram considerados aptos a participar do estudo os alunos do 5º e do 6º ano do curso de medicina que participaram da prova OSCE no ano de 2015. Foram excluídos do estudo alunos que decidiram não participar ou que não preencheram adequadamente o termo de consentimento livre e esclarecido e o questionário.

Os dados foram coletados a partir de questionário do tipo semiestruturado que continha 18 questões, sendo 15 objetivas e 3 subjetivas. O questionário avaliou fatores que possivelmente influenciam na realização do OSCE, como: demonstração prévia das tarefas em estágios da enfermaria, relevância dos temas, tempo adequado, orientações durante a prova, cooperação dos examinadores, pontos fortes e deficientes em habilidades clínicas, percepção emocional dos alunos durante a avaliação, feedback e estresse.

Para definir o grau de concordância dos alunos, utilizou-se nas questões objetivas a escala de Likert⁵. Os dados foram tabulados no programa SPSS versão 21.0. Inicialmente foi realizada análise preliminar dos dados que consistiu em processar as informações para posterior análise definitiva, checar qualidade dos dados, verificar ocorrência de erros, observações atípicas, dados faltantes ou outras peculiaridades.

Para a interpretação das questões subjetivas, foi realizada análise em duas etapas: na primeira, identificou-se as palavras mais citadas pelos participantes com utilização da plataforma Wordle.net; na segunda, obedeceu-se a técnica de Bardin⁶ para análise de conteúdo. Assim, por meio de palavras-chave coletadas na plataforma, extraíram-se frases das respostas que continham ideias relacionadas com os objetos do estudo. Em seguida, realizou-se a categorização das informações contidas nas frases, permitindo a formulação de domínios temáticos para a organização das ideias.

A presente pesquisa seguiu todos os princípios éticos da Declaração de Helsinque, sendo preservada a confidencialidade das fontes de informações. Todos os voluntários assinaram o Termo de Consentimento Livre e Esclarecido para participar do estudo. Foram respeitados todos os preceitos e orientações referentes à Ética em Pesquisa envolvendo Seres Humanos conforme dispositivos presentes na Resolução n^o 466 de 12 de dezembro de 2012, a qual atualizou as diretrizes e normas regulamentadores deste tema no país⁷. O projeto foi submetido ao Comitê de Ética em Pesquisa (CEP) da Universidade Federal do Amapá (UNIFAP), conforme protocolo da Plataforma Brasil e aprovado sem restrições com número CAAE: 49361515.2.0000.0003.

RESULTADOS

O estudo contou com uma amostra equivalente ao número total de alunos das duas séries (n=53). Dentre esses, 43,39% eram do sexo masculino e 56,60% do sexo feminino.

Em relação às tarefas solicitadas no OSCE, 45,3% (n=24) dos acadêmicos concordaram que elas foram demonstradas durante os estágios nas enfermarias, 28,3% (n=15) concordaram fortemente e 18,9% (n=10) consideram incerto esse tipo de afirmação.

A maior parte dos alunos considerou que os temas nas estações foram muito relevantes para o aprendizado, já que 39,6% (n=21) concordaram e 58,5% (n=31) concordaram fortemente com essa informação apresentada em uma das questões, totalizando 98,1% (n=52) dos estudantes. Apenas 1,9% (n=1) considerou incerta essa afirmação.

Para a assertiva seguinte, 60,3% (n=32) dos acadêmicos concordaram fortemente ou concordaram que o tempo disponível para cada estação foi adequado. Outros 24,5% (n=13) consideraram que ele foi insuficiente e 15% (n=8) deles não souberam opinar.

Quando questionados sobre as informações fornecidas nas estações, a maior parte dos alunos concordaram (46,5%, n=27) ou concordaram totalmente (5,7%, n=3) que elas foram adequadas. De forma diferente, 32% (n=17) não souberam opinar e 11,3% (n=6), incluindo os 9,4% (n=5) que discordaram e 1,9% (n=1) que discordaram totalmente, entendem que elas foram inadequadas.

Além disso, os alunos consideraram que os examinadores foram corteses e cooperativos, pois a análise descritiva dos questionários demonstrou que a maior parte deles concordou (41,5%, n=22) ou concordou fortemente (54,7%, n=29). Apenas um aluno discordou (1,9%) e outro (1,9%) considerou incerto.

Um dos questionamentos buscou avaliar se o OSCE contribuiu para que o acadêmico identificasse seus pontos fortes em habilidades clínicas. Nesse aspecto, a maior parte dos alunos entendeu que sim, pois 54,7% (n=29) concordaram e 35,8% (n=19) concordaram fortemente, totalizando 90,5% (n=48) dos estudantes. Apenas 7,5% (n=4) consideraram incerta a afirmação.

Da mesma forma, a maior parte dos que realizaram a prova do OSCE entenderam que ela contribuiu para identificar as suas deficiências em habilidades clínicas. Nesse aspecto, incluem-se os 45,3% (n=24) que concordaram e 41,5 (n=22) que concordaram fortemente. O grupo de alunos representado por 13,2% (n=7) definiu sua opinião como incerta na escala adotada.

De forma geral, a prova do OSCE foi vista como agradável por cerca de 60,3% (n=32) dos participantes, que definiram concordar (45,3%, n=24) ou concordar fortemente (41,5%, n=22) com essa afirmação feita em uma das questões. Por outro lado, 20,7% (n=11) não tinham certeza, 5,7% (n=3) discordaram e 13,2% (n=7) discordam fortemente, considerando que o OSCE não foi uma prova agradável.

No que diz respeito à proximidade do cenário e das simulações nas estações às condições clínicas reais, a maior parte dos alunos concordaram (67,9%, n=36) ou concordaram fortemente (16,9%, n=9) que esse aspecto foi contemplado, enquanto 13,2% deles (n=7) foram incertos na resposta e apenas um (1,8 %) discordou.

Abordando a questão do feedback dado pelos avaliadores durante as estações, buscou-se identificar se o mesmo foi útil e ofereceu oportunidade de aprendizagem. Nesse sentido, percebe-se que 3,77% (n=2) foram incertos em relação a essa afirmação, mas 96,2% (n=51) concordaram ou concordaram fortemente, considerando o feedback ofertado de maneira positiva.

Ainda sobre a avaliação no contexto do OSCE, a maior parte dos alunos (62,2%, n=33) concordou que suas habilidades foram avaliadas de forma justa durante a prova, sendo que mais 5,6% (n=3) concordaram fortemente. Contudo, percebe-se que uma porcentagem significativa correspondente a 22,6% (n=12) considerou incerta essa afirmação e 9,4% (n=5) dos participantes discordaram que esse ponto foi realizado de forma adequada.

Ao analisarem a afirmativa de que o OSCE os estimulou a buscar mais informações sobre os temas abordados nas estações, 52,8% (n=28) dos participantes concordaram com a assertiva em questão e outros 39,6% (n=21) concordaram fortemente, enquanto 5,6% (n=3) não demonstraram concordância ou discordância em relação a esse aspecto.

Os participantes ainda foram levados a refletir se o comportamento dos avaliadores repercutiu de forma negativa durante a realização da prova, sendo, assim, fonte de perturbação. Nesse aspecto, 41,5% (n=22) discordaram e outros 24,5% (n=13) discordaram fortemente, sendo que 20,7% (n=11) optaram por neutralidade na resposta.

Outro ponto abordado durante o questionário foi se os discentes se sentiram estressados ao participarem da prova. Considerando esse aspecto, 22,6% (n=12) concordaram e 56,6% (n=30) apresentaram grau ainda maior de concordância, sendo que a porcentagem dos que discordaram e dos que foram incertos em relação à assertiva foi a mesma, correspondendo a 9,4% (n=5) em cada uma das opções (Tabela I).

Tabela I: distribuição das respostas relativas às perguntas objetivas do questionário envolvendo a percepção dos discentes sobre o OSCE.

Fonte: pesquisa dos autores.

Posteriormente, a última pergunta buscou identificar a percepção dos discentes sobre sua performance no OSCE de 2015 em comparação com o do ano anterior. Já que os alunos do 5° ano participaram do OSCE pela primeira vez, esse questionamento foi direcionado e respondido somente pelos alunos do 6º ano, correspondendo a uma amostra de n=24. Dessa forma, para mais da metade deles (54,1%, n=13) o seu desempenho foi muito melhor, 33,3% (n=8) o considerou igual ao anterior, 8,3% optou pela opção “não se aplica” e somente um participante (4,1%) apontou ter tido um desempenho muito pior (Tabela II).

Tabela II: Percepção dos estudantes do sexto ano sobre seu desempenho no OSCE realizado em 2014 e em 2015 (n=24).

Fonte: pesquisa dos autores.

Ao serem analisadas as questões abertas do questionário, é importante ressaltar que a primeira pergunta estava direcionada aos participantes que expressaram concordância sobre se sentirem estressados durante a realização da prova, os quais foram questionados sobre as causas desse estresse. Nesse contexto, percebe-se que os pontos mais mencionados foram a ansiedade em relação ao OSCE, tempo limitado para realizar as tarefas nas estações e processo avaliativo no decorrer daquelas, ampla gama de conteúdos que poderiam ser abordados e até mesmo a falta de experiência nesse tipo de prova (Tabela III).

Posteriormente, os discentes sugeriram o que poderia ser feito para corrigir algumas das fragilidades observadas e os aspectos mais citados na questão “Na sua opinião, o que ajudaria a tornar o OSCE melhor?” foram: orientações mais claras em cada estação, tempo adequado para desenvolver as tarefas solicitadas, melhor feedback dado pelos avaliadores e melhor elaboração de algumas estações, assim como a possibilidade de realização de práticas semelhantes antes do OSCE (Tabela III e figura I).

Tabela III: exemplos de respostas dos alunos às perguntas abertas do questionário utilizado.

Fonte: pesquisa dos autores.

Figura I – Nuvem de palavras representando os possíveis aspectos a serem melhorados no OSCE, na percepção dos alunos.

Por fim, quando questionados sobre o que mais os agradou na realização do OSCE, os internos citaram o feedback realizado pelos avaliadores após a prova, que permitiu identificar fragilidades que, posteriormente, serviriam para aprimorar suas habilidades clínicas. Além disso, também foi enfatizado que os docentes e voluntários contribuíram com o desenvolvimento da prova, demonstrando organização, cordialidade e empatia, o que colaborou para diminuir a ansiedade dos alunos durante a avaliação (Figura II).

Figura II – Nuvem gráfica representando o que mais agradou os alunos na realização do OSCE.

A participação no OSCE foi destacada pelos alunos como um importante meio para treinar suas habilidades em conduzir casos clínicos frequentes na prática médica, possibilitando identificar aspectos positivos e negativos de seu desempenho nessas situações. Ademais, os acadêmicos ressaltaram que os temas cobrados nas estações foram coerentes com a prática vivenciada no internato, possibilitando diversidade e uma dinâmica entre eles. Todos esses aspectos estão evidenciados nos seguintes comentários:

“Feedback dos avaliadores, o qual permite melhora de habilidades clínicas”

“A organização: alunos colaboradores, professores, técnicos, dinâmicas entre uma estação e outra”

“Organização, respeito dos examinadores, gentileza dos atores”

“Os professores e alunos participantes contribuíram muito para minimizar a ansiedade, demonstraram empatia”

“Ver que tenho habilidade de conduzir casos clínicos, mesmo sob pressão, com a conduta correta”

“Analisar os meus pontos fortes e fracos, além de servir como treino para fases práticas de prova de residência”

“Quase todas as estações foram condizentes com o que foi visto durante o internato e a maioria dos avaliadores foram tranquilizadores”

“As estações mais realistas com a prática”

“Foram temas bastante vistos dentro dos 2 anos de internato”

DISCUSSÃO

A avaliação é uma ferramenta importante utilizada para melhorar a formação acadêmica, tendo em vista que impulsiona o processo de aprendizagem ao permitir identificar falhas e estabelecer objetivos pelos professores e alunos. Para que seja eficaz, é necessário verificar a validade, confiabilidade e praticidade da avaliação, de forma que ela consiga resultar em melhorias no processo educacional. Nesse sentido, o OSCE (exame estruturado de habilidades clínicas), introduzido por Harden em 1945, demonstrou ser uma forma adequada de avaliar as competências clínicas dos alunos, pois cumpriu a maioria dos critérios estabelecidos anteriormente⁸.

COERÊNCIA ENTRE O OSCE E OS CENÁRIOS DA PRÁTICA NO INTERNATO

Cerca de 85% dos alunos participantes da presente pesquisa concordaram ou concordaram fortemente que o processo de construção do conhecimento durante os estágios no internato foi devidamente explorado por meio do OSCE. Em pesquisa semelhante à realizada na UNIFAP, Jonh e Deshkar⁹ obtiveram resultados parecidos, ou seja, a maioria dos alunos que foram questionados por esses autores sobre a relação do OSCE com a realidade da prática médica indicou que as temáticas abordadas na prova prática foram equivalentes às vivenciadas durante os estágios no internato.

Em contraposição aos dados encontrados no presente estudo, Siddiqui¹⁰ avaliou a percepção de alunos da 6ª série sobre a aplicação do OSCE, observando que a maioria deles concordou que os conteúdos exigidos na avaliação não foram de grande relevância para a prática profissional futura. Em termos de implicações, o descontentamento dos alunos em relação às temáticas abordadas no OSCE contribuiu para que a aceitação geral do corpo discente em relação à essa prova fosse baixa, de aproximadamente 67%, na pesquisa conduzida pelo autor citado.

Ao avaliar os diferentes resultados da literatura em relação à percepção dos alunos sobre a coerência do OSCE e os cenários da prática médica profissional, nota-se que a aceitação ou não dessa ferramenta avaliativa está atrelada à capacidade de abordar temas relevantes para a formação médica. Assim, nota-se um consenso geral acerca da necessidade de formulação do OSCE conforme os principais preceitos curriculares.

APRENDIZADO NO OSCE

É sabido que o OSCE é uma ferramenta avaliativa que possui a capacidade de abordar diferentes temáticas da medicina, proporcionando ao alunos a oportunidade de refletir sobre o seu desempenho em diferentes cenários da prática médica¹¹. Nesse sentido, na presente pesquisa, a maioria dos alunos – cerca de 90% dos participantes – classificou o processo avaliativo como um importante instrumento que permitiu identificar quais são as deficiências e virtudes dos alunos durante a prática médica.

Ao avaliar a percepção de alunos de medicina sobre o OSCE, Nasir et al.¹² encontraram resultados semelhantes, pois os discentes entrevistados também consideraram que o OSCE possibilitou aos estudantes um diagnóstico a respeito do processo de construção do conhecimento. Em decorrência disso, os alunos relataram que isso favoreceu o melhor planejamento posterior do estudo, permitindo investir mais tempo nos conteúdos e aspectos relacionados a maiores deficiências durante a realização do exame.

Acerca de outro aspecto, Pierre et al.¹³ referem que o OSCE possui a capacidade de incentivar os alunos a se aprofundarem em relação aos temas da prática médica profissional, bem como promover experiências úteis de aprendizagem. Nesse sentido, esse instrumento avaliativo é de grande valia para familiarizar o estudante de medicina em relação aos ambientes de atuação médica¹⁴.

Pode-se considerar que a maioria das pesquisam indicam que o OSCE possui boa capacidade de favorecer oportunidades de aprendizagem para o estudante, em diferentes perspectivas. Assim, conforme relatado pelos estudantes da presente pesquisa, obteve-se importante ganho de experiência por parte dos alunos.

TEMPO DISPONÍVEL PARA AS ESTAÇÕES

Segundo Idriset al.¹⁴, um importante fato para a realização do OSCE é o tempo necessário para realizar as tarefas solicitadas, sendo que pode haver certa dificuldade para lidar com esse aspecto, conforme demonstrado por alguns estudos. Nesse sentido, outros autores como Smee¹⁵, apontam que o tempo estabelecido para as estações constitui uma das limitações apresentadas pelo OSCE, pois isso pode desconstruir a relação médico-paciente e prejudicar a avaliação formativa pretendida.

Apesar de 60,3% dos alunos da Universidade Federal do Amapá concordarem que o tempo disponibilizado durante a prova foi adequado, e dialogarem com os achados de Khorashadet al. (2014)¹⁶ – nos quais 75% dos alunos demonstraram concordância -, outros estudos como o de Troncon¹⁷, que buscou analisar a percepção dos alunos da USP-RP a respeito de vários componentes relacionados ao OSCE, mostram que 70% dos alunos estavam insatisfeitos com a questão do tempo no primeiro ano de aplicação do exame. Nesse caso, isso foi atribuído à falta de maturidade dos alunos em lidar com a relação tarefa-tempo e da falta de treinamento específico em habilidades relacionadas a esse gerenciamento.

Vale ressaltar ainda que o tempo insuficiente, somado a outros aspectos negativos, podem contribuir para uma menor aceitação do OSCE e também para o aumento da ansiedade dos discentes durante a realização do mesmo¹⁸. Essa questão foi apontada pelos discentes do presente estudo que se sentiram estressados ao realizarem o OSCE, os quais consideraram que o curto espaço de tempo gera tensão diante da possibilidade de não ser possível aplicar os conhecimentos e as habilidades esperadas em sua totalidade, e o fato de isso refletir negativamente na avaliação.

Portanto, sugeriu-se aumentar o tempo disponível para as estações, principalmente naquelas que apresentam maior grau de complexidade, dialogando com os estudos de Pagels et al.¹⁹, que incluem o tempo como um dos possíveis pontos a serem melhorados na organização da prova para possibilitar maior interação com os cenários propostos.

INSTRUÇÕES E COMPORTAMENTO DOS EXAMINADORES

Em relação ao comando de porta das estações do OSCE, autores como Huang et al.²⁰ ressaltaram em seu estudo que em algumas estações o comando foi inespecífico e não ajudou na realização das tarefas, pois certas instruções pareciam direcionar para realizar o diagnóstico de certa patologia, enquanto o checklist avaliava a habilidade de coleta da história do paciente e comunicação. Na pesquisa realizada por Nasir et al.¹², os alunos opinaram que em muitos casos as instruções eram de difícil interpretação, sendo inclusive ambíguas, o que prejudicava na realização das tarefas da estação. Outro autor que corrobora com essa ideia é Siddiqui¹⁰, que encontrou os mesmos resultados em sua pesquisa.

Em pesquisa realizada na NewCastle Medical School, identificou-se que a percepção dos estudantes sobre o OSCE forneceu críticas construtivas sobre a estrutura e organização do exame, pois foi evidenciado que as instruções para as estações foram ambíguas e o tempo para realização das tarefas foi muito curto. Contudo, para a Universidade, esses fatores se devem à preparação insuficiente dos alunos para o exame, especialmente por se tratar de competências que antes não eram consideradas no currículo¹¹.

Quando se trata do comportamento dos examinadores, Gupta et al.⁴ afirma que somente a presença do examinador, mesmo que esse não diga nada durante a avaliação, pode ser prejudicial ao rendimento do aluno, devido à linguagem corporal transmitida que os alunos tendem a observar. Em geral, os alunos se sentem ansiosos inicialmente, mas uma explicação sobre o objetivo e utilidade da observação direta para a prestação de um feedback efetivo faz com que a aceitação seja frequentemente boa.

Por outro lado, na pesquisa realizada por Siddiqui¹⁰ a percepção dos alunos foi diferente ao concordarem que a maioria dos avaliadores foram corteses e cooperativos durante a prova, tornando-se, assim, um fator positivo para o rendimento dos acadêmicos nas estações.

APRIMORAMENTO DE HABILIDADES CLÍNICAS

O OSCE é considerado o padrão ouro para avaliar as competências clínicas dos alunos de medicina. Esse aspecto se deve principalmente ao fato de essa plataforma conseguir avaliar habilidades clínicas que normalmente são desconsideradas em métodos avaliativos tradicionais, já que estes se concentram principalmente nas habilidades cognitivas dos discentes¹⁸.

Ainda nesse sentido, Pierre et al.¹³ traz em seu estudo a ideia defendida pelos alunos, pois afirma que o OSCE permite, dentre outras coisas, motivar a aprendizagem dos estudantes em áreas anteriormente não avaliadas no currículo “tradicional”, além de verificar competências clínicas fundamentais e proporcionar um feedback aos acadêmicos sobre seus pontos fortes e fracos em habilidades clínicas. Nesse sentido, John e Deshkar⁹ afirmam que OSCE fornece confiança e oportunidade de auto avaliação para os estudantes, permitindo que os alunos tenham a chance de corrigir suas deficiências e aprimorar as suas capacidades técnicas.

Além disso, a avaliação das habilidades dos estudantes de medicina pode refletir apropriadamente a eficácia do currículo educacional antes da formação e ajudar a melhorar o processo formativo. Dentro desse contexto, o OSCE é uma demonstração clínica que melhora a performance dos estudantes e fortalece seu papel profissional. Esse método de avaliação também tem provado ser tecnicamente viável e autêntico, gerando informações importantes para decisões envolvendo o desempenho dos alunos, corpo docente e planejamento curricular¹⁶.

FEEDBACK FORMATIVO E AVALIAÇÃO DO DESEMPENHO DOS ALUNOS

Labafet al.¹⁸ ressaltam em seus estudos a importância do feedback formativo fornecido aos alunos participantes do OSCE. Segundo os autores citados, ele permite que sejam enfatizadas as competências clínicas dos acadêmicos que devem ser melhoradas ou mantidas, o que resulta em aprimoramento do processo formativo.

Nesse sentido, Nasir et al.¹² afirmam que o feedback, além de permitir a aprendizagem mediante a oportunidade dos estudantes de conhecerem suas fraquezas e, dessa forma investirem maior tempo de estudo onde possuem maiores dificuldades, também permite que os alunos saiam da avaliação com a consciência do seu papel como profissionais da saúde, não apenas mestres do conhecimento médico.

Em relação à estrutura do feedback, Franco et al. ²¹ ressalta que podem ser utilizados modelos mais completos, porém no contexto do OSCE estes não podem perder a objetividade. Nesse sentido, Humphrey-Murtoet al. ²² enfatizam que para o feedback ser efetivo é necessário que ele ocorra de forma imediata, favorecendo assim o desenvolvimento da aprendizagem pelo discente. Além disso, a emissão do feedback deve ser seguida de reflexão por parte do acadêmico, de forma que o oriente na tomada de decisões e lhe proporcione aprendizagem e mudança de condutas.

Portanto, assim como os alunos da UNIFAP, Humphrey-Murto et. al.²² afirmam que em termos de educação baseada em competências, o fornecimento de feedback no local de prática é fundamental para o sucesso do processo de ensino-aprendizagem e eficácia do processo avaliativo formativo em questão.

FATORES QUE AFETAM O DESEMPENHO DOS ALUNOS

Em pesquisa realizada por Elfaki e Al-Humayed²³, apesar dos estudantes estarem cientes da natureza do OSCE, esses expressaram profunda preocupação sobre a ausência de informações que deixem clara a abrangência da avaliação, devido à extensa quantidade de conteúdo que pode ser cobrada. Os acadêmicos também opinaram que o fator de estresse os prejudica de forma significativa, avaliando que o exame não é menos estressante que as outras modalidades de avaliação do curso de medicina, principalmente para o último grupo a passar pelas estações.

Para Nasir et al.¹² a ansiedade, aliada ao pouco conhecimento em relação às características da prova, produziriam estresse aos alunos diante da avaliação e prejudicaria sua performance, principalmente para os alunos que realizaram o OSCE pela primeira vez. Segundo Pierre et al.¹³ ansiedade e falta de confiança associado a uma nova avaliação foram aspectos destacados pelos alunos como entraves à realização da prova.

Em estudo realizado com alunos do segundo ano de medicina que passaram pela avaliação do OSCE, constatou-se que os que se apresentaram mais ansiosos e estressados obtiveram pior rendimento ao final da prova. Além disso, esses mesmos alunos possuíam menor confiança a respeito das condutas médicas, em comparação com seus colegas que não se apresentaram tão ansiosos e estressados²⁴.

O ambiente estressante do exame se configura no principal fator que afeta o desempenho do aluno e vários motivos podem estar relacionados ao estresse, como: falta de familiaridade com o exame, a presença de supervisores/avaliadores, questões fora de um padrão, bem como o nervosismo dos participantes¹⁶.

EXPERIÊNCIA X DESEMPENHO

Os resultados evidenciaram que a maioria alunos da UNIFAP que realizaram o OSCE anteriormente, consideraram seu desempenho muito melhor na exposição subsequente ao exame comparado à sua primeira experiência. Esse aspecto pode estar relacionado à redução do nível de ansiedade do aluno conforme ele progride através do exame, evidenciando que a exposição repetida a essa forma de avaliação contribui para o ganho de experiência, melhor aceitação por parte dos estudantes e até mesmo um melhor desempenho¹⁸.

Siddiqui¹⁰ identificou inclusive que um dos motivos para o estresse relacionado ao OSCE seria a novidade no formato de avaliação, que difere do que é encontrado nos anos anteriores de Medicina, e a falta de instruções a respeito do mesmo, bem como da dinâmica do decorrer da prova. Justamente por isso, os alunos da UNIFAP sugeriram que deve haver a oportunidade de treinar práticas semelhantes à prova sem que a avaliação seja incluída nas notas dos alunos, bem como devem ser fornecidas orientações prévias sobre a prova. Conforme os estudos de Nasir et al.¹², os discentes consideraram ainda que a avaliação deve ser incluída desde o início do currículo para que haja maior familiaridade com o exame e esse possa ser realizado de maneira adequada.

CONCLUSÃO

A aplicação do OSCE como metodologia avaliativa dos internos de medicina do 5° e 6° anos proporcionou importantes reflexões em relação à formação médica por parte dos acadêmicos. Nesse sentido, observou-se que os alunos compartilharam suas percepções tanto acerca do período preparatório anual do internato quanto do momento de aplicação da prova.

De forma geral, a aplicação do OSCE como avaliação final, tendo como base todo o conteúdo da graduação médica foi vista como positiva pelos acadêmicos dos últimos anos do curso de medicina, já que essa ferramenta possibilitou a abordagem de conteúdos e práticas relevantes para a sua formação, além de permitir o feedback, direcionamento do estudo e reflexão do aluno.

Por outro lado, a presente pesquisa também indicou que alguns tópicos referentes à estruturação do OSCE merecem maior atenção por parte do corpo docente responsável pela formulação da prova. Nesse contexto, por exemplo, o tempo para cada estação, as orientações fornecidas nas estações, o comportamento dos avaliadores e o suporte ao aluno no período pré-teste por parte dos docentes são pontos que são vistos como de maior suscetibilidade a erros, conforme exposto pelos alunos.

Sob outro ponto de vista, observou-se que existe, por parte dos alunos de medicina avaliados na prova, significativa ansiedade no período pré-teste, tanto durante o período de rodízio nos módulos do internato quanto no momento próximo à realização do OSCE. Os relatos subjetivos dos alunos nos questionamentos abertos da presente pesquisa acabaram por revelar preocupações referentes ao rendimento no OSCE, já que a maioria dos alunos se mostrou preocupada em apresentar uma performance considerada condizente com os estudos prévios, além de poder ser prejudicada pela falta de orientações prévias acerca da aplicação do OSCE e dos conteúdos abordados.

Em virtude da existência de uma ampla gama de personagens envolvidos com a aplicação do OSCE, seja pertencente ao corpo docente ou discente, é importante compreender as percepções desses indivíduos para que a metodologia de aplicação do OSCE seja efetiva e capaz de contribuir para o processo de ensino-aprendizagem dos alunos. Assim, os resultados do presente estudo são considerados importantes para o aprimoramento da formulação do OSCE no contexto da graduação médica da UNIFAP, já que permite a correção das possíveis fragilidades e dificuldades encontradas pelos alunos durante a realização da prova.

Nessa perspectiva, a realização constante de pesquisas acerca das percepções dos personagens envolvidos com a dinâmica do OSCE pode ser um instrumento capaz de permitir o desenvolvimento de intervenções adequadas à realidade em questão e consequente melhora da aplicação da prova, conforme as demandas institucionais, devendo-se considerar outros estudos que também permitam avaliar esses aspectos e aperfeiçoar o OSCE como um instrumento de avaliação formativa na graduação médica.

REFERÊNCIAS

1. Megale L, Gontijo ED, Mota JAC. Competências Clínicas Essenciais em Pediatria: estão os estudantes aptos a executá-las. Rev Bras Educ Med 2012; 36(4):478-88.

2. Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). MedEduc 1979; 13(1): 41-54.

3. Amaral E, Domingues RCL, Bicudo-Zeferin AM. Avaliando competência clínica: o método de avaliação estruturada observacional. Rev Bras Educ Med 2007; 31(3):287-290.

4. Gupta P, Dewan P, Singh T. Objective Structured Clinical Examination (OSCE) Revisited. Indian Pediatr 2010; 47(11):911-920.

5. Likert R. A Technique for the Measurement of Attitudes. New York: Archives of Psychology; 1932.

6. Bardin L. Análise de Conteúdo. Lisboa, Portugal: Edições 70; 2009

7. Brasil. Resolução n° 466, de 12 de dezembro de 2012. Aprova normas regulamentadoras de pesquisas envolvendo seres humanos. Diário Oficial da União 2013; 13 jun.

8. Abdulla MA. Student’s perception of Objective Structured Clinical Examination (OSCE) in Surgery at Basrah College of Medicine.Bas J Surg 2012; v. 18:1-6.

9. (PT) DSJ, Deshkar DAM. Evaluation of objective structured clinical examination (OSCE): Physiotherapy student’s perception.NJIRM2014; 5(3): 98-101

10. Siddiqui FG. Final year MBBS students’ perception for observed structured clinical examination. J Coll Physicians Surg Pak 2013; 23(1):20-24.

11. Jawaid M, Masood Z, Jaleel F. Students’ Perception of Surgical Objective Structured Clinical Examination (Osce) At Dow University of Health Sciences. Journal of Postgraduate Medical Institute 2014; 28(1):19-23.

12. Nasir AA, Yusuf AS, Abdur-Rahman LO, Babalola OM, Adeyeye AA, Popoola AA, et al. Medical students’ perception of objective structured clinical examination: A feedback for process improvement. Journal of Surgical Education 2014; 71(5):701–706.

13. Pierre RB, Wierenga A, Barton M, Branday JM, Christie CDC. Student evaluation of an OSCE in paediatrics at the University of the West Indies, Jamaica. BMC Medical Education 2004; 4(1): 4-22.

14. Idris SA, Hamza AA, Elhaj MAB, Elsiddig KE, Hafiz MM, Adam ME. Students’ Perception of Surgical Objective Structured Clinical Examination (OSCE) at Final Year MBBS, University of Khartoum, Sudan. Medicine Journal 2014; 1(1):17-20.

15. Smee S. Skill based assessment. British Medical Journal 2003; 326(7391):703-6.

16. Khorashad AK, Salari S, Baharvahdat H, Hejazi S, Lari SM, Salari M. The Assessment of Undergraduate Medical Students’ Satisfaction Levels With the Objective Structured Clinical Examination.Iran Red Crescent Med J 2014; 16(8): e13088.

17. Troncon LEA. Clinical skills assessment: limitations to the introduction of an “OSCE” (Objective Structured Clinical Examination) in a traditional Brazilian medical school.Sao Paulo Med. J 2004; 122(1):12-17.

18. Labaf A, Eftekhar H, Majlesi F, Anvari P, Sheybaee-Moghaddam F, Jan D, et al. Students’ concerns about the pre-internship objective structured clinical examination in medical education. Education for Health 2014; 27(2):188-192.

19. Pagels P, Kindratt T, Arnold D, Brandt J, Woodfin G, Gimpel N. Training Family Medicine Residents in Effective Communication Skills While Utilizing Promotoras as Standardized Patients in OSCEs: A Health Literacy Curriculum. International Journal of Family Medicine 2015; 40(3):508-514.

20. Huang Y-S, Liu M, Huang C-H, Liu K-M. Implementation of an OSCE at Kaohsiung Medical University. The Kaohsiung Journal of Medical Sciences 2007; 23(4):161–9.

21. Franco CAGS, Franco RS, Santos VM, Uiemal LA, Mendonça NB, Casanoval AP, et al. et al. OSCE para Competências de Comunicação Clínica e Profissionalismo: Relato de Experiência e Meta-Avaliação. Rev Bras Educ Med 2015; 39(3): 433–441.

22. Humphrey-Murto S., Mihok M, Pugh D, Touchie C, Halman S, Wood TJ. Feedback in the OSCE: What Do Residents Remember?.Teach Learn Med 2016; 28(1):52-60.

23. Elfaki OA, Al-Humayed S. Medical Students’ Perception of OSCE at the Department of Internal Medicine, College of Medicine, King Khalid University, Abha. J Coll Physicians Surg Pak 2016; 26(2):158–159.

24. Mavis B. Self-efficacy and OSCE performance among second year medical students. Adv Health Sci Educ Theory Pract 2001; 6(2):93-102.

^[1] Graduanda do 9º semestre do curso de medicina da Universidade Federal do Amapá.(UNIFAP), Macapá – AP, Departamento de Ciências Biológicas e da Saúde (DCBS).

^[2] Graduado em Medicina pela Universidade do Estado do Pará (2003), Mestre em Ciências da Saúde, Área de Epidemiologia e Saúde Pública. Médico do Hospital de Clínicas Dr. Alberto Lima (HCAL), perito médico da Justiça do Trabalho (TRT/AP) e professor do colegiado de medicina da Universidade Federal do Amapá (UNIFAP). Universidade Federal do Amapá (UNIFAP), Departamento de Ciências Biológicas e da Saúde (DCBS).

^[3] Graduando do 11º semestre do curso de medicina da Universidade Federal do Amapá. (UNIFAP), Macapá – AP, Departamento de Ciências Biológicas e da Saúde (DCBS).

^[4] Graduado em medicina pela Universidade Federal do Amapá (UNIFAP), Macapá – AP, Mestrando em Ciências da Saúde, Área de Epidemiologia e Saúde Pública. Universidade Federal do Amapá (UNIFAP), Departamento de Ciências Biológicas e da Saúde (DCBS).

^[5] Graduanda do 9º semestre do curso de medicina da Universidade Federal do Amapá. (UNIFAP), Departamento de Ciências Biológicas e da Saúde (DCBS)

^[6] Graduada em Medicina pela Universidade Federal do Pará (1993), especialista- (residência médica) em Pneumologia e Tisiologia pelo Hospital Universitário João de Barros Barreto, HUJBB e especialista em Medicina Legal e Perícia Médica. Médica pneumologista do Centro de Doenças Transmissíveis do Governo do estado do Amapá, professora especialista do curso de medicina Universidade Federal do Amapá (UNIFAP) Universidade Federal do Amapá (UNIFAP), Departamento de Ciências Biológicas e da Saúde (DCBS).

^[7] Graduando do 11º semestre do curso de medicina da Universidade Federal do Amapá. (UNIFAP), Departamento de Ciências Biológicas e da Saúde (DCBS).

Enviado: Março, 2019

Aprovado: Maio, 2019