Como vimos anteriormente, o movimento da medicina baseada em evidências (MBE) nasceu como uma iniciativa educacional na McMaster, onde os jovens médicos residentes eram ensinados a analisar criticamente um estudo científico. Assim, seria possível estarem mais aptos a tomar decisões cientificamente informadas e não somente fundamentadas na opinião individual. Dessa forma, o segundo princípio fundamental da MBE afirma que a mesma fornece orientação para decidir se a evidência é mais ou menos confiável. Quando se refere a essa confiança que se pode ter em relação a uma evidência, tal princípio enfatiza a existência de critérios explícitos e objetivos que avaliam a validade metodológica dos produtos advindos da pesquisa clínica, notadamente os estudos clínicos individuais, as revisões sistemáticas e os guidelines.
Embora atualmente haja vários modelos de estudos clínicos, na grande maioria das vezes nos deparamos com os seguintes: estudos randomizados, estudos seccionais (ou transversais), estudos caso-controle e estudos observacionais de coorte. Quanto à análise crítica da validade metodológica devemos fazer uma checagem no início, no meio e no fim de cada estudo.
Leia também: Medicina baseada em evidências: quais as barreiras práticas e como aplicá-la?
Análise crítica da validade metodológica de estudos randomizados
No início do estudo devemos avaliar primeiramente se a randomização realmente foi realizada e se afirmativo verificar se houve mascaramento ou concealment. Na prática, a randomização envolve a geração de uma sequência pela qual os participantes de um estudo são alocados aleatoriamente nos grupos do estudo, garantindo a imprevisibilidade dessa sequência de alocação. O segundo processo de mascaramento, que nada mais é do que a ocultação da alocação, impede que os envolvidos na condução de um estudo possam influenciar (mesmo que hipoteticamente) na determinação de para qual dos grupos os participantes serão encaminhados. A randomização tem por objetivo, balancear os fatores prognósticos conhecidos ou não, tornando os grupos comparáveis no início do estudo. Em geral se utiliza sistemas de resposta automatizados para esse fim, mais comumente um sistema telefônico (IVRS) ou digital (IWRS).
Em geral, os estudos randomizados disponibilizam uma tabela com a descrição dos dados demográficos nos diferentes grupos do estudo. Tal tabela nos permite avaliar se os fatores prognósticos, por exemplo doenças associadas, estão balanceados nos grupos, ou seja, saber se a randomização cumpriu o seu papel.
No meio do estudo temos que ver se houve cegamento, que consiste na impossibilidade de se saber em qual grupo o participante foi alocado. Em geral o termo double blinded se refere ao cegamento dos participantes da pesquisa e dos profissionais que fazem o seu acompanhamento direto durante o estudo. Porém, também é importante que sejam “cegos” todos aqueles que fazem a análise dos dados do estudo e aqueles que julgam e auditam a veracidade dos desfechos clínicos que ocorrem ao longo do estudo, para evitar que seu julgamento seja influenciado pela ciência de alocação do participante que sofreu o desfecho em questão. Ainda, no meio do estudo, é importante checar se as co-intervenções foram balanceadas nos grupos. Isso significa que todos os tratamentos, sabidamente preconizados para uma condição em questão, estejam sendo realizados de forma proporcional igualitária nos grupos estudados. Se um grupo recebe em maior intensidade por exemplo uma determinada co-intervenção que seja capaz de reduzir a taxa de eventos considerados desfechos do estudo, o resultado do estudo pode ser determinado por isso e não pela intervenção que esteja sendo estudada. Também no meio do estudo, o nível de acompanhamento (incluindo as rotinas assistenciais de visitas e a infraestrutura de cuidado) deve ser o mesmo para todos os grupos. Assim evitando-se que um grupo seja privilegiado com um melhor cuidado que possa implicar uma redução na sua taxa de eventos ou desfechos.
No fim do estudo, temos que checar se houve a análise por intenção de tratamento (intention to treat), ou seja, se os desfechos observados foram atribuídos ao grupo para o qual o participante da pesquisa que sofreu o desfecho foi alocado. Isso independe se o participante recebeu efetivamente ou não a intervenção referente ao grupo em que ele se encontra. Qualquer evento que ocorra a partir do momento em que houve a alocação é considerado dentro do respectivo grupo. Outro ponto a ser visto no fim do estudo é a perda de seguimento (lost of follow up), ou seja, o percentual de participantes que em cada grupo não completaram o estudo. Não existe um “número mágico” pois até mesmo uma perda de seguimento de 2% (1% em cada grupo) pode ser considerada relevante. Principalmente se a diferença absoluta na taxa de eventos entre os grupos for pequena, tipo menor do que 1%. Para essa checagem deve-se realizar uma análise de sensibilidade, na qual se recalcula a diferença na taxa de eventos entre os grupos, em cenários simulados.
Em um cenário considera-se que, dentro de um dos grupos, todos os sem seguimento sofreram o desfecho, já no outro grupo, considera-se que nenhum dos sem seguimento sofreu qualquer desfecho e então recalcula-se os resultados. Em outro cenário inverte-se essa atribuição de desfechos e novamente recalcula-se os resultados. Por último, no fim do estudo devemos ver se houve interrupção precoce do estudo por benefício, ou seja, antes do prazo inicialmente estipulado no protocolo do estudo. Em estudos clínicos é importante realizar análises interinas, em intervalos predeterminados ao longo do estudo. Tais análises consistem na checagem da taxa de eventos/desfechos em cada grupo do estudo durante o mesmo. O objetivo é ver se a intervenção testada, que supostamente deveria ter efeito benéfico, não está causando malefício.
Caso a taxa de eventos indesejáveis esteja muito alta no grupo submetido a intervenção testada, acima do que é considerado aceitável, deve-se por questões éticas interromper o estudo, assumindo que a intervenção causa mais dano do que benefício. Agora, se numa análise interina observa-se que no grupo da intervenção há uma taxa de desfechos muito menor do que aquela observada no grupo controle, não se deve assumir que a intervenção é benéfica e interromper o estudo antes do tempo, pois tal diferença pode ser fruto do acaso, simplesmente pelo pequeno número de eventos. Estudos terminados precocemente por benefício tendem a magnificar e superestimar o efeito real das intervenções testadas, o qual pode inclusive não existir, quando comparados a estudos que são finalizados conforme o seu planejamento inicial.
Assim como se faz para estudos randomizados, a análise da validade metodológica de outros tipos de estudos individuais também segue essa sequência (início, meio e fim). Já para as revisões sistemáticas e para os guidelines podemos utilizar critérios e/ou instrumentos específicos com essa finalidade.
Leia também: Inteligência artificial na medicina baseada em evidências: como é?
Recentemente, o próprio Gordon Guyatt declarou, ao contrário do que preconizou nas últimas três décadas, que clínicos praticantes da MBE não têm a necessidade de rotineiramente fazer análises críticas de evidências que informam as suas decisões. Isso devido ao fato de que é crescente o número fontes de evidências já analisadas criticamente. Mesmo assim é importante que essas habilidades continuem fazendo parte do currículo da MBE, pois deve-se saber se esse trabalho foi bem realizado quando utilizamos essas fontes. Nas próximas semanas trarei exemplos práticos da análise crítica da validade de um estudo clínico randomizado. Fique também à vontade para enviar sugestões de evidências para a demonstração dessas análises.
Referências bibliográficas:
- Guyatt, G., Rennie, D., Meade, M.O. & Cook, D.J. (2014). Users’ Guides to the Medical Literature: A Manual for Evidence Based Clinical Practice. 3rd edn. New York: McGraw-Hill. https://jamaevidence.mhmedical.com/Book.aspx?bookId=847
- Murad MH, Montori VM, Ioannidis JP, et al. How to read a systematic review and meta-analysis and apply the results to patient care: users’ guides to the medical literature. JAMA. 2014;312(2):171-179. doi: 10.1001/jama.2014.5559
- Tikkinen KAO, Guyatt GH. Understanding of research results, evidence summaries and their applicability-not critical appraisal-are core skills of medical curriculum. BMJ Evid Based Med. 2021;26(5):231-233. doi: 10.1136/bmjebm-2020-111542
- Bassler D, Briel M, Montori VM, et al. Stopping randomized trials early for benefit and estimation of treatment effects: systematic review and meta-regression analysis. JAMA. 2010;303(12):1180-1187. doi: 10.1001/jama.2010.310
7 set. 2022 
2 min. 
