A impressão que eu tenho é que a sociedade, em geral, não entende que o consumo de qualquer objeto ou serviço seguro e sem risco para o seu bem-estar e saúde deve ser testado em experimentos confiáveis.
A impressão que eu tenho é que a sociedade, em geral, não entende que o consumo de qualquer objeto ou serviço seguro e sem risco para o seu bem-estar e saúde deve ser testado em experimentos confiáveis. Por exemplo, medicamento, transporte, rodovia, moradia, comida, lazer, cultura, educação. E estes tais experimentos têm fundamentos em bases científicas!
Mas o que é um experimento confiável? Um medicamento testado em noventa pessoas contaminadas com um vírus é mesmo eficiente e confiável para curar a maior parte dos 7,8 bilhões de habitantes no mundo adoecidas por este vírus? Qual é a quantidade mínima necessária de pessoas adoecidas para que nelas seja testada a confiabilidade de um medicamento? Quantas vezes os testes de impactos frontal e lateral devem ser repetidos e quantas metodologias devem ser aplicadas para que um automóvel se prove seguro para proteger o motorista em acidente de trânsito? Quantas vezes? Em qual dosagem (quantidade)? Em que tamanho de área (escala espacial)? Em qual intervalo de tempo (escala temporal) um herbicida deve ser testado para ser provado minimamente seguro para a comunidade, para a fauna e para a flora que serão expostos a este agrotóxico?
Para todas estas perguntas existem respostas encontradas por pesquisadores da medicina, das engenharias, da ecologia, da filosofia, de todas as áreas do conhecimento! Mas em quais princípios estes pesquisadores se baseiam? E como sabemos se estes princípios norteiam ou direcionam uma resposta segura que possa evitar tragédias, mortes, prejuízos financeiros?
Para nos ajudar a responder tantas perguntas básicas, nós entrevistamos aqui o Jovem Professor da Universidade Federal da Bahia – UFBA, Dr. Pavel Dodonov. Este Professor tem larga experiência no ensino, na pesquisa e na extensão envolvendo muitas análises estatísticas. As pesquisas que este Professor conduz, orienta e participa como coautor estão publicadas em revistas internacionais de alto impacto, segundo a comunidade científica.
Então vamos às perguntas:
1. Professor Pavel, é nosso prazer tê-lo conosco aqui neste espaço do Instituto Sucupira, cedido por esta renomada revista Sacada. Antes de falarmos um pouco sobre pesquisas e suas ferramentas para validar as ciências, Professor Pavel, nós gostaríamos que você contasse-nos sobre o seu trabalho como pesquisador. O que um pesquisador faz?
Muito obrigado pelo convite! É um prazer colaborar um pouquinho com esta revista. O que um pesquisador faz… Muitas coisas! Eu poderia responder que uma pesquisador ou uma pesquisadora faz pesquisas, mas essa seria uma resposta circular e incompleta. Inclusive porque não basta fazer uma pesquisa – é preciso comunicar seus resultados, tanto para seus pares (outras e outros cientistas) quanto, se for apropriado, para a comunidade em geral – e isso envolve habilidades por vezes diferentes das habilidades necessárias para fazer uma pesquisa. Cientistas (eu pessoalmente prefiro falar “cientistas” ao invés de “pesquisadoras/es”) também frequentemente trabalham com ensino, repassando conhecimentos e buscando estimular o aprendizado no ensino superior e também em outras esferas do ensino, formal e informal.
Mas, pensando mais na parte da pesquisa… Fazer uma pesquisa científica envolve pensar em uma pergunta interessante e relevante – pergunta esta que pode ser uma demanda da sociedade, mas também pode partir da curiosidade da/o cientista; estudar o que já se sabe a respeito, para não reinventar a roda ou não chover no molhado (a não ser que se perceba que seja uma roda que precise de fato ser reinventada!); pensar em como essa pergunta poderia ser respondida; coletar dados; analisar estes dados; interpretar os resultados das análises; e divulgar os resultados da pesquisa. Ou seja, muitas etapas.
E nenhuma dessas etapas é trivial. Não é fácil pensar em uma pergunta ao mesmo tempo interessante, relevante, e que possa ser respondida no tempo disponível e com os recursos disponíveis. Também não é fácil pensar em uma forma de responder essa pergunta. Por exemplo, se queremos avaliar os efeitos de um remédio sobre alguma doença, como podemos quantificar estes efeitos? Como incluir na pesquisa os efeitos colaterais? Como garantir que os resultados de fato sejam representativos e confiáveis? Isso envolve pensar em quais características das pessoas avaliadas devem ser incluídas na pesquisa – características como gênero, idade, condições prévias de saúde, condições socioeconômicas… Eu diria que essa etapa – de pensar em como responder a pergunta da forma mais confiável possível – é parte crucial de uma pesquisa, porque caso os dados não tenham sido coletados de uma forma válida, os resultados do estudo não serão confiáveis. E depois vem a parte de analisar os dados, interpretar os resultados… E finalmente comunicar os resultados à comunidade acadêmica e à comunidade em geral.
Então talvez eu possa dizer que o que cientistas fazem é responder perguntas – mas responder essas perguntas de uma forma que a resposta possa ser considerada confiável e que a sua validade ou confiabilidade possa ter testada e conferida por outras pessoas.
2. Você poderia definir o que é estatística? Por que os cientistas usam a estatística?
Definir algo é sempre meio difícil… Eu gosto de dizer que estatística é uma ciência, e também uma ferramenta, que usa teorias probabilísticas – ou seja, teorias relacionadas à probabilidade de diferentes eventos ocorrerem – para explicar a ocorrência de tais eventos. Podemos usar a estatística simplesmente para descrever os padrões de forma mais informativa: por exemplo, se medimos a quantidade de carbono estocada em cinquenta árvores e queremos apresentar estes resultados a uma proprietária de terra, talvez apresentar os valores de cada árvore individualmente se torne enfadonho e nada informativo. Ao invés disso, podemos usar estatística descritiva e falar quanto carbono tem estocado em cada árvore, em média, e também o quanto isso varia entre árvores. Assim, apresentamos os resultados de forma mais informativa e direta.
E nós também podemos querer avaliar o quanto carbono haverá estocado na floresta como um todo, sendo que não temos recursos para avaliar todas as árvores (afinal, são muitas árvores). Deste modo, ferramentas da estatística inferencial nos permitem inferir quanto carbono há estocado na floresta inteira, com base nos dados das cinquenta árvores que avaliamos. É claro que essa inferência, ou estimativa, apresentará alguma incerteza, pois estamos inferindo valores que não medimos. A estatística nos permite quantificar essa incerteza e assim podemos avaliar quão confiável é a nossa resposta.
Nestes termos, quando trabalhamos com aspectos do mundo real nos quais há algum grau de incerteza na resposta – portanto, a grande maioria das questões de ecologia, medicina, economia, sociologia e tantas outras áreas – precisamos da estatística para lidar com essa incerteza e chegar a conclusões robustas. Sem a estatística, não poderíamos, por exemplo, separar o efeito de uma intervenção da variação aleatória subjacente, que não diz respeito ao efeito no qual temos interesse.
De modo que eu acredito que não são apenas cientistas que precisam ter um conhecimento da estatística. Sem este conhecimento, fica difícil, por exemplo, avaliar a qualidade de um estudo ou avaliar a pertinência de uma conclusão. Assim, afirmações do tipo “tal pessoa tomou tal remédio e está bem” não permitem tirar conclusões confiáveis, pois a pessoa poderia estar bem (ou até melhor) se não tivesse tomado o remédio. Conclusões confiáveis exigem estudos bem planejados cujos dados tenham sido analisados de uma forma válida.
3. Professor, nos tempos da covid-19, claramente uma virose proveniente de desequilíbrio ecológico, nós temos assistido muitas polêmicas acerca do modo como foram verificadas a eficiência de determinados medicamentos para curar esta virose, por exemplo. Neste caso específico, a definição do tamanho da amostra foi largamente questionada pela comunidade científica médica. Poderia falar sobre isto?
A definição do tamanho amostral e as características da amostra estudada é uma parte muito importante em qualquer estudo. Podemos fazer uma analogia com uma pesquisa eleitoral. Em uma pesquisa eleitoral, é logisticamente inviável entrevistar todas as pessoas que votam em uma dada região. A única possibilidade é entrevistar um grupo de pessoas e, a partir este grupo, extrapolar para todas as pessoas que votam (o nosso universo amostral). Será que uma pesquisa eleitoral com, digamos, cem pessoas traria resultados confiáveis? Bom, se for uma cidade bem pequena, talvez sim; se o universo amostral for uma cidade grande, provavelmente não.
A definição do tamanho amostral depende de vários fatores, como a pergunta científica, o universo amostral, a variação que existe entre as pessoas, quão forte é o efeito estudado. Por exemplo, se 90% da população de uma cidade tiver a intenção de votar em um certo candidato, essa preferência poderá ser detectada em um estudo com tamanho amostral menor do que se a preferência de voto for mais distribuída entre os candidatos, com 55% pretendendo votar em um e 45% em outro.
Além disso, dependendo das características da amostra, os resultados não poderão ser generalizados. Usando novamente o exemplo da pesquisa eleitoral: digamos que a pesquisa eleitoral foi feita entrevistando aleatoriamente pessoas que frequentam um Centro Comercial De Coisas Muito Caras. Provavelmente os resultados desta pesquisa não serão generalizáveis à população daquela cidade, boa parte da qual talvez frequente feiras e lugares de preços mais acessíveis. Assim, a pesquisa deve abranger os diferentes grupos que fazem parte do universo amostral.
Isso se aplica também a testes clínicos. Um estudo com poucas pessoas pode dar indícios de algo, mas não pode fornecer resultados robustos. Caso haja esses indícios, estudos mais detalhados, com tamanho amostral maior, podem ser feitos. E é também importante levar em conta outras características das pessoas estudadas, que podem interferir no resultado e também limitar o grau de generalização possível nesta pesquisa.
4. Quais os cuidados básicos (além do tamanho da amostragem) que um pesquisador deve ter para conduzir uma pesquisa segura?
Eu diria que os principais são: definir bem como operacionalizar a pergunta da pesquisa e tomar as precauções necessárias para evitar viéses. E eu imagino que essa frase talvez tenha soado grego, ou talvez klingon, para quem está lendo, então vou explicar melhor.
Operacionalizar significa transformar uma pergunta abstrata em algo que pode ser medido ou categorizado. Digamos que queremos saber como o desmatamento afeta a biodiversidade de insetos. Como quantificar desmatamento? Podemos, por exemplo, avaliar a quantidade de vegetação florestal que existe em uma dada região: quanto menos floresta existe, mais a região foi desmatada. Em áreas originalmente ocupadas por vegetação florestal isso seria uma boa medida; mas em áreas em que a vegetação florestal naturalmente se alterna com outros tipos de vegetação, por exemplo em áreas de cerrado ou de restinga, talvez essa medida não represente bem o desmatamento, porque algumas áreas podem ter naturalmente menos floresta. Além disso, é importante deixar claro o que se considera floresta: uma plantação de eucalipto seria considerada uma floresta neste estudo? E uma floresta nativa que sofreu corte seletivo? E uma agrofloresta?
Similarmente, como quantificar a biodiversidade de insetos? Podemos trabalhar com o número de espécies coletadas em armadilhas de queda (pitfalls) – mas isso não irá representar a biodiversidade de insetos que voam. Podemos trabalhar com número de gêneros ou de famílias, ao invés do número de espécies. Podemos trabalhar com a diversidade de funções ecológicas que tais insetos desempenham. E assim por diante.
De modo que existem diversas formas de operacionalizar uma pergunta, e é importante que ela seja bem pensada. Caso contrário, corremos o risco de “responder corretamente a pergunta errada” e o nosso resultado não estar respondendo de fato a nossa pergunta científica.
O segundo cuidado importante é evitar introduzir viés no nosso estudo. Isso pode acontecer quando as unidades amostrais não são definidas de forma apropriada – o exemplo da pesquisa eleitoral no Centro Comercial De Coisas Muito Caras acima seria um exemplo de viés. As diretrizes gerais seriam aleatorizar as unidades amostrais – ao invés de escolher quais pessoas serão entrevistas ou onde as armadilhas de queda serão colocadas, isso deve ser definido ao acaso; procurar ter uma amostra representativa, que abranja os diferentes subgrupos da população estudada; e lidar com os possíveis fatores de confusão e outras fontes de variação. Isso inclui ter o que é chamado de grupo-controle: se estamos avaliando o efeito de um remédio, é importante ter um grupo-controle que não tenha recebido aquele remédio, para servir de comparação; se estamos avaliando o efeito de queimadas sobre a biodiversidade, é interessante, se possível, ter áreas que não foram queimadas para servir de comparação.
E os fatores de confusão seriam, digamos, coisas cujo efeito se confunde com o efeito de interesse. Por exemplo, será que foi o efeito do remédio, ou será que foi o efeito placebo, provocado pelo fato da pessoa achar que tomou o remédio? Para isso, seria importante que o grupo-controle tome, por exemplo, pílulas que se pareçam com o remédio mas não tenham qualquer efeito fisiológico. Ou, digamos que estamos estudando como a injeção de um hormônio afeta o comportamento de um animal em cativeiro, e percebemos que animais que receberam a injeção se tornaram mais agitados. Neste caso, será que foi o hormônio que causou isso, ou será que foi o estresse provocado pelo manuseio e pela agulha? Neste caso, o os animais-controle poderiam receber, por exemplo, uma injeção de solução salina, que tenha o mesmo efeito do manuseio mas não tenha os efeitos fisiológicos do hormônio.
5. Houve casos de morte mesmo em pessoas que tomaram as duas doses da vacina contra a covid-19. Com estes casos de morte podemos afirmar que a estatística que testou e comprovou a eficiência da vacina falhou?
Só poderíamos afirmar isso se fosse dito que a vacina funciona 100% das vezes, e me parece que tal afirmação nunca é feita. Se os estudos mostram, por exemplo, que uma vacina funciona 99% das vezes, ainda vai haver situações em que ela não irá funcionar. A estatística mostra o que vai acontecer com a maior parte dos indivíduos, mas sempre podem haver exceções. Então esses casos não mostram que a estatística falhou; além disso, é importante levar em conta que o conhecimento científico é algo dinâmico, e não algo dogmático e imutável. Um estudo pode ter mostrado que a vacina funciona 99% das vezes, mas à medida que novos dados são coletados, este valor pode ser atualizado.
Isso diz respeito também à tomada de decisão baseada em evidência. Um estudo pode indicar que deve ser tomada uma certa atitude para prevenir a disseminação de uma doença; mas posteriormente, outros estudos podem indicar que a melhor atitude é diferente. Neste caso, os protocolos devem ser atualizados à medida que novos dados são coletados e novos resultados se tornam disponíveis.
Soraya Carvalhedo Honorato*
Diretora-Executiva do Instituto Sucupira de apoio à Pesquisa e Ensino em Ecologia e Agricultura: serviços ecossistêmicos.
Empreendedora Rural na Fazenda Sucupira.
Engenheira Florestal, Universidade Federal de Viçosa – UFV.
Mestre em Ciências Ambientais, Universidade Estadual de Santa Cruz – UESC
Doutoranda em Ecologia: Teoria, Aplicação e Valores, Universidade Federal da Bahia – UFBA.
Membro do Laboratório de Ecologia Aplicada à Conservação – LEAC/UESC
Aperfeiçoamento no Land Policy for Sustainable Rural Development, International Center for Land Policy Studies and Training, Taiwan, República da China.
