Dados, IA e Detecção de Hype
Orientação educacional
Edição pedagógica ampliada: 2026-09-10. Esta página é para pensamento crítico sobre dados e IA, não guia de implantação clínica.
Ao Terminar Este Capítulo
Identificar vazamento, mudança de população e ausência de evidência de utilidade.
Matriz de aprendizagem e lacunas da edição curta
Ideia Central
Dados de câncer podem vir de patologia, imagem, sequenciamento, registros, ensaios, wearables, claims e notas clínicas. Cada fonte tem ausências, vieses, limites de medida e restrições de governança. Sistemas de IA podem ajudar a organizar padrões, mas um modelo não é clinicamente útil só porque pontuou bem em um dataset.
Desconfie de claims que pulam desenho de coorte, validação externa, calibração, desempenho por subgrupo e uso pretendido.
Explicação Passo a Passo
1. Comece pelo uso pretendido e pela unidade
Antes da arquitetura do modelo, defina população, momento da previsão, informação disponível e resultado desejado. Uma imagem, uma amostra e um paciente são unidades diferentes. Vazamento ocorre quando o treino recebe informação que não estaria disponível no uso pretendido, inclusive dados do mesmo paciente no teste ou variáveis produzidas depois do evento. Uma divisão aleatória de linhas não resolve necessariamente isso.
2. Um escore não encerra a avaliação
Discriminação descreve separação entre grupos; calibração compara probabilidades previstas com frequências observadas. Validação externa testa transporte para dados realmente distintos, com população, local ou período relevante. Ainda resta avaliar utilidade clínica, impactos no fluxo, erros, danos e desempenho entre subgrupos. Um modelo pode ter bom ranking e probabilidades erradas; um ranking correto também pode não melhorar nenhum resultado relevante.
3. Calibração com números simples
Imagine 100 previsões hipotéticas de risco de 10%, todas para o mesmo evento e período. Em um modelo bem calibrado, grupos desse tipo tenderiam a apresentar frequência próxima de 10 eventos, com variação amostral. Isso não quer dizer que possamos identificar quais dez pessoas terão o evento. Se a frequência for sistematicamente 30%, as probabilidades estão subestimadas, mesmo que o modelo ordene as pessoas razoavelmente bem. Esse exemplo separa calibração de discriminação. Nenhum desses resultados dispensa validação externa, análise de vieses e vazamento, nem avaliação de utilidade clínica no uso pretendido.
Leitura de apoio: Collins et al. (2024): TRIPOD+AI.
O Conceito em Imagem
Exemplo Comentado
Um classificador fictício prevê diagnóstico usando uma coluna “tratamento iniciado”, preenchida só depois da confirmação. A alta acurácia pode vir de informação do futuro. Remover a coluna é necessário, mas não suficiente: ainda é preciso verificar duplicatas, separação por paciente, viés de seleção e validação externa. Só depois se pode investigar se o uso melhora um fluxo ou resultado clínico.
Vocabulário Essencial
AUC-ROC: área sob a curva que relaciona sensibilidade à taxa de falsos positivos em diferentes limiares. Resume ordenação/discriminação, não acerto das probabilidades previstas ou benefício clínico.
Vazamento: sinal de treino que não existiria no uso real.
Validação externa: teste em ambiente independente.
Calibração: se probabilidades combinam com a realidade.
Uso pretendido: tarefa e contexto exatos.
O Que Isso Não Significa
Demo de IA, preprint ou placar técnico não é evidência de benefício para pacientes.
Lente Builder/Dados
Antes de modelar, documente proveniência, rótulos, endpoints, splits, governança e falhas esperadas.
Verifique Sua Compreensão
AUC alta em um hospital demonstra benefício para pacientes de outro?
Resposta comentada
Não. AUC mede discriminação naquele conjunto. Transporte, calibração, limiares, subgrupos e avaliação de impacto são questões adicionais. Validação externa também não equivale automaticamente a utilidade clínica.
Aprofundamento Opcional
Para auditar uma manchete, escreva: qual tarefa, quais dados, qual comparador, qual incerteza e qual estágio de evidência? Um checklist de relato melhora transparência; não certifica ausência de viés, aprovação regulatória ou benefício clínico.
Aprofunde
Referências
- National Cancer Institute. Cancer Statistics
- U.S. Food and Drug Administration. AI/ML-Enabled Medical Devices