Os sistemas de inteligência artificial já fazem parte da realidade de milhões de brasileiros. Em hospitais, organizam filas, fazem triagem, apontam alterações em exames de imagem, transcrevem consultas e auxiliam a decisão clínica. Afinal, vamos confiar num sistema que promete acurácia ou num médico cansado, que precisa olhar uma radiografia de tórax às 3h da manhã e decidir se aquela tosse é um simples resfriado, uma pneumonia ou até um câncer de pulmão?
Mas e quando falham? Quem vamos culpar quando a I.A. definir um nódulo como benigno e meses depois o paciente retornar com um câncer metastático, sem possibilidade de cura? O médico, que confiou no laudo? A instituição que adotou o sistema? A empresa que o vende? Ou o programador que criou a lógica a partir de dados falhos?
A legislação brasileira ainda é falha a respeito do tema. Na área médica, o Conselho Federal de Medicina liberou uma resolução no início deste ano normatizando o uso da I.A. na medicina, deixando a responsabilidade final sobre o médico. Faz sentido, porque a decisão clínica precisa de alguém que a assuma.
O human-in-the-loop, ou seja, manter um humano ativo na decisão, ainda é o preferido pelos mais cautelosos. O sistema processa, calcula, recomenda, mas a palavra final fica sempre com uma pessoa, que pode confirmar ou descartar. O problema é o viés de automação. Diante de um sistema que acerta muito, o humano tende a aceitar sem questionar. É algo parecido com um segurança fazendo revista na entrada de um estádio e, depois de centenas de revistas negativas, começa a deixar os torcedores entrarem de forma desleixada.
Nem as empresas por trás dos principais modelos entendem o passo a passo de como seus sistemas chegam àquelas decisões. Exigir que um radiologista audite linha por linha um modelo de aprendizado profundo seria o mesmo que pedir para ele desmontar e remontar um tomógrafo antes de cada laudo.
Precisamos de um meio-termo entre proibir a tecnologia e usá-la sem freio. Na Europa, as I.As médicas são regulamentadas como produto de alto risco. O Brasil precisa de regras parecidas, discutidas e desenhadas por profissionais de diversas áreas.
O algoritmo deve ser tratado como um estudante de medicina brilhante, mas apressado: ele ajuda muito, às vezes falha, e nunca substitui o médico experiente que conhece o paciente como pessoa. Quando a máquina falha, quem recebe a conta é gente de carne e osso. Já passou da hora de decidir quem mais deveria recebê-la.
* Médico, pesquisador e professor da USP, Aron Hussid Ferreira também é autor de “POTUS.EXE:
Quando a democracia elege um algoritmo”, que reflete sobre os impactos da I.A. no futuro da sociedade
por