Home  >  Plataformas

Watson Health, da IBM, está cumprindo sua promessa?

Divisão tem recebido críticas por não cumprir seu papel, mas empresa se defende

Lucas Mearian | Computerworld EUA

18/11/2018 às 10h05

Mayo Clinic/IBM Watson
Foto: Shutterstock

Nas últimas semanas, a IBM mudou de liderança do Watson Health - divisão de computação cognitiva Watson focada no setor da saúde - e anunciou uma nova estratégia de negócios para implantação que se baseia em uma nuvem híbrida, não mais somente em um modelo de nuvem pública ou privada.

No ano passado, 0 Watson Health - particularmente o Watson for Oncology - foi criticado por ter desempenho inferior às expectativas. Laura Craft, vice-presidente de pesquisa do setor de estratégia de saúde do Gartner, disse que a divisão de computação cognitiva da IBM não se saiu bem nos últimos resultados do terceiro trimestre, "e isso foi impulsionado em grande parte pelo componente de assistência médica".

Ela também apontou as recentes mudanças na liderança como indicativas de problemas internos.

Em julho, o portal de notícias de saúde Stat publicou um relatório afirmando que "documentos internos da IBM" mostravam que o supercomputador Watson frequentemente falava sobre câncer de forma equivocada.

Relatos de problemas e defesa da IBM

O conselho de tratamento e os especialistas e clientes médicos da empresa identificaram "vários exemplos de recomendações de tratamento inseguras e incorretas", mesmo quando a IBM estava promovendo sua tecnologia de inteligência artificial (AI).

A publicação citou vários slides que obteve de uma apresentação feita pelo vice-diretor de saúde do IBM Watson Health em 2016. Os slides culparam principalmente os problemas no treinamento de Watson por engenheiros e médicos da IBM no Memorial Sloan Kettering Cancer Center (MSKCC).

Separadamente, um artigo do jornal Wall Street Journal afirmou que o Watson Health não havia feito progresso em levar a AI à saúde.

Em agosto, John Kelly (então vice-presidente sênior de Soluções e Pesquisas Cognitivas da IBM) respondeu em um blog sobre os relatórios. "É verdade, como o artigo relata, que nós da IBM fizemos uma grande aposta na área de saúde. Fizemos isso por dois motivos: 1) Mais importante, sabemos que AI pode fazer uma grande diferença na solução de desafios médicos e no apoio ao trabalho do setor de saúde, e 2) vemos uma enorme oportunidade de negócio nessa área, conforme a adoção de AI aumenta", escreveu ele.

"Sugerir que não houve benefício para os pacientes é ignorar o que sabemos que o The Wall Street Journal ouviu de vários médicos do mundo e dos próprios comentários públicos dessas instituições - que acreditamos que falam por si mesmos", comenta o especialista.

Kelly apontou cinco centros de saúde e o Departamento de Assuntos de Veteranos dos Estados Unidos, que ofereceram depoimentos de médicos sobre como o Watson para Oncologia, o Watson para Ensaios Clínicos e o Watson para Genômica reduziram o tempo e o esforço do médico, aumentaram os participantes de estudos clínicos ou aumentaram maciçamente o volume de dados de pesquisa disponível para o motor de AI.

Perguntado se o Watson for Oncology da IBM transmitiu conselhos errados sobre tratamento de câncer, Ed Barbini, vice-presidente de relações externas da IBM, negou categoricamente a acusação.

Enquanto a IBM enfrenta uma queda geral no faturamento, e seus lucros divulgados recentemente no terceiro trimestre mostraram que a receita com ofertas cognitivas caiu 6% em relação ao ano passado, o Watson Health registrou crescimento, de acordo com Barbini. Ele observou que a IBM não libera números específicos para o Watson Health por "razões competitivas".

O executivo admitiu que desenvolver o Watson Health e, especificamente o Watson for Oncology, não é uma tarefa fácil, mas continua sendo importante.

"É por isso que a IBM mergulhou nisso há três anos. Você realmente acha que a oncologia seria dominada em três anos? No entanto, vamos olhar para os fatos. Mais de 230 hospitais estão usando uma de nossas ferramentas de oncologia. Tivemos 11 atualizações (de software) no ano passado e dobramos o número de pacientes que alcançamos para mais de 100 mil até o final do terceiro trimestre deste ano”, afirmou Barbini.

No início deste mês, a chefe do Watson Health nos últimos três anos, Deborah DiSanzo, renunciou e Kelly assumiu. Deborah continua a trabalhar com a equipe de estratégia da IBM Cognitive Solutions, de acordo com um porta-voz da empresa.

A IBM tem sido a mais agressiva entre as empresas de tecnologia que usam a AI em apoio à medicina baseada em evidências para a saúde. Mas problemas recentes levaram à perda de alguns de seus maiores clientes hospitalares.

Laura disse que a unidade de Watson para Oncologia está sendo citada frequentemente pela "má imprensa". Ela acredita que é porque o departamento de marketing da IBM prometeu algo que eles não poderiam entregar. O Watson Health deveria ter permanecido em um estágio de incubadora por muito mais tempo, para que mais dados pudessem ser compartilhados, permitindo melhores opções de tratamento de medicina baseada em evidências.

A "linha partidária" da IBM tem sido negar os relatórios e publicar depoimentos de parceiros de desenvolvimento selecionados e clientes.

"Acho que, se eu entendi a visão da IBM, foi para realmente avançar para a medicina personalizada. A ambição era chegar ao estado onde eles podem direcionar e correlacionar terapias e drogas para o que o paciente responder melhor. Acredito que, do ponto de vista da pesquisa médica, eles chegarão lá dentro de 10 ou 15 anos, quando tiverem dados melhores, mais consistentes do mundo real - todas as coisas que eu não acho que o Watson tenha o benefício de hoje", diz Laura.

Como resultado, a IBM falhou em entregar os recursos que comercializava para provedores de serviços de saúde. "Eles desapontaram os clientes e certamente criaram ceticismo em torno da integridade de seus produtos mais avançados", completa ela.

Não é a tecnologia, é a hora

A tecnologia de inteligência artificial do Watson não é o problema, segundo a especialista.  Mas simplesmente não teve tempo ou dados de qualidade suficientes para se tornar o mecanismo de medicina personalizado que a IBM lançou.

Cynthia Burghard, diretora de pesquisa do IDC para Estratégias de Transformação de TI de Cuidados de Saúde Baseados em Valor, disse que a IBM "atirou no pé", optando por mirar o Watson em algo tão complexo quanto o da assistência médica.

"Parte dos desafios do Watson for Health é que eles eram muito agressivos com o marketing, o que é uma espécie de traço da IBM. E então veio entregá-la e eles escolheram a oncologia, eles escolheram a genômica - muito difícil de quebrar" explicou Cynthia.

A IBM esperava oferecer o Watson como um produto de software onde os oncologistas poderiam simplesmente conectar os dados dos pacientes e receberiam recomendações para o tratamento. "Essa é a versão comercial do Watson Health que eles estavam esperando, mas isso não foi realizado", disse ela.

tonny_martins_ibm.jpg

Em vez disso, a IBM teve que trabalhar com os clientes do hospital para garantir que o Watson funcione corretamente. “Para que seja comercial, a IBM não deve colocar as mãos nos dados. Eles não devem ter analistas lá construindo modelos para os clientes. Isso deve estar disponível para o cliente", frisa Cynthia.

Outro problema é que o Watson foi treinado usando dados do parceiro de desenvolvimento da IBM MSKCC. Como o sistema foi treinado usando os dados do sistema hospitalar, seus resultados de consulta tendem a ser tendenciosos em relação aos tratamentos de câncer da instituição e não são tão abrangentes quanto os dados de outros hospitais, como a Clínica Mayo ou outras instalações menores.

Enquanto isso pode funcionar para cânceres simples, cujos tratamentos são relativamente genéricos, os cânceres complexos são tratados de forma diferente em várias instalações. E os hospitais menores podem nem ter acesso às mesmas opções de tratamento que suas contrapartes regionais maiores.

Por causa de seu fracasso em produzir os resultados prometidos, a IBM perdeu ímpeto e "há tanto ceticismo que a menos que eles tenham uma bala de prata atrás da cortina, eu acho que só vai se ligar até que os acionistas digam que eles tiveram o suficiente”, alerta Cynthia.

Problemas iniciais

Em 2012, um dos primeiros pilotos do Watson for Oncology aconteceu com o M.D. Anderson Cancer Center na Universidade do Texas. O hospital usou o supercomputador para agilizar a tomada de decisões clínicas, combinando pacientes com câncer com testes clínicos para melhorar os resultados "em todo o mundo". Com um custo final de US$ 62 milhões, o Oncology Expert Adviso (OEA), patrocinado pelo Watson, nunca decolou e foi interrompido depois que uma auditoria externa foi solicitada pela universidade.

O escopo inicial do desenvolvimento do sistema da OEA era para a leucemia MDS, mas foi ampliado em fevereiro de 2013 para incluir cinco tipos adicionais de leucemia e, em dezembro de 2014, o câncer de pulmão.

A auditoria revelou que o sistema Watson Oncology não pôde se integrar ao sistema de registros médicos eletrônicos (EMR) EPIC do Anderson Cancer Centers, de modo que pilotos internos da OEA para leucemia e câncer de pulmão foram conduzidos utilizando o sistema de registros médicos prévios (ClinicStation).

O Centro de Câncer e o IBM Watson encerraram o desenvolvimento ativo em 2015. E a IBM finalizou o suporte para o OEA Pilot System e para o OEA Demo System em 1º de setembro de 2016. O sistema não está em uso clínico e não foi testado fora do MD Anderson, de acordo com a auditoria.

O acordo da IBM no momento em que o projeto foi interrompido disse que o sistema "não está pronto para uso humano experimental ou clínico, e seu uso no tratamento de pacientes é proibido", exceto quando necessário para testar e avaliar o sistema, segundo a Universidade de Auditoria do Texas.

Quando perguntado por que o projeto falhou, o MD Anderson Cancer Center disse que: "enquanto uma variedade de abordagens foram examinadas, uma abordagem final usando [computação cognitiva] para beneficiar pacientes não foi determinada neste momento. MD Anderson está comprometida continuar a explorar como as soluções digitais podem acelerar a tradução de pesquisas para o tratamento avançado de câncer para pacientes".

A Computerworld EUA também entrou em contato com o Memorial Sloan Kettering Cancer Center e com a Clínica Mayo, dois dos principais parceiros de desenvolvimento da IBM no Watson Health, que foram citados como histórias de sucesso para treinar o Watson e usá-lo para testes clínicos.

Iniciado em 2014, o trabalho de Watson na Clínica Mayo foi peneirar milhares de estudos médicos e garantir que mais pacientes sejam combinados de forma precisa e consistente com ensaios clínicos promissores.

Um pedido de comentário da Mayo Clinic sobre a eficácia do Watson não foi retornado. Um porta-voz disse que várias tentativas foram feitas para chegar ao médico encarregado do projeto Watson, mas não tiveram sucesso.

Um porta-voz do Memorial Sloan Kettering Cancer Center fez perguntas à IBM, afirmando que a empresa recebe feedback do Watson Oncology diretamente de seus clientes e, sobre o hospital treinar a inteligência artificial do Watson com seus dados, a resposta foi "não usamos aqui".

Outra clínica promovida desde cedo pela IBM é o Highlands Oncology Group (HOG), que participou de um estudo de viabilidade do IBM Watson para aumentar a eficiência e a precisão da correspondência de testes clínicos. Localizado no nordeste do Arkansas, o HOG tem 15 médicos e 310 funcionários trabalhando em três locais. O piloto da instalação durou 16 semanas e usou dados de 2.620 visitas de pacientes com câncer de pulmão e mama.

Em um teste inicial de pré-triagem, o coordenador de testes clínicos do HOG levou 1 hora e 50 minutos para processar 90 pacientes contra três exames de câncer de mama. Por outro lado, quando a plataforma de comparação de testes clínicos do Watson foi usada, esse trabalho levou 24 minutos. "Isso representa uma redução significativa no tempo de 86 minutos ou 78%", disse HOG em um comunicado.

A Computerworld EUA entrou em contato com a HOG sobre o julgamento do Watson e perguntou especificamente se havia algum problema durante o piloto. O diretor médico do HOG disse que a clínica assinou um acordo de confidencialidade com a IBM e não foi autorizado a fornecer qualquer informação.

"Então, o IBM Watson seria aquele que lhe forneceria as preocupações e bloqueios de estradas em que eles se deparam", escreveu um porta-voz do HOG por e-mail.

O que vem a seguir

Em 2015, a IBM adquiriu a empresa de análise de dados de assistência médica, a Explorys, e a empresa de comunicações de pacientes Phytel, por um valor não revelado. Em 2016, a IBM comprou a Truvan Health Analytics por US$ 2,6 bilhões. Ao concluir todas as três aquisições, a IBM disse ter o Watson Health Cloud abrigando "uma das maiores e mais diversas coleções de dados relacionados à saúde do mundo, representando um agregado de aproximadamente 300 milhões de vidas de pacientes adquiridas de três empresas".

"Todos elas, antes de serem adquiridas, eram empresas de muito sucesso e tinham boas, fortes e leais bases de clientes e estavam se conectando. Acho que a IBM pensou: 'Devemos comprar esses caras e lançar alguma AI e realmente levar o mercado pela tempestade", disse Cynthia. "Tanto quanto eu posso dizer, isso não aconteceu."

Pelo menos uma dessas aquisições, Truvan, foi recentemente citada por Kelly, da IBM, como a chave para transferir dados do provedor de seguros para a plataforma IBM Watson Health, agora que será oferecida por meio de uma nuvem híbrida.

No final de outubro, a IBM anunciou planos para semear seu novo modelo de nuvem híbrida para o Watson movendo primeiro os dados dos sistemas de pagamento de seguros. Para isso, Truvan será fundamental.

"Eles [Truvan] são muito grandes no mercado de pagamentos. Nós processamos as reivindicações do pagador e temos seus registros. Então, quanto custa para um determinado procedimento em um estado ou em um hospital - que é um conjunto de dados muito rico, podemos aplicar AI para reduzir drasticamente o custo”, disse ele.

Quando os dados do pagador forem transferidos para a nuvem híbrida, os registros médicos eletrônicos (EMRs) adquiridos através da aquisição da Explorys seguirão, finalizou Kelly.