Introdução

Organizações de vários setores estão a acelerar a adoção da inteligência artificial, muitas vezes impulsionadas pela pressão competitiva e pela promessa de ganhos de eficiência. Neste processo, a velocidade tornou-se um objetivo para muitas administrações: um impulso para implementar rapidamente capacidades de IA, integrá-las nos fluxos de trabalho empresariais e demonstrar valor imediato, mais frequentemente focado no retorno imediato do investimento e não na identificação completa de novos casos de uso usando IA, mas sim na adaptação dos processos atuais.

Esta urgência frequentemente tem um custo. Quadros de governação, políticas, controlos e estruturas de responsabilização que garantem que a IA é usada de forma responsável são frequentemente subdesenvolvidos ou tratados como preocupações secundárias. O resultado é um número crescente de iniciativas de IA que falham, não devido a limitações tecnológicas, mas devido a uma propriedade pouco clara, riscos não geridos e falta de supervisão.

Casos públicos recentes ilustram o quão prejudicial pode ser esta diferença. A Amazon, por exemplo, foi forçada a abandonar um sistema de recrutamento baseado em IA depois de se ter verificado que este prejudicava sistematicamente as candidatas do sexo feminino. A falha não foi causada por falhas técnicas avançadas, mas sim por má governação: dados de treino enviesados, ausência de auditoria por viés e supervisão humana insuficiente. De forma semelhante, nos Países Baixos, um algoritmo governamental usado para detetar fraude nos benefícios infantis acusou injustamente dezenas de milhares de famílias, desproporcionalmente aquelas com origens imigrantes, causando graves danos financeiros e sociais e, em última análise, à demissão do governo holandês. Em ambos os casos, a IA operou sem transparência adequada, responsabilização e salvaguardas de governação.

Esta tensão é particularmente visível nos sistemas de Gestão de Relacionamento com o Cliente (CRM), onde a IA influencia diretamente as interações com os clientes, as decisões de vendas e os resultados de receita. Nesses contextos, a rapidez sem governação não é apenas ineficiente, pode ser arriscada.

A Lacuna de Governação nos Sistemas CRM com AI

As plataformas CRM tornaram-se um ponto central para a adoção da IA dentro das organizações. Desde a pontuação de leads e a priorização de oportunidades até à comunicação automatizada com os clientes, a IA está profundamente enraizada na forma como as empresas gerem as relações com os clientes. Muitas vezes, com a melhoria do apoio ao cliente como primeiro caso de uso escolhido.

No entanto, muitas implementações ignoram um princípio fundamental: a governação da IA não é opcional. Deve operar em múltiplas camadas.

A nível estratégico, as organizações precisam de políticas claras que definam o que a IA pode fazer, quem é responsável pelos seus resultados e como o risco é classificado. Sem isto, os sistemas de IA operam num vácuo, sem limites claros ou propriedade. O caso do recrutamento da Amazon é um exemplo claro do que acontece quando falta supervisão estratégica: um sistema de IA no qual foi confiado a capacidade de tomar decisões de alto impacto sem responsabilidade definida pela justiça ou pelos resultados.

Ao nível da governação dos dados, os sistemas CRM devem garantir o tratamento adequado dos dados dos clientes, rastreando a sua origem, aplicando regulamentos de privacidade como o RGPD e limitando a forma como os dados são usados nos modelos de IA. Uma má governação de dados traduz-se diretamente em riscos de conformidade e reputação, como se viu no caso dos Países Baixos, onde atributos sensíveis foram efetivamente usados como indicadores de risco sem justificação legal ou ética.

Ao nível da governação dos modelos, as organizações devem compreender como os modelos de IA se comportam. Isto inclui transparência, explicabilidade, consciência de viés e controlo de versões. Em contextos de CRM, onde a IA pode influenciar preços, priorização ou tratamento ao cliente, a falta de supervisão pode levar a discriminação não intencional ou a decisões erradas que são difíceis de detetar e defender.

Finalmente, ao nível operacional, as organizações precisam de controlos em tempo de execução: registar as interações com IA, restringir acessos, implementar guardas e definir mecanismos de resposta a incidentes. Sem estas, as questões não podem ser detetadas ou geridas eficazmente e, como demonstram os escândalos públicos, pequenas lacunas de governação podem transformar-se em falhas sistémicas.

Um ponto crítico frequentemente mal interpretado é que as plataformas CRM não substituem a governação, apenas a possibilitam.

Salesforce como Exemplo: Capacidades de Governação Integradas

Plataformas CRM modernas, como a Salesforce, fizeram progressos significativos na incorporação direta dos mecanismos de governação da IA na sua arquitetura.

Um dos componentes mais importantes é a Camada de Confiança de Einstein, que introduz salvaguardas como mascaramento de dados, políticas de retenção zero com fornecedores externos de modelos e isolamento de organizações. Estas funcionalidades são essenciais para manter a privacidade e confidencialidade dos dados.

O Salesforce também fornece governação de prompts e configuração, permitindo às organizações centralizar e controlar como os prompts de IA são concebidos e implementados. Isto reduz o risco de comportamentos inconsistentes ou pouco fiáveis da IA.

Através do controlo de acesso baseado em papéis (sigla em inglês RBAC ), as organizações podem definir quem pode usar funcionalidades de IA e que dados essas funcionalidades podem aceder, ajudando a prevenir o uso descontrolado ou "sombra" de IA dentro do CRM.

Além disso, o Salesforce suporta explicabilidade para funcionalidades essenciais impulsionadas por IA, como pontuação de leads e insights de oportunidades. Os utilizadores conseguem compreender porque são feitas certas recomendações, o que é fundamental para a confiança e o cumprimento regulatório, especialmente à luz das lições aprendidas com sistemas opacos como o modelo holandês de deteção de fraude.

A plataforma inclui também capacidades de auditoria e registo, permitindo às organizações acompanhar interações com IA e investigar problemas quando surgem.

Importa referir que a Salesforce AI foi concebida para poder assistir mais do que ser totalmente autónoma (embora o possa ser), incorporando mecanismos de controlo human in the loop. Os utilizadores devem rever e confirmar os resultados gerados por IA, alinhando-se com as expectativas regulatórias emergentes em relação à supervisão humana.

Onde as Organizações Continuam a Falhar: Governação Para Além da Plataforma

Apesar destas capacidades incorporadas, surge um padrão comum de falhas: as organizações assumem que os controlos ao nível da plataforma são suficientes. Não são.

A Salesforce não define, nem pode, definir se um caso de uso de IA é apropriado. Não classifica os níveis de risco, não impõe limites éticos nem determina a aceitabilidade legal. Estas responsabilidades permanecem com a organização. Tanto o caso da Amazon como o dos Países Baixos demonstram que mesmo sistemas de IA bem-intencionados podem causar danos quando as decisões de governação são implicitamente delegadas à tecnologia.

Por exemplo, as decisões sobre se a IA pode ser usada para preços dinâmicos, perfil comportamental ou segmentação de clientes devem ser reguladas externamente por equipas jurídicas, de risco e de conformidade.

De forma semelhante, políticas de IA a nível empresarial, como, o que os colaboradores podem inserir nos sistemas de IA ou como os clientes devem ser informados, devem ser definidas fora do CRM.

Os riscos de preconceito e discriminação são outra lacuna crítica. Embora o Salesforce possa fornecer informações sobre o comportamento dos modelos, não avalia se os resultados são justos entre diferentes grupos de clientes. A monitorização contínua e a responsabilização devem ser estabelecidas internamente para evitar a repetição de falhas bem documentadas noutros domínios.

A gestão de incidentes também é frequentemente negligenciada. Embora a plataforma forneça registos, não define o que constitui um incidente de IA, como deve ser escalado ou quando reguladores ou clientes devem ser notificados.

Por fim, as organizações continuam a ser totalmente responsáveis pela responsabilização do modelo e pela defesa legal. Devem manter documentação, avaliações de risco e registos de aprovação para justificar o uso da IA nos processos de CRM.

Conclusão

A pressão para uma adoção rápida da IA é compreensível, especialmente em domínios competitivos e centrados no cliente, como o CRM. No entanto, a rapidez sem governação é uma vantagem de curta duração que frequentemente conduz ao fracasso de projetos, exposição regulatória ou perda de confiança — como demonstrado por vários escândalos públicos de IA de grande destaque.

Plataformas como a Salesforce demonstram que controlos técnicos sólidos para a governação da IA são alcançáveis e cada vez mais maduros. No entanto, também destacam uma realidade crucial: a governação não é uma funcionalidade que se possa comprar,  é uma responsabilidade que deve ser desenhada, detida e aplicada pela organização.

A adoção bem-sucedida da IA em sistemas CRM depende do alinhamento de ambas as dimensões. A tecnologia pode permitir o controlo, mas só a governação pode garantir que a IA seja usada de forma responsável, sustentável e eficaz.