Interpretabilidade: Inteligência Artificial “human-friendly”

7 minutos para ler

Por: Monique Canedo

Utilizar Inteligência Artificial (IA) e Machine Learning (ML) pode ajudar sua empresa a tomar decisões mais objetivas, automatizadas e baseadas em dados; hoje esses modelos são utilizados em recrutamento e seleção, concessão de empréstimos, recomendação de compras, fraudes etc. E justamente por lidar com assuntos e dados pessoais tão delicados, que um aspecto bem subjetivo vem sendo cada vez mais abordado: a responsabilidade da Inteligência Artificial. 
 
O termo “IA responsável” (Responsible AI) envolve os parâmetros potencialmente discriminatórios que um modelo pode utilizar e que devem ser constantemente monitorados – isso porque o algoritmo pode usar questões como gênero, raça, idade ou outros estereótipos que devem ser evitados por questões éticas, legais e regulatórias.

IA do Facebook rotulou homem negro como primata

Fonte: Folha de São Paulo

Confiar que os modelos utilizados estão fazendo as escolhas certas é essencial para todos os envolvidos no projeto; de forma geral, a área de negócios sente que pode confiar no modelo quando entende o porquê de uma previsão específica. Da mesma forma, se esse modelo se desvia muito da lógica e do conhecimento do negócio, também é preciso que seja possível explicar suas decisões. 

Vamos supor que sua empresa precise de um modelo para aprovação de compras em um e-commerce – sua equipe coleta os dados, treina o modelo e o coloca para produção. Mas o que será que esse algoritmo está fazendo?  
Será que ele utiliza parâmetros sexistas ou racistas para tomada de decisão? 

E se ele tiver tendência em negar mais as compras do Sul do que do Sudeste? 

E se o setor de compliance ou um cliente com a compra negada pedir explicações – você vai simplesmente dizer que utilizou um algoritmo que não entende?

Sorry kid, our machine learning CRM with predective analytics says you're getting coal this year

Black Box e Post-Hoc Explanation 

Machine Learning nada mais é que uma gama de métodos de IA que tentam produzir previsões ou estimativas para dados novos e não vistos de acordo com o que foi aprendido com os dados utilizados para treinamento. Esses modelos possuem métricas excelentes, capacidade de trabalhar com milhões de variáveis ao mesmo tempo, habilidade de ler e gerar imagens e textos. O custo? A incapacidade de entender seu funcionamento interno ou de explicar por que certas previsões são feitas. A esses algoritmos damos o nome de Black Box. 

Para resolver esse “pequeno” problema, foi criado o Post-Hoc Explanation (ou técnicas de explicação definidas a posteriori): após o treinamento e teste do modelo de IA ou ML, é possível gerar aproximações do seu funcionamento interno e da sua lógica de decisão na forma de pontuações, conjuntos de regras, mapas de calor ou linguagem natural. Essa técnica ajuda os usuários a identificar as features mais importantes do algoritmo, quantificar a importância dos recursos, reproduzir as decisões tomadas pelo modelo Black Box e identificar vieses no modelo ou nos dados. Assim, o Post-Hoc basicamente se refere a técnicas utilizadas para entender um modelo após ele ter sido treinado e testado. 

Mas afinal, o que é interpretabilidade? 

Todo este esforço para entender o que está dentro do modelo de ML recai sobre o conceito de interpretabilidade. Este trava-língua pode ser definido como “a capacidade de dar uma boa explicação em termos compreensíveis por humanos”. Ainda podemos definir uma boa explicação como “quando você não precisa mais perguntar o porquê” ¹. Assim, a interpretabilidade se refere à transparência e à capacidade de entendimento humano de um modelo de Machine Learning.  

De acordo com um estudo da FICO (empresa especialista em tecnologias preditivas), 65% das empresas não conseguem explicar exatamente como as decisões ou previsões do seu modelo de Inteligência Artificial são feitas e apenas 35% seguiram processos para garantir que eles estão usando IA de forma transparente e com responsabilidade real.  

A importância de ter um modelo de ML interpretável recai sobre a necessidade de entender quais critérios utilizados foram utilizados em uma tomada de decisão específica, permitindo que os processos baseados em ML sejam auditáveis, e que estejam em acordo com a governança da empresa, com as regras de compliance do seu segmento e com as boas práticas do mercado. A interpretabilidade nos ajuda a entender se os modelos: 

– São justos: quando conseguimos garantir que nossas previsões não possuem viés que gerem discriminações como, por exemplo, racismo ou sexismo.   

– São robustos: precisamos ter confiança de que o modelo funcionará com várias configurações, e que pequenas mudanças na entrada não causarão grandes e inesperadas mudanças na saída. 

– Respeitam a privacidade dos dados: Se entendermos a informação que o modelo utiliza, podemos evitar que ele acesse informações sensíveis. 

– São casuais: Precisamos saber que o modelo somente considera relacionamentos casuais e que ele não cria falsas correlações. 

– São confiáveis: Se as pessoas entendem como o modelo toma as suas decisões, é mais fácil das pessoas confiarem em nele. 

E é apenas através de um modelo interpretável que é possível alcançar o conceito de IA responsável. Apontado pelo Gartner como uma das 4 tendências do Hype Cycle para IA em 2021, nunca se falou tanto sobre a necessidade de impedir que os modelos perpetuem estereótipos baseados em diferença étnica, demográfica, de gênero ou qualquer outra que possa a vir se apresentar. 

Columbia Integração possui uma divisão focada no desenvolvimento de projetos de Inteligência Artificial, com o objetivo de auxiliar nossos clientes em todas as fases dos projetos de IA, desde a fase de Integração de Dados, passando pelas fases de análises de dados, feature engineering e modelagem, até os estágios de entendimento, deploy e operação dos modelos. Como parte da nossa estratégia, estabelecemos uma parceria com a H2O.ai, uma empresa líder no mercado de IA e pioneira no desenvolvimento de AutoML. A H2O.ai possui uma solução de IA end-to-end capaz de revisar seu modelo de ML após o seu desenvolvimento (Post-Hoc Explanation). 

Clique aqui saiba mais sobre essa parceria

Fontes: 

¹ An Introduction to Machine Learning Interpretability

O’Reilly 

Gartner

Science Direct

Medium.com

fico.com

Posts relacionados

Deixe um comentário