ESTUDO DE CLASSIFICADORES

LIVRES DE DISCRIMINAÇÃO
Ana Paula Teixeira da Silva
Orientador: Prof. Leandro G. M. Alvim, D.Sc.
Ciência da Computação, DCC, UFRRJ

Nova Iguaçu, 13 de Julho de 2018.

 Definições Necessárias
• Atributo sensível;
• Grupo desfavorecido;
• Grupo favorecido;
• Classe objetivo ou positiva;
 Sumário
1. Introdução
2. Motivação
3. Objetivos e Proposta
4. Mineração de Dados e Discriminação
5. Trabalhos estudados
6. Experimentos
7. Resultados
8. Conclusão
9. Referência
1. Introdução
• O que é Aprendizado de Máquina?
Área de estudo da Ciência da Computação
que detecta padrões em conjuntos de dados
automaticamente.
1. Introdução

Algoritmos
BD de AM
Padrões Conhecimento
1. Introdução

Aprendizado
de Máquina

Aprendizado Aprendizado Não-

Supervisionado Supervisionado
1. Introdução
• O que é Mineração de Dados?

BD
BD Algoritmos
de AM
BD
Padrões

• A mineração de dados é utilizada em diversas

áreas: RH, medicina, finanças, etc.
1. Introdução
• CUIDADO: problemas antiéticos!

BD
BD- Algoritmos
disc BD- de AM
disc. Padrões
discriminatórios

• Há casos com atributos sensíveis necessários;

• Há casos com atributos sensíveis que os tornam
discriminatórios.
2. Motivação
• Caso nos EUA estudado pelo ProPública;
• O ProPública estudou um algoritmo utilizado nos tribunais;
• O algoritmo era tendencioso contra negros;
• Classificação do algoritmo:
‒ Mulher: 8 pontos
‒ Homem: 3 pontos
• Quem reincidiu ao crime:
– Homem

* Imagem retirada de: https://www.propublica.org/

article/what-algorithmic-injustice-looks-like-in-real-life.
3. Objetivos e Proposta
• Objetivos:
– Investigar trabalhos da literatura que abordam
classificação livre de discriminação;
– Estudar métodos propostos;
– Definir as melhores abordagens.
• Proposta:
– Realizar experimentos;
– Avaliar e comparar desempenho dos algoritmos.
4. Mineração de Dados e
Discriminação

• Mineração de Dados:
– É utilizada para prever dados novos tomando
como base dados antigos;
– É aplicada para tomadas de decisão em bancos,
hospitais, empresas, etc;
– Contudo, dados antigos possuem discriminação.
4. Mineração de Dados e
Discriminação

• Discriminação:
– É um ato de distinção a alguém ou a uma minoria
por sua tonalidade de pele, orientação sexual,
religião, assim por diante;

*Imagem retirada de: www.google.com.br

4. Mineração de Dados e
Discriminação

• Discriminação:
– Há duas noções avaliadas por lei:
• Tratamento desigual;
• Impacto desigual.
4. Mineração de Dados e
Discriminação

• Mineração de Dados e Discriminação:

– A MD é utilizada com o objetivo de ser imparcial
nas decisões;
– Os estudos para impedir a discriminação
combinam três áreas: informática, direito e
ciências sociais;
4. Mineração de Dados e
Discriminação

• Mineração de Dados e Discriminação:

– Há dois tipos de discriminação tratadas pela MD:
• Discriminação direta;
• Discriminação indireta.
4. Mineração de Dados e
Discriminação

• Mineração de Dados e Discriminação:

– Há três abordagens em MD para prevenir a
discriminação:
• Pré-processamento;
• Em processamento;
• Pós-processamento.
4. Mineração de Dados e
Discriminação

• Mineração de Dados e Discriminação:

– Definimos a discriminação como:

Onde, é a probabilidade do grupo

favorecido receber classe objetivo e é
a probabilidade do grupo desfavorecido receber
classe objetivo.
5. Trabalhos estudados
• Estudamos cinco trabalhos da literatura:
I. Problema α–protetor de Pedreshi et al. (2008)
– Eliminam a discriminação no pré-processamento;
– Duas abordagens:
• Tratar discriminação direta com regras de classificação PD;
• Tratar discriminação indireta com regras de associação PND
e PD;
– Objetivo: Maior conjunto de regras α–protegidas
– Mensurador de discriminação: α–protetor
– Mensurador do aumento da confiança: elift ou glift
5. Trabalhos estudados
I. Problema α–protetor de Pedreshi et al. (2008)

Atributos Valores Classificação

Feminino PD
Sexo
Masculino PND
Negro PD
Branco PND
Etnia Pardo PND
Indígena,
PD
amarelo, outros.
5. Trabalhos estudados
I. Problema α–protetor de Pedreshi et al. (2008)
5. Trabalhos estudados
I. Problema α–protetor de Pedreshi et al. (2008)
‒ Exemplo da abordagem direta: α = 3
A: sexo = feminino, B: sexo = feminino,
sit_eco = pouca economia sit_eco= pouca economia
objetivo = comprar carro objetivo = comprar carro
==> emprestimo = Negado ==> emprestimo = Aprovado
-- sup: (0,002) -- sup: (0,011)
-- conf: (0,154) -- conf: (0,846)
-- conf_base: (0,037) -- conf_base: (0,963)
-- elift: (4,16) -- elift: (0,88)
α < glift(máx [(4,16),(0,88)])
Alfa discriminador!
5. Trabalhos estudados
I. Problema α–protetor de Pedreshi et al. (2008)
‒ Exemplo da abordagem indireta: α = 1
A: local = Baixada Fluminense C: cidade = Nova Iguaçu, local =
==> Emprestimo = Negado Baixada Fluminense
--Confiança = (0,25) ==> Emprestimo = Negado
-- Confiança: (0,95)
B: etnia = Negro,
local = Baixada Fluminense D: cidade = Nova Iguaçu, local =
--Emprestimo = Negado Baixada Fluminense
-- Confiança = (0,75) ==> etnia = Negro
-- Confiança: (0,8)
5. Trabalhos estudados
I. Problema α–protetor de Pedreshi et al.
(2008)
‒ Exemplo da abordagem indireta: α = 1
E: cidade = Nova Iguaçu,
etnia = Negro,
local = Baixada Fluminense
==> emprestimo = Negado
-- Confiança = (0, 9375)

elift(E/A): (3,75) > α

Alfa discriminador!
5. Trabalhos estudados
• Estudamos cinco trabalhos da literatura:
II. Classificação sem discriminação de Kamiran and
Calders (2009)
– Eliminam a discriminação no pré-processamento;
– Um atributo sensível S;
– Realizam massageamento nos dados;
– Montam ranque com probabilidade posterior;
– Divide os dados em dois grupos:
• Rebaixamento;
• Promoção.
5. Trabalhos estudados
II. Classificação sem discriminação de Kamiran and
Calders (2009)
– Exemplo: Idoso vs. Jovem
Est. Pessoal Id. Casa Hist. Créd. Classe
F: div/cas/solt J Aluguel Créd pago Ruim
F: div/cas/solt J Própria Crítico Ruim
M: cas/viúvo J Própria Créd pago Bom
M: solt I Própria Crítico Bom
M: solt I Própria Créd pago Bom
M: cas/viúvo I Aluguel Créd pago Bom
5. Trabalhos estudados
II. Classificação sem discriminação de Kamiran and
Calders (2009)
‒ Lista com probabilidade de ser da classe “Bom”
Est. Pessoal Id. Casa Hist. Créd. Classe Prob.
F: div/cas/solt J Aluguel Créd pago Ruim 6,00%
F: div/cas/solt J Própria Crítico Ruim 76,00%
M: cas/viúvo J Própria Créd pago Bom 62,00%
M: solt I Própria Crítico Bom 81,00%
M: solt I Própria Créd pago Bom 63,00%
M: cas/viúvo I Aluguel Créd pago Bom 10,00%
5. Trabalhos estudados
II. Classificação sem discriminação de Kamiran and
Calders (2009)
a) Tabela de Promoção
Est. Pessoal Id. Casa Hist. Créd. Classe Prob.
F: div/cas/solt J Própria Crítico Ruim 76,00%
F: div/cas/solt J Aluguel Créd pago Ruim 6,00%
b) Tabela Rebaixamento
Est. Pessoal Id. Casa Hist. Créd. Classe Prob.
M: cas/viúvo I Aluguel Créd pago Bom 10,00%
M: solt I Própria Créd pago Bom 63,00%
M: solt I Própria Crítico Bom 81,00%
5. Trabalhos estudados
II. Classificação sem discriminação de Kamiran and
Calders (2009)
‒ Calcular M=

Est. Pessoal Id. Casa Hist. Créd. Classe

F: div/cas/solt J Aluguel Créd pago Ruim
F: div/cas/solt J Própria Crítico Bom
M: cas/viúvo J Própria Créd pago Bom
M: solt I Própria Crítico Bom
M: solt I Própria Créd pago Bom
M: cas/viúvo I Aluguel Créd pago Ruim
5. Trabalhos estudados
• Estudamos cinco trabalhos da literatura:
III. Árvore de Decisão modificada de Kamiran et al.
(2010)
– Eliminam a discriminação durante o processamento da
árvore;
– Duas árvores propostas:
A. Árvore com método construtor consciente da discriminação;
B. Árvore com reclassificação dos nós no processamento posterior.
‒ Objetivo: acurácia alta e discriminação zero;
‒ Um atributo sensível B binário usado apenas no
aprendizado do classificador;
5. Trabalhos estudados
III. Árvore de Decisão modificada de Kamiran et al.
(2010)
A. Árvore com método construtor consciente da
discriminação
‒ Adaptaram o critério de divisão:

Onde D é o conjunto de dados, é entropia da em

relação ao rótulo da classe e é entropia do atributo
B.
5. Trabalhos estudados
III. Árvore de Decisão modificada de Kamiran et al.
(2010)
A. Árvore com método construtor consciente da
discriminação
‒ Adaptaram o critério de divisão:
a) FGC – FGD: divisão não discriminatória resultando em
árvore homogênea, ou seja, atributo homogêneo em
classe e heterogêneo em B;
b) FGC/FGD: perda e ganho entre acurácia e
discriminação;
c) FGC + FGD: árvore homogênea em classe e atributo B.
5. Trabalhos estudados
III. Árvore de Decisão modificada de Kamiran et al.
(2010)
B. Árvore com reclassificação dos nós:
‒ Uma árvore é dada;
‒ Buscam um subconjunto de nós para re-rotular;
‒ Subconjunto deve:
a) Minimizar perda de acurácia; e
b) Maximizar remoção de discriminação.

*Imagem retirada de: http://blog.cedrotech.com/

5. Trabalhos estudados
• Estudamos cinco trabalhos da literatura:
IV. Naive Bayes livre de discriminação de Calders and
Verwer (2010)
– Eliminam a discriminação no pós-processamento;
– Três propostas de Naive Bayes:
A. Naive Bayes Balanceado/Modificado;
B. 2 – Naive Bayes; e
C. Naive Bayes com variável latente.
‒ Objetivo: acurácia alta e discriminação zero;
‒ Alteraram a probabilidade de P(D|C) para P(C|D), onde D
é o atributo sensível binário;
5. Trabalhos estudados
IV. Naive Bayes livre de discriminação de Calders
and Verwer (2010)
A. Naive Bayes Balanceado/Modificado
‒ num_pos: nº de rótulos positivos atribuídos pelo
classificador ao conj. de dados;
‒ num_pos_Conjunto: nº de rótulos positivos do
conjunto;
5. Trabalhos estudados
Enquanto disc > 0 faça
Se num_pos < num_pos_Conjunto então:
6 < 10 Aumentam mulher
5 5 5
1 com classe positiva;
Diminuem mulher
com classe negativa;

Senão:
12 > 10 Diminui homem com
7 5 5 5 classe positiva;
Aumenta homem
com classe negativa;
5. Trabalhos estudados
IV. Naive Bayes livre de discriminação de Calders
and Verwer (2010)
B. 2 – Naive Bayes

Modelo NB para
homem
Conjunto 2-NB
de dados
Modelo NB para
mulher
5. Trabalhos estudados
Ana, F, estudante, 24, pais, não trab.
2-NB William, M, estudante, 24, sozinho, sim

William
Ana

Modelo NB para Modelo NB para

homem mulher

Saída

Se houver discriminação Naive Bayes

então: Modificado/Balanceado
5. Trabalhos estudados
IV. Naive Bayes livre de discriminação de Calders
and Verwer (2010)
C. Naive Bayes com variável latente
‒ Adição de uma variável latente;
‒ Variável descoberta através da Maximização de
Expectativa;
‒ Variável Latente: L+ e L-;
‒ 2 propostas com ME:
 Tradicional; e
 Conhecimento prévio.
5. Trabalhos estudados
IV. Naive Bayes livre de discriminação de Calders
and Verwer (2010)
C. Naive Bayes com variável latente
 Conhecimento prévio:
i. Mantiveram os rótulos originais de:
a) Valor discriminatório de classe C-;
b) Valor discriminatório de classe C+.
ii. Distribuição P (C | L, S):
a) Descobre valores L+ e L-;
b) Retira um valor n:
a) (L-,C-) e adiciona em (L-, C+); e
b) (L+,C+) e adiciona em (L+,C-).
5. Trabalhos estudados
• Estudamos cinco trabalhos da literatura:
V. Teoria da decisão para classificação consciente da
discriminação de Kamiran et al. (2012)
– Eliminam a discriminação no pós-processamento;
– Divide os conjuntos em dois grupos: favorecido e
desfavorecido;
– Duas propostas:
a) ROC: opção de rejeitar a classificação; e
b) DAE: classificador consciente de discriminação.
‒ Objetivo: acurácia alta e discriminação zero;
5. Trabalhos estudados
a) ROC:
i. Explora a região de confiança;
ii. Usa classificadores probabilísticos;
iii. Duas propostas:
1. Classificador único:
 Confianças entre 0,5 < Θ < 1 são rejeitadas;
 Instâncias desfavorecidas recebem C+, senão,
C-;
2. Múltiplos classificadores:
 Diferencia apenas na probabilidade posterior;
5. Trabalhos estudados
b) DAE:
i. Explora a região de desacordo;
ii. classificadores não rotulam uma instância com a
mesma classe;
iii. Usa classificadores probabilísticos, não probabilísticos
e mistos;
iv. Reclassificação de acordo com o grupo o qual
pertence a instância;
v. Quanto mais classificadores, mais desacordo, logo,
menos discriminação;
6. Experimentos
• Trabalhos implementados:
– Massageador;
– Árvore de decisão;
– AD-Construtor;
– AD-Reclassificação;
– AD-Sem atributo sensível;
– Naive Bayes Ingênuo;
– 2-NB;
– NB-Balanceador; e
– NB-Sem atributo sensível.
6. Experimentos
• Conjunto de Dados:
– Census Income:
 Atributo sensível: Sexo;
 Valor Sensível: Feminino;
 Classe binária: “>50k”e “<=50k”; e
 Discriminação: 19%.
– Dutch Census 2001
 Atributo sensível: Sexo;
 Valor Sensível: Feminino;
 Classe binária: “Alto”e “Baixo”; e
 Discriminação: 30%.
6. Experimentos
• Conjunto de Dados:
‒ German Credit
 Atributo sensível: Sexo;
 Valor Sensível: Feminino;
 Classe binária: “Bom”e “Ruim”;
 Discriminação: 7%
• Medidas de desempenho:
– Acurácia;
– Discriminação;
– MCC;
7. Resultados
Census Income
7. Resultados
Dutch Census 2001
7. Resultados
German Credit
7. Resultados
German Credit
8. Conclusão
• A escolha do classificador para um conjunto de
dados implica no desempenho;
• Estamos interessados em analisar e implementar
trabalhos mais recentes da literatura;
• Estamos interessados em as regiões exploradas
por Kamishima et al. (2012) – região de baixa
confiança e de desacordo;
• Avaliar experimentos com outras medidas
qualificadoras e novos conjuntos de dados;
9. Referência
• Anish Abraham Anjana V R. A survey on the approaches for discrimination
prevention in data mining. International Journal of Advances in Electronics
and Computer Science, ISSN: 2393-2835, 3(3), mar 2016.
• Toon Calders and Sicco Verwer. Three naive bayes approaches for
discriminationfree classification. Data Mining and Knowledge Discovery,
21(2):277–292, 2010.
• Dua Dheeru and Efi Karra Taniskidou. UCI machine learning repository,
2017. URL http://archive.ics.uci.edu/ml.
• Bart Goethals. Frequent itemset mining implementations repository. 2004.
URL http://fimi.ua.ac.be/. Acesso em: 22 jan. 2018.
• Faisal Kamiran. faisal.kamiran.
https://sites.google.com/site/faisalkamiran/home. Acessado em: 16 mar.
2018.
• Faisal Kamiran and Toon Calders. Classifying without discriminating. In
Computer, Control and Communication, 2009. IC4 2009. 2nd International
Conference on, pages 1–6. IEEE, 2009.
9. Referência
• Faisal Kamiran, Toon Calders, and Mykola Pechenizkiy.
Discrimination aware decision tree learning. In Data Mining (ICDM),
2010 IEEE 10th International Conference on, pages 869–874. IEEE,
2010.
• Faisal Kamiran, Asim Karim, and Xiangliang Zhang. Decision theory
for discrimination-aware classification. In Data Mining (ICDM), 2012
IEEE 12th International Conference on, pages 924–929. IEEE, 2012.
• JAMILE COELHO MORENO. Conceito de minorias e discriminação.
Direito e Humanidades, (17), 2010.
• Dino Pedreshi, Salvatore Ruggieri, and Franco Turini. Discrimination-
aware data mining. In Proceedings of the 14th ACM SIGKDD
international conference on Knowledge discovery and data mining,
pages 560–568. ACM, 2008.
• ProPublica. About us. 2016. URL
https://www.propublica.org/about/. Acesso em: 16 out. 2017.
Obrigada!