O documento discute sistemas de recomendação, definindo-os como sistemas projetados para sugerir itens de interesse aos usuários de forma personalizada. Apresenta as principais estratégias de recomendação, incluindo recomendações colaborativas baseadas no comportamento de usuários similares, e recomendações baseadas em conteúdo que analisam descrições de itens. Também discute técnicas como cálculo de similaridade entre usuários e predição de notas para recomendações.
12. Sistemas de recomendação
Os sistemas de recomendação surgiram
para auxiliar no processo social de
indicar e receber indicações
São projetados para nos sugerir
coisas de nosso interesse.
13. Motivação
Netflix
–
2/3 dos aluguéis de filmes vêm de recomendações
Google News
–
38% das notícias mais clicadas vêm de
recomendação
Amazon
–
35% das vendas vêm de recomendação
14. Estratégias de Recomendação
Existem algumas estratégias empregadas para
efetuar as recomendações.
Reategui e Cazella (2005) definem cinco estratégias mais
utilizadas para recomendação.
17. Vantagens/Desvantagens
Principal vantagem é a facilidade de implementação.,
basta manter-se listas de acordo com as necessidades de
marketing, de aumento de lucratividade, de disseminação
de informações, etc.
A desvantagem é que as recomendações não são
dirigidas a cada usuário independentemente, mas sim a
todos os usuários sem distinção, ou seja ao público em
geral, não sendo personalizadas para um usuário
específico.
23. Usuários que se interessaram por X
também se interessaram por Y
24. Usuários que se interessaram por X
também se interessaram por Y
25. Usuários que se interessaram por X
também se interessaram por Y
26. Obtenção dos dados dos usuários
É a forma mais complexa de recomendação, pois ela exige
uma análise bastante profunda dos hábitos dos usuários, de
modo que possa identificar padrões e recomendar itens
com base nestes padrões (Reategui e Cazella, 2005).
31. Obtenção dos dados dos itens
Reategui e Cazella (2005), definem que, nesta estratégia, a
recomendação é feita com base no conteúdo de um item
em específico, por exemplo um autor, um compositor, um
editor, etc. Para tal, se faz necessário encontrar associações
entre os itens, porém estas estão num escopo mais restrito.
32. Estratégias de Recomendação
Existem algumas estratégias empregadas para
efetuar as recomendações.
Reategui e Cazella (2005) definem cinco estratégias mais
utilizadas para recomendação.
35. Vantagens/Desvantagens
Principal vantagem é a facilidade de implementação.,
basta manter-se listas de acordo com as necessidades de
marketing, de aumento de lucratividade, de disseminação
de informações, etc.
A desvantagem é que as recomendações não são
dirigidas a cada usuário independentemente, mas sim a
todos os usuários sem distinção, ou seja ao público em
geral, não sendo personalizadas para um usuário
específico.
41. Usuários que se interessaram por X
também se interessaram por Y
42. Usuários que se interessaram por X
também se interessaram por Y
43. Usuários que se interessaram por X
também se interessaram por Y
44. Obtenção dos dados dos usuários
É a forma mais complexa de recomendação, pois ela exige
uma análise bastante profunda dos hábitos dos usuários, de
modo que possa identificar padrões e recomendar itens
com base nestes padrões (Reategui e Cazella, 2005).
49. Obtenção dos dados dos itens
Reategui e Cazella (2005), definem que, nesta estratégia, a
recomendação é feita com base no conteúdo de um item
em específico, por exemplo um autor, um compositor, um
editor, etc. Para tal, se faz necessário encontrar associações
entre os itens, porém estas estão num escopo mais restrito.
51. Colaborativos
A essência está na troca de experiências entre as pessoas
que possuem interesses comuns.
Filtra as avaliações dos usuários.
Recomenda itens para usuários com perfis semelhantes.
53. Colaborativos
Passos
Armazenamento das informações dos usuários.
Cálculo de semelhança entre os usuários.
Agrupamento de usuários com preferências semelhantes.
Predição da pontuação de um item para o usuário baseado
nas avaliações dos usuários mais semelhantes a ele
54. Colaborativos
Forma de avaliação dos usuários
KNN (K vizinhos mais próximos)
similaridade de um usuário-alvo com outros usuários
58. Colaborativos Similaridade
Predizer da pontuação de um item
•
•
Mais formalmente, a pontuação R(u,i) do item i para o usuário u é estimada
baseada na pontuação R(u’,i) atribuída ao mesmo item i pelos usuários u’ que são
similares ao usuário em questão.
O valor de uma pontuação desconhecida ru,i para o usuário u e item i é
normalmente computado como uma agregação de pontuações de outros usuários
(por exemplo, os N mais similares) para o mesmo item i.
59. Colaborativos Similaridade
Exemplo:
•
•
•
Supondo a existência de um sistema de recomendação de leituras onde os usuários
tem acesso aos livros e podem avaliá-los quanto a satisfação.
Para este feedback uma escala Likert de 5 pontos é disponibilizada
(5 significa adorei e 1 significa detestei o item).
Uma matriz de relação usuários x itens pode ser disponibilizada.
60. Colaborativos Similaridade
Esta matriz nos apresenta a relação usuário x item, onde 5 usuários pontuaram
5 itens (A, B, C, D e E). A esparcialidade desta matriz seria de 8%, ou seja,
apenas 8% das avaliações possíveis não foram feitas. Estes itens não avaliados
são potenciais recomendações.
61. Colaborativos Similaridade
Primeiro Passo
Calcula-se o peso em relação a similaridade do usuário-alvo:.
Para tanto utiliza-se uma técnica denominada de “k-nearest-neighbor” ou “userbased”.
A definição da similaridade pode ser realizada através de diversos coeficientes,
sendo mais comumente aplicado o coeficiente de correlação de Pearson.
Observa-se a necessidade de mais de uma avaliação em comum para que a
correlação seja viável, e os resultados variam entre 1 para similaridade total, e -1
para total dissimilaridade.
62. Colaborativos
Similaridade
Coeficiente de Pearson
assumindo na correlação U1 = a e U2 = u, teríamos:
?
Média das avaliações de a em comum com u
Média das avaliações de u em comum com a
Avaliação que a deu para o item i
Avaliação que u deu para o item i
Alta similaridade
= Média similaridade
Nada pode ser dito
Nada pode ser dito
63. Colaborativos
Segundo Passo
Seleciona-se um subconjunto de usuários com maiores similaridades :
Baseado no resultado do coeficiente de Pearson é definido este subconjunto
(com foco no usuário alvo da recomendação – U1).
64. Colaborativos
Segundo Passo
Calculam-se as predições (Recomendações): tendo um item a ser recomendado
para um usuário alvo (item que este usuário não teve acesso).
No exemplo o objetivo é predizer quanto o usuário U1 daria de avaliação para o
item B se tivesse acesso a ele.
?
65. Colaborativos
Cálculo da predição:
assumindo U1 = a como usuário alvo e B o item a ser predito
?
Nota da predição de um item i para um usuário a
(considera a partir de 3 pontos)
Média das avaliações do usuário-alvo a considerando
os artigos em comum com todos os seus similares.
Média das avaliações do usuário similar u
considerando artigos em comum com o usuário-alvo a.
Coeficiente de similaridade entre a e u.
Avaliação dada por u ao item i.
Recomendaria este item?
66. Colaborativos Vantagens
Independência de conteúdo
Geração de recomendações baseadas em preferências dos
usuários
Possibilidade de produzir recomendações inesperadas e de
alta qualidade.
67. Colaborativos Desvantagens
Problema do primeiro avaliador
Problema de pontuações esparsas
Similaridade
Novo item/usuário
Custo de processamento (Escalabilidade)
68. Baseados em conteúdo
Analisam as descrições de itens e de usuários.
Podem recomendar itens parecidos com outros itens que o
usuário teve interesse no passado.
Útil para produtos que contenham alguma informação
textual.
69. Modelos para recuperação da
informação
Modelo booleano
Modelo booleano estendido
Modelo de Espaço Vetorial (VSM) ou Modelo Vetorial
Modelo Probabilístico
Modelo baseado em agrupamento
70. Modelo booleano
Se baseia na teoria de conjuntos e na álgebra booleana
Documentos (D) são representados como conjuntos de
termos de indexação
As consultas (Q) são formuladas através de expressões
booleanas formadas por termos e conectivos de boole
(and, or e not)
72. Modelo booleano
Um documento só pode ser dito como relevante ou nãorelevante
Há a necessidade de especificação de consultas
complexas
É incapaz de se representar pesos associados aos termos
desejados
73. Modelo booleano estendido
Considera o peso dos termos nos documentos e permite
que o usuário especifique as relevâncias dos termos para
uma determinada consulta
Esse modelo se baseia na interpretação dos operadores de
consulta conjuntivas e disjuntivas em termos de
distâncias euclidianas em um espaço t-dimensional
74. Modelo booleano estendido
Considerando dois termos:
Para expressões conjuntivas o ponto (1,1) é o mais
desejável.
Quanto menor a distância do documento em relação a
este ponto, maior é a similaridade em relação à busca.
Nas expressões disjuntivas o ponto (0,0) representa que
nenhum dos termos da expressão de busca está presente
no documento.
75. Modelo booleano estendido
Considerando dois termos t1 e t2
O espaço de busca será bidimensional
O documento é representado por um vetor de pesos
Os pesos definem a posição no espaço euclidiano
76. Modelo booleano estendido
A similaridade entre um documento di = (w1i, w2i) e
uma consulta q = t1 or t2 é dada por:
77. Modelo de Espaço Vetorial (VSM)
É definido como sendo um modelo baseado em conteúdo,
com pesos associados aos termos de indexação e, cujo
resultado da função de similaridade é dado na forma de
ranking.
78. Modelo de Espaço Vetorial (VSM)
Cada termo possuí um peso atrelado a si, para permitir
distinção entre os termos de acordo com sua importância.
Os pesos podem variar entre 0 e 1.
79. Modelo de Espaço Vetorial (VSM)
O VSM utiliza um espaço n-dimensional para representar
os termos. Neste espaço, n (ou número de dimensões)
representa o número de termos distintos.
Para cada vetor de documentos, ou de consulta, os pesos
representam as coordenadas do vetor na dimensão
correspondente.
81. Modelo de Espaço Vetorial (VSM)
trata como sendo vetores de valores reais contendo os pesos de cada termo
(wij) dos documentos.
A matriz é escrita na forma di = (wi1, wi2, …, win),
onde
wij corresponde ao peso do j-ésimo (j = 1, 2, ..., n) termo
do i-ésimo documento (i = 1, 2, ..., n).
Sendo assim, a coleção de objetos é representada como sendo uma matriz (D)
de termos de tamanho n x m
onde n é o número de documentos e m o número de termos.
82. Modelo de Espaço Vetorial (VSM)
O princípio do VSM é baseado na correlação inversa
entre a distância ou ângulo entre vetores de termos no
espaço e a similaridade entre os documentos que eles
representam.
85. Modelo Probabilístico
Baseado na teoria das probabilidades como meio para
modelar o processo de recuperação de informação.
A similaridade é calculada pela probabilidade de tal
documento (D) ser relevante a tal consulta (Q), caso os
termos (t) da consulta apareçam no documento
86. Modelo Probabilístico
Presume-se que a distribuição dos termos, nos documentos
da coleção, é uma informação que é capaz de determinar a
relevância ou não de um documento em responder a uma
dada consulta.
Quando vetores de documentos e consultas (termos
envolvidos em ambas) são suficientemente similares, a
probabilidade de relevância correspondente é alta o
suficiente, para ser considerada a recuperação do documento
em resposta à consulta
87. Modelo Probabilístico
Cada documento é representado por um vetor de termos,
porém este difere do modelo de espaço vetorial apresentado
na seção anterior pois não há um peso atrelado a cada termo
mas sim um valor binário.
88. Modelo Probabilístico
probabilidade de um documento que possui o termo de indexação ser relevante
probabilidade de um documento que não possui o termo de indexação não ser
relevante
probabilidade de um documento que possui o termo de indexação não ser
relevante
probabilidade de um documento que não possui o termo de indexação ser
relevante
89. Modelo Probabilístico
Um documento dj é relevante a uma consulta q quando:
Assim, dada uma consulta q, o modelo probabilístico atribui a
cada documento d (como medida de similaridade) um peso Wd/q
90. Modelo Probabilístico
Aplicando a regra de Bayes:
probabilidade de se selecionar aleatoriamente um documento dj do
conjunto de documentos relevantes
probabilidade de se selecionar um documento dj do conjunto de documentos
não-relevantes
probabilidade que um documento selecionado aleatoriamente de uma coleção
inteira seja relevante
probabilidade que um documento selecionado aleatoriamente de uma coleção
inteira não seja relevante
92. Modelo Probabilístico
Sabendo-se que
após transformações algébricas pode-se escrever
expressão utilizada para classificação computacional pelo modelo probabilístico
93. Modelo Probabilístico
1 – P(ti|Rel) é constante para todo termo de indexação ki e igual a 0,5
(50% de possibilidade de ser ou não relevante);
P(ti|Rel) = 0,5
2 – a distribuição dos termos de indexação entre os documentos nãorelevantes pode ser aproximada da distribuição dos termos de indexação
entre os todos documentos da coleção;
P(ti|Rel) = ni / N
ni é o número de documentos que contém o termo de indexação
N é o número total de documentos da coleção
94. Modelo Probabilístico vantagens
Necessidade da suposição da separação inicial dos
documentos nos conjuntos relevantes ou não-relevantes
Não leva em conta a frequência com que um termo de
indexação ocorre no documento (somente considera
pesos binários)
Adoção da suposição da independência dos termos
96. Modelo baseado em agrupamento
Para a extração e armazenamento dos dados são
utilizados conceitos de recuperação de informação e
rede neural.
Para a busca é explorada a organização dos metadados
de itens no banco de dados para promover mecanismos
eficazes para a sua localização e reuso.
97. Modelo baseado em agrupamento
Nessa abordagem itens são representados por termos,
que são extraídos automaticamente, normalizados e
armazenados em repositórios.
Essas informações são utilizadas no agrupamento dos
itens.
Após a normalização dos termos são obtidas as
frequências de ocorrência no item e calculados os pesos
98. Modelo baseado em agrupamento
fi é a frequência do termo i
n é a quantidade total de itens
ni é a quantidade de itens que possuem o termo i.
99. Modelo baseado em agrupamento
O agrupamento é realizado através da identificação de
conjuntos de itens similares.
Para a recuperação de informação são utilizadas duas
formas alternativas, uma que utiliza o modelo espaço
vetorial e outra usando o modelo booleano, que,
aplicados aos agrupamentos, trazem ao usuário o
conjunto resposta.
100. Baseados em conteúdo Vantagens
Não possui o problema do primeiro avaliador
Possui capacidade de recomendar todos os itens
Aplica esquema de atribuição de pesos aos termos
Utiliza estratégia de casamento parcial
Documentos são ordenados de acordo com o grau de
similaridade
101. Baseados em conteúdo Desvantagens
Não considera aspectos como qualidade do texto e renome
do autor
Super especialização
Conteúdo dos dados pouco estruturados
Não considerar a correlação entre os termos de indexação
102. Híbrido
Faz uso de umas ou mais técnicas de recomendação
Pode ser feita:
●
●
●
implementando ambos métodos separadamente e combinando os
resultados
incorporando algumas características da abordagem baseada em
conteúdos na a abordagem colaborativa
construindo um modelo unificado que incorpora as características de
ambos
105. Processo de Extração
•
Formação da
base de
conhecimento
•
•
Preparação dos dados
Processamento de
linguagem natural
•
•
•
Organização e
Cálculos, inferências
estruturação para busca e extração de
conhecimento
Recuperação da
•
informação
Mineração de dados
107. Tokenização
Interpreta o texto transformado em termos
Exemplo:
“Vídeo com a definição de Função Afim.”
w = [“Vídeo”, “com”, “a”, “definição”, “de”, “Função”, “Afim”, “.”]
108. Normalização
1 - Case Folding : processo de conversão de todos os caracteres de um
mesmo documento para um formato comum.
Silla e Kaestner (2002)
Exemplo:
“Objeto”, “oBjEtO”, “OBjEtO”, “oBEJTO” = “OBJETO” ou “objeto”
109. Normalização
2 - remoção símbolos que não tenham importância para o texto do
documento
Exemplo:
(. , ; : " ’ ‘ ! ? / | % + { } [ ] ( ) *)
110. Normalização
3 – Remoção de acentuação
Antes:
w = [“Vídeo”, “com”, “a”, “definição”, “de”, “Função”, “Afim”, “.”]
Após:
w = [“video”, “com”, “a”, “definicao”, “de”, “funcao”, “afim”]
111. StopWords
Remoção de palavras que não tenham relevância
“o”, “a”, “seus”, “ela”, “e”, “com”, “de”
Antes:
w = [“video”, “com”, “a”, “definicao”, “de”, “funcao”, “afim”]
Depois:
w = [“video”, “definicao”, “funcao”, afim”]
112. Stemming
Normalização Morfológica
Normalização linguística.
As formas variantes de um termos são reduzidas a uma forma comum
denominada stem.
Converte cada palavra para o seu radical.
Elimina: sufixos representados por flexões verbais , plural e gênero das
palavras
Silla e Kaestner, 2002; Yamada et al.,2012
115. Stemming
Normalização Morfológica
Este é considerado o método mais simples, pois consiste na eliminação de
apenas alguns finais de palavras. Geralmente remove somente sufixos que
formam o plural.
método do stemmer S
116. Stemming
Normalização Morfológica
Identifica de diferentes inflexões referentes à mesma palavra e sua
substituição por um radical comum.
Reduz do plural, troca de sufixos, retira de sufixos, remove de sufixos
padrões e remove vogal “e” ao final da palavra
método de Porter
120. Indexação
mapear os termos de um documento em uma estrutura de dados específica
chamada de índice
Amazonas et al. (2008)
Índice Invertido e o Índice Sequencial
123. Mineração
A mineração de dados é um processo de identificação de padrões válidos,
novos, potencialmente úteis e compreensíveis disponíveis nos dados. O
principal objetivo desta etapa é a descoberta de co-relacionamentos entre os
dados e seus documentos.
(Morais e Ambrosio, 2007)
125. Fontes
BONFIM, Marcello Erick. RECUPERAÇÃO DE DOCUMENTOS TEXTO USANDO MODELOS PROBABILISTICOS
ESTENDIDOS. Iniciação Científica Cesumar, v. 11, n. 2, 2009.
LOPES, Rafael Barbolo. sistemas de recomendação <http://www.slideshare.net/barbolo/sistemas-de-recomendacao>
Gois, Adriana; Berg, Anderson; Teixeira, Joyce V. . Sistemas de recomendação <
http://www.slideshare.net/berg_pe/sistemas-de-recomendao-9889295>
Cazella, . Sílvio César . SISTEMAS DE RECOMENDAÇÃO. <
http://www.nuted.ufrgs.br/compoa_2012_1/SRFColaborativa.pdf>
MORAIS, Edison Andrade Martins; AMBRÓSIO, Ana Paula L. Mineração de Textos. Relatório Técnico–Instituto de
Informática (UFG), 2007.
GERALDO, André Pinto. Aplicando algoritmos de mineração de regras de associação para recuperação de informações
multilíngues. 2009.
BAEZA-YATES e RIBEIRO-NETO apud LOPES, Giseli Rabello - Sistema de Recomendação para Bibliotecas Digitais sob
a Perspectiva da Web Semântica. Porto Alegre: Programa de Pós-Graduação em Computação, 2007.
BASU, Chumki et al. Recommendation as classification: Using social and content-based information in recommendation.
In: AAAI/IAAI. 1998. p. 714-720.
BRADLEY, Keith; SMYTH, Barry. Improving recommendation diversity. In:Proceedings of the Twelfth National
Conference in Artificial Intelligence and Cognitive Science (AICS- 01). 2001.
GOLDBERG et.al. apud HERLOCKER, Jonathan Lee. Understanding and improving automated collaborative filtering
systems. 2000. Tese de Doutorado. University of Minnesota.
126. Fontes
FERREIRA, Vinicius Hartmann. Sistema de Recomendação de Objetos de Aprendizagem. TCC (graduação em Ciência da
Computação) - Universidade do Vale do Itajaí, Itajaí, 2009. Disponível em : <http://Siaibib01.univali.br/pdf/Vinicius
Hartmann Ferreira.pdf>.
LOPES, Giseli Rabello - Sistema de Recomendação para Bibliotecas Digitais sob a Perspectiva da Web Semântica. Porto
Alegre: Programa de Pós-Graduação em Computação, 2007.
HERLOCKER, Jonathan Lee. Understanding and improving automated collaborative filtering systems. 2000. Tese de
Doutorado. University of Minnesota.
KIM, Byeong Man et al. A new approach for combining content-based and collaborative filters. Journal of Intelligent
Information Systems, v. 27, n. 1, p. 79-91, 2006.
LICHTNOW, Daniel et al. O uso de técnicas de recomendação para apoio à aprendizagem colaborativa. Revista Brasileira
de Informática na Educação. vol. 14, n.3, set. 2006.
PAZZANI, Michael J.; BILLSUS, Daniel. Content-based recommendation systems. In: The adaptive web. Springer Berlin
Heidelberg, 2007. p. 325-341.
SALTON, Gerard; BUCKLEY, Christopher. Term Weighting Approaches in Automatic Text Retrieval. Information
Processing & Management 24 (5), 513-523, 1988.
VIEIRA, Felipe José Rocha; NUNES, Maria Augusta Silveira Netto. DICA: Sistema de Recomendação de Objetos de
Aprendizagem Baseado em Conteúdo. Scientia Plena, v. 8, n. 5, 2012.
ZAINA, L., BRESSAN, G., CARDIERI, M., RODRIGUES JÚNIOR, J.. e-LORS: Uma Abordagem para Recomendação de
Objetos de Aprendizagem. Revista Brasileira de Informática na Educação, 20, abr. 2012. Disponível em:
<http://www.brie.org/pub/index.php/rbie/article/view/1289>. Acesso em: 15 Mai. 2013.