Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Rate it Again
    Increasing Recommendation Accuracy by 
                User re­Rating
      Xavier Amatriain (with J.M. ...
The Recommender Problem
    ●   Two ways to address it
    1. Improve the Algorithm




 


                         X. Am...
The Recommender Problem
    ●   Two ways to address it
    2. Improve the Input Data




                                 ...
User Feedback is Noisy




 
    ●    See our UMAP '09 Publication: 
        “I like it... I like it not” (Amatriain et al...
Natural Noise Limits our User Model


                                      DID YOU HEAR WHAT 
                           ...
Experimental setup
    ●   118 participants rated movies in 3 trials            
          T1 (rand) <­>  24 h <­>T2 (pop....
Users are Inconsistent




    ● What is the probability of making an inconsistency 
    given an original rating
 


    ...
Users are Inconsistent

                                                Mild ratings are 
                                ...
Users are Inconsistent

                                                 Negative 
                                       ...
Prediction Accuracy
              #Ti    #Tj                    #              RMSE


                                    ...
Max error in 
                       Prediction Accuracy
    trials that are 
                       #Ti    #Tj           ...
Significant less 
                      Prediction Accuracy
    error when 2nd      #Ti    #Tj                    #       ...
Algorithm Robustness to NN
        Alg./Trial     T1        T2                  T3   Tworst /Tbest
        User          1...
Algorithm Robustness to NN
    Trial 2 is 
    consistently the 
             Alg./Trial     T1        T2                 ...
Algorithm Robustness to NN (2)
        Training­Testing    T1-T2                T1-T3    T2-T3
        Dataset

        Us...
Algorithm Robustness to NN (2)
          Training­Testing    T1-T2                T1-T3    T2-T3
          Dataset

      ...
Let's recap
    ●   Users are inconsistent
    ●   Inconsistencies can depend on many things 
          including how the ...
Hypothesis
    ●   If we can somehow reduce natural noise due to 
           user inconsistencies we could greatly 
      ...
Algorithm
    ●   Given a rating dataset where (some) items 
         have been re­rated,
    ●   Two fairness conditions:...
Algorithm
    ●   One source re­rating case:




    ●   Given the following milding function:

 


                      ...
Results
    ●   One­source re­rating (Denoised⊚Denoising)
                           T1⊚T2    ΔT1         T1⊚T3      ΔT1  ...
Results                   Best results (above 10%!) 
                                                              when de...
Results                   Smaller (yet important) 
                                                              improveme...
Results
    ●   One­way re­rating (Denoised⊚Denoising)
                           T1⊚T2    ΔT1         T1⊚T3      ΔT1     ...
But...
    ●   We can't expect all users to re­rate all items 
         once or twice to improve accuracy!
    ●   Need to...
Random re­rating




    ● Improvement in RMSE when doing once­source (left) and 
    two­source (right) re­rating as a fu...
Random re­rating




    ● Improvement in RMSE when doing once­source (left) and 
    two­source (right) re­rating as a fu...
Denoise Extreme Ratings




    ● Improvement in RMSE when doing once­source (left) 
    and two­source (right) re­rating ...
Denoise Extreme Ratings




    ● Improvement in RMSE when doing once­source (left) 
    and two­source (right) re­rating ...
Denoise outliers




    ●    Improvement in RMSE when doing once­source (left) and two­
    source (right) re­rating as a...
Denoise outliers




    ●    Improvement in RMSE when doing once­source (left) and two­
    source (right) re­rating as a...
Value of Rating

                                                 An extreme re­
                                         ...
Conclusions
    ●   Improving data can be more beneficial than 
          improving the algorithm
    ●   Natural noise li...
Rate it Again
    Increasing Recommendation Accuracy by 
                User re­Rating

                Thanks!



 


  ...
Nächste SlideShare
Wird geladen in …5
×

User Feedback is Noisy   ●  See our UMAP '09 Publication:  “I like it... I like it not” (Amatriain et al. '09) Rate it Again

4.009 Aufrufe

Veröffentlicht am

User Feedback is Noisy




 
●  See our UMAP '09 Publication: 
“I like it... I like it not” (Amatriain et al. '09)
X. Amatriain et. al
Rate It Again

Veröffentlicht in: Technologie, Seele & Geist

×