LightFM快速入门：基于Movielens数据集的推荐系统实践

项目概述

LightFM是一个功能强大的Python推荐系统库，它结合了协同过滤和内容推荐的优势，能够处理显式和隐式反馈数据。本文将带您快速上手使用LightFM构建一个电影推荐系统。

数据准备

我们使用经典的Movielens 100k数据集，该数据集包含约1000名用户对1700部电影的10万条评分记录。LightFM内置了获取和处理该数据集的便捷功能：

import numpy as np
from lightfm.datasets import fetch_movielens

# 获取评分≥5的数据
data = fetch_movielens(min_rating=5.0)

这段代码会自动下载数据集并将其转换为适合计算的稀疏矩阵格式。数据集被分为训练集和测试集：

print(repr(data['train']))
print(repr(data['test']))

输出显示训练集有19048个交互记录，测试集有2153个记录。

模型构建

我们使用WARP(Weighted Approximate-Rank Pairwise)损失函数，这是一种适用于隐式反馈的模型。它将所有交互视为正向信号，未交互的项目视为隐含的负向信号。

from lightfm import LightFM

# 创建WARP模型
model = LightFM(loss='warp')

模型训练

使用随机梯度下降(SGD)进行训练，设置30个epoch和2个线程：

model.fit(data['train'], epochs=30, num_threads=2)

虽然这个数据集较小，多线程优势不明显，但对于大型数据集，多线程能显著加速训练。

模型评估

我们使用precision@k指标评估模型性能，它衡量在前k个推荐中用户实际喜欢的比例：

from lightfm.evaluation import precision_at_k

print("训练集精度: %.2f" % precision_at_k(model, data['train'], k=5).mean())
print("测试集精度: %.2f" % precision_at_k(model, data['test'], k=5).mean())

结果显示训练集精度(0.43)高于测试集(0.04)，这是正常的过拟合现象。

生成推荐

我们可以为特定用户生成个性化推荐：

def sample_recommendation(model, data, user_ids):
    n_users, n_items = data['train'].shape
    
    for user_id in user_ids:
        # 获取用户已知喜欢的电影
        known_positives = data['item_labels'][data['train'].tocsr()[user_id].indices]
        
        # 预测所有电影的评分
        scores = model.predict(user_id, np.arange(n_items))
        # 获取评分最高的电影
        top_items = data['item_labels'][np.argsort(-scores)]
        
        print("用户 %s" % user_id)
        print("     已知喜欢的电影:")
        for x in known_positives[:3]:
            print("        %s" % x)
            
        print("     推荐电影:")
        for x in top_items[:3]:
            print("        %s" % x)

sample_recommendation(model, data, [3, 25, 450])

输出展示了3个用户的已知喜欢电影和系统推荐电影，可以看到推荐结果与用户历史偏好有一定相关性。

总结

通过这个快速入门示例，我们完成了：

1. 使用LightFM内置功能获取并处理Movielens数据集
2. 构建基于WARP损失函数的隐式反馈推荐模型
3. 训练模型并评估其性能
4. 为特定用户生成个性化推荐

LightFM的强大之处在于它能够灵活处理各种推荐场景，后续可以尝试调整模型参数、使用不同的损失函数，或结合物品内容特征来进一步提升推荐效果。