Simhash 近似重复检测技术文档

1. 安装指南

在开始使用Simhash之前，请确保您的开发环境满足以下要求：

• C++编译器支持C++11或更高版本
• 安装了cmake构建系统

以下是安装Simhash的步骤：

1. 克隆Git仓库：

   git clone https://github.com/seomoz/simhash-cpp.git
   

2. 进入项目目录：

   cd simhash-cpp
   

3. 创建构建目录并编译：

   mkdir build && cd build
   cmake ..
   make
   

编译完成后，库文件和可执行文件将位于build目录中。

2. 项目的使用说明

Simhash库提供了两种工具来查找simhashes：

• Simhash::find_all：查找所有匹配的simhash对
• Simhash::find_clusters：查找匹配的simhash簇（请参阅#clustering）

此外，项目还提供了两个二进制文件，以便从其他语言中使用。这两个文件读取以换行符分隔的十进制字符串形式的hashes，并输出以换行符分隔的JSON数组。

• simhash-find-all：将所有匹配对写入包含两个元素的数组
• simhash-find-clusters：将所有簇写入simhash数组

这两个二进制文件具有以下通用参数：

• --input：指定要读取的文件名（默认为-，表示标准输入）
• --output：指定要写入的文件名（默认为-，表示标准输出）
• --blocks：设置用于simhash匹配的块数
• --distance：设置考虑匹配的最大比特距离

3. 项目API使用文档

以下是Simhash库中一些关键API的简要说明：

Simhash::find_all

此函数用于查找所有匹配的simhash对。其基本用法如下：

std::vector<std::pair<uint64_t, uint64_t>> find_all(const std::vector<uint64_t>& fingerprints, int blocks, int distance);

• fingerprints：指纹数组
• blocks：块数
• distance：最大比特距离

Simhash::find_clusters

此函数用于查找匹配的simhash簇。其基本用法如下：

std::vector<std::vector<uint64_t>> find_clusters(const std::vector<uint64_t>& fingerprints, int blocks, int distance);

参数与find_all相同。

4. 项目安装方式

请参考上述“安装指南”一节中的步骤进行安装。安装完成后，您将可以在您的C++项目中包含Simhash库，并使用其功能。如果您需要使用二进制文件，也可以直接从构建目录中运行它们。