Duke 项目使用教程

1. 项目目录结构及介绍

Duke 项目的目录结构如下：

Duke/
├── doc/
├── duke-core/
├── duke-dist/
├── duke-es/
├── duke-json/
├── duke-lucene/
├── duke-mapdb/
├── duke-mongodb/
├── duke-server/
├── .gitignore
├── .travis.yml
├── LICENSE.md
├── README.md
├── changes.txt
└── pom.xml

目录介绍：

• doc/: 包含项目的文档文件。
• duke-core/: Duke 的核心模块，包含主要的去重逻辑。
• duke-dist/: 包含项目的分发文件。
• duke-es/: 与 Elasticsearch 集成的模块。
• duke-json/: 处理 JSON 数据的模块。
• duke-lucene/: 基于 Lucene 的模块。
• duke-mapdb/: 与 MapDB 集成的模块。
• duke-mongodb/: 与 MongoDB 集成的模块。
• duke-server/: 包含 Duke 的服务器模块。
• .gitignore: Git 忽略文件配置。
• .travis.yml: Travis CI 配置文件。
• LICENSE.md: 项目许可证文件。
• README.md: 项目介绍和使用说明。
• changes.txt: 项目变更记录。
• pom.xml: Maven 项目配置文件。

2. 项目启动文件介绍

Duke 项目的启动文件主要位于 duke-server/ 目录下。启动 Duke 服务器的命令如下：

java -jar duke-server/target/duke-server-<version>.jar

其中 <version> 是 Duke 的版本号。启动后，Duke 服务器将监听默认端口（通常是 8080），可以通过浏览器访问 http://localhost:8080 来使用 Duke 的 Web 界面。

3. 项目配置文件介绍

Duke 项目的配置文件主要位于 duke-core/ 目录下，配置文件通常是一个 XML 文件，用于定义数据源、比较器、清理器等。以下是一个简单的配置文件示例：

<configuration>
    <datasource class="no.priv.garshol.duke.datasources.ColumnarDataSource">
        <param name="file" value="data.csv"/>
        <param name="separator" value=","/>
    </datasource>
    <comparator class="no.priv.garshol.duke.comparators.Levenshtein"/>
    <cleaner class="no.priv.garshol.duke.cleaners.TrimCleaner"/>
</configuration>

配置文件说明：

• datasource: 定义数据源，可以是 CSV 文件、数据库等。
• comparator: 定义用于比较记录的比较器，如 Levenshtein 距离比较器。
• cleaner: 定义用于清理数据的清理器，如 TrimCleaner 用于去除字符串两端的空白字符。

通过修改配置文件，可以自定义 Duke 的行为，以适应不同的数据去重需求。