Hoarder项目：从Omnivore迁移书签的技术方案

在开源书签管理工具Hoarder的使用过程中，许多用户面临从Omnivore平台迁移书签的需求。本文将详细介绍如何通过自动化脚本实现这一迁移过程，帮助用户完整保留自己的书签数据。

背景介绍

Omnivore是一款流行的书签管理服务，但早期版本缺乏导出功能，给用户数据迁移带来不便。而Hoarder作为开源替代方案，提供了更灵活的数据管理方式。本文提供的解决方案填补了两者之间的数据迁移空白。

技术实现方案

我们开发了一个基于Bash的自动化脚本，通过Omnivore的GraphQL API获取用户书签数据，并将其转换为标准的HTML书签格式。该方案具有以下特点：

1. 简单易用：仅需提供API密钥即可运行
2. 完整迁移：自动处理分页数据，确保所有书签都被导出
3. 兼容性强：生成标准HTML格式，可直接导入Hoarder

脚本详解

#!/bin/bash

if [ "$#" -ne 1 ]; then
    echo "Usage: $0 <API_KEY>"
    exit 1
fi

API_KEY="$1"
ENDPOINT="https://api-prod.omnivore.app/api/graphql"
OUTPUT_FILE="omnivore_bookmarks.html"

# 初始化书签文件
echo '<!DOCTYPE NETSCAPE-Bookmark-file-1>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=UTF-8">
<TITLE>Bookmarks</TITLE>
<H1>Bookmarks</H1>
<DL><p>' > "$OUTPUT_FILE"

fetch_page() {
    local after="$1"
    local query
    if [ -z "$after" ]; then
        query='{"query": "query { search(first: 100, query: \"\", includeContent: false) { ... on SearchSuccess { edges { node { id url title } } pageInfo { hasNextPage endCursor } } } }"}'
    else
        query="{\"query\": \"query { search(first: 100, after: \\\"$after\\\", query: \\\"\\\", includeContent: false) { ... on SearchSuccess { edges { node { id url title } } pageInfo { hasNextPage endCursor } } } }\"}"
    fi

    curl --silent --location "$ENDPOINT" \
         --header "Authorization: $API_KEY" \
         --header 'Content-Type: application/json' \
         --header 'Accept: application/json' \
         --data "$query"
}

process_results() {
    local json="$1"
    echo "$json" | jq -r '.data.search.edges[] | "<DT><A HREF=\"\(.node.url)\">\(.node.title)</A>"' >> "$OUTPUT_FILE"
}

after=""
has_next_page=true

while $has_next_page; do
    response=$(fetch_page "$after")
    process_results "$response"
    
    has_next_page=$(echo "$response" | jq -r '.data.search.pageInfo.hasNextPage')
    after=$(echo "$response" | jq -r '.data.search.pageInfo.endCursor')
    
    echo "Processed a page. More pages: $has_next_page"
    
    # 避免触发速率限制
    sleep 1
done

# 关闭书签文件
echo '</DL><p>' >> "$OUTPUT_FILE"

echo "Bookmarks have been saved to $OUTPUT_FILE"

使用说明

1. 将上述脚本保存为export_omnivore.sh文件
2. 赋予执行权限：chmod +x export_omnivore.sh
3. 运行脚本并传入API密钥：./export_omnivore.sh YOUR_API_KEY
4. 脚本将生成omnivore_bookmarks.html文件
5. 在Hoarder中导入该HTML文件即可

技术要点解析

1. GraphQL API调用：脚本通过Omnivore的GraphQL端点批量获取书签数据
2. 分页处理：自动检测并处理分页数据，确保完整导出
3. 数据转换：使用jq工具解析JSON响应并转换为HTML格式
4. 速率控制：添加1秒延迟避免触发API速率限制

注意事项

1. 确保系统已安装curl和jq工具
2. API密钥可从Omnivore账户设置中获取
3. 大规模书签库可能需要较长时间处理
4. 建议在稳定的网络环境下运行脚本

总结

本文提供的解决方案有效解决了从Omnivore到Hoarder的书签迁移问题。该方案不仅适用于当前需求，也为其他类似的数据迁移场景提供了参考。随着Omnivore官方导出功能的完善，用户也可以考虑使用官方导出工具，但本方案仍保留了技术参考价值。