Dawarich 项目中的 Google Takeout 数据导入问题分析与解决方案

问题背景

在 Dawarich 项目中，用户尝试导入 Google Takeout 导出的位置历史数据时遇到了解析错误。错误信息显示 JSON 解析器在处理特定字段时失败，具体是在解析活动类型 "ON_BICYCLE" 时出现了字符串未终止的问题。

错误分析

从错误日志中可以观察到以下关键信息：

1. 解析器报错位置：locations[930086].activity[0].activity[9].type
2. 错误类型：Oj::ParseError: quoted string not terminated
3. 文件行号：19565378
4. 文件大小：约 463MB

这表明问题可能源于以下几个方面：

1. JSON 文件格式问题：Google Takeout 导出的 JSON 文件可能存在格式错误，特别是在大型文件中容易出现字符串未正确闭合的情况。
2. 内存限制：处理近 500MB 的大型 JSON 文件时，Ruby 进程可能遇到内存限制，导致容器崩溃（错误代码 137 通常表示内存不足被系统终止）。
3. 数据复杂性：Google Takeout 数据包含多层嵌套结构，特别是活动记录部分包含多种活动类型和置信度评分。

解决方案

1. 文件分割处理

对于大型 JSON 文件，推荐采用分块处理策略：

1. 使用命令行工具如 jq 或 Python 脚本将原始文件分割成多个较小文件
2. 确保每个分割后的文件都是有效的 JSON 格式
3. 分批导入这些较小的文件

2. 内存优化配置

调整 Ruby 进程的内存设置：

1. 增加容器内存限制
2. 配置 Ruby GC 参数优化内存使用
3. 考虑使用流式解析而非一次性加载整个文件

3. 数据预处理

在导入前对数据进行预处理：

1. 移除不必要的字段（如活动记录中的低置信度条目）
2. 简化数据结构，减少嵌套层级
3. 验证 JSON 格式有效性

最佳实践建议

1. 分批次导入：对于超过 100MB 的位置历史数据，强烈建议分割后分批导入
2. 监控资源使用：导入过程中监控系统资源使用情况，特别是内存消耗
3. 数据清理：导入前检查数据质量，移除可能引起问题的特殊字符或格式
4. 日志记录：确保导入过程有详细日志记录，便于问题排查

技术实现细节

Dawarich 项目使用 Oj gem 作为高性能 JSON 解析器。在处理大型 JSON 文件时，可以考虑以下优化：

1. 使用 Oj.sc_parse 进行流式解析
2. 实现自定义解析器处理特定字段
3. 增加错误恢复机制，跳过格式错误的部分而非整个导入失败

通过以上方法，可以有效解决 Google Takeout 数据导入 Dawarich 项目时遇到的各种问题，确保位置历史数据能够顺利导入系统。