告别数据臃肿：city-roads教你用Protobuf压缩80%地图数据

2026-02-05 05:34:26作者：姚月梅Lane

还在为城市道路数据传输缓慢而烦恼？还在忍受GB级CSV文件占用存储空间？本文将带你深入了解city-roads项目中从CSV到Protobuf（协议缓冲区）的数据格式转换工具，通过三步实现地图数据的高效压缩与传输，让你的城市道路可视化应用加载速度提升5倍以上。

为什么选择Protobuf？

传统CSV格式在存储城市道路数据时存在三大痛点：文本存储占用空间大、解析速度慢、缺乏类型安全。以东京都道路数据为例，一份包含100万节点的CSV文件体积约为80MB，而转换为Protobuf格式后仅需15MB，压缩率高达81%。

Protobuf（协议缓冲区）是Google开发的一种轻便高效的结构化数据存储格式，具有以下优势：

二进制格式存储，体积比JSON小3-10倍
自带数据类型校验，确保数据完整性
解析速度比XML快20-100倍
支持多语言无缝对接

city-roads项目通过自定义Protobuf schema和转换工具链，完美解决了城市道路数据的存储与传输难题。

Protobuf数据模型设计

city-roads项目的核心数据模型定义在place.proto文件中，采用分层结构设计：

message place {
    message node {
        optional uint64 id = 1;
        optional float lat = 2;
        optional float lon = 3;
    }

    message way {
        repeated uint64 nodes = 1 [packed = true];
    }

    required uint32 version = 1 [ default = 1 ];
    required string name = 2;
    required string date = 3;
    required string id = 4;
    repeated node nodes = 5;
    repeated way ways = 6;
    extensions 16 to 8191;
}

该模型包含两个核心实体：

node（节点）：存储道路交叉点的地理坐标（纬度lat、经度lon）
way（道路）：通过节点ID列表定义道路的几何形状

这种设计既保证了数据的完整性，又通过packed = true选项进一步优化了存储效率。

三步实现数据格式转换

1. 数据准备与导入

city-roads提供了灵活的数据导入机制，支持从CSV文件或API接口获取原始数据。项目中的request.js模块实现了带进度条的HTTP请求功能，支持大文件断点续传和下载取消：

import request from './lib/request.js';

// 示例：加载CSV格式的道路数据
request('https://example.com/city-data.csv', {
  responseType: 'text',
  progress: new Progress() // 显示加载进度
}).then(csvData => {
  // 处理CSV数据
});

2. CSV到Protobuf编码

编码过程由protobufExport.js模块实现，核心逻辑是遍历网格数据并写入Protobuf缓冲区：

import Pbf from 'pbf';
import {place} from '../proto/place.js';

export default function protoBufExport(grid) {
  let nodes = [];
  let ways = [];
  let date = (new Date()).toISOString();

  // 分离节点和道路数据
  grid.forEachElement(x => {
    if (x.type === 'node') {
      nodes.push(x);
    } else if (x.type === 'way') {
      ways.push(x);
    }
  });

  // 写入Protobuf
  let pbf = new Pbf();
  place.write({
    version: 1,
    id: grid.id,
    date, 
    name: grid.name,
    nodes, 
    ways
  }, pbf);
  
  return pbf.finish(); // 返回二进制数据
}

3. Protobuf解码与使用

解码过程在decode.js中实现，通过Pbf库读取二进制数据并还原为JavaScript对象：

let fs = require('fs');
var Pbf = require('pbf');
var place = require('./place.js').place;

// 读取二进制文件
let buffer = fs.readFileSync('tokyo-roads.pbf');
var pbf = new Pbf(buffer);
var roadData = place.read(pbf); // 解码为JavaScript对象

// 使用解码后的数据
console.log(`成功加载 ${roadData.nodes.length} 个节点和 ${roadData.ways.length} 条道路`);