tilemaker项目中使用--store参数时解决mmap错误的方法

在使用tilemaker这款开源地图切片工具处理大型OSM数据时，开发者可能会遇到一个与内存映射文件相关的错误。本文将详细分析这个问题的成因，并提供有效的解决方案。

问题现象

当用户使用tilemaker的--store参数处理大型OSM数据文件（如planet.osm.pbf）时，可能会遇到以下错误信息：

terminate called after throwing an instance of 'std::runtime_error'
what(): Failed to open mmap file
Command terminated by signal 6

通过strace工具分析可以发现，进程实际上是因为"too many open files"（打开文件过多）而被终止的。

问题根源

这个问题主要与Linux系统的文件描述符限制有关。tilemaker在处理大型数据集时，特别是使用--store参数将临时数据存储在磁盘上时，会创建大量内存映射文件（mmap）。在高性能服务器上（如拥有128个CPU线程的机器），tilemaker可能会启动多个工作线程并行处理数据，每个线程都需要打开多个临时文件。

默认情况下，Linux系统对单个进程可打开的文件描述符数量限制为1024。当tilemaker尝试打开的文件数量超过这个限制时，系统就会拒绝新的文件打开请求，导致mmap操作失败。

解决方案

解决这个问题的关键在于提高系统的文件描述符限制。具体步骤如下：

1. 首先检查当前的文件描述符限制：

   ulimit -a
   

   在输出中查找"open files"一项，确认当前限制值。

2. 如果限制值较低（如默认的1024），可以通过以下命令临时提高限制：

   ulimit -n 10000
   

   这个命令将当前会话的文件描述符限制提高到10000。

3. 然后重新运行tilemaker命令：

   tilemaker --config config.json --process process.lua --output planet.mbtiles --store /nvme/tilemaker.tmp --compact planet.osm.pbf
   

注意事项

1. 使用ulimit -n设置的修改只在当前会话有效。如果需要永久修改，可以编辑/etc/security/limits.conf文件。

2. 设置的值应根据实际需求确定。对于处理特别大的数据集或在高并发环境下，可能需要设置更高的值。

3. 在服务器环境中，特别是当多个用户可能同时运行资源密集型任务时，系统管理员应该全局考虑文件描述符限制的设置。

4. 除了文件描述符限制外，处理大型数据集时还应确保临时存储目录（如示例中的/nvme/tilemaker.tmp）有足够的磁盘空间。

通过以上调整，tilemaker应该能够顺利处理大型OSM数据集，而不会遇到mmap文件打开失败的问题。