GDAL TIL 驱动详解:读取 EarthWatch/DigitalGlobe 分块卫星影像(.TIL 索引 + IMD 元数据)

原创2026-10-11 11:34:521,342 阅读
文章标签:GIS数据处理

GDAL TIL 驱动详解:读取 EarthWatch/DigitalGlobe 分块卫星影像(.TIL 索引 + IMD 元数据)

TIL 是 GDAL 中专门用于读取 EarthWatch/DigitalGlobe 卫星影像产品(以 .TIL 索引文件描述分块数据)的栅格驱动。本文以 doc/source/drivers/raster/til.rst 为主线,结合 frmts/til/tildataset.cpp、gcore/mdreader/reader_digital_globe.cpp 与 autotest/gdrivers/til.py 等仓库证据,完整讲解该驱动的能力边界、.TIL/.IMD 文件格式、识别与打开流程、内部基于 VRT 的瓦片组装原理,以及 gdalinfo、gdal_translate、Python 等实战用法。

驱动概览与能力矩阵

TIL 驱动(shortname:TIL)是 GDAL 内置(built-in by default)的栅格只读驱动,官方文档将其长名定义为 "EarthWatch .TIL"。从 gcore/gdal_mdreader.h 与驱动注册代码 frmts/til/tildataset.cpp 可以确认其能力如下:

能力 支持情况 来源依据
栅格读写 只读(GDAL_DCAP_RASTER = YES,打开时拒绝更新访问) tildataset.cpp
地理配准 支持(supports_georeferencing) til.rst
虚拟文件系统 支持(GDAL_DCAP_VIRTUALIO = YES,supports_virtualio) tildataset.cpp
构建方式 默认随 GDAL 内置编译,同时支持插件化(PLUGIN_CAPABLE) frmts/til/CMakeLists.txt

从注册代码可以看到驱动公开了 GDAL_DMD_HELPTOPIC = "drivers/raster/til.html"、GDAL_DMD_LONGNAME = "EarthWatch .TIL",并通过 GDALDriver::pfnOpen / pfnIdentify 挂接打开与识别回调。由于支持 Virtual I/O,.TIL 数据集也可以通过 /vsimem/、/vsizip/ 等 GDAL 虚拟路径访问,这为在内存或压缩归档中直接读取影像提供了可能。

数据集文件组成

一个可被 TIL 驱动打开的 EarthWatch/DigitalGlobe 产品目录通常包含四类文件,这是理解该驱动的前提:

  1. .TIL 索引文件(必选):纯文本的关键字/值格式,描述瓦片文件名与每块瓦片在大影像中的偏移位置;
  2. .IMD 元数据文件(必选):提供 numRows、numColumns、bitsPerPixel 等尺寸与像素深度信息,还常包含 MAP_PROJECTED_PRODUCT.ULX/ULY 用于地理定位;
  3. .RPB 有理多项式(RPC)文件(可选):提供有理函数传感器模型;
  4. .XML 侧车文件(可选):DigitalGlobe 的 <isd> 根节点 XML,可同时承载 IMD/RPB/TIL 信息;
  5. 瓦片影像文件(必选):由 .TIL 中 TILE_N.filename 引用的子影像,如 GeoTIFF。

驱动使用 GDALMDReaderManager 以 MDR_DG(DigitalGlobe)模式查找配套的 .IMD、.RPB、.XML 文件(见 gcore/gdal_mdreader.cpp)。若找不到元数据文件,打开会直接失败并报告 Unable to open .TIL dataset due to missing metadata file.;若找到元数据但缺少 .IMD,则报 Unable to open .TIL dataset due to missing .IMD file.(tildataset.cpp)。

仓库中的测试样例 autotest/gdrivers/data/til 完整呈现了这一文件集合:testtil.til + testtil.imd + byte.tif,以及替代形态 testtil2.til + testtil2.xml(XML 内含 <IMD> 与 <TIL> 节点)。

识别规则:如何判定一个文件是 TIL 数据集

TILDataset::Identify()(tildataset.cpp)的识别条件非常明确,满足以下三点才被认定为 TIL 数据集:

  1. 文件头字节数不少于 200(nHeaderBytes >= 200);
  2. 文件扩展名不区分大小写地等于 TIL(IsExtensionEqualToCI("TIL"));
  3. 文件头 200 字节内出现关键字 numTiles(strstr(...) != nullptr)。

实际读取时,.TIL 文件由 CPLKeywordParser 解析(tildataset.cpp),因此文件本质上是 关键字 = 值 逐行书写的文本,并以 END; 结束。注意驱动仅支持只读:Open() 中若检测到 GA_Update 访问,会调用 ReportUpdateNotSupportedByDriver("TIL") 直接返回失败。

.TIL 索引文件格式与关键字详解

结合测试样例 autotest/gdrivers/data/til/testtil.til 与源码解析逻辑(tildataset.cpp),.TIL 文件的核心关键字如下:

numTiles = 1
TILE_1.filename = "byte.tif"
TILE_1.ULColOffset = 0
TILE_1.ULRowOffset = 0
TILE_1.LRColOffset = 20
TILE_1.LRRowOffset = 20
END;

各关键字含义与源码对应关系:

关键字 含义 处理位置
numTiles 瓦片总数,驱动据此遍历 TILE_1 至 TILE_numTiles tildataset.cpp
TILE_N.filename 第 N 块瓦片的影像文件名,可带双引号(驱动会剥离),相对于 .TIL 所在目录解析 tildataset.cpp
TILE_N.ULColOffset 瓦片在大影像中的左上角列偏移(0 起始,闭区间) tildataset.cpp
TILE_N.ULRowOffset 瓦片在大影像中的左上角行偏移(0 起始) tildataset.cpp
TILE_N.LRColOffset 瓦片在大影像中的右下角列偏移(含端点) tildataset.cpp
TILE_N.LRRowOffset 瓦片在大影像中的右下角行偏移(含端点) tildataset.cpp

其中 LRColOffset - ULColOffset + 1 与 LRRowOffset - ULRowOffset + 1 正是瓦片自身的尺寸,AddSimpleSource 以 (0, 0, width, height) → (ULColOffset, ULRowOffset, width, height) 的映射把瓦片铺进大影像(tildataset.cpp)。驱动对 filename 值做了路径穿越(path traversal)防护(CPLHasPathTraversal 检查),存在路径穿越时拒绝打开。

若缺少 TILE_1.filename 或任一 TILE_N.filename,驱动会分别报 Missing TILE_1.filename in .TIL file. 或 Missing TILE_%d.filename in .TIL file.。

IMD 元数据文件与必需字段

.IMD 文件同样是 关键字 = 值 文本(可含 BEGIN_GROUP/END_GROUP 分组),测试样例 autotest/gdrivers/data/til/testtil.imd 形如:

numRows = 20
numColumns = 20
bitsPerPixel = 8
BEGIN_GROUP = IMAGE_1
        satId = "WV03";
        firstLineTime = 2015-01-01T00:00:00.000000Z;
        cloudCover = 0.027;
END_GROUP = IMAGE_1
END;

驱动打开时校验三个必需字段,任一缺失即报 Missing a required field in the .IMD file.(tildataset.cpp):

  • numRows:大影像总行数(nRasterYSize);
  • numColumns:大影像总列数(nRasterXSize);
  • bitsPerPixel:每像素位数。

值得注意的是,虽然 bitsPerPixel 是打开校验的必需字段,但实际参与构造数据集的仍以 numRows/numColumns 为准,最终波段数量与数据类型则来自第一块瓦片影像(见下文 VRT 机制)。打开后还会对 GDALCheckDatasetDimensions 校验尺寸合理性,防止异常文件构造出超大栅格。

地理配准:ULX/ULY 半像素校正

TIL 驱动通过 IMD 中的投影参数实现地理参考,其细节在源码中注释得非常清楚(tildataset.cpp):

  • 投影(Projection):直接采用第一块瓦片(TILE_1.filename)的投影字符串,前提假设是所有瓦片投影一致("we suppose the first tile have the same projection as others (usually so)");
  • 仿射变换(GeoTransform):同样以第一块瓦片的变换为基础,再用 IMD 的 MAP_PROJECTED_PRODUCT.ULX / MAP_PROJECTED_PRODUCT.ULY 修正原点。

根据 DigitalGlobe ISD(Image Support Data)规范,ULX 定义为"影像左上角像素中心的东向坐标"(Easting of the center of the upper left pixel of the image),因此源码做了半像素校正:

gt.xorig = IMD的ULX - gt.xscale / 2;
gt.yorig = IMD的ULY - gt.yscale / 2;

即用 ULX 减去半个像素宽度得到栅格原点 xorig,用 ULY 减去半个像素高度得到 yorig,从而将"像素中心坐标"转换为 GDAL GeoTransform 约定的"左上角坐标"。

元数据域:IMAGERY / IMD / RPC 的读取链路

TIL 驱动复用 GDAL 核心的元数据读取器框架。打开时 mdreader->FillMetadata(&poDS->oMDMD) 会一次性填充多个元数据域(tildataset.cpp),同时 GetMetadataFiles() 会把 IMD/RPB/XML 侧车文件纳入 GetFileList() 返回列表。

DigitalGlobe 读取器实现在 gcore/mdreader/reader_digital_globe.cpp,它依次完成:

  1. 查找侧车文件:通过 GDALFindAssociatedFile 查找同名的 .XML、.IMD、.RPB;只要存在 .IMD 或 .RPB,或存在根节点为 <isd> 的 XML,即判定为满足要求(HasRequiredFiles);
  2. 解析 IMD:优先读 .IMD 文本,若不存在则从 XML 的 <IMD> 节点解析(LoadIMDXmlNode);
  3. 解析 RPC:优先读 .RPB 文本,否则从 XML 的 <RPB> 节点按 apszRPBMap 映射表提取 20 个 RPC 系数(errBias、lineOffset、latOffset、lineNumCoef 等),填充到 GDAL_MDD_RPC 域;
  4. 构造 IMAGERY 元数据(GDAL_MDD_IMAGERY 域),映射规则如下:
IMAGERY 元数据项 IMD 来源字段 转换规则
SATELLITEID IMAGE.SATID(或 IMAGE_1.SATID) 剥离引号后直接写入
CLOUDCOVER IMAGE.CLOUDCOVER(或 IMAGE_1.cloudCover) 浮点云量 ×100 取整为百分比;负数则写入 N/A
ACQUISITIONDATETIME IMAGE.FIRSTLINETIME(或 IMAGE_1.firstLineTime) 解析时间戳并格式化为标准日期时间

此外默认域还会写入 METADATATYPE = DG,用于标识元数据来源(reader_digital_globe.cpp)。测试 autotest/gdrivers/til.py 正是通过 ds.GetMetadata("IMAGERY") 断言 SATELLITEID、CLOUDCOVER、ACQUISITIONDATETIME 三个键的存在性来验证这条链路。

内部实现:基于 VRT 的瓦片组装

TIL 驱动最核心的工程手法是用内存 VRT 数据集透明地拼装分块影像,其结构完全映射自 tildataset.cpp:

  1. 打开 TILE_1.filename 指定的第一块瓦片,获取波段数(GetRasterCount())与数据类型(GetRasterDataType())作为整景影像的模板;
  2. 新建一个同尺寸(numColumns × numRows)的 VRTDataset,按模板波段数 AddBand(eDT, ...) 创建波段,并调用 SetWritable(FALSE) 禁止写盘(不会生成 VRT XML 文件);
  3. 为每个波段创建 TILRasterBand,其内部持有对应的 VRTSourcedRasterBand;
  4. 遍历 numTiles 块瓦片,对每个波段调用 AddSimpleSource(osFilename, iBand, 0, 0, w, h, ULColOffset, ULRowOffset, w, h) 注册瓦片源。

TILRasterBand 是用户侧可见的波段对象:IReadBlock() 直接转发给内部 VRT 波段的 ReadBlock()(tildataset.cpp);IRasterIO() 则做了分层处理——若存在外部 .ovr 概览(通过 oOvManager.Initialize 挂载,tildataset.cpp)就走 PAM 概览路径,否则回落到 VRT 波段自身的源概览(tildataset.cpp),这保证了缩采样读取时优先使用概览而非逐块解码原图。

依赖管理上,TILDataset 重写了 CloseDependentDatasets() 来释放内部 VRT 与所有源数据集引用,并通过 GetFileList() 把瓦片文件与元数据文件一并返回给上层(tildataset.cpp)。

实战用法

以下命令与代码可直接在安装本仓库版本 GDAL 的环境中使用(假设数据目录包含 scene.til、scene.imd 与若干瓦片 GeoTIFF)。

1. 查看数据集信息

gdalinfo scene.til

输出中会包含 Driver: TIL/EarthWatch .TIL、Size is numColumns, numRows、投影与仿射变换(经 ULX/ULY 半像素校正后的 GeoTransform),以及 IMD/RPB/XML 元数据域。

2. 导出为标准 GeoTIFF

gdal_translate -of GTiff scene.til scene_mosaic.tif

驱动只读,因此转换是标准的"读取 → 写出"流程;由于底层是 VRT 拼装,gdal_translate 的 -r 重采样选项、-outsize 缩放等均可用。

3. 用 Python 读取影像与元数据

from osgeo import gdal

ds = gdal.Open("scene.til", gdal.GA_ReadOnly)
print(ds.RasterXSize, ds.RasterYSize)          # numColumns, numRows
print(ds.GetProjection())                       # 来自第一块瓦片
print(ds.GetGeoTransform())                     # ULX/ULY 半像素校正后

# IMAGERY 域(SATELLITEID / CLOUDCOVER / ACQUISITIONDATETIME)
md = ds.GetMetadata("IMAGERY")
print(md.get("SATELLITEID"), md.get("CLOUDCOVER"))

# 文件列表:.TIL + 全部瓦片 + IMD/RPB/XML
print(ds.GetFileList())

# 读取左上角 512×512 区域(内部经 VRT 源分发)
band = ds.GetRasterBand(1)
data = band.ReadAsArray(0, 0, 512, 512)
ds = None

4. 遍历栅格块统计(示例思路)

由于 IRasterIO 优先走概览/源分发,对超大分块影像做直方图、均值等分块统计时可保持合理的内存占用,例如用 ReadRaster 按 1024×1024 滑动窗口处理。

测试验证

仓库针对 TIL 驱动提供了完整的自动化测试 autotest/gdrivers/til.py(基于 pytest,标记 require_driver("TIL")):

  • test_til_1:打开伪造的 TIL 数据集 til/testtil.til,校验第一个波段的校验和为 4672,验证基本读取正确性;
  • test_til_2:验证 GetFileList() 返回 3 个文件(.TIL + 瓦片 + .IMD),且 IMAGERY 域包含 SATELLITEID、CLOUDCOVER、ACQUISITIONDATETIME;同时断言不会生成 testtil.til.aux.xml(PAM 辅助文件不落盘);
  • test_til_3:针对 XML 侧车形态(testtil2.til + testtil2.xml)重复上述元数据校验,验证 IMD 信息可从 <isd> XML 中解析。

测试数据 autotest/gdrivers/data/til 中的 testtil2.xml 展示了 XML 形态:根节点 <isd> 下同时包含 <IMD>(NUMROWS、NUMCOLUMNS、BITSPERPIXEL、IMAGE 中的 SATID/FIRSTLINETIME/CLOUDCOVER)与 <TIL>(TILE 的 FILENAME/ULCOLOFFSET 等),字段名不区分大小写。

构建与插件化

TIL 驱动在 frmts/til/CMakeLists.txt 中通过 add_gdal_driver(TARGET gdal_TIL SOURCES tildataset.cpp PLUGIN_CAPABLE ...) 声明:

  • PLUGIN_CAPABLE:既可以静态内置,也可以编译为可动态加载的插件(gdal_TIL);
  • NO_DEPS:不依赖第三方库;
  • 私有包含路径指向 frmts/vrt,因为驱动源码直接使用了 vrtdataset.h 中的 VRTDataset/VRTSourcedRasterBand。

因此 tildataset.cpp 与 VRT 驱动存在强耦合,这也是它被归为 GDAL 内置驱动而非独立插件目录的原因之一。标准构建流程(如 cmake .. && make)会自动包含该驱动;需要确认是否启用时可查看编译配置输出或 gdalinfo --formats 中是否列出 TIL -raster-。

局限与注意事项

  • 只读驱动:TIL 不支持任何形式的更新/写入,尝试以更新模式打开会直接报错;
  • 强依赖元数据:缺少 .IMD(或等效 <isd> XML)时无法打开;numRows/numColumns/bitsPerPixel 缺一不可;
  • 模板瓦片假设:波段数量、数据类型、投影与仿射变换均以第一块瓦片为准,若其余瓦片与之一致性差(不同波段数、不同数据类型、不同投影),会出现错误拼装或读取异常——这是 DigitalGlobe 产品格式本身的结构性假设;
  • 偏移为闭区间:LR*Offset 是含端点的行列号,计算瓦片尺寸需 +1,手工编辑 .TIL 时不要照搬"右开区间"习惯;
  • 格式兼容性:本文描述以当前仓库(frmts/til/tildataset.cpp)实现为准,若遇到非标准字段名的产品文件,需以官方 ISD 规范字段(如 numRows、MAP_PROJECTED_PRODUCT.ULX 等)为准进行核对。
登录后查看全文
gdal