SkySense-O：基于视觉中心化多模态建模的开放世界遥感解析技术解析

项目概述

SkySense-O是一项突破性的遥感图像解析技术，它通过创新的视觉中心化视觉-语言建模方法，实现了开放世界场景下的遥感图像理解。该项目由研究团队在CVPR 2025上发布，代表了当前遥感图像解析领域的最前沿技术。

技术背景

传统遥感图像解析面临两大核心挑战：

1. 现有遥感语义类别有限，特别是像素级解析数据集
2. 仅依靠语言空间难以区分遥感图像中密集复杂的空间区域

SkySense-O通过以下创新方案解决了这些问题：

• 构建了精细标注的Sky-SA数据集
• 提出了视觉中心化的多模态建模方法

核心技术

1. Sky-SA数据集

这是首个面向开放词汇分割的遥感领域数据集，具有以下特点：

• 包含183,375个高质量局部图像-文本对
• 全像素人工标注
• 覆盖1,763个类别标签
• 经过多轮专家验证

2. 视觉中心化建模方法

创新性地将视觉自监督范式融入图像-文本对齐过程：

1. 预训练阶段：保持通用视觉表示能力
2. 构建视觉相关性知识图谱
3. 开发新型视觉中心化图像-文本对比损失

性能表现

SkySense-O在14个数据集上的评估表现出色，涵盖识别、推理、分类和定位四大任务，相比最新模型有显著提升：

• 平均优于SegEarth-OV 11.95%
• 平均优于GeoRSCLIP 8.04%
• 平均优于VHM 3.55%

快速开始

环境安装

1. 安装detectron2：

python -m pip install 'git+https://github.com/MaureenZOU/detectron2-xyz.git'

2. 克隆仓库并安装依赖：

git clone https://github.com/zqcraft/SkySense-O.git
cd SkySense-O
pip install -r require.txt
pip install accelerate -U

数据集准备

参考项目中的data_engine.md文件了解Sky-SA数据集的详细准备流程。

快速推理

sh demo.sh

模型训练

sh run_train.sh

模型评估

sh run_eval.sh

技术展望

项目团队计划在未来陆续发布：

• 模型检查点、推理代码和演示
• 数据集和训练脚本
• 评估代码
• 数据生成管道的代码

应用价值

SkySense-O的技术突破为以下领域带来新的可能性：

• 精准农业监测
• 城市规划与管理
• 灾害评估与响应
• 环境变化监测
• 国土安全应用

总结

SkySense-O代表了遥感图像解析技术的重要进步，其开放世界的解析能力和卓越的性能表现，为遥感领域的智能化应用开辟了新的道路。该技术的视觉中心化建模思路也为多模态学习领域提供了有价值的参考。

@article{zhu2024skysenseo,
  title={SkySense-O: Towards Open-World Remote Sensing Interpretation with Vision-Centric Visual-Language Modeling},
  author={Qi Zhu, Jiangwei Lao, Deyi Ji, Junwei Luo, Kang Wu, Yingying Zhang, Lixiang Ru, Jian Wang, Jingdong Chen, Ming Yang, Dong Liu, Feng Zhao},
  journal={arXiv preprint },
  year={2025}
}