探索城市街道的未来：街景学习(StreetLearn)

项目概览

StreetLearn 是一个由C++引擎驱动的开源项目，它为在真实世界的摄影街头环境中训练导航代理提供了一个Python环境。该项目源自[1]《无地图的城市导航学习》（NeurIPS 2018）的研究，并在后续的[2]《跨视图策略学习用于街道导航》（ICCV 2019）和[3]《遵循方向的学习》（AAAI 2020）中进一步发展。这个环境利用了谷歌街景的全景图像，允许用户在一个第一人称视角下在街景图中移动代理。请注意，这并非官方支持的谷歌产品。

StreetLearn 的代码结构包括一个C++引擎，用于加载和缓存全景图，以及一个Python接口，提供了自定义行动空间的游戏环境。此外，还有一系列基于pygame的简单交互式代理，如人类代理、预言者代理和指令跟随预言者代理，可用于测试和评估导航性能。

技术分析

项目的核心是街景学习引擎，该引擎能够将等距柱状投影的全景图转换成特定角度的第一人称视图。使用TensorFlow实现的"重要性加权演员-学者架构"（IMPALA）来训练和实施导航代理，这一架构由Espeholt等人在2018年的论文中提出。通过Bazel构建系统进行编译和管理，项目依赖于Protocol Buffers、CLIF库、OpenCV 2.4.13和Python的各种库。

应用场景

StreetLearn 可以应用于：

1. 自动驾驶汽车的路径规划和感知理解。
2. 智能机器人在复杂城市环境中的导航。
3. 虚拟现实(VR)游戏的开发，模拟真实的街头导航体验。
4. 地图或位置数据服务的算法研究。

项目特点

1. 实际环境模拟：使用真实的街景图片，创建了与现实世界相似的导航挑战。
2. 自定义行动空间：Python接口允许定义不同的动作集，适应多种任务需求。
3. 可扩展性：基于Bazel的构建系统和模块化设计，易于集成新的代理和环境组件。
4. 开放源代码：鼓励社区参与，推动机器学习和导航技术的进步。

如果你对机器学习在城市导航中的应用感兴趣，或者想要在实际环境中训练智能体，那么StreetLearn是一个绝佳的起点。立即开始探索，用你的代理穿越全球的城市街道吧！

引用文献

@inproceedings{mirowski2018learning,
  title={Learning to Navigate in Cities Without a Map},
  author={Mirowski, Piotr and Grimes, Matthew Koichi and Malinowski, Mateusz and Hermann, Karl Moritz and Anderson, Keith and Teplyashin, Denis and Simonyan, Karen and Kavukcuoglu, Koray and Zisserman, Andrew and Hadsell, Raia},
  booktitle={Neural Information Processing Systems (NeurIPS)},
  year={2018}
}

@article{mirowski2019streetlearn,
  title={The StreetLearn Environment and Dataset},
  author={Mirowski, Piotr and Banki-Horvath, Andras and Anderson, Keith and Teplyashin, Denis and Hermann, Karl Moritz and Malinowski, Mateusz and Grimes, Matthew Koichi and Simonyan, Karen and Kavukcuoglu, Koray and Zisserman, Andrew and others},
  journal={arXiv preprint arXiv:1903.01292},
  year={2019}
}

要启动你的StreetLearn之旅，请访问项目页面获取详细信息和安装指南：https://github.com/deepmind/streetlearn。