ai-baby-monitor 的项目扩展与二次开发

项目的基础介绍

ai-baby-monitor 是一个基于本地视频流和大型语言模型（LLM）的婴儿监视系统。该项目通过实时视频流分析婴儿的行为，并根据预设的安全规则发出警报。系统旨在为家长提供额外的安全保障，当婴儿处于潜在危险时，系统会发出轻微的提示音，以提醒家长关注。

项目的核心功能

• 实时监控：通过摄像头捕捉视频流，实时分析婴儿的行为。
• 安全规则：用户可以自定义安全规则，例如“婴儿不应爬出婴儿床”或“如果婴儿醒着，成人应在场”等。
• 单一警报：当安全规则被违反时，系统会发出一次轻微的提示音。
• 实时仪表板：提供一个实时更新的仪表板，展示视频流和LLM推理日志。
• 多房间支持：支持多个房间的监控，每个房间可以有自己的配置文件。

项目使用了哪些框架或库？

• Docker：用于容器化应用，确保环境一致性和便捷的部署。
• Docker Compose：用于定义和运行多容器Docker应用。
• Python：项目的主要编程语言。
• uv：用于异步编程。
• Streamlit：用于创建实时应用的仪表板。
• vLLM：用于提供本地大型语言模型服务。

项目的代码目录及介绍

ai-baby-monitor/
├── assets/                     # 存放演示视频和其他资源
├── configs/                    # 配置文件，定义监控规则
├── scripts/                    # 脚本文件，包括启动监控的脚本
├── src/                        # 源代码目录
│   └── ai_baby_monitor/        # 监控系统的核心代码
├── tests/                      # 测试代码
├── .dockerignore               # Docker构建时排除的文件
├── .env.template               # 环境变量模板文件
├── .gitignore                  # Git忽略文件
├── Dockerfile.python           # Python环境的Dockerfile
├── LICENSE                     # 项目许可证文件
├── README.md                   # 项目说明文件
├── docker-compose.yml          # Docker Compose文件，定义服务
└── pyproject.toml              # Python项目配置文件

对项目进行扩展或者二次开发的方向

1. 增加监控规则：可以通过扩展YAML配置文件，添加更多的监控规则，以适应不同的监控需求。
2. 集成更多模型：项目目前使用的是Qwen2.5 VL模型，可以尝试集成其他LLM模型，以提升监控的准确性和功能性。
3. 优化用户界面：当前的实时仪表板比较基础，可以通过改进Streamlit应用，提供更丰富和直观的用户体验。
4. 多平台支持：可以通过改进Docker配置，使项目更容易在多种平台上部署，例如移动设备或嵌入式系统。
5. 数据存储和回溯：增加数据存储功能，允许用户回顾和分析过去的监控数据，以便更好地理解婴儿的行为模式。