在ModelScope Swift项目中实现VSCode调试训练脚本的方法

调试背景

在深度学习项目开发过程中，调试训练脚本是一个常见需求。ModelScope Swift项目作为一个开源的大模型训练框架，提供了丰富的命令行参数来配置训练过程。然而，直接在命令行中运行这些复杂参数的脚本不利于调试，特别是在需要断点调试、变量查看等场景下。

VSCode调试配置方案

针对ModelScope Swift项目的训练脚本调试，可以通过配置VSCode的launch.json文件来实现。以下是具体实现方法：

1. 首先在VSCode中创建或修改项目根目录下的.vscode/launch.json文件

2. 添加如下调试配置：

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "ds_train_debug",
            "type": "debugpy",
            "request": "launch",
            "program": "${file}",
            "console": "integratedTerminal",
            "justMyCode": false,
            "env": {
                "CUDA_VISIBLE_DEVICES": "3,4",
                "PYTHONPATH": "ms-swift",
                "MASTER_PORT": "34229"
            },
            "args": [
                "--model", "./Deepseek/Deepseek_Tiny_W",
                "--model_type", "deepseek_vl2",
                "--local_repo_path", "./Deepseek/ms-swift/DeepSeek_VL2",
                "--dataset", "./train_reflect_768384_yolo.json",
                "--train_type", "lora",
                "--torch_dtype", "float16",
                "--num_train_epochs", "1",
                "--split_dataset_ratio", "0",
                "--per_device_train_batch_size", "1",
                "--per_device_eval_batch_size", "1",
                "--learning_rate", "0.0001",
                "--lora_rank", "8",
                "--lora_alpha", "16",
                "--target_modules", "all-linear",
                "--freeze_vit", "true",
                "--freeze_llm", "true",
                "--gradient_accumulation_steps", "1",
                "--eval_steps", "2",
                "--save_steps", "20",
                "--save_total_limit", "5",
                "--logging_steps", "1",
                "--max_length", "256",
                "--output_dir", "./path_to_save",
                "--warmup_ratio", "0.05",
                "--dataloader_num_workers", "1",
                "--dataset_num_proc", "1"
            ]
        }
    ]
}

关键配置解析

1. 调试器类型：使用debugpy作为Python调试器
2. 环境变量配置：
   • CUDA_VISIBLE_DEVICES：指定使用的GPU设备
   • PYTHONPATH：设置Python模块搜索路径
   • MASTER_PORT：分布式训练的主节点端口
3. 参数传递：通过args数组传递所有训练参数，保持与命令行相同的参数格式
4. 调试选项：justMyCode设为false可以调试第三方库代码

使用步骤

1. 在VSCode中打开ModelScope Swift项目
2. 定位到ms-swift/swift/cli/sft.py文件
3. 设置断点在需要调试的位置
4. 选择配置好的"ds_train_debug"调试配置
5. 启动调试会话

调试技巧

1. 变量监控：在调试过程中可以查看所有局部变量和全局变量
2. 条件断点：可以设置只在特定条件下触发的断点
3. 调用堆栈：查看函数调用关系，理解代码执行流程
4. 交互式调试：可以在调试控制台执行Python代码，实时修改变量值

注意事项

1. 确保所有文件路径相对于项目根目录正确
2. 根据实际需求调整batch size等参数，避免显存不足
3. 调试时建议先使用小规模数据集和少量epoch
4. 分布式训练调试可能需要特殊配置

通过这种调试方法，开发者可以更高效地排查ModelScope Swift项目训练过程中的问题，理解模型训练流程，加速模型开发迭代。