 zhangpu
|
394faf26fc
|
feat(data-management): 实现无GUI数据集下载与自动分割脚本
- 通过MySQL按日期查询数据并分页获取图像信息
- 实现SimpleDownloader支持多线程批量下载，带重试和跳过已存在文件功能
- 依据类别自动创建目录并规范化文件命名，防止文件名冲突
- 支持自定义下载超时时间、最大重试次数、并发数等参数
- 下载结束后调用已有split_dataset模块按70/15/15比例分割为训练/验证/测试集
- 支持设置样本最小阈值、类别样本上限和标记样本不足类别
- 生成下载失败日志和运行摘要，方便任务监控及后续排查
- 命令行参数灵活配置数据源、日期范围、输出路径等运行参数
|
2026-06-10 09:20:04 +08:00 |
|