# 食物识别系统改造计划 - 基于ResNet50+FAISS的Embedding方案

## 项目背景
原有系统采用End-to-End方式训练分类模型，存在新增菜品时需要重新训练整个模型的问题。现改造为基于ResNet50的Embedding模型+FAISS向量数据库的方案，实现快速新增菜品的能力。

## 改造目标
1. 保留现有End-to-End方案的完整性
2. 新增基于Embedding的识别方案
3. 支持快速新增菜品（仅需20余张照片）
4. 两套方案并行运行，便于对比和切换

## 开发步骤

### 阶段一：基础架构搭建

#### 1.1 创建新的目录结构
```
FoodClassifier/
├── embedding_net/              # 新增：Embedding网络模块
│   ├── __init__.py
│   ├── resnet_embedding.py     # ResNet50 Embedding模型
│   └── embedding_utils.py      # Embedding相关工具函数
├── embedding_train/            # 新增：Embedding模型训练
│   ├── train_embedding.py      # 训练脚本
│   └── data_loader.py          # 数据加载器
├── embedding_classifier/       # 新增：基于Embedding的分类器
│   ├── embedding_classifier_app.py  # GUI应用
│   └── faiss_manager.py        # FAISS数据库管理
├── embedding_model/            # 新增：Embedding模型存储
│   ├── embedding_model.pth     # 训练好的Embedding模型
│   └── faiss_index/            # FAISS索引文件夹
│       ├── food_embeddings.index  # FAISS索引文件
│       └── food_labels.json    # 标签映射文件
├── embedding_toAndroid/        # 新增：Android部署
│   └── export_embedding_mobile.py  # 移动端模型导出
└── embedding_demo/             # 新增：演示和测试
    ├── test_embedding.py       # 测试脚本
    └── compare_methods.py      # 两种方法对比
```

#### 1.2 更新配置文件
- 在 `settings/settings.py` 中新增Embedding相关配置
- 保持原有配置不变，新增独立的Embedding配置段

### 阶段二：ResNet50 Embedding模型开发

#### 2.1 设计Embedding网络架构 (`embedding_net/resnet_embedding.py`)
- 基于预训练的ResNet50构建
- 移除最后的分类层，输出512维特征向量
- 支持移动端部署的预处理方法
- 实现特征提取和相似度计算功能

#### 2.2 实现Embedding工具函数 (`embedding_net/embedding_utils.py`)
- 特征向量标准化函数
- 余弦相似度计算
- 批量特征提取
- 特征向量可视化工具

### 阶段三：训练数据准备和模型训练

#### 3.1 数据加载器开发 (`embedding_train/data_loader.py`)
- 复用现有dataset目录结构
- 实现三元组损失(Triplet Loss)的数据采样
- 支持在线难样本挖掘
- 数据增强策略优化

#### 3.2 训练脚本开发 (`embedding_train/train_embedding.py`)
- 实现三元组损失训练
- 添加中心损失(Center Loss)提升类内聚合
- 学习率调度和早停机制
- 训练过程可视化和日志记录
- 模型验证和性能评估

### 阶段四：FAISS向量数据库集成

#### 4.1 FAISS管理器开发 (`embedding_classifier/faiss_manager.py`)
- FAISS索引的创建、保存和加载
- 向量的增删改查操作
- 支持余弦相似度搜索
- 批量向量操作接口
- 索引优化和压缩

#### 4.2 向量数据库构建
- 将训练集所有图片转换为特征向量
- 构建FAISS索引文件
- 创建标签映射文件
- 实现快速相似度检索

### 阶段五：分类器应用开发

#### 5.1 GUI应用开发 (`embedding_classifier/embedding_classifier_app.py`)
- 参考现有 `food_classifier_app.py` 的界面设计
- 实现基于Embedding的图片识别
- 显示相似度分数和置信度
- 支持批量识别和结果导出
- 添加新菜品的快速入库功能

#### 5.2 新菜品快速添加功能
- 图片批量上传界面
- 自动特征提取和向量化
- FAISS索引实时更新
- 新菜品标签管理

### 阶段六：移动端部署支持

#### 6.1 移动端模型导出 (`embedding_toAndroid/export_embedding_mobile.py`)
- 参考现有 `toAndroid.py` 的导出流程
- 导出TorchScript格式的Embedding模型
- 优化模型大小和推理速度
- 生成移动端配置文件

#### 6.2 移动端集成方案
- 提供Android集成示例代码
- FAISS索引的移动端适配
- 离线推理方案设计

### 阶段七：测试和对比验证

#### 7.1 功能测试 (`embedding_demo/test_embedding.py`)
- 单张图片识别测试
- 批量图片识别测试
- 新菜品添加流程测试
- 性能基准测试

#### 7.2 方法对比 (`embedding_demo/compare_methods.py`)
- End-to-End vs Embedding方法对比
- 识别准确率对比
- 推理速度对比
- 新菜品扩展能力对比
- 生成对比报告

### 阶段八：文档和部署

#### 8.1 技术文档编写
- API文档
- 使用说明文档
- 部署指南
- 性能调优指南

#### 8.2 部署脚本和工具
- 一键部署脚本
- 环境配置检查工具
- 模型版本管理工具

## 技术实现细节

### 网络架构设计
```python
# ResNet50 Embedding模型结构
ResNet50Embedding(
  backbone: ResNet50(pretrained=True)
  embedding_layer: Linear(2048 -> 512)
  l2_normalize: True
)
```

### 损失函数设计
- 主损失：Triplet Loss (margin=0.3)
- 辅助损失：Center Loss (weight=0.1)
- 总损失：L_total = L_triplet + λ * L_center

### FAISS索引配置
- 索引类型：IndexFlatIP (内积索引，适合余弦相似度)
- 特征维度：512
- 搜索策略：Top-K检索 (K=5)

### 数据增强策略
```python
embedding_transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.RandomRotation(15),
    transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1),
    transforms.RandomAffine(degrees=0, translate=(0.1, 0.1)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])
```

## 命名规范

### 文件命名
- 模块文件：`{功能}_embedding.py`
- 配置文件：`embedding_settings.py`
- 模型文件：`embedding_model_v{版本}.pth`
- 索引文件：`food_embeddings_v{版本}.index`

### 类命名
- 网络模型：`ResNet50EmbeddingNet`
- 数据管理：`FAISSFoodManager`
- 应用界面：`EmbeddingFoodClassifierApp`

### 函数命名
- 特征提取：`extract_food_embedding()`
- 相似度搜索：`search_similar_foods()`
- 索引更新：`update_faiss_index()`

## 性能目标

### 识别性能
- 识别准确率：≥95%（与End-to-End方法相当）
- 推理速度：≤100ms/张（CPU环境）
- 新菜品添加：≤30秒（20张图片）

### 系统性能
- 内存占用：≤2GB
- 模型大小：≤100MB
- 索引大小：≤50MB（1000个菜品）

## 风险评估和应对

### 技术风险
1. **特征表达能力不足**
   - 风险：Embedding可能无法充分表达食物特征
   - 应对：采用多尺度特征融合，增加特征维度

2. **相似度阈值设定困难**
   - 风险：难以确定合适的相似度阈值
   - 应对：通过验证集自动调优，支持动态阈值

3. **新菜品泛化能力**
   - 风险：新菜品可能与现有菜品特征重叠
   - 应对：实现特征空间可视化，人工审核机制

### 实施风险
1. **开发周期延长**
   - 风险：新架构开发复杂度高
   - 应对：分阶段实施，优先核心功能

2. **性能不达预期**
   - 风险：识别准确率或速度不满足要求
   - 应对：保留原有方案，渐进式替换

## 项目时间规划

- **第1-2周**：阶段一、二（基础架构和网络设计）
- **第3-4周**：阶段三（数据准备和模型训练）
- **第5-6周**：阶段四、五（FAISS集成和应用开发）
- **第7周**：阶段六（移动端支持）
- **第8周**：阶段七、八（测试验证和文档）

## 成功标准

1. **功能完整性**：所有计划功能正常运行
2. **性能达标**：识别准确率和速度满足目标
3. **易用性**：新菜品添加流程简单高效
4. **稳定性**：长时间运行无内存泄漏或崩溃
5. **可扩展性**：支持1000+菜品规模

## 后续优化方向

1. **模型压缩**：量化、剪枝等技术减小模型大小
2. **增量学习**：支持在线学习新菜品特征
3. **多模态融合**：结合文本描述提升识别准确率
4. **分布式部署**：支持大规模并发识别请求
5. **自动标注**：利用弱监督学习减少人工标注工作量