yixiong/tencent-im-util
3
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
16 Commits 1 Branch 0 Tags
main
Commit Graph
16 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
连龙刚andClaude 7ca5bd4290 feat(t17): 单聊同步+补拉对账+同步消息进分发；修复 get_roam_msg 60008 
新增单聊(C2C)同步、补拉对账定时任务，同步消息纳入分发队列推送业务系统。
1.单聊同步④:user遍历→recentcontact/get_list收集C2C会话→会话对去重→
  get_roam_msg时间窗向前滚动全量→落库(conv_type=1/SYNC/进分发)
2.补拉对账⑤:SyncCheckTask定时(1h)+手动按钮，重跑群+单聊幂等补缺失
3.同步消息进分发:群/单聊distStatus=0入DistQueue；限速分批入队
  (next_retry_at按序号错开delay=seq/dispatchQps)
4.重构:enqueue抽到DispatchService公共方法，Pull/Sync共用

修复(get_roam_msg一直60008静默失败,C2C补拉从未工作):
-命令字 openim_admin/get_roam_msg → openim/admin_getroammsg
-字段 From/To/MaxTimeInterval → Operator_Account/Peer_Account/MaxTime
-新增 getRoamMsgRangeAs(MinTime/MaxTime+LastMsgKey续拉)+getRecentContactListAs

联调(sa 16用户):单聊链路跑通(get_list32+admin_getroammsg OK/Complete=1),
幂等正常,补拉定时工作,无死循环。enqueue实证待配callbackUrl+新消息。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-10 11:21:49 +08:00
连龙刚andClaude 968a5f2e42 fix(t17): 数据同步联调修复——群消息死循环 + 字段名 + schema自动升级 + maxGroups精确 
联调(新疆信创测试应用 1600134460,租户sa 67群)发现并修复4类问题:
1.群消息死循环:group_msg_get_simple 的 IsFinished=2 表"还有更旧可拉",占位消息群恒为2;
  原 oldestSeq=max(seq) 游标方向反,反复拉同一批致2217次/200s超时。
  改 min(seq) 向旧翻页 + 游标未推进即停兜底 + 过滤 IsPlaceMsg=1 占位消息(119次/15.7s)
2.get_group_info 请求体字段名 GroupId→GroupIdList(腾讯要求 GroupIdList:["id"] 字符串数组)
3.运行库缺列致 upserted=0:init.sql 仅新建库执行,新增 SchemaUpgradeBootstrap 启动幂等ALTER(6条DDL)
4.maxGroups 防护:break 由 for 外移入 for 内,精确限制避免单页海量群绕过上限

联调验证(租户sa 67群):群组67/67、群成员241/13、群消息119次/imported=3,死循环消除

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-10 09:55:48 +08:00
连龙刚andClaude fdbb7724fa feat(t17): 数据同步——只读拉取群组/群成员/群消息到本地表，按租户查看 
主体（T17 数据同步，/admin/sync 三个独立按钮）：
- 同步群组：get_appid_group_list 全量 Next 分页 + 逐群 get_group_info → group_mapping
- 同步群成员(→用户)：遍历该租户群取 MemberList → user_mapping（腾讯无全量用户API，靠群成员反推）
- 同步群消息：遍历该租户群 getGroupMsg + IsFinished 滚动全量 → im_message(source=SYNC)
- DB: group_mapping 加 name/owner_account/member_count/last_synced_at；user_mapping 加 nick/last_synced_at
  （init.sql 建表 + ADD COLUMN IF NOT EXISTS 老库升级补丁，幂等）
- TencentImClient: 新增 getAppidGroupList(limit,next[,sdkAppId,secretKey])
- 已知限制：C2C单聊无全量会话API；超大群成员需换 get_group_member_info 分页

附带收尾此前未提交的改动：
- 回调字段名修正(FromAccount→From_Account 等腾讯标准字段) + pickMsgRandom/Time/Type 兼容字段差异
- 租户识别重构：前缀经 TenantService.getByPrefixCode 反查 tenantId（主键雪花化与前缀解耦）
- FreeMarker java.time ?string 坑修复(usage/queue Controller 预格式化) + 消息记录"全部"状态修复
- 新增项目 CLAUDE.md + .claude/memory 基建(gitignore 含密钥记忆，不进 git)

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-10 08:40:46 +08:00
连龙刚andClaude b679d47adb fix(log): 控制台中文乱码——CONSOLE charset GBK→UTF-8（适配现代终端） 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 17:22:31 +08:00
连龙刚andClaude 4ce030aa74 feat(t16): 消息记录查看（列表+筛选+分页+详情+分发链路） 
- ImMessageMapper: +selectMessagePage/+countMessages（动态条件+LIMIT/OFFSET，带时间窗分区裁剪）
- DistQueueMapper: +selectByMsgKey（详情关联分发链路，LIMIT 100）
- AdminController: GET /admin/messages（列表+筛选+分页，默认近7天已分发）+ /admin/messages/detail
- messages.ftl/messages_detail.ftl: 列表+筛选+分页 / 详情+msg_body+dist_queue链路
- _macros.ftl: 侧边栏加消息记录导航
- 时间由Controller预格式化（FreeMarker对java.time支持不稳），msgTimeIso用纳秒精度匹配DB微秒

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 17:22:31 +08:00
连龙刚andClaude 707f0b4824 feat(admin): 修改密码功能（PBKDF2原密码校验 + 新密码≥8位合规 + 页面 + 导航入口） 
- AdminUserService.changePassword: verify旧密码 + 新密码≥8位且≠原密码 + hash更新
- AdminController: GET/POST /admin/password（当前登录用户，Sa-Token loginId）
- password.ftl: 表单 + 前端JS预校验（长度/一致/新旧不同）
- _macros.ftl: 侧边栏footer加修改密码入口

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 14:00:43 +08:00
yixiongandClaude f401e8d065 feat(t14-v1234): 消息迁移增强——C2C全量分页+群消息迁移+429限速重试+回溯天数可配 
V1: migrateMessages 7天窗滚动 + Complete分页拉全量历史
V2: migrateGroupMessages + getGroupMsgAs/importGroupMsg + /migrate/groupmsg
V3: importMsg/importGroupMsg 捕获429重试 + app.yml imutil.migrate(msgLookbackDays/importMaxRetry/importRetryMs)

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 12:57:54 +08:00
yixiongandClaude 460a31b52f feat(t14-s345): 群迁移 + 消息迁移 + 关系链迁移 
T14 S3/S4/S5 阶段：
- S3 群迁移：getAppidGroups/getGroupInfo（老密钥拉）+ createGroup/addGroupMember（主密钥导入）+ migrateGroups
- S4 消息迁移：importMsg/importGroupMsg + migrateMessages（会话清单+断点续传，v1 最近7天/100条）
- S5 关系链：importFriend/friendGetList（sns 系列）+ migrateRoster
- 后台 /admin/migrate/{groups,messages,roster} 触发 + migrate.ftl 三表单

S1/S2 完整联调通过；S3/S4/S5 代码完成+通路验证（腾讯返业务响应），
核心导入待真实老应用（10003 群组/60008 消息/60002 关系链）。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 12:12:26 +08:00
yixiongandClaude 7b1385e160 feat(t14-s1s2): 数据迁移基础设施 + 用户迁移 
T14 数据迁移工具 S1/S2 阶段：

S1 基础设施：
- source_app/migrate_task 建表 + 实体 + Mapper
- TencentImClient 双密钥 callApiAs（老应用拉取，不走主应用限流，审计记 migrate）
- 后台「老应用配置」页（CRUD + 测试连通）

S2 用户迁移：
- batchImport（multiaccount_import，每批≤100）
- MigrateService.migrateUsers（前缀转换+导入+映射+校验，幂等）
- 后台「数据迁移」页（上传清单文件/粘贴列表 + 任务记录）

联调通过：3用户清单→加sa前缀→腾讯导入OK→user_mapping→校验3/3/3。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 11:12:25 +08:00
yixiongandClaude b4c6652f66 fix(review): 代码审查 6 项修复（M2/M3/m1/m2/m3/m5） 
集中修复 T8/T9/T11/T15 已实现代码的审查问题：
- M2 令牌桶 Lua 改用 Redis TIME（消除多节点时钟偏斜）
- M3 after 跨租户标记复查授权 + 无授权告警兜底
- m1 before 审计 MsgSeq/MsgRandom null 防御
- m2 HealthService 加 forceDown 开关，实测 DOWN 真返 503
- m3 countByStatus 排除 done（WHERE status IN (0,1,3)）
- m5 配额查询异常不缓存（下次重试）
- 附带 app.yml console charset GBK→UTF-8
M1 限流审计/事务收窄暂缓。

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 09:52:13 +08:00
yixiongandClaude 8e2c66b363 feat(t15): 健康检查端点 /health（pg/redis/队列四态，DOWN 返503） 
- DistQueueMapper: +countByStatus (GROUP BY status 一次拿全)
- HealthService(新): 聚合 pg 连通/redis ping/队列四态，status UP/DEGRADED/DOWN
- HealthController(新): GET /health，DOWN 返 503 便 LB 摘流；免租户鉴权(PathWhitelist)
- 联调：status=UP，pg/redis=UP，distQueue 四态 0，HTTP 200

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 08:50:15 +08:00
yixiongandClaude 43f7d30e46 feat(t9): 按租户令牌桶限流（出站腾讯API配额保护，对齐设计3.2） 
- RateLimiter(新): Redis+Lua 原子令牌桶，租户桶(quota_im_qps)+全局桶(globalImQps)，
  任一超限抛 BizException(429)；Redis 异常 fail-open 放行
- RedisService: +eval(Lua) 通用脚本执行（令牌桶复合操作需原子）
- TencentImClient.callApi: 开头 checkApiLimit，resolveTenantQps 查 quota_im_qps(Caffeine 60s)
- 联调：sa quota=2，8 并发→2 放行+6 限流，被拒不调腾讯（api_call_log 仅 2 条）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 08:39:43 +08:00
yixiongandClaude e3a64bb861 fix(t8): 跨租户拦截对齐设计5.4——before阻断替代after额外分发 
- CallbackServiceImpl: 新增 handleBeforeSendMsg 做 C2C.CallbackBeforeSendMsg
  跨租户拦截决策（未授权返回 FAIL，腾讯不投递）；after 移除「额外推 to 租户」，
  is_cross_tenant 改在 after 标记；新增 fail() 响应(ErrorCode 80001)
- 解决旧实现（after 额外分发）无法阻断未授权跨租户消息的核心隔离缺陷
- 联调验证：before 同租户OK/无授权FAIL/有授权OK+审计；after 落库+按from分发
- 详见 实施记录第六章 + T8 跨租户拦截-方案决策记录.md

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-09 00:20:43 +08:00
yixiongandClaude 8c9037fc4f fix: 跨租户授权联调修复 + 新增分区自建模块 
- CrossTenantServiceImpl: 有效期判断改用 apply("start_at <= now()")，规避
  OffsetDateTime 绑定 timestamptz 比较异常（见实施记录 6.5）
- CallbackServiceImpl: 集成 C2C 跨租户授权检查（额外分发+审计+is_cross_tenant），
  提取 enqueueIfConfigured
- 新增 PartitionService/Task: im_message 按月 RANGE 分区滚动建表
  （当月+下月，@Init 启动自检 + 每日 0:10）
- 新增 CrossTenantService: 正反向授权匹配 + 跨租户审计

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-08 23:56:32 +08:00
yixiongandClaude d22fdcfaad feat: 初始化腾讯IM分发工具骨架，含回调分发链路与历史消息补拉 
- 应用骨架: Solon + MyBatis-Plus + PostgreSQL + Redis + Sa-Token
- 核心链路: 回调网关 → 消息落库(幂等) → 分发队列(FOR UPDATE SKIP LOCKED) → worker消费/重试/死信
- 多租户隔离: 前缀法账号映射, 所有业务表带 tenant_id
- 管理后台: FreeMarker 渲染, 租户/授权/队列/用量管理页面
- 历史消息补拉: 水位线驱动, getRoamMsg/getGroupMsg 增量拉取, 兜底回调丢失
- msg_key 统一算法(回调/补拉共享, 跨路径去重)

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-08 20:28:32 +08:00
lianlonggang 20bd78baa8 Initial commit 2026-07-08 14:52:03 +08:00