RGBTCC（RGB-Thermal Crowd Counting，可见光-热红外人群计数）

项目定位

本项目实现了一个完整的 RGB-Thermal 双模态人群计数研究与训练框架，核心架构包括以下几个层次： 1. 双流特征提取：可见光（RGB）和热红外（Thermal）图像分别经过独立的 LIDAR 主干网络提取多尺度特征（1/4、1/8、1/16、1/32 分辨率），主干网络基于 PVT v2（Pyramid Vision Transformer v2）架构改进。 2. 跨模态融合：通过 Multi-Scale Attention（MSA）模块对 RGB 和 Thermal 的 1/32 尺度特征进行跨模态交互，融合后的特征与可学习的 count token 一起送入 6 层 Transformer Decoder 进行全局建模。 3. 密度图回归与计数：Decoder 输出经过线性层映射为单通道密度图，并通过 4 倍上采样恢复分辨率。同时 count token 经过独立的计数预测头输出辅助人数预估，使用 ReLU + Dropout + Linear 结构。最终密度图经过归一化处理确保积分等于预测总人数。 4. 损失函数：主损失采用基于 Sinkhorn 算法的最优传输（Optimal Transport）损失，用于匹配预测密度分布与真实标注分布，辅以 TV（Total Variation）正则项和计数分支的 MSE 辅助损失。 5. 训练与评估流程：支持数据集预处理（不同尺寸裁剪）、小样本过拟合验证（overfit_tiny）、sanity check 数据检查、padding 到 224 整数倍的 patch 拼接推理（解决大图推理覆盖不完整问题）、checkpoint 自动续训与最优模型保存、MAE/MSE/GAME 等多指标评估。 6. 可视化与导出：提供密度图导出模块，支持将 RGB 原图、Thermal 原图、GT 密度图、预测密度图及对比图可视化输出，使用 log1p 非线性压缩、robust clipping（99.5 percentile）、gamma 校正等后处理增强显示效果，适合论文展示。 7. 训练环境：面向 AutoDL 等云端 GPU 平台设计，提供完整的 tmux 训练流程指南、OOM 排查方案、断点续训命令等操作文档。

核心工作

更多工作内容将在后台补充后展示。

技术架构

页面截图

01

02