让所有 ESP32-S3/P4 开发板获得视觉能力

ESP-USB-Expansion-Board：ESP-USB 扩展板

项目简介

ESP-USB-Expansion-Board 是专为 ESP-USB 方案设计的一款高兼容性 USB 扩展板，旨在为以 ESP32 系列芯片为核心的设备提供更灵活、更稳定的 USB 外设接入能力。借助该扩展板，用户可以轻松为“喵伴”等基于 ESP32 的开发板连接 USB 摄像头、U 盘、键盘、鼠标等多种 USB 设备，大幅拓展产品的交互方式和应用场景。

该扩展板采用紧凑型设计，PCB 尺寸仅为 23mm × 12mm，便于集成到各类项目中。板载三个主要接口：

Type-C 公口：用于连接 ESP32 开发板的 USB 端口，实现数据传输和通信
USB-A 公口：仅用于外部供电（注意：此接口不具备 USB 数据传输功能）
HC-1.25-4P 接口：通过配套的 HC-1.25-4P 转 USB-A 母座数据线连接 USB 摄像头、U 盘等 USB 外设

这种设计实现了供电与数据分离，既保证了稳定的电源供应，又确保了 USB 数据传输的可靠性。

版本历史

v1.0
- 首次开源版本

3D 模型版本

v1.0.0

视频展示

用 AI 守护我的可乐？喵伴接入 AI 视觉解锁新玩法！

功能展示

通过使用 ESP-USB-Expansion-Board，可以为具有 USB 功能的 ESP32 开发板扩展一个 USB 摄像头，或者是USB 红外摄像头，实现视频监控、热成像温度检测、紫外线荧光检测等功能。若将图像接入大模型，亦可实现计算与批改作业、颜色识别、目标识别及追踪的功能。

视频监控

通过接入 USB 摄像头，借助本地或云端混合 AI，可实现家庭及办公室场景的物品看管和移动追踪。

物品识别

物品识别.gif

目标追踪

目标追踪.gif

追踪可乐原理： 接入⼤模型后，在当前光线条件下，算出他的 HSV 颜⾊值，并告诉喵伴，喵伴拿到 HSV 颜⾊值后，在本地⽤ OpenCV 做颜⾊识别，最后根据颜色识别块定位可乐在画⾯中的位置。再根据可乐在画面中的横向坐标，判断可乐在画面的左半边还是右半边，在左半边就向底座发送向左旋转的指令，转动的角度可以根据可乐在画面中的横向坐标与中间点的差值进行计算得出。

颜色识别原理图.png

不同的开发板（需支持 USB Host 功能）接入 USB 摄像头

核心功能：

实时监控：24 小时不间断视频流监控
移动检测：智能识别画面中的移动物体，自动触发报警机制
物品看管：通过 AI 识别特定物品，当物品位置发生变化时及时通知

应用优势：

支持本地存储和云端备份
可自定义监控区域和敏感度
支持颜色识别、人脸识别、物体识别等高级功能

视频对讲

基于 ESP32 的 Wi-Fi 连接能力，实现低延迟的视频对讲功能。

功能特性：

双向音视频：支持实时双向音视频通话
多设备互联：支持多个设备之间建立视频通话，实现多方会议
移动端接入：可通过移动设备进行视频对话，随时随地保持联系
本地存储：支持通话录像功能，重要对话可自动保存

典型应用：

家庭安防对讲系统
智能门禁视频通话
远程看护和陪伴
办公室访客接待系统

AI 图像识别

可将 USB 摄像头拍摄的画面对接大模型，实现一个 AI 学习助手，实现"批改 + 听写 + 解题 + 计算"的功能。

应用场景：

作业批改：自动识别学生作业内容，进行答案校对和错误标记，提供详细的批改反馈
听写练习：实时识别手写文字，与标准答案进行对比，帮助提升听写能力
题目解答：拍摄数学、物理等题目，AI 自动识别并给出解题步骤和答案
计算辅助：识别算式、公式等，快速计算出结果，提高学习效率

技术特点：

支持多种图像格式输入（JPEG、PNG 等）
可对接主流 AI 大模型 API（如 GPT-4 Vision、Claude 等）
低延迟图像处理，实时反馈结果

热成像温度检测

配合热成像 USB 摄像头，实现非接触式温度检测和热分布分析。

搭配热成像摄像头，可以获得画⾯内温度的⼆维矩阵，经过 S3 渲染后就能得到可视化的热⼒图，只要有类似⼈体的温度靠近可乐，就可以发出消息提醒。

红外热成像.gif

检测能力：

温度测量：精确测量物体表面温度
热分布可视化：将温度数据转换为彩色热图，直观显示温度分布情况
异常检测：自动识别高温或低温异常区域，及时发出预警
多点测温：支持同时检测画面中多个目标点的温度
温度记录：支持温度数据的历史记录和趋势分析

应用场景：

工业检测：电路板、电子设备的热故障检测
建筑检测：房屋保温性能评估，查找热桥和漏风点
医疗辅助：非接触式体温筛查，适用于公共场所
设备维护：电机、变压器等设备的运行状态监测
农业应用：温室温度监控，作物生长环境管理

紫外线荧光检测

利用紫外线光源和特殊摄像头，实现荧光物质的检测和分析。

检测原理：
通过 USB 摄像头配合紫外线 LED 光源，激发目标物质的荧光特性，捕捉荧光图像进行分析。

应用领域：

防伪检测：识别纸币、证件、标签等物品的荧光防伪标记
材料检测：检测材料中的荧光添加剂、标记物等
生物检测：观察生物样本的荧光标记，用于科研和医疗
痕迹检测：检测犯罪现场的荧光痕迹，如血迹、指纹等
质量检测：工业产品中荧光物质的分布和质量评估

技术优势：

高灵敏度检测，可发现肉眼不可见的荧光信号
支持多种荧光波长范围
可进行定量和定性分析
非破坏性检测，不影响样品完整性

硬件要求

供电方式

使用 USB-A 2P 线（白色 USB-公头 2 芯供电线）给扩展板、开发板、USB 设备统一供电，电压 5V。

复刻教程

在装配前请准备以下材料及部件：

序号	描述
1	3D 打印外壳上盖
2	3D 打印指示灯盖板
3	3D 打印外壳底盖
4	ESP-USB-Expansion-Board PCBA
5	USB-A 2P 供电线
6	HC-1.25-4P 转 USB-A 母座数据线
7	M1.6×3mm 平头螺丝