AI 对话、动作识别、家居联动

项目简介

ESP-Spot 乐小方是一款基于 ESP32-C5 / ESP32-S3 的 AI 动作语音交互核心模块，适用于智能玩具、语音助手、智能家居控制等物联网应用场景。它不仅支持离线语音唤醒、AI 对话等功能，同时设备内置六轴 IMU 和三轴地磁传感器，可以识别多种姿态与动作，从而实现更丰富的交互。另外，通过 ESP32-S3 自带的触摸/接近感应外设还可实现触摸感知。

视频展示

乐鑫携手 Bosch Sensortec（博世传感器）联合推出 AI 智能交互方案
用触摸交互升级大模型 AI 玩具【ESP-SPOT】

欢迎大家二次开发，一起感受 ESP-Spot 的魅力与乐趣

版本更新记录

• v1.3 （2025.11.28）：更新了 Xiaozhi 开源仓库的 esp-spot board，S3 与 C5 合并。更新了 gitee 仓库源码，新增了一些例程，适配了新版的 BMI270 固件，支持更多动作互动。更新了 v1.3 的外壳,包含 v1.2 外壳面板优化 BOOT 误触、无 LOGO 外壳面板和更新玩偶底座(脚可弯曲)。
• V1.2（2025.4.11）：发布了 V1.2 版本硬件。调整了按键、LED灯与USB口的位置，用于适配新版高颜值外壳，原理图和功能与 V1.1 版本完全一致。
• V1.1（2025.3.13）：第一次开源版本。

关于模组选型

原理图中同时绘制了 ESP32-S3 与 ESP32-C5 模组，实际装配中贴装其中一个即可。
为了便于功能拓展与 OTA 升级，推荐使用模组的 Flash ≥ 4M, PSRAM ≥ 2M 。

核心功能：多模态交互，重构智能体验边界

1. 大模型 AI 对话：自然沟通无界限

ESP-Spot 通过深度适配端侧 AI 算法，可无缝对接 豆包、小智AI 等主流大语言模型，支持离线语音唤醒、实时对话交互，无需依赖云端即可完成快速响应。无论是智能玩具的趣味聊天，还是桌面助手的信息查询，都能实现 “开口即回应” 的自然交互体验，契合 “端侧智能高效处理” 的核心优势，既保障了交互的流畅性与稳定性，又极大降低了数据传输的隐私风险，为智能设备的本地化应用提供了更优质的解决方案。

2. 多维度感知：精准捕捉环境与动作

ESP-Spot 构建了 “触摸 + 姿态 + 接近” 的全维度感知体系：

• 家居联动控制

ESP32-C5 支持 Matter、Home Assistant 等主流智能家居生态，打破了不同品牌智能设备之间的连接壁垒，构建起互联互通的智能生活网络。当搭载的 IMU 传感器精准识别到用户的晃动、挥手、敲击等预设动作后，ESP32-C5 便会启动无线传输功能，将动作指令对接至云端平台控制智能家居设备，实现 “无感交互” 的智能生活体验。这种便捷的交互方式，不仅简化了智能家居的操控流程，更让用户在日常起居中，能切实感受到科技带来的舒适与高效。

• 动作识别功能

ESP-Spot 内置了先进的加速度与角速度传感器，它们犹如敏锐的 “神经末梢”。加速度传感器通过测量物体在不同方向上由于加速或减速所产生的力，精准捕捉自身速度变化情况；角速度传感器则利用陀螺仪原理，能精确感知围绕各个轴的旋转速率。

凭借这款高性能的六轴 BMI270 传感器，ESP-Spot 得以全方位、高精度地感知自身的姿态与动作，从简单的晃动、翻转，到复杂的轨迹移动、角度变换，都能被精准识别并转化为数据信号。这些数据信号可进一步支撑手势控制、姿态感应、运动追踪等丰富功能，为用户带来更流畅、更有趣的互动体验，无论是用于智能玩具的操控、穿戴设备的运动监测，还是创意互动装置的设计，都能展现出卓越的性能与潜力。

• 触摸交互升级

ESP-Spot S3 版本支持 5 个外接触摸通道，可外接金属片作为感知器，每个通道均支持接近感应。触摸与接近感应数据可与模块内置的博世 BMI270 IMU 传感器数据协同，形成 “触摸 + 姿态 + 接近” 的多维度交互体系。

开发者可根据产品设计需求，将金属片嵌入玩具的耳朵、腹部等易触摸区域，或集成于智能终端的侧边、面板，轻松实现 “抚摸唤醒”“轻触应答”“长按切换功能”“多点触摸组合指令” 等趣味交互。在毛绒玩具场景中，“接近感应唤醒设备 + 抚摸触发聊天 + 轻触切换故事模式” 的组合交互，让玩具更具 “拟人化” 体验。

• 端侧 AI 自定义手势

通过 TensorFlow Lite Micro 轻量化 deep-learning 框架训练定制化神经网络，开发者无需依赖复杂的云端算力与专业算法功底，仅需采集足量且多元的手势数据（如挥手、握拳、滑动、旋转、敲击等基础手势，以及自定义的组合手势、连续动作序列），经标注、预处理后输入模型进行端侧训练，即可快速解锁更丰富、更精准的手势识别与创意交互场景。

例如，在智能玩具场景中，可训练模型识别 “左右挥手” 切换游戏模式、“画圈” 控制玩具旋转等创意交互；在智能家居场景中，通过采集 “Z字”、“W字” 等手势数据，让模型精准区分调节灯光亮度、切换空调风速等指令。

从趣味到实用，覆盖多元需求

• 智能玩具 ：作为毛绒玩具、桌面机器人的智能核心，支持触摸互动、姿态识别、大模型对话，为儿童提供趣味十足的陪伴体验

• 桌面语音助手：放置于办公桌面，可通过语音查询信息、控制智能家居设备，触摸切换功能模式，姿态唤醒休眠状态，兼顾实用性与便捷性

• 家居控制终端：集成于智能家居中控面板，通过语音指令控制灯光、空调等设备，支持接近感应自动亮屏，触摸调节参数，成为家庭智能交互中枢

• 创意硬件开发：适配高校科研、创客项目等场景，提供稳定的 “语音 + 感知 + AI” 核心能力，助力开发者快速验证创意，缩短产品研发周期

v1.3 新增 BMI270 定制固件：BMI270_sensor。

3D 结构设计

v1.1 外壳适配 v1.1 版本的硬件，造型为笑脸小方盒，盖板可推开，笑脸嘴部可点击 KEY 按键，笑脸眼睛为 BOOT 按键与指示灯。

v1.2 外壳适配 v1.2 版本的硬件，造型为乐鑫 logo 坐立小人，盖板可点击 KEY 按键，BOOT 键不可点击，乐鑫 LOGO 小圆孔处为指示灯，可自行增添导光柱细节。

v1.3 的外壳,包含 v1.2 外壳面板优化 BOOT 误触、无 LOGO 外壳面板和更新玩偶底座(脚可弯曲)。

> 请注意，乐鑫 LOGO 仅作为造型展示，受知识产权保护，不可用于商用。如您有商用需求，需要修改 3D 文件 LOGO 部分。

底座部分需搭配磁吸充电线材配件，选择 Type-C 接口，轴承部分可作为小人脖子连接，可具有俯仰姿态，购买参考链接：红色一线一头（TVPE-C）。

细节展示：

复刻教程

在装配前请准备以下材料：

序号	描述
1	3D 打印外壳
2	300mAh 电池 型号: ZCLP300
3	M2*4mm 螺丝
4	ESP-Spot MainBoard
5	ESP-Spot SubBoard

投板注意事项：

1. 上板排针推荐长 15mm
2. 在使用 ESP32-S3 时，R45、R33、R34 三个电阻请勿上件，在使用 ESP32-C5 时需要上件，以此实现 pin-to-pin 兼容两款模组
3. 排针 H5、H6、H7 默认用于调试可以不上件
4. 打板请选择板厚1.2mm

V1.1 版本硬件装配

ESP-SPOT 包含 MainBoard 和 SubBoard 两块板子，通过排针 H1、H2 三明治结构安装（注意天线方向，无防呆处理），中间夹电池，上板排针推荐长15mm，v1.1 成品示意图如下：

MainBoard 涉及的器件较多，推荐使用 SMT 加工。SubBoard 主要负责电池管理，底部装配两个 2014B 扬声器以增加发声效果。SubBoard 用螺丝与外壳简单固定，装配时注意外壳笑脸方向为 KEY 按钮。

V1.2 版本硬件装配

3D 结构爆炸图

装配步骤：

先装 SubBoard 配件 2 SPK 和电池，板子上有示意字样，展示图如下：

剪掉 SPK 的耳朵，装入外壳，金属片朝下，SubBoard 排针引脚戳出来的部分也需要用尖嘴钳剪掉

装好后示意图：

按图示方向插上 MainBoard：

外壳盖板 3D 结构支撑需要去除干净

装配盖板

充电底座

成品展示

硬件电路设计说明

主体电路设计

ESP-SPOT 硬件部分主要包含电源管理、MCU、IMU、音频四个部分，总体硬件框图如下：

供电方式

ESP-SPOT 支持 USB-Type-C 和锂电池两种供电方式，300 mAh 的电池搭配功耗管理可以实现约一小时的持续对话。主电源为 5V，由 USB 提供；辅助电源为 3.7 V，由电池提供。USB 供电时同时会为电池充电，充满电时充电指示灯熄灭。

ESP-SPOT 预留了外部输出功能。在板级设计时充分考虑了外设和 MCU 的功耗管理，通过控制 MCU_VCC_CTL 与 PREP_VCC_CTL 引脚支持三种工作状态，并可以在三种工作状态间灵活切换：

小智仓库已开源版本电源状态机切换逻辑：

1. Active 模式下，长按 KEY 键黄灯闪烁，闪烁期间再次长按 KEY 键，MCU_VCC_CTL 下电，进入 Power Down 状态
2. Active 模式下，无语音交互且无移动持续 10 min 后进入 Deep Sleep 状态。
3. Deep Sleep 模式下，KEY 按键和任意移动 IMU 可唤醒芯片进入 Active 模式
4. 提供了电量检测接口，但暂未做低电量自动关机。

工作状态	描述	电源控制
Active	所有芯片均处在工作状态，能正常语音对话，支持按键和命令词唤醒对话	MCU_VCC_CTL = 1 PREP_VCC_CTL = 1
Deep Sleep	MCU 供电，且处于深度睡眠状态	MCU_VCC_CTL = 1 PREP_VCC_CTL = 0
Power Down	所有芯片均下电，仅能通过按键唤醒	MCU_VCC_CTL = 0 PREP_VCC_CTL = 0

如下图所示，当 USB 供电（VBUS）存在、KEY 被按下或者 MCU_VCC_CTL 引脚为高三者中任意条件满足时会自动拉高 POWER_EN，此时 MCU 获得供电，当 PREP_VCC_CTL 引脚拉高时 CODEC_3V3 使能，音频编解码芯片工作。

音频

ESP-Spot 使用了 ES8311 芯片作为音频采集并使用 NS4150B 作为音频放大器，为了取得更好的拾音效果，选择 ZTS6216 模拟麦克风作为拾音器，同时拾音部分地平面与数字地分别铺铜。由于 ES8311 在断电时会从I2C总线上吸收约 2mA 漏电流，为了进一步降低 DeepSleep 时功耗，使用 MOS 管将 ES8311 在断电时从I2C总线上物理移除。

硬件注意事项：

1. 电池电压采样、WS2812 和 CodeC 的电源域均由 PRER_VCC_CTL 控制
2. ES8311 MCLK 没有连接，请在软件中正确配置 ES8311 的时钟源

二次开发指南

ESP-Spot 上板也可作为一块带音频的 ESP32 开发板单独使用，VIN 可以允许 3.3->5V 供电，如果需要默认使能 3V3 电源域，请将 VBUS 上拉，VBAT 接 3.3V。其引出的引脚如下：

物料清单

• ESP32-S3-WROOM-1-N16R8
• 8欧1瓦2014B方形腔体喇叭
• 小聚合物3.7v锂电池 702025T-300mAh
• 磁吸数据线，用于V1.2底座
• 3D 打印外壳可以选择自己打印或者走嘉立创打印

附件列表

• spot-v1.1-外壳.zip ：v1.1 的外壳,包含面板和主体。
• spot-v1.2-外壳.zip ：v1.2 的外壳,包含面板主体和底座。
• spot-v1.3-外壳.zip ：v1.3 的外壳,包含 v1.2 外壳面板优化 BOOT 误触、无 LOGO 外壳面板和更新玩偶底座(脚可弯曲)。

QQ 交流群

ESP_Friends 交流群：

• 0 群（已满）：813935663
• 1 群（已满）：1032430870
• 2 群（已满）：939405364
• 3 群（已满）：480486715
• 4 群（已满）：807521569
• 5 群：1054806943

入群回答密码：ESP_Friends

购买方式

目前已有第三方卖家售卖成品或散件，如果不想复刻，可直接在淘宝搜索“乐小方” 或 “ESP-Spot”购买。

集智AI 乐小方 ESP-Spot

已知问题

1. 安装外壳后，外壳与 Mianboard 的 USB-Type-C 接口有一定间隙，数据线连接头如果较短，会出现仅供电不识别芯片的情况（无法烧录），可换长一点的连接头或取下面板单独烧录。

如果你在复刻之后发现有问题，欢迎评论指正！！！