#第六届立创电赛#ESP_MASTER ESP32多功能开发板 - 嘉立创EDA开源硬件平台

注：* 为必填项

请在报名阶段填写 ↓

 

* 1、项目功能介绍

---

本项目是以ESP32为核心，尽可能榨干其MCU的能力，打造一个多功能集合的综合性极强的小模块，功能包含：

 

1、语音识别。将数字麦克风通过I2S连接到ESP32，经过esp-skainet离线语音识别，自定义语音命令词最大个数为 100

2、物体识别、文字识别（车牌识别）。基于百度智能云，将摄像头获取的RGB图像转为JPG，经过base64和urlcode编码上传到百度云后获取识别结果来显示。

3、颜色识别。可由摄像头获取的图像将RGB转为HSL判断每一个像素点，进行颜色块的识别，获取颜色块坐标。

4、家电控制。可由语音设置空调类型，也可以在设置界面设置空调种类，当前支持格力、美的、海尔空调，空调码库由IREXT提供，码库存放在flash的spiffs分区中。

5、LVGL。基于LVGL 7.6.0，10余个界面切换。

6、ADC按键。在ESP32引脚极其不够的情况下，使用一个IO口，经过电阻分压可读取三个按键的状态。

7、FFT频谱，将数字麦克风通过I2S连接到ESP32，经过软件fft获得频谱通过lvgl img显示。

8、小游戏。移植2048和贪吃蛇游戏。

9、每日鸡汤。进入每日鸡汤界面后，HTTP随机获取一句话显示。

 

 

*2、项目属性

---

首次公开，软硬件均为原创。

 

注：请说明项目是否首次公开；项目是否为原创；项目是否曾经在其他比赛中获奖，若有获奖则叙述获奖详情；项目是否在学校参加过答辩。

 

* 3、开源协议

---

CC-BY-NC-SA 3.0

禁止将此项目放淘宝或者闲鱼上售卖！！

注：利他即利己，请认真阅读下述内容。

1. 拥抱开源，赋予项目无限价值。建议项目核心功能开源80%以上；
2. 若某一部分功能不可替代且删掉之后项目无法解决对应的问题，则这一部分实现的功能就是项目的核心功能；比如设计了一台电子负载且设计了一款上位机软件监控功率变化，则电子负载为核心功能，上位机软件为辅助功能；比如电子负载中使用了一款隔离485模块与上位机通信，则此485模块实现的通讯功能为辅助功能；
3. 项目应选择适合自己的开源协议，若项目引用其他开源项目，应注明来源并遵循原作者的开源协议规定；原创项目推荐使用GPL3.0开源协议；
4. 直接引用开源项目的原电路或原代码实现的功能不可作为自己项目的核心功能、使用市场上通用模块直接实现的功能不可作为自己项目的核心功能。

 

请在竞赛阶段填写 ↓

 

*4、硬件部分

---

硬件部分采用了ESP32-WROVER模组内置 16Mb Flash +4Mb PSRAM

两个3528红外管

四个按键

一个数字麦克风 MSM261S4030H0高灵敏度数字硅麦芯片

一个显示屏 可用1.3寸ST7789 240*240或者1.54寸 ST7789 240*240

电源采用AP3410 可提供1.2A电流

24P FPC摄像头插座 可使用OV7725 OV2640 OV5640

串口转TTL 使用CP2104

一个陀螺仪 MPU6050

原理图：

1.3寸PCB:

1.5寸PCB：

 

 

 

注：推荐使用立创EDA。若选择其他EDA工具，请在附件上传PDF格式的原理图，PDF格式的PCB图纸，Gerber格式的PCB文件。这里可以详细说明您的项目实现原理和机制、注意事项、调试方法、测试方法等。推荐图文并茂的形式向别人介绍您的想法。

 

*5、软件部分

软件部分采用IDF 4.4开发

主界面显示时间、天气、温度、日期、太空人小动画、B站粉丝和wifi连接情况，

长按中键进入菜单选择按钮，菜单分别是

软件框图如下：

 

语音识别和人脸识别采用乐鑫开源的库

ESP32如何显示LVGL的外部flash字体

 

生成字体文件
使用LvglFontTool 这个工具，生成类型勾选XBF字体，外部BIN文件

会生成两个文件，一个myFont.c 和一个bin文件

然后把bin文件放到spiffs分区 编译的时候会自动烧录到flash里面

改动myFont.c以获取bin文件数据 第一次进入的时候初始化外部字体 读取spiffs文件到内存里

 

#include "lvgl.h"
#include "stdio.h"
#include <stdlib.h>
#include <string.h>
#include "esp_system.h"

#include "esp_vfs.h"
#include "esp_spiffs.h"

typedef struct
{
    uint16_t min;
    uint16_t max;
    uint8_t bpp;
    uint8_t reserved[3];
} x_header_t;
typedef struct
{
    uint32_t pos;
} x_table_t;
typedef struct
{
    uint8_t adv_w;
    uint8_t box_w;
    uint8_t box_h;
    int8_t ofs_x;
    int8_t ofs_y;
    uint8_t r;
} glyph_dsc_t;

static x_header_t __g_xbf_hd = {
    .min = 0x0020,
    .max = 0xff1a,
    .bpp = 4,
};
char *Font_buff = NULL;
// static uint8_t __g_font_buf[240]; //如bin文件存在SPI FLASH可使用此buff
static void init_font(void)
{
    FILE *ff = fopen("/spiffs/myFont.bin", "r");
    if (ff == NULL)
    {
        printf("Failed to open file for reading");
        return;
    }
    fseek(ff, 0, SEEK_END);
    long lSize = ftell(ff);
    rewind(ff);
    printf("Lsize %ld", lSize);
    static uint8_t first_in = 1;
    if (first_in == 1)
    {
        first_in = 0;
        Font_buff = (char *)malloc(sizeof(char) * lSize);
    }
    int br = fread(Font_buff, 1, lSize, ff);
    printf("Bytes read %d", br);
    fclose(ff);
}
static uint8_t *__user_font_getdata(int offset, int size)
{
    //如字模保存在SPI FLASH, SPIFLASH_Read(__g_font_buf,offset,size);
    //如字模已加载到SDRAM,直接返回偏移地址即可如:return (uint8_t*)(sdram_fontddr+offset);
    static uint8_t first_in = 1;
    if (first_in == 1)//第一次进入的时候初始化外部字体
    {
        first_in = 0;
        init_font();
    }
    return (uint8_t*)(Font_buff+offset);
    // return __g_font_buf;
}

static const uint8_t *__user_font_get_bitmap(const lv_font_t *font, uint32_t unicode_letter)
{
    if (unicode_letter > __g_xbf_hd.max || unicode_letter < __g_xbf_hd.min)
    {
        return NULL;
    }
    uint32_t unicode_offset = sizeof(x_header_t) + (unicode_letter - __g_xbf_hd.min) * 4;
    uint32_t *p_pos = (uint32_t *)__user_font_getdata(unicode_offset, 4);
    if (p_pos[0] != 0)
    {
        uint32_t pos = p_pos[0];
        glyph_dsc_t *gdsc = (glyph_dsc_t *)__user_font_getdata(pos, sizeof(glyph_dsc_t));
        return __user_font_getdata(pos + sizeof(glyph_dsc_t), gdsc->box_w * gdsc->box_h * __g_xbf_hd.bpp / 8);
    }
    return NULL;
}

static bool __user_font_get_glyph_dsc(const lv_font_t *font, lv_font_glyph_dsc_t *dsc_out, uint32_t unicode_letter, uint32_t unicode_letter_next)
{
    if (unicode_letter > __g_xbf_hd.max || unicode_letter < __g_xbf_hd.min)
    {
        return NULL;
    }
    uint32_t unicode_offset = sizeof(x_header_t) + (unicode_letter - __g_xbf_hd.min) * 4;
    uint32_t *p_pos = (uint32_t *)__user_font_getdata(unicode_offset, 4);
    if (p_pos[0] != 0)
    {
        glyph_dsc_t *gdsc = (glyph_dsc_t *)__user_font_getdata(p_pos[0], sizeof(glyph_dsc_t));
        dsc_out->adv_w = gdsc->adv_w;
        dsc_out->box_h = gdsc->box_h;
        dsc_out->box_w = gdsc->box_w;
        dsc_out->ofs_x = gdsc->ofs_x;
        dsc_out->ofs_y = gdsc->ofs_y;
        dsc_out->bpp = __g_xbf_hd.bpp;
        return true;
    }
    return false;
}

//AliHYAiHei-Beta,,-1
//字模高度：24
//XBF字体,外部bin文件
lv_font_t myFont = {
    .get_glyph_bitmap = __user_font_get_bitmap,
    .get_glyph_dsc = __user_font_get_glyph_dsc,
    .line_height = 24,
    .base_line = 0,
};

    LV_FONT_DECLARE(myFont);
    lv_obj_t *label = lv_label_create(obj, NULL);
    lv_obj_set_style_local_text_font(label, LV_LABEL_PART_MAIN, LV_STATE_DEFAULT, &myFont);

对于物体和文字识别：

首先要在百度智能云上获取token，然后把获取到的图像转为JPG格式，再通过base64编码和urlcode编码得到的数据以post的形式上传到百度进行识别，识别到结果后获取json数据进行解析和显示。

对于颜色识别：

将获取到的图像每一个像素点转换为HSL后腐蚀，搜索腐蚀中心，再从腐蚀中心向外腐蚀，得到新的腐蚀中心

---

注：若您的项目涉及软件开发，请在附件上传对应的工程源码。这里可以详细说明您的软件流程图、功能模块框图、相关算法的解释或科普、源码结构、编译环境的搭建和配置、源码编译方法、程序烧录方法等。推荐图文并茂的形式向别人介绍您的想法。

 

*6、BOM清单

---

 

注：项目涉及的BOM清单。这个位置请上传BOM的截图。清单详情请以PDF的格式上传到附件中。建议包括型号、品牌、名称、封装、采购渠道、用途等内容。具体内容和形式应以表达清楚项目构成为准。

 

*7、大赛LOGO验证

---

请上传包含大赛logo的项目图片，logo以丝印形式印刷在PCB上面。

点击zip下载大赛logo标识！ （大赛标识）.zip

 

* 8、演示您的项目并录制成视频上传

---

 

视频要求：请横屏拍摄，分辨率不低于1280×720，格式Mp4/Mov，单个视频大小限100M内；

视频标题：立创电赛：{项目名称}-{视频模块名称}；如立创电赛：《自动驾驶》-团队介绍。

 

更多详情：https://diy.szlcsc.com/posts/06c94d90c2c447dfbd9ed7339ff4a5b1