作品名称：静享智能家居：基于YOLOv5和STM32的聋哑人智能家居系统

来源时间：2023年12月

学生姓名: 侯婉钰、刘子怡、徐爽

指导教师: 严舒涵

作品简介：

该项目为聋哑人设计的智能家居系统，旨在通过先进的技术为他们提供一个更加便捷和舒适的生活环境。系统由室外和室内两个部分组成。

室外设计分为两部分，第一部分是人脸识别，第二部分是语音识别。系统主要是利用树莓派作为核心处理器，结合高清摄像头进行实时人脸捕捉和分析。预设了用户的人脸数据，一旦检测到已录入的面孔，门禁系统会自动解锁并开启，无需任何手动操作，极大地方便了聋哑人士的进出。考虑到聋哑人士在与外界沟通时可能遇到的障碍，系统采用了百度语音识别技术，将来访者的语音实时转换为文字，并在定制的Qt界面（如图2.2所示）上显示出来。这样，聋哑人士可以直观地看到对方的意图和信息，从而进行有效地交流。

室内设计同样分为两个主要部分，第一部分是手势识别，第二部分是智能家居控制。系统通过YOLOv5深度学习框架，对聋哑人的手势进行精确识别。系统能够理解特定的手势指令，并将其转化为控制智能家居设备的命令。利用STM32微控制器的强大功能，系统能够精确地控制家中的各种智能设备，如灯光、窗帘、空调、大门等。根据聋哑人通过手势发出的指令，微控制器将执行相应的操作，实现家居的自动化控制。为了更好地适应聋哑人士的使用习惯，系统提供了一个易于操作的交互界面。界面设计简洁直观，通过图形化和符号化的元素，使得即使是对技术不太熟悉的用户也能轻松上手。

图1 智能家居系统整体设计

图2 人脸检测展示图

图3 手势识别展示图

图4 语音识别展示图

创新点：

1.通过树莓派和高清摄像头的结合，实现对已录入人脸数据的实时捕捉和分析，自动解锁门禁系统，提高了聋哑人士的进出便利性。

2.利用百度语音识别技术，将来访者的语音实时转换为文字，并通过定制的Qt界面展示，帮助聋哑人士克服与外界沟通的障碍。

3.采用YOLOv5深度学习框架，对聋哑人的手势进行精确识别，理解特定手势指令，并将其转化为智能家居设备的控制命令。

4.使用STM32微控制器，根据聋哑人通过手势发出的指令，精确控制家中的智能设备，如灯光、窗帘、空调等，实现家居自动化。  

视频：