500万彩票网

OpenVINOTM,给你看得见的未来!>>
电子产品世界 » 论坛500万彩票网 » 企业专区 » OpenVINO生态社区 » 500万彩票网【原创】项目实战—疲劳检测(十八)

共3条 1/1 1 跳转至

【原创】项目实战—疲劳检测(十八)

高工
2020-09-09 20:14:49    评分

项目实战—疲劳检测

我们在上次已经讲过人脸的关键点定位,用到了Dlib的库,这次我们将其用于疲劳检测。

代码实现

1、导入工具包

from scipy.spatial import distance as dist
import numpy as np
import dlib
import cv2

接下来老样子。

2、对脸上的部位进行定义

在关键点定位的官方文档中,提取68个关键点来表示脸上的部位。其中:

1个点到第17个点:脸颊;

18个点到第22个点:右边眉毛;

23个点到第27个点:左边眉毛;

28个点到第36个点:鼻子;

37个点到第42个点:右眼;

43个点到第48个点:左眼;

49个点到第68个点:嘴巴。

如下图所示:

                                              image.png

FACIAL_LANDMARKS_68_IDXS = dict([
    ("mouth", (48, 68)),
    ("right_eyebrow", (17, 22)),
    ("left_eyebrow", (22, 27)),
    ("right_eye", (36, 42)),
    ("left_eye", (42, 48)),
    ("nose", (27, 36)),
    ("jaw", (0, 17))
])

3EAReye aspect ratio)计算函数

在论文:中,EAR的概念被提出。
在包含着人眼的图片中画出六个点,如图所示:

image.png

当人眨眼时,这六个点的距离会发生变化,则可以用这六个点的一些距离关系来判断是否有眨眼行为。
定义EAR函数:

image.png

def eye_aspect_ratio(eye):
    # 计算距离,竖直的
    A = dist.euclidean(eye[1], eye[5])
    B = dist.euclidean(eye[2], eye[4])
    # 计算距离,水平的
    C = dist.euclidean(eye[0], eye[3])
    # ear值
    ear = (A + B) / (2.0 * C)
    return ear

5、设置判断参数

如果EAR小于0.3,则判断为闭眼,如果视频中有连续三帧以上都有闭眼,则判断为眨眼行为

# 设置判断参数
EYE_AR_THRESH = 0.3  # ear小于0.3判断为闭眼
EYE_AR_CONSEC_FRAMES = 3  # 连续三帧ear都小于0.3判断为眨眼
 
# 初始化计数器
COUNTER = 0
TOTAL = 0

6、加载dlib库中的人脸检测与关键点定位

detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')

7、分别取两个眼睛区域

(lStart, lEnd) = FACIAL_LANDMARKS_68_IDXS["left_eye"]
(rStart, rEnd) = FACIAL_LANDMARKS_68_IDXS["right_eye"]

8、读取视频

vs = cv2.VideoCapture('test.mp4')

9、对每一帧图片进行操作,实现功能

·           读取一帧图片并做预处理操作;

·           检测人脸;

·           获取人脸上的关键点坐标;

·           绘制眼睛区域;

·           计算左右两眼的EAR值,取平均值得到总的EAR值;

·           检查EAR值是否满足阈值,如果满足,眨眼次数加一;

·           将总的眨眼次数写在视频中。

# 遍历每一帧
while True:
    # 预处理
    frame = vs.read()[1]
    if frame is None:
        break
 
    (h, w) = frame.shape[:2]
    width=1200
    r = width / float(w)
    dim = (width, int(h * r))
    frame = cv2.resize(frame, dim, interpolation=cv2.INTER_AREA)
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
 
    # 检测人脸
    rects = detector(gray, 0)
 
    # 遍历每一个检测到的人脸
    for rect in rects:
        # 获取坐标
        shape = predictor(gray, rect)
        shape = shape_to_np(shape)
 
        # 分别计算ear值
        leftEye = shape[lStart:lEnd]
        rightEye = shape[rStart:rEnd]
        leftEAR = eye_aspect_ratio(leftEye)
        rightEAR = eye_aspect_ratio(rightEye)
 
        # 算一个平均的
        ear = (leftEAR + rightEAR) / 2.0
 
        # 绘制眼睛区域
        leftEyeHull = cv2.convexHull(leftEye)
        rightEyeHull = cv2.convexHull(rightEye)
        cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)
        cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)
 
        # 检查是否满足阈值
        if ear < EYE_AR_THRESH:
            COUNTER += 1
 
        else:
            # 如果连续几帧都是闭眼的,总数算一次
            if COUNTER >= EYE_AR_CONSEC_FRAMES:
                TOTAL += 1
 
            # 重置
            COUNTER = 0
 
        # 显示
        cv2.putText(frame, "Blinks: {}".format(TOTAL), (10, 30),
            cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        cv2.putText(frame, "EAR: {:.2f}".format(ear), (300, 30),
            cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
 
    cv2.imshow("Frame", frame)
    key = cv2.waitKey(10) & 0xFF
 
    if key == 27:
        break
 
vs.release()
cv2.destroyAllWindows()

我们可以看最终效果。

             

 

 

 

 

 

 


对计算机视觉感兴趣?这个社区推荐给你~

>>点击了解OpenVINO生态开发社区



助工
2020-09-09 21:28:24    评分
2楼

好玩的code! 


助工
2020-09-09 23:36:59    评分
3楼

非常感谢您的分享


共3条 1/1 1 跳转至

回复

匿名不能发帖!请先 [ 登陆 注册 ]
上海时时乐 小米彩票网址是多少 小米彩票登陆 小米彩票代理 159彩票 幸运时时彩官网 北京pk10 山东十一运夺金开奖结果 幸运时时彩 亿信彩票开户