dlib库+opencv+python实现人脸识别

为了防止滥用，本文已经禁止复制！

请预先阅读 Ubuntu与opencv的配置

0.前期准备

0.1 预先工作

你需要安装完毕虚拟机VMware然后安装Ubuntu

0.2 版本说明

Ubuntu为18.xx版本

VMware为16版本

主机系统Win11

1.安装dlib库

0.下载Dlib

Dlib是一个包含机器学习算法的C++开源工具包。Dlib可以帮助您创建很多复杂的机器学习方面的软件来帮助解决实际问题。目前Dlib已经被广泛的用在行业和学术领域，包括机器人，嵌入式设备，移动电话和大型高性能计算环境。

进入官网：http://dlib.net/ ，点击左下角Download dlib ver.19.16 ，下载后解压。

1.查看你的python默认版本号

在终端中输入python

注意：如果你的默认版本号是3.x，建议参考这篇博文修改

如果你的版本号为2.x，这是推荐的版本号

和你预想的可能不一样，版本号不是越高越好
注意在此处你查看的版本仅仅是默认版本，你可能安装了低版本！

2.预先工作

安装预先工具

1
2
sudo apt-get install libboost-python-dev
sudo pip install setuptools==42.0.2

下载完成后，解压缩
把文件移动到/usr/local/lib/python3.x/dist-packages目录下

1
sudo mv dlib-19.19.0 /usr/local/lib/pythonx.x/dist-packages

上面的x.x需要换成自己的版本

如何查看自己的版本呢？请看下方

请一定点开你的文件看一看你到底是有什么版本**（可能不止一个）**，上面的查看python的版本只是最高版本！ 方法如下： 打开你的终端依次输入 

1
2
sudo cd /usr/local/lib/
ls

ls是显示当前文件夹的意思

你可能会看到如下结果

1
2
3
4
5
...(省略)
pkgconfig
python2.7
python3.6
....

说明的python版本未2.7和3.6

！！推荐你将上面的xx换成2.x的版本，你用3.x也可以

3. Python 编译dlib +opencv

请先切换到/usr/local/lib/pythonx.x/dist-packages/dlib-19.19.0文件夹下，这是你的dlib根目录。

x.x与第二步的版本号相同

dlib根目录下运行python setup.py install

2.安装opencv-python

在任意文件夹下打开终端输入以下命令

sudo pip install opencv-python

如果提示没有安装pip

请按照其提示的命令安装pip后即可

注意：其中可能出现下载错误，如果提示如numpy未安装，那么请安装后再安装opencv-py；如果有其他报错，可以尝试sudo pip install opencv-python==4.0.0.21（或者其他它提示的合适的版本号安装）

3.文件设置

首先解压缩老师给你的face_recognition_dlib_master(下称face)到你的home下

然后将老师提供的剩余文件

包括

  • dlib_face_recognition_….
  • shape_predictor_68…
  • allface.zip(需要解压)

放在face目录下。

4.训练三部曲

Ⅰ.你可以打开你的终端

输入python candidate_train.py首先进行训练

训练的图片就是candidate-face文件夹里面的图片

如果里面没有你的图片，那么opencv是无法识别你的

随后生成结束会形成candidates.txt

这是训练的人的名单，名单中各个人的名字由candidate-face文件夹的文件名确定，你可以把你在candidate-face文件夹里面的大头照重命名为学号-姓名即可（请在输入python candidate_train.py前设置）

Ⅱ.随后链接摄像头

Ⅲ.然后在终端输入

python this_is_who_camera.py

你就可以看到你的实况识别结果了。

5.关于中文字体和显示截断

但现在可能还有3个问题

①你的名字显示不全，可能只显示了学号的前面4/5个数字

把candidate[num][0:16]的16改成其他数字

②即使你的学号显示完全，也不能显示中文。

函数cv2AddChineseText可以解决

③你需要把”字体路径（建议用simsun.ttc)”改成自己的路径，并且完成字体的安装，因为Ubuntu默认是不能识别中文字体的

方法如下（安装字体以simsun.ttc）为例：（你需要把liuxiang换成自己的名字）

1
sudo mkdir /usr/share/fonts/win10  #在Ubuntu 系统目录/usr/share/fonts 下创建一个名为win10的目录，存放我们将要安装的字体文件
1
sudo cp /home/liuxiang/fonts/* /usr/share/fonts/win10  #将/home/liuxiang/fonts/下存放的字体文件复制到/usr/share/fonts/win10目录中
1
2
3
4
5
6
7
cd /usr/share/fonts/win10  #进入创建的字体目录

sudo mkfontscale  #创建字体的fonts.scale文件，它用来控制字体旋转缩放

sudo mkfontdir    #创建字体的fonts.dir文件，它用来控制字体粗斜体产生

sudo fc-cache -f -v  #建立字体缓存信息也就是让系统认识安装字体（这一部分等的要久一些，大概5分钟

终端在识别字体

6.完整代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
# -*- coding: UTF-8 -*-
#python，上方的这一行不能丢！

import cv2
from PIL import Image,ImageDraw,ImageFont
import numpy as np
#封装函数
def cv2AddChineseText(img, text, position, textColor=(0, 255, 0), textSize=30):
    if (isinstance(img, np.ndarray)):  # 判断是否OpenCV图片类型
        img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
	text=text.decode('utf-8')
    # 创建一个可以在给定图像上绘图的对象
    draw = ImageDraw.Draw(img)
    # 字体的格式
    fontStyle = ImageFont.truetype(
        "字体路径（建议用simsun.ttc)", textSize, encoding="utf-8")
    #   ————TODO:这里需要换成你自己的路径————
    # 绘制文本
    draw.text(position, text, textColor, font=fontStyle)
    # 转换回OpenCV格式
    return cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)
import dlib,numpy 
import cv2          
import time
# 1.人脸关键点检测器
predictor_path = "shape_predictor_68_face_landmarks.dat"
# 2.人脸识别模型
face_rec_model_path = "dlib_face_recognition_resnet_model_v1.dat"
# 3.候选人文件
candidate_npydata_path = "candidates.npy"
candidate_path = "candidates.txt"
# 4.储存截图目录
path_screenshots = "screenShots/"
# 加载正脸检测器
detector = dlib.get_frontal_face_detector()
# 加载人脸关键点检测器
sp = dlib.shape_predictor(predictor_path)
# 加载人脸识别模型
facerec = dlib.face_recognition_model_v1(face_rec_model_path)
# 候选人脸描述子list
# 读取候选人数据
npy_data=numpy.load(candidate_npydata_path)
descriptors=npy_data.tolist()
# 候选人名单
candidate = []
file=open(candidate_path, 'r')
list_read = file.readlines()
for name in list_read:
    name = name.strip('\n')
    candidate.append(name)
cv2.namedWindow("camera", 1)
cap = cv2.VideoCapture(0)
cap.set(3, 480)
# 截图 screenshots 的计数器
cnt = 0
while (cap.isOpened()):  #isOpened()  检测摄像头是否处于打开状态
    ret, img = cap.read()  #把摄像头获取的图像信息保存之img变量
    if ret == True:       #如果摄像头读取图像成功
        # 添加提示
        cv2.putText(img, "press 'S': screenshot", (20, 400), cv2.FONT_HERSHEY_PLAIN, 1, (255, 255, 255), 1, cv2.LINE_AA)
        cv2.putText(img, "press 'Q': quit", (20, 450), cv2.FONT_HERSHEY_PLAIN, 1, (255, 255, 255), 1, cv2.LINE_AA)
        # img_gray = cv2.cvtColor(im_rd, cv2.COLOR_RGB2GRAY)
        dets = detector(img, 1)
        if len(dets) != 0:
            # 检测到人脸
            for k, d in enumerate(dets):
                # 关键点检测
                shape = sp(img, d)
                # 遍历所有点圈出来
                for pt in shape.parts():
                    pt_pos = (pt.x, pt.y)
                    cv2.circle(img, pt_pos, 2, (0, 255, 0), 1)
                face_descriptor = facerec.compute_face_descriptor(img, shape)
                d_test2 = numpy.array(face_descriptor)
                # 计算欧式距离
                dist = []
                for i in descriptors:
                    dist_ = numpy.linalg.norm(i - d_test2)
                    dist.append(dist_)
                num = dist.index(min(dist))  # 返回最小值
                left_top = (dlib.rectangle.left(d), dlib.rectangle.top(d));
                right_bottom = (dlib.rectangle.right(d), dlib.rectangle.bottom(d))
                cv2.rectangle(img, left_top, right_bottom, (0, 255, 0), 2, cv2.LINE_AA)
                text_point = (dlib.rectangle.left(d), dlib.rectangle.top(d) - 5)
                img=cv2AddChineseText(img, candidate[num][0:16],text_point,(255,0,0),30)
                cv2.putText(img, "facesNum: " + str(len(dets)), (20, 50),  cv2.FONT_HERSHEY_PLAIN, 1.5, (0, 0, 0), 2, cv2.LINE_AA)
        else:
            # 没有检测到人脸
            cv2.putText(img, "facesNum:0", (20, 50),  cv2.FONT_HERSHEY_PLAIN, 1.5, (0, 0, 0), 2, cv2.LINE_AA)
        k = cv2.waitKey(1)
        # 按下 's' 键保存
        if k == ord('s'):
            cnt += 1
            print(path_screenshots + "screenshot" + "_" + str(cnt) + "_" + time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) + ".jpg")
            cv2.imwrite(path_screenshots + "screenshot" + "_" + str(cnt) + "_" + time.strftime("%Y-%m-%d-%H-%M-%S", time.localtime()) + ".jpg", img)
        if k == ord('q'):
            break
        cv2.imshow("camera", img)
# 释放摄像头
cap.release()
cv2.destroyAllWindows()

7.常见问题

  1. 字体无法识别（报IEOR类似错误）：重新安装字体即可
  2. 无法识别格式，有报错：text=text.decode('utf-8')更改为text=text.decode(encoding='utf-8',error="ignore")
  3. 语法报错：请注意python对于缩进（空格）有极其严格的限制。