摘要：摘要本文介紹使用和完成視頻流目標(biāo)檢測(cè)，代碼解釋詳細(xì)，附源碼，上手快。將應(yīng)用于視頻流對(duì)象檢測(cè)首先打開文件并插入以下代碼同樣，首先從導(dǎo)入相關(guān)數(shù)據(jù)包和命令行參數(shù)開始。

摘要：?本文介紹使用opencv和yolo完成視頻流目標(biāo)檢測(cè)，代碼解釋詳細(xì)，附源碼，上手快。

在上一節(jié)內(nèi)容中，介紹了如何將YOLO應(yīng)用于圖像目標(biāo)檢測(cè)中，那么在學(xué)會(huì)檢測(cè)單張圖像后，我們也可以利用YOLO算法實(shí)現(xiàn)視頻流中的目標(biāo)檢測(cè)。

將YOLO應(yīng)用于視頻流對(duì)象檢測(cè)

首先打開?yolo_video.py文件并插入以下代碼：

# import the necessary packages
import numpy as np
import argparse
import imutils
import time
import cv2
import os

# construct the argument parse and parse the arguments
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--input", required=True,
    help="path to input video")
ap.add_argument("-o", "--output", required=True,
    help="path to output video")
ap.add_argument("-y", "--yolo", required=True,
    help="base path to YOLO directory")
ap.add_argument("-c", "--confidence", type=float, default=0.5,
    help="minimum probability to filter weak detections")
ap.add_argument("-t", "--threshold", type=float, default=0.3,
    help="threshold when applyong non-maxima suppression")
args = vars(ap.parse_args())

同樣，首先從導(dǎo)入相關(guān)數(shù)據(jù)包和命令行參數(shù)開始。與之前不同的是，此腳本沒(méi)有--?image參數(shù)，取而代之的是量個(gè)視頻路徑：

--?input??：輸入視頻文件的路徑；

--?output??：輸出視頻文件的路徑；

視頻的輸入可以是手機(jī)拍攝的短視頻或者是網(wǎng)上搜索到的視頻。另外，也可以通過(guò)將多張照片合成為一個(gè)短視頻也可以。本博客使用的是在PyImageSearch上找到來(lái)自imutils的VideoStream類的?示例。
下面的代碼與處理圖形時(shí)候相同：

# load the COCO class labels our YOLO model was trained on
labelsPath = os.path.sep.join([args["yolo"], "coco.names"])
LABELS = open(labelsPath).read().strip().split("
")

# initialize a list of colors to represent each possible class label
np.random.seed(42)
COLORS = np.random.randint(0, 255, size=(len(LABELS), 3),
    dtype="uint8")

# derive the paths to the YOLO weights and model configuration
weightsPath = os.path.sep.join([args["yolo"], "yolov3.weights"])
configPath = os.path.sep.join([args["yolo"], "yolov3.cfg"])

# load our YOLO object detector trained on COCO dataset (80 classes)
# and determine only the *output* layer names that we need from YOLO
print("[INFO] loading YOLO from disk...")
net = cv2.dnn.readNetFromDarknet(configPath, weightsPath)
ln = net.getLayerNames()
ln = [ln[i[0] - 1] for i in net.getUnconnectedOutLayers()]

在這里，加載標(biāo)簽并生成相應(yīng)的顏色，然后加載YOLO模型并確定輸出層名稱。
接下來(lái)，將處理一些特定于視頻的任務(wù)：

# initialize the video stream, pointer to output video file, and
# frame dimensions
vs = cv2.VideoCapture(args["input"])
writer = None
(W, H) = (None, None)

# try to determine the total number of frames in the video file
try:
    prop = cv2.cv.CV_CAP_PROP_FRAME_COUNT if imutils.is_cv2() 
        else cv2.CAP_PROP_FRAME_COUNT
    total = int(vs.get(prop))
    print("[INFO] {} total frames in video".format(total))

# an error occurred while trying to determine the total
# number of frames in the video file
except:
    print("[INFO] could not determine # of frames in video")
    print("[INFO] no approx. completion time can be provided")
    total = -1

在上述代碼塊中：

打開一個(gè)指向視頻文件的文件指針，循環(huán)讀取幀；

初始化視頻編寫器?（writer）和幀尺寸；

嘗試確定視頻文件中的總幀數(shù)（total），以便估計(jì)整個(gè)視頻的處理時(shí)間；

之后逐個(gè)處理幀：

# loop over frames from the video file stream
while True:
    # read the next frame from the file
    (grabbed, frame) = vs.read()

    # if the frame was not grabbed, then we have reached the end
    # of the stream
    if not grabbed:
        break

    # if the frame dimensions are empty, grab them
    if W is None or H is None:
        (H, W) = frame.shape[:2]

上述定義了一個(gè)?while循環(huán)， 然后從第一幀開始進(jìn)行處理，并且會(huì)檢查它是否是視頻的最后一幀。接下來(lái)，如果尚未知道幀的尺寸，就會(huì)獲取一下對(duì)應(yīng)的尺寸。
接下來(lái)，使用當(dāng)前幀作為輸入執(zhí)行YOLO的前向傳遞?：

ect Detection with OpenCVPython

    # construct a blob from the input frame and then perform a forward
    # pass of the YOLO object detector, giving us our bounding boxes
    # and associated probabilities
    blob = cv2.dnn.blobFromImage(frame, 1 / 255.0, (416, 416),
        swapRB=True, crop=False)
    net.setInput(blob)
    start = time.time()
    layerOutputs = net.forward(ln)
    end = time.time()

    # initialize our lists of detected bounding boxes, confidences,
    # and class IDs, respectively
    boxes = []
    confidences = []
    classIDs = []

在這里，構(gòu)建一個(gè)?blob?并將其傳遞通過(guò)網(wǎng)絡(luò)，從而獲得預(yù)測(cè)。然后繼續(xù)初始化之前在圖像目標(biāo)檢測(cè)中使用過(guò)的三個(gè)列表：?boxes?、?confidences、classIDs?：

  # loop over each of the layer outputs
    for output in layerOutputs:
        # loop over each of the detections
        for detection in output:
            # extract the class ID and confidence (i.e., probability)
            # of the current object detection
            scores = detection[5:]
            classID = np.argmax(scores)
            confidence = scores[classID]

            # filter out weak predictions by ensuring the detected
            # probability is greater than the minimum probability
            if confidence > args["confidence"]:
                # scale the bounding box coordinates back relative to
                # the size of the image, keeping in mind that YOLO
                # actually returns the center (x, y)-coordinates of
                # the bounding box followed by the boxes" width and
                # height
                box = detection[0:4] * np.array([W, H, W, H])
                (centerX, centerY, width, height) = box.astype("int")

                # use the center (x, y)-coordinates to derive the top
                # and and left corner of the bounding box
                x = int(centerX - (width / 2))
                y = int(centerY - (height / 2))

                # update our list of bounding box coordinates,
                # confidences, and class IDs
                boxes.append([x, y, int(width), int(height)])
                confidences.append(float(confidence))
                classIDs.append(classID)

在上述代碼中，與圖像目標(biāo)檢測(cè)相同的有：

循環(huán)輸出層和檢測(cè)；

提取?classID并過(guò)濾掉弱預(yù)測(cè)；

計(jì)算邊界框坐標(biāo)；

更新各自的列表；

接下來(lái)，將應(yīng)用非最大值抑制：

    # apply non-maxima suppression to suppress weak, overlapping
    # bounding boxes
    idxs = cv2.dnn.NMSBoxes(boxes, confidences, args["confidence"],
        args["threshold"])

    # ensure at least one detection exists
    if len(idxs) > 0:
        # loop over the indexes we are keeping
        for i in idxs.flatten():
            # extract the bounding box coordinates
            (x, y) = (boxes[i][0], boxes[i][1])
            (w, h) = (boxes[i][2], boxes[i][3])

            # draw a bounding box rectangle and label on the frame
            color = [int(c) for c in COLORS[classIDs[i]]]
            cv2.rectangle(frame, (x, y), (x + w, y + h), color, 2)
            text = "{}: {:.4f}".format(LABELS[classIDs[i]],
                confidences[i])
            cv2.putText(frame, text, (x, y - 5),
                cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2)

同樣的，在上述代碼中與圖像目標(biāo)檢測(cè)相同的有：

使用cv2.dnn.NMSBoxes函數(shù)用于抑制弱的重疊邊界框，可以在此處閱讀有關(guān)非最大值抑制的更多信息；

循環(huán)遍歷由NMS計(jì)算的idx，并繪制相應(yīng)的邊界框+標(biāo)簽；

最終的部分代碼如下：

    # check if the video writer is None
    if writer is None:
        # initialize our video writer
        fourcc = cv2.VideoWriter_fourcc(*"MJPG")
        writer = cv2.VideoWriter(args["output"], fourcc, 30,
            (frame.shape[1], frame.shape[0]), True)

        # some information on processing single frame
        if total > 0:
            elap = (end - start)
            print("[INFO] single frame took {:.4f} seconds".format(elap))
            print("[INFO] estimated total time to finish: {:.4f}".format(
                elap * total))

    # write the output frame to disk
    writer.write(frame)

# release the file pointers
print("[INFO] cleaning up...")
writer.release()
vs.release()

總結(jié)一下：

初始化視頻編寫器（writer），一般在循環(huán)的第一次迭代被初始化；

打印出對(duì)處理視頻所需時(shí)間的估計(jì)；

將幀（frame）寫入輸出視頻文件；

清理和釋放指針；

現(xiàn)在，打開一個(gè)終端并執(zhí)行以下命令：

$ python yolo_video.py --input videos/car_chase_01.mp4 
    --output output/car_chase_01.avi --yolo yolo-coco
[INFO] loading YOLO from disk...
[INFO] 583 total frames in video
[INFO] single frame took 0.3500 seconds
[INFO] estimated total time to finish: 204.0238
[INFO] cleaning up...

在視頻/ GIF中，你不僅可以看到被檢測(cè)到的車輛，還可以檢測(cè)到人員以及交通信號(hào)燈！
YOLO目標(biāo)檢測(cè)器在該視頻中表現(xiàn)相當(dāng)不錯(cuò)。讓現(xiàn)在嘗試同一車追逐視頻中的不同視頻：

$ python yolo_video.py --input videos/car_chase_02.mp4 
    --output output/car_chase_02.avi --yolo yolo-coco
[INFO] loading YOLO from disk...
[INFO] 3132 total frames in video
[INFO] single frame took 0.3455 seconds
[INFO] estimated total time to finish: 1082.0806
[INFO] cleaning up...

YOLO再一次能夠檢測(cè)到行人！或者嫌疑人回到他們的車中并繼續(xù)追逐：

$ python yolo_video.py --input videos/car_chase_03.mp4 
    --output output/car_chase_03.avi --yolo yolo-coco
[INFO] loading YOLO from disk...
[INFO] 749 total frames in video
[INFO] single frame took 0.3442 seconds
[INFO] estimated total time to finish: 257.8418
[INFO] cleaning up...

最后一個(gè)例子，讓我們看看如何使用YOLO作為構(gòu)建流量計(jì)數(shù)器：

$ python yolo_video.py --input videos/overpass.mp4 
    --output output/overpass.avi --yolo yolo-coco
[INFO] loading YOLO from disk...
[INFO] 812 total frames in video
[INFO] single frame took 0.3534 seconds
[INFO] estimated total time to finish: 286.9583
[INFO] cleaning up...

下面匯總YOLO視頻對(duì)象檢測(cè)完整視頻：

Quaker Oats汽車追逐視頻；

Vlad Kiraly立交橋視頻；

“White Crow”音頻；

YOLO目標(biāo)檢測(cè)器的局限和缺點(diǎn)

YOLO目標(biāo)檢測(cè)器的最大限制和缺點(diǎn)是：

它并不總能很好地處理小物體；

它尤其不適合處理密集的對(duì)象；

限制的原因是由于YOLO算法其本身：

YOLO對(duì)象檢測(cè)器將輸入圖像劃分為SxS網(wǎng)格，其中網(wǎng)格中的每個(gè)單元格僅預(yù)測(cè)單個(gè)對(duì)象；

如果單個(gè)單元格中存在多個(gè)小對(duì)象，則YOLO將無(wú)法檢測(cè)到它們，最終導(dǎo)致錯(cuò)過(guò)對(duì)象檢測(cè)；

因此，如果你的數(shù)據(jù)集是由許多靠近在一起的小對(duì)象組成時(shí)，那么就不應(yīng)該使用YOLO算法。就小物體而言，更快的R-CNN往往效果最好，但是其速度也最慢。在這里也可以使用SSD算法，?SSD通常在速度和準(zhǔn)確性方面也有很好的權(quán)衡。
值得注意的是，在本教程中，YOLO比SSD運(yùn)行速度慢，大約慢一個(gè)數(shù)量級(jí)。因此，如果你正在使用預(yù)先訓(xùn)練的深度學(xué)習(xí)對(duì)象檢測(cè)器供OpenCV使用，可能需要考慮使用SSD算法而不是YOLO算法。
因此，在針對(duì)給定問(wèn)題選擇對(duì)象檢測(cè)器時(shí)，我傾向于使用以下準(zhǔn)則：

如果知道需要檢測(cè)的是小物體并且速度方面不作求，我傾向于使用faster R-CNN算法；

如果速度是最重要的，我傾向于使用YOLO算法；

如果需要一個(gè)平衡的表現(xiàn)，我傾向于使用SSD算法；

想要訓(xùn)練自己的深度學(xué)習(xí)目標(biāo)檢測(cè)器？

在本教程中，使用的YOLO模型是在COCO數(shù)據(jù)集上預(yù)先訓(xùn)練的.。但是，如果想在自己的數(shù)據(jù)集上訓(xùn)練深度學(xué)習(xí)對(duì)象檢測(cè)器，該如何操作呢？
大體思路是自己標(biāo)注數(shù)據(jù)集，按照darknet網(wǎng)站上的指示及網(wǎng)上博客自己更改相應(yīng)的參數(shù)訓(xùn)練即可?；蛘咴谖业臅?深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)與Python”中，詳細(xì)講述了如何將faster R-CNN、SSD和RetinaNet應(yīng)用于：

檢測(cè)圖像中的徽標(biāo)；

檢測(cè)交通標(biāo)志；

檢測(cè)車輛的前視圖和后視圖（用于構(gòu)建自動(dòng)駕駛汽車應(yīng)用）；

檢測(cè)圖像和視頻流中武器；

書中的所有目標(biāo)檢測(cè)章節(jié)都包含對(duì)算法和代碼的詳細(xì)說(shuō)明，確保你能夠成功訓(xùn)練自己的對(duì)象檢測(cè)器。在這里可以了解有關(guān)我的書的更多信息（并獲取免費(fèi)的示例章節(jié)和目錄）。

總結(jié)

在本教程中，我們學(xué)習(xí)了如何使用Deep Learning、OpenCV和Python完成YOLO對(duì)象檢測(cè)。然后，我們簡(jiǎn)要討論了YOLO架構(gòu)，并用Python實(shí)現(xiàn)：

將YOLO對(duì)象檢測(cè)應(yīng)用于單個(gè)圖像；

將YOLO對(duì)象檢測(cè)應(yīng)用于視頻流；

在配備的3GHz Intel Xeon W處理器的機(jī)器上，YOLO的單次前向傳輸耗時(shí)約0.3秒；?但是，使用單次檢測(cè)器（SSD），檢測(cè)耗時(shí)只需0.03秒，速度提升了一個(gè)數(shù)量級(jí)。對(duì)于使用OpenCV和Python在CPU上進(jìn)行基于實(shí)時(shí)深度學(xué)習(xí)的對(duì)象檢測(cè)，你可能需要考慮使用SSD算法。

閱讀原文

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。