通过 HTTP 获取远程摄像头视频流并使用 YOLOv5 进行目标检测

通过合理的项目结构设计，我们将项目功能模块化，使代码更易于维护和扩展。每个功能模块都在独立的文件中实现，便于调试和修改。在模型加载方面，我们通过本地和网络模型的双重处理机制，确保了程序能够在缺少本地模型文件时自动下载并保存。希望这个项目结构能够帮助你更好地理解如何组织一个基于 YOLOv5 的目标检测项目，并且能够作为参考用于其他类似的深度学习应用中。

like455

1439人浏览 · 2024-11-11 15:22:48

like455 · 2024-11-11 15:22:48 发布

在本教程中，我们将通过 HTTP 获取远程摄像头视频流，并使用 YOLOv5 模型进行实时目标检测。我们会利用 Python 的 OpenCV 库获取视频流，使用 YOLOv5 模型进行目标检测，并使用多线程来提高实时性和效率。

项目地址：like45599/realtime-object-detection: 通过 HTTP 获取远程摄像头视频流并使用 YOLOv5 进行目标检测

使用 Flask 实现远程摄像头访问的完整流程

1. 项目需求分析

目标：通过 Flask 和 OpenCV，将笔记本的摄像头视频流通过局域网共享，主机可以远程访问并查看实时视频流。
解决方案：使用 Flask 创建 Web 服务，通过 OpenCV 读取摄像头的视频帧，并将其以流的形式传递到客户端，实现远程实时访问。

参考：akmamun/camera-live-streaming: Camera Live Streaming with Flask and Open-CV

2. 环境准备

依赖安装：确保安装了 Flask 和 OpenCV 库。
```
pip install flask opencv-python
```

文件结构：

camera-live-streaming/
├── app.py          # Flask 应用主文件
├── camera.py       # 摄像头读取类
└── templates/
    └── index.html  # Web 页面模板

3. 代码实现

3.1 创建 `camera.py`：实现摄像头读取功能

VideoCamera 类使用 OpenCV 读取摄像头数据，并提供帧读取和备用帧方法。

   # camera.py
   import cv2

   class VideoCamera(object):
       def __init__(self):
           self.video = cv2.VideoCapture(0)  # 使用默认摄像头

       def __del__(self):
           self.video.release()  # 释放摄像头资源

       def get_frame(self):
           success, image = self.video.read()  # 读取一帧图像
           if not success:
               raise Exception("Failed to read frame from camera")
           ret, jpeg = cv2.imencode('.jpg', image)  # 编码为 JPEG 格式
           return jpeg.tobytes()

       def get_heartbeat(self):
           image = cv2.imread('noise-green.jpg')  # 备用图像
           ret, jpeg = cv2.imencode('.jpg', image)
           return jpeg.tobytes()

3.2 创建 `app.py`：搭建 Flask 应用

配置 Flask 应用并实现视频流传输。
gen() 函数持续获取视频帧并通过 HTTP 响应流形式发送给客户端。

   # app.py
   from camera import VideoCamera
   from flask import Flask, render_template, Response
   import time

   app = Flask(__name__)

   @app.route('/')
   def index():
       return render_template('index.html')  # 渲染主页模板

   def gen(camera):
       while True:
           try:
               frame = camera.get_frame()
           except Exception:
               print("Video is finished or empty")
               frame = camera.get_heartbeat()
           yield (b'--frame\r\n'
                  b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n\r\n')

   @app.route('/video_feed')
   def video_feed():
       return Response(gen(VideoCamera()),
                       mimetype='multipart/x-mixed-replace; boundary=frame')

   if __name__ == '__main__':
       app.run(host='0.0.0.0', port=5000, threaded=True)

3.3 创建 `index.html`：构建前端显示页面

在 templates 文件夹中创建 index.html，用于显示实时视频流。

   <!doctype html>
   <html lang="en">
   <head>
       <meta charset="utf-8">
       <meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
       <link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.1.3/css/bootstrap.min.css">
       <title>Live Streaming</title>
   </head>
   <body>
       <div class="container">
           <div class="row">
               <div class="col-lg-8 offset-lg-2">
                   <h3 class="mt-5">Live Streaming</h3>
                   <img src="{{ url_for('video_feed') }}" width="100%">
               </div>
           </div>
       </div>
   </body>
   </html>

4. 项目运行

启动 Flask 应用：

在项目目录下，直接运行 app.py 文件（不要使用 flask run），确保 Flask 绑定到 0.0.0.0。

   python app.py

检查启动日志：

确保日志显示 Running on http://0.0.0.0:5000/，表明服务已经绑定到所有网络接口。

5. 测试与访问

在主机上，通过笔记本的 IP 地址访问 Flask 服务。例如，笔记本 IP 是 xxx.xxx.xxx.xxx，可以通过以下地址访问：
```
http://xxx.xxx.xxx.xxx:5000/
```
如果可以正常显示视频流，说明功能实现成功。

6. 注意事项与问题排查

防火墙配置：确保防火墙允许 5000 端口访问。可以通过临时关闭防火墙或为 5000 端口创建入站规则来测试。
Flask 绑定设置：app.run(host='0.0.0.0', port=5000, threaded=True) 确保 Flask 应用可以被局域网内的其他设备访问。
调试信息：在 index() 函数内打印日志信息，以便确认请求是否正确到达 Flask 服务。
网络连接问题：确保笔记本和主机在同一局域网内，且处于相同的子网中。
替代端口：如有端口冲突或无法访问问题，可以尝试更换端口，比如 5001。

这样一来，通过 Flask 和 OpenCV 实现的远程摄像头访问项目就完成了！可以轻松地在局域网内实时查看摄像头视频流，并且该项目可以作为远程监控、流媒体传输等应用的基础架构。

获取远程视频流并进行目标检测项目结构与代码解析

项目目录结构

realtime-object-detection/            # 项目根目录
├── assets/                           # 存放所有模型和相关资源
│   └── yolov5s.pt                    # 保存的 YOLOv5 模型权重
├── config/                           # 存放配置文件
    ├── __init__.py
│   └── config.py                     # 配置文件，存放视频 URL 和模型路径等
├── model/                            # 存放模型加载和推理相关代码
    ├── __init__.py
│   └── yolov5_model.py               # 加载和进行目标检测的代码
├── video/                            # 存放视频流相关功能
    ├── __init__.py
│   └── video_stream.py               # 获取视频流并传递给目标检测模型
├── main.py                           # 主程序，执行目标检测任务
└── requirements.txt                  # 记录项目依赖的库

目录和文件说明

assets/：用于存放项目中使用的资源文件，主要是 YOLOv5 模型权重文件 yolov5s.pt。我们将权重文件保存在该目录下，以便模型能够加载和进行目标检测。
config/：存放配置文件。在 config.py 中，我们定义了视频流的 URL 和模型的存储路径等配置信息，以便于在项目中进行调用和修改。
model/：包含了与模型相关的代码，包括模型的加载、目标检测函数等。在 yolov5_model.py 文件中，我们负责加载 YOLOv5 模型和进行目标检测的实现。
video/：专门处理视频流相关的代码。video_stream.py 文件中的代码用于从远程服务器获取视频流并将其传递给目标检测函数进行实时处理。
main.py：主程序文件，负责组织和调用各模块的代码来实现实时目标检测的功能。
requirements.txt：记录项目所需的依赖库，便于环境搭建。

关键代码解析

1. 配置文件 `config/config.py`

config.py 用于存储项目中的配置信息，包括视频流的 URL 和模型的存储路径。示例代码如下：

# 配置文件，存放 URL 和模型路径等
VIDEO_URL = "http://xxx.xxx.xxx.xxx:5000/video_feed"  # 替换为 Flask 服务器的 URL
MODEL_PATH = './assets/yolov5s.pt'  # 模型文件存放路径

2. 模型加载与目标检测 `model/yolov5_model.py`

在 yolov5_model.py 文件中，我们实现了两个主要功能：加载 YOLOv5 模型并进行目标检测。

load_model()：该函数首先尝试从本地加载模型权重文件，如果文件不存在，则会从 YOLOv5 的官方仓库下载预训练模型，并保存到本地。
detect_objects()：该函数接收一个视频帧并使用 YOLOv5 模型进行目标检测，返回处理后的图像。

import torch
from config.config import MODEL_PATH

# 加载 YOLOv5 模型
def load_model():
    # 创建 YOLOv5 模型（注意：这里只加载模型架构，权重会在后面加载）
    model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=False)  # 不加载预训练权重

    try:
        # 尝试加载本地模型权重
        model.load_state_dict(torch.load(MODEL_PATH))  # 从 assets 目录加载模型权重
        print(f"Loaded YOLOv5 model from {MODEL_PATH}")
    except FileNotFoundError:
        print(f"Model file not found at {MODEL_PATH}, downloading...")
        # 如果模型权重不存在，从官网加载
        model = torch.hub.load('ultralytics/yolov5', 'yolov5s')  # 加载预训练的 yolov5s 模型
        # 保存模型权重到 assets 目录
        torch.save(model.state_dict(), MODEL_PATH)
        print(f"Model downloaded and saved to {MODEL_PATH}")

    model.eval()  # 设置模型为评估模式
    return model

# 目标检测函数
def detect_objects(model, frame):
    # 将 BGR 图像转换为 RGB
    img = frame[..., ::-1]

    # 使用 YOLOv5 进行目标检测
    results = model(img)

    # 绘制检测结果
    results.render()

    # 获取处理后的图像，使用 results.ims 来代替 results.imgs
    frame = results.ims[0]

    return frame

3. 获取视频流并进行目标检测 `video/video_stream.py`

该文件负责从远程视频流中获取数据，并将其传递给目标检测函数。示例如下：

import cv2

# 获取远程视频流并进行目标检测
def get_video_stream(url, detect_objects, model):
    # 从远程服务器获取视频流
    cap = cv2.VideoCapture(url)

    while True:
        ret, frame = cap.read()
        if not ret:
            break

        # 对每一帧进行目标检测
        frame = detect_objects(model, frame)

        # 显示检测结果
        cv2.imshow("Detection", frame)

        # 按 'q' 键退出
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    cap.release()
    cv2.destroyAllWindows()

4. 主程序 `main.py`

在 main.py 中，我们组织了模型加载和视频流获取的功能：

import torch
from config.config import VIDEO_URL
from model.yolov5_model import load_model, detect_objects
from video.video_stream import get_video_stream

def main():
    # 加载 YOLOv5 模型
    model = load_model()

    # 获取远程视频流并进行目标检测
    get_video_stream(VIDEO_URL, detect_objects, model)

if __name__ == '__main__':
    main()