Writing x264 from OpenCV 3 with FFmpeg on Linux

在Linux环境下使用FFmpeg库从OpenCV3编码视频流至x264（H.264编码器）涉及多个步骤。这个过程大致可分为以下几个阶段：

1. 环境设置：确保Linux系统中安装有OpenCV和FFmpeg库，包括x264编码器。
2. 编写代码：使用C++与OpenCV API捕获视频帧，然后使用FFmpeg的libav*系列库将帧编码成x264格式。
3. 编译与运行：编译C++程序并在Linux上运行，确保视频正确编码并存储。

详细步骤：

1. 环境安装：

• 首先，需要在Linux系统上安装OpenCV和FFmpeg。可以使用包管理器如apt（Debian/Ubuntu）或yum（Fedora）来安装。

  bash
  sudo apt-get install libopencv-dev
  sudo apt-get install ffmpeg libavcodec-dev libavformat-dev libswscale-dev

2. 编写代码：

• 创建一个C++的程序，使用OpenCV来捕获视频帧，然后使用FFmpeg的API将这些帧编码为x264。以下是一个简化的代码示例：

cpp
#include <opencv2/opencv.hpp>
#include <opencv2/highgui/highgui.hpp>
extern "C" {
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libswscale/swscale.h>
}

int main() {
    cv::VideoCapture cap(0); // 打开默认摄像头
    if (!cap.isOpened()) {
        return -1;
    }

    AVCodec *codec;
    AVCodecContext *c= NULL;
    int i, ret, x, y, got_output;
    FILE *f;
    AVFrame *frame;
    AVPacket pkt;
    uint8_t endcode[] = { 0, 0, 1, 0xb7 };

    avcodec_register_all();

    codec = avcodec_find_encoder(AV_CODEC_ID_H264);
    if (!codec) {
        fprintf(stderr, "Codec not found\n");
        exit(1);
    }

    c = avcodec_alloc_context3(codec);
    if (!c) {
        fprintf(stderr, "Could not allocate video codec context\n");
        exit(1);
    }

    c->bit_rate = 400000;
    c->width = 640;
    c->height = 480;
    c->time_base = (AVRational){1, 25};
    c->gop_size = 10;
    c->max_b_frames = 1;
    c->pix_fmt = AV_PIX_FMT_YUV420P;

    if (avcodec_open2(c, codec, NULL) < 0) {
        fprintf(stderr, "Could not open codec\n");
        exit(1);
    }

    frame = av_frame_alloc();
    if (!frame) {
        fprintf(stderr, "Could not allocate video frame\n");
        exit(1);
    }
    frame->format = c->pix_fmt;
    frame->width  = c->width;
    frame->height = c->height;

    ret = av_image_alloc(frame->data, frame->linesize, c->width, c->height, c->pix_fmt, 32);
    if (ret < 0) {
        fprintf(stderr, "Could not allocate raw picture buffer\n");
        exit(1);
    }

    // OpenCV与FFmpeg结合部分
    cv::Mat image;
    while (cap.read(image)) {
        // 将OpenCV的Mat转换为FFmpeg的AVFrame
        // 这里需要进行颜色空间转换等操作

        av_init_packet(&pkt);
        pkt.data = NULL;    // packet data will be allocated by the encoder
        pkt.size = 0;

        fflush(stdout);
        ret = avcodec_encode_video2(c, &pkt, frame, &got_output);
        if (ret < 0) {
            fprintf(stderr, "Error encoding frame\n");
            exit(1);
        }
        if (got_output) {
            fwrite(pkt.data, 1, pkt.size, f);
            av_packet_unref(&pkt);
        }
    }

    // 添加编码结束符
    avcodec_encode_video2(c, &pkt, NULL, &got_output);
    if (got_output) {
        fwrite(pkt.data, 1, pkt.size, f);
        av_packet_unref(&pkt);
    }
    fclose(f);

    avcodec_close(c);
    av_free(c);
    av_freep(&frame->data[0]);
    av_frame_free(&frame);
    return 0;
}

3. 编译与运行：

• 使用g++编译上述代码，链接OpenCV和FFmpeg的库。

  bash
  g++ -o video_capture video_capture.cpp `pkg-config --cflags --libs opencv4` -lavcodec -lavformat -lavutil -lswscale

• 运行程序：

  bash
  ./video_capture

注意事项：

• 代码示例中省略了错误处理和资源释放的细节，实际应用中需要添加这些内容以确保程序的健壮性。
• 颜色空间转换是必须的，因为OpenCV通常使用BGR格式，而x264则需要YUV格式。