OpenHarmony开源社区
直播中

人走了

9年用户 933经验值
擅长:制造/封装 光电显示
私信 关注
[经验]

基于OpenHarmony 3.2 Beta1版本的H264视频播放之路详解

一、背景

全民直播时代,人们每天刷着五花八门的短视频,每分每秒都有无数的视频文件被生成、播放。但你可曾想过这些电视剧、电影、视频广告、短视频等影音是以怎样的数据形式在我们的显示设备中播放出来的?本文将基于 OpenHarmony 3.2 Beta1 版本的媒体能力,为你详细解读一个视频文件(本文以 MP4 封装格式、H264 压缩格式的视频文件为例)是怎么在基于 OpenHarmony 标准系统的设备上播放出来的。同时也带你一窥“播放一个视频文件”这件对 OpenHarmony 3.2 Beta1 版本系统能力很轻松的事,是由多少服务层、功能接口、工具、插件、命令行及代码等共同协作完成的。

二、OpenHarmony 3.2媒体能力全景

OpenHarmony 技术架构如下图所示,完成视频文件播放功能的是多媒体子系统。

图片

下图所示为多媒体子系统框架图

图片

如图所示,OpenHarmony 多媒体子系统拉起了一个叫 mediaserver 的服务来处理媒体事务,并且封装了接口层包括JS接口、native 接口提供给 APP 调用,mediaserver 的核心则是引入了 gstreamer(以下简称 gst)框架来完成媒体功能(注:gstreamer 是一套功能强大、兼容性好、结构清晰的开源媒体框架,这里不做赘述,后面有专文解析)。OpenHarmony 也在 gst 的基础上开发了 player engine 来实现播放,同时也利用 gst 丰富的插件资源实现几乎所有的媒体功能。截至目前,已移植进来的开源插件包括 file source、demuxer、video decoder、libav 插件等,当然也包括 OpenHarmony 自研的 video sink、memsink、codec hdi 插件等。

三、把大象装冰箱(H264视频播放)总共分几步?

视频播放流程图如下:

图片

如图所示,播放一个视频大致分为 4 步:

解协议->解封装->解压缩->送显

播放pipeline

根据视频播放的步骤,我们在 OpenHarmony 上每一个环节都能找到对应的插件来完成,同时参考 media_standard 代码仓的代码目录,相关的代码都可以找到对应的实现逻辑。

图片

1、对于一个本地视频文件(比如/data/h264-640x480.mp4),对应的 filesrc 插件来完成文件的解析,拿到MP4文件流;

OpenHarmony 处理本地视频文件 URI 的 SetSource 逻辑代码如下:

int32_t PlayerEngineGstImpl::SetSource(const std::string &url)
{
    std::unique_lock<std::mutex> lock(mutex_);
    CHECK_AND_RETURN_RET_LOG(!url.empty(), MSERR_INVALID_VAL, "input url is empty!");
    CHECK_AND_RETURN_RET_LOG(url.length() <= MAX_URI_SIZE, MSERR_INVALID_VAL, "input url length is invalid!");


    std::string realUriPath;
    int32_t ret = MSERR_OK;


    if (IsFileUrl(url)) {
        ret = GetRealPath(url, realUriPath);
        if (ret != MSERR_OK) {
            return ret;
        }
        url_ = "file://" + realUriPath;
    } else {
        url_ = url;
    }


    MEDIA_LOGD("set player source: %{public}s", url_.c_str());
    return ret;
}

这样就会得到一个 URI:file:///data/h264-640x480.mp4,gst 正是通过 URI 前缀来判断是否是本地视频文件,然后获取文件内容。

2、拿到 MP4 文件流后,对应的 qtdemux 插件来解封装,完成音视频分流,输出 H264 裸码流和音频流;

3、拿到 H264 码流后,h264parse 插件开始切片,输出 H264 帧数据;

4、处理 H264 帧数据,就由 avdec_h264 插件来完成,一般情况会输出 NV12 的像素数据,当然这个解码器是基于 ffmpeg 的软解插件,相信不久各个芯片厂商的硬件加速解码器都会加进来;

可以使用 gst-inspect 工具查看 avdec_h264 解码插件,使用 ffmpeg 的解码能力,支持的格式非常丰富。

图片

5、至此解码的工作已经完成,后面就要根据显示的像素格式、size 来对解码输出数据进行后处理(转换、缩放、裁剪等),会由 Converter、Scaler、Clip 插件来完成;

6、满足显示要求后就会使用 surfacesink 插件完成合成送显。

送显需要先申请显示 surface buffer,申请逻辑代码如下:

GstSurfaceMemory *gst_surface_allocator_alloc(GstSurfaceAllocator *allocator, GstSurfaceAllocParam param)
{
    g_return_val_if_fail(allocator != nullptr && allocator->surface != nullptr, nullptr);


    static constexpr int32_t stride_alignment = 8;
    int32_t wait_time = param.dont_wait ? 0 : INT_MAX; // wait forever or no wait.
    OHOS::BufferRequestConfig request_config = {
        param.width, param.height, stride_alignment, param.format, static_cast<uint32_t>(param.usage) |
        HBM_USE_CPU_READ | HBM_USE_CPU_WRITE | HBM_USE_MEM_DMA, wait_time
    };
    int32_t release_fence = -1;
    OHOS::sptr<OHOS::SurfaceBuffer> surface_buffer = nullptr;
    OHOS::SurfaceError ret = allocator->surface->RequestBuffer(surface_buffer, release_fence, request_config);
    if (ret == OHOS::SurfaceError::SURFACE_ERROR_NO_BUFFER) {
        GST_INFO("there is no more buffers");
    }
    if (ret != OHOS::SurfaceError::SURFACE_ERROR_OK || surface_buffer == nullptr) {
        return nullptr;
    }
    ret = surface_buffer->Map();
    if (ret != OHOS::SurfaceError::SURFACE_ERROR_OK) {
        GST_ERROR("surface_buffer Map failed");
        return nullptr;
    }
    OHOS::sptr<OHOS::SyncFence> autoFence = new(std::nothrow) OHOS::SyncFence(release_fence);
    if (autoFence != nullptr) {
        autoFence->Wait(100); // 100ms
    }


    GstSurfaceMemory *memory = reinterpret_cast<GstSurfaceMemory *>(g_slice_alloc0(sizeof(GstSurfaceMemory)));
    if (memory == nullptr) {
        GST_ERROR("alloc GstSurfaceMemory slice failed");
        allocator->surface->CancelBuffer(surface_buffer);
        return nullptr;
    }


    gst_memory_init(GST_MEMORY_CAST(memory), (GstMemoryFlags)0, GST_ALLOCATOR_CAST(allocator), nullptr,
        surface_buffer->GetSize(), 0, 0, surface_buffer->GetSize());


    memory->buf = surface_buffer;
    memory->fence = -1;
    memory->need_render = FALSE;
    GST_DEBUG("alloc surface buffer for width: %d, height: %d, format: %d, size: %u",
        param.width, param.height, param.format, surface_buffer->GetSize());


    return memory;
}

申请好的 buffer 会放入 buffer pool,形成一个 buffer 队列。

解码器解完一帧会将数据放入 buffer pool,sink 插件会从 buffer pool 中拿到数据送显,代码逻辑如下:

static GstFlowReturn gst_surface_mem_sink_do_app_render(GstMemSink *memsink, GstBuffer *buffer, bool is_preroll)
{
    g_return_val_if_fail(memsink != nullptr && buffer != nullptr, GST_FLOW_ERROR);
    GstSurfaceMemSink *surface_sink = GST_SURFACE_MEM_SINK_CAST(memsink);
    g_return_val_if_fail(surface_sink != nullptr, GST_FLOW_ERROR);
    GstSurfaceMemSinkPrivate *priv = surface_sink->priv;
    GST_OBJECT_LOCK(surface_sink);


    if (gst_surface_mem_sink_drop_frame_check(surface_sink) == FALSE) {
        GST_OBJECT_UNLOCK(surface_sink);
        GST_DEBUG_OBJECT(surface_sink, "user set rate, drop same frame");
        return GST_FLOW_OK;
    }


    if (surface_sink->firstRenderFrame) {
        GST_WARNING_OBJECT(surface_sink, "KPI-TRACE: first render frame");
        surface_sink->firstRenderFrame = FALSE;
    }


    for (guint i = 0; i < gst_buffer_n_memory(buffer); i++) {
        GstMemory *memory = gst_buffer_peek_memory(buffer, i);
        if (!gst_is_surface_memory(memory)) {
            GST_WARNING_OBJECT(surface_sink, "not surface buffer !, 0x%06" PRIXPTR, FAKE_POINTER(memory));
            continue;
        }


        GstSurfaceMemory *surface_mem = reinterpret_cast<GstSurfaceMemory *>(memory);
        surface_mem->need_render = TRUE;


        gboolean needFlush = TRUE;
        if (is_preroll) {
            surface_sink->prerollBuffer = buffer;
        } else {
            if (surface_sink->prerollBuffer == buffer) {
                // if it's paused, then play, this buffer is render by preroll
                surface_sink->prerollBuffer = nullptr;
                needFlush = FALSE;
            }
        }


        if (needFlush) {
            OHOS::BufferFlushConfig flushConfig = {
                { 0, 0, surface_mem->buf->GetWidth(), surface_mem->buf->GetHeight() },
            };
            gst_surface_mem_sink_dump_buffer(surface_sink, buffer);
            OHOS::SurfaceError ret = priv->surface->FlushBuffer(surface_mem->buf, surface_mem->fence, flushConfig);
            if (ret != OHOS::SurfaceError::SURFACE_ERROR_OK) {
                surface_mem->need_render = FALSE;
                GST_ERROR_OBJECT(surface_sink, "flush buffer to surface failed, %d", ret);
            }
        }
    }


    GST_OBJECT_UNLOCK(surface_sink);
    GST_DEBUG_OBJECT(surface_sink, "End gst_surface_mem_sink_do_app_render");
    return GST_FLOW_OK;
}

再加上 audio 的插件解码出音频数据,OpenHarmony 的 player 会完成音视频同步,至此一个视频文件就会播放显示在屏幕上。

OpenHarmony 为了实现更好的用户体验,同时也引入了一些解决性能问题的插件,比如 multiqueue 插件来实现 buffer 队列,也使用 decodebin 高级插件来完成解码 element 的选择。

通过梳理,我们最终可以得到一条播放的 pipeline:

图片

而通过播放 OpenHarmony 自带的图库播放本地 H264 视频,抓取 log,搜索 OnElementSetupCb 关键字也可以得到播放的 pipeline,这也进一步验证了本文的分析。

图片

另外,我们也可以使用 gst-launch 手动创建 pipeline 来验证:

gst-launch --gst-plugin-path=/system/lib/media/plugins filesrc location=/data/media/h264.mp4 ! qtdemux ! h264parse ! avdec_h264 ! videoconvert ! videoscale ! video/x-raw,width=640,height=480 ! surfacememsink

附录:

OpenHarmony标准系统media组件介绍

https://gitee.com/openharmony/multimedia_media_standardhttps://gitee.com/openharmony/multimedia_media_standard

MP4封装格式介绍

https://wenku.baidu.com/view/b4f52a376ddb6f1aff00bed5b9f3f90f76c64dbd.htmlhttps://wenku.baidu.com/view/b4f52a376ddb6f1aff00bed5b9f3f90f76c64dbd.html

gst介绍

https://gstreamer.freedesktop.org/documentation/tutorials/index.html?gi-language=chttps://gstreamer.freedesktop.org/documentation/tutorials/index.html?gi-language=c

https://blog.csdn.net/qq_45662588/article/details/120763198https://blog.csdn.net/qq_45662588/article/details/120763198

OpenHarmony 3.2 Beta1 版本路书

https://gitee.com/openharmony/docs/blob/master/zh-cn/release-notes/OpenHarmony-v3.2-beta1.md

OpenHarmony媒体子系统框架介绍

https://gitee.com/openharmony/docs/blob/master/zh-cn/readme/%E5%AA%92%E4%BD%93%E5%AD%90%E7%B3%BB%E7%BB%9F.mdhttps://gitee.com/openharmony/docs/blob/master/zh-cn/readme/%E5%AA%92%E4%BD%93%E5%AD%90%E7%B3%BB%E7%BB%9F.md

OpenHarmony视频播放应用开发指导

https://gitee.com/openharmony/docs/blob/master/zh-cn/application-dev/media/video-playback.md

回帖(2)

李鸿洋

2022-7-5 18:23:03
文章很棒,辛苦分享
举报

温暖镜头

2022-8-15 18:37:21
感谢大佬分享,满满的干货
举报

更多回帖

发帖
×
20
完善资料,
赚取积分