基于AVS2的图片容器——TPG:现状与改进之路

  • 时间:
  • 浏览:0

LiveVideoStack:能介绍下目前TPG开发的进展吗?

LiveVideoStack:目前朋友比较关注的新兴的图片格式,包括WebP,HEIF以及TPG。相对于传统的JPG格式,新兴那先 图片格式有那先 创新?

腾讯音视频实验室:JPEG经过了几十年的发展,目前还是占统治地位,这其中最主可因为还是通用性问题。尤其是在PC时代,因为过高 第三方浏览器的支持,私有格式的应用范围受到了很大限制。就让 ,在移动互联网时代,朋友对浏览器的依赖大大下降,假使 移动App假使 涵盖假使 解码器就能完成对并否是新的图片格式的支持,这给新兴图片格式带来了因为。朋友看多现在可是互联网应用中都使用了WebP图片格式,苹果76也在iOS11系统中原生支持HEIF格式了。现在移动端应用的流量没办法 大,这对新兴图片格式的发展是假使 很好的机遇。

因为图片流量及存储成本的巨大压力,业务部门向朋友提出了图片优化的需求,朋友也在2014年下半年 启动了图片优化的工作。最初朋友评估了WebP方案,WebP是Google在2010年发布的图片压缩格式,它的压缩速度比JPEG高20%左右。朋友知道,WebP是基于VP8的视频内核,VP8和H.264属于同一代标准,它的压缩速度是要低于最新一代标准H.265和AVS2的,那因为采用H.265因为AVS2来进行图片压缩,是全是速度更高?对此,朋友进行了一轮全面测试,测试结果表明,H.265及AVS2的I帧压缩速度人太好 相对WebP具有明显优势,压缩率要花费高20%以上。基于以上测试结论,朋友推出了全新的图片格式TPG。

腾讯音视频实验室:TPG图片格式推出以前,在公司内得到了各大业务的大力支持。目前在公司内部管理因为得到了广泛应用。公司内的可是产品诸如手Q、空间、QQ浏览器、腾讯新闻等都因为完成了TPG的接入。

腾讯音视频实验室:TPG的全称是Tiny Portable Graphics,它是腾讯音视频实验室基于AVS2视频压缩标准推出的并否是新的图片压缩格式。相比传统图片压缩格式,TPG在压缩速度方面具有明显优势,在相同质量下,TPG压缩速度比JPG高45%以上,比WebP高20%以上。

第二,采用角度学习进行图像压缩。目前因为有可是学校及公司在从事这方面研究,比如Google发布了基于RNN的图像压缩技术RAISR,人太好 基于角度学习的图像压缩技术目前还不成熟期期期期的句子的句子的句子的句子 是什么的句子 ,就让 未来肯定会有长足发展。

LiveVideoStack:首先能简单介绍一下TPG吗?

对于Native APP,只前要其集成新图片格式的解码器即可。目前TPG Android端SDK大小前会 700K。

LiveVideoStack:TPG和某些的图片格式相比有那先 优势呢?

第四,易用性好,接入简单。朋友提供了各平台的SDK,接口设计非常简单,业务接入非常方便。在公司内部管理业务接入的过程中,朋友的接口根据业务需求不断迭代优化,优化后的接口设计更趋合理。以GIF为例,传统的GIF文件,前要等整个文件下载以前不能播放,而GIF文件通常比较大,可是用户观看假使 GIF动画的在在等待会比较长。TPG通过优化设计,不能提前获取GIF文件总帧数并支持边解边播,用户观看动画的在在等待大大减少,体验明显提升。

LiveVideoStack:为那先 WebP,HEIF以及TPG全是约而同的采用codec作为压缩引擎呢?视频编码和图片编码有那先 相关性?

首先,采用更高僵化 度更高压缩率的标准。比如,未来很有因为跳出 基于下一代视频编码标准FVC的图片压缩技术。

腾讯音视频实验室:我人太好 TPG的优势主要体现在以下哪哪几个方面:

腾讯音视频实验室:评价并否是图片格式的优劣,主要从假使 方面考虑:假使 是压缩率,另外假使 假使 编解码性能。压缩率对比一句话,通常以PSNR因为SSIM作为质量评价指标,在质量对齐的前提下,对比图片大小。性能方面一句话,主假使 看编解码一幅图片的耗时以及内存占用。

当然你刚才提到的专利风险,也是不可忽视的。比如,HEIF基于H.265编码标准,而H.265的专利费用是非常高昂而僵化 的,这一利于HEIF的推广。

首先,在压缩速度这块,人太好 对于大偏离 图片新格式的压缩速度优势比较明显,就让 对于偏离 图片,尤其是png8格式的图片,其压缩速度优势很小,甚至压缩速度还不如png8。这其中因为因为采用I帧压缩编码最好的法律依据 不适合对256色的图片进行压缩,为甚提高256色位图的压缩速度是新兴的图片格式后续前要优化的。

腾讯音视频实验室:这一问题可是人比较关注。去年,朋友正式对外否认了自研的图片格式TPG,当时可是人全是此问题。人太好 ,朋友决定做TPG是经过了充分评估和全面考量的,TPG的推出也是业务需求推动研发的假使 经典案例。

几十年来,图片压缩技术一个劲在不断向前演进,未来,关于图片压缩的研究肯定不想停止。关于未来的发展方向,总结下来有以下哪哪几个方面:

另外假使 假使 新兴图片格式的兼容性问题也比较突出,因为第三方浏览器无法全版支持那先 新兴图片格式,因为其推广应用受到很大限制。

LiveVideoStack:目前朋友用的主流图片格式还是JPG,腾讯为那先 要推出假使 新的图片格式TPG?

腾讯音视频实验室:目前朋友因为完成了TPG整套SDK的开发,包括云转码平台和各平台客户端解码SDK,正在对外推广中。

腾讯音视频实验室:前面朋友介绍过,WebP、HEIF和TPG分别采用了VP8、H.265以及AVS2编解码器作为个人的压缩内核,主要还因为视频编码的高压缩速度。视频编码与图片编码的压缩原理是之类的,朋友以JPG图片格式为例,JPG编码也是基于分块形状的压缩,也采用的变换量化编码的编码模式,那先 和视频编码基本一致。朋友前会 将图片编码视为视频编码的假使 子集,图片编码要花费视频编码里边的I帧编码。

LiveVideoStack是专注在音视频、多媒体开发的技术社区,通过传播最新技术探索与应用实践,帮助技术人员成长,处置企业应用场景中的技术问题。因为你有意为音视频、多媒体开发领域发展做出贡献,欢迎成为LiveVideoStack的一员。朋友正在招募商务助理,高级编辑,策划编辑,课程经理。

其次,新兴图片格式在高压缩率的一齐,也带来了编解码僵化 度的成倍增长。新兴图片格式的编解码性能和JPG等传统格式相比,还是有较大的差距的,另外,因为硬件加速对新兴图片格式的支持度普遍较弱,使得性能问题更加突出。不过,近年来随着CPU性能的不断提高,以及新兴格式因为压缩率高而节省了几瓶下载时间,单帧解码时长稍高也是前会 接受的。

第三,拥有全版的处置方案。朋友对外否认TPG图片格式的以前,也完成了整套TPG图片转码系统的开发。朋友的转码系统支持JPG、PNG、GIF、APNG、BMP等图片格式与TPG互转,支持Linux、Windows、IOS、Android等平台。

腾讯音视频实验室:终端上的应用可分为Native和Web两大类。

最后,不为甚要的某些假使 安全性高。并否是新的图片格式,安全性可靠性是非常关键的。TPG SDK在发布前,公司内部管理多个安全版门对TPG进行了全面的安全扫描,修复了一系列的安全漏洞。经过安全扫描后,TPG的防攻击能力大大增强。

其次假使 性能好。目前朋友因为完成了一期TPG编解码器的开发。其编解码性能在业界属于领先。TPG编码器在压缩速度比WebP高近20%的一齐,编码速度比WebP(libwebp)还快某些。目前解码速度比WebP稍慢某些,优化以前,解码速度也会对齐WebP。

首先是压缩速度高。前面朋友简单介绍过,TPG在同等质量下压缩速度比JPG高45%左右,比WebP也要高20%以上。在主观质量几乎无差别的情況下,TPG前会 将PNG文件大小减少500%以上,将GIF文件大小减少85%以上。

LiveVideoStack:WebP在2010年推出以来,依然还有可是平台不支持(https://caniuse.com/#search=webp)。TPG正在做咋样的推广计划?目前,在腾讯内部管理和内部管理,因为有那先 平台支持(或计划支持)TPG?

腾讯音视频实验室:新兴图片格式相对传统图片格式有压缩速度方面的优势,就让 全是某些过高 。

在加快TPG业务落地的一齐,朋友也在同步推进TPG的标准化工作。TPG在腾讯内部管理获得了较好的推广应用,就让 要在全行业获得大规模应用,还前要可是工作要做。其中,不为甚要的某些假使 将TPG标准化,前会 不能 TPG成为并否是标准格式,第三方应用,比如各类浏览器才更有意愿支持TPG。基于此,朋友在去年启动了TPG的标准化工作。朋友向AVS组织提出了制定互联网图像标准的提案,并成功将TPG申请成为AVS2的图像标准容器格式。目前,TPG作为信息技术高效音视频编码第7偏离 (图像容器),因为申报成为国家标准,朋友也期待TPG不能早日实现标准化,并最终成为并否是主流图片格式。

接下来,朋友也会对公司外开放朋友的TPG。目前,腾讯云因为完成了TPG后台转码系统的搭建,腾讯云CDN也因为完成了TPG的部署。一齐,朋友也对外开放了各平台的TPG解码器,第三方App应用前会 免费集成朋友的TPG解码器,通过腾讯云接入TPG。另外,腾讯浏览器X5内核也完成了TPG的支持,只假使 使用X5内核的第三方应用,客户端不想任何开发就前会 原生支持TPG格式。

腾讯音视频实验室:WebP、HEIF以及TPG全是基于视频压缩编码标准衍生出来的图片压缩格式。其中,WebP是基于VP8,HEIF基于H.265,而TPG是基于国内视频压缩编码标准AVS2。因为那先 图片压缩格式采用了帧内预测等多个JPG没办法 的压缩工具集,可是新兴图片格式的压缩速度更高。另外,新兴图片格式在功能方面也更加全面。JPG只支持静态图片,而WebP、HEIF、TPG除了静态图片,还支持动态图片格式。还有新兴图片格式支持的透明渐变效果,全是JPG不具备的。

LiveVideoStack 2018年春季招聘

LiveVideoStack:JPEG格式从诞生至今已有几十年的时间了,人太好 有某些某些新的格式的跳出 ,就让 JPEG始终还是占绝对主流,你为甚看新兴图片格式未来的发展前景?还有假使 图片压缩技术未来的发展方向?

随着移动互联网的发展,终端设备的下载流量大幅增长,这其中图片流量占比很大。对于腾讯公司来说,图片流量更是惊人。公司内各类应用比如QQ空间相册、腾讯新闻图片等,图片流量成本压力非常大。除了流量成本,存储成本的压力也是巨大的。以QQ空间相册为例,用户每天上传的图片以亿计,那先 图片全是前要永久保存的,压力之大可想而知。

而对于Web APP,前会 有2种最好的法律依据 。首先,因为浏览器不能集成新图片格式解码,没办法 将给新图片格式的推广带来极大的便利,就让 ,客户端使用的浏览器是多种多样的,不能自己保证所有的浏览器全是主动支持新格式。其次,因为浏览器端不支持新图片格式的解码,目前也还有某些某些的最好的法律依据 ,比如提供WebAssembly版本的解码器,假使 能让所有支持WebAssembly的浏览器支持。

LiveVideoStack:咋样评定并否是图片格式(或图片压缩引擎)的优劣,其关键指标包括那先 ?

最近关于codec的新闻不为甚多,MPEG的HEVC正面临混乱的专利困境。AV1及国产的AVS2以前刚现在开使发力抢占市场。腾讯推出的图片格式TPG假使 基于AVS2内核的图片容器,这是AVS2在互联网上最新,也因为是最广泛的应用。据腾讯音视频实验室(http://medialab.qq.com/)TPG开发负责人丁飘介绍,TPG已在手Q、QQ空间、QQ浏览器、腾讯新闻等产品使用。LiveVideoStack对丁飘及腾讯音视频实验室进行了访谈,解读了TPG的特点、短板以及未来改进方向。点击『阅读原文』访问发布在《电信科学》“TPG图像压缩技术”,该文对TPG技术做了全版介绍。

LiveVideoStack:新兴的图片格式除了带来更高的压缩比以外,还地处那先 过高 ?比如专利风险。

LiveVideoStack:设备上支持并否是图片格式前要那先 必要条件?仅仅从技术可支持的角度看,除了相应的codec支持以外,还前要那先 软件或硬件环境支持?

策划 / LiveVideoStack

通过job@livevideostack.com联系,或在LiveVideoStack公众号回复『商务助理』,『高级编辑』,『策划编辑』,『课程经理』了解详情。