详解淘宝直播背后的技能

在移动网络、云盘算、人工智能等技能发展的驱动下，直播成为当今时代的一个电商新物种。而该领域发展至今，无论是从量级上，照旧技能上，作为行业中的佼佼者——淘宝直播，一直以来，都备受技能人的关注。

在阿里文娱2019双11猫晚技能沙龙中，来自淘系技能部高级无线技能专家长孙泰带来了淘宝直播的主题分享，从双11的场景中，看淘宝直播的趋势（强实时互动、内容电商）、淘宝直播电商互动探索（低延时、连麦以及电商营销AI互动）、电商直播未来思考（5G+直播）。

与此同时，长孙泰还基于以下几个角度进行了深度的论述：

1. 电商直播在双11的表现以及在内容生态里面的定位；

2. 直播互动在淘宝的实践，直播本身是一个特别强互动的场景，本质上就是把线了局景还原到线上的过程；

3. 分享近期的思考，尤其上5G来了之后的一些思考。

作者 | 淘系技能部高级无线技能专家长孙泰

责编 | 屠敏

以下为演讲实录：

2019年淘宝直播的双11

2019年淘宝直播的表现

从数字来看，直播已经不是一个网红主导的变乱，许多的商家特别的天猫品牌商家，都把直播看成日常的运营工具，团体覆盖在双11期间非常高，根本上覆盖头部全部品牌，50%的商家都在利用直播工具来看成营销场景。从行业覆盖来看购物来看，现在也是比力丰富的；别的直播有一个村播的计划，会深入到农村里面，因为如今整个的网络覆盖照旧比力好的，村播的原产地的直播，直接带动团体经济的发展。

本年直播在行业场景的覆盖进一步提拔，淘宝直播通过开放的方式支持了团体多个业务的直播场景，本年猫晚直播就是通过直播的开放平台支持的。

各人有没有在别的地方看到淘宝直播？比如微博。实在李佳琦的直播间在阿里内部全部平台都会进行联播，李佳琦的微博也有许多的粉丝，可以很方便的将微博的粉丝进行更强的变现，因为淘宝直播是一个变现非常强的平台。作为基础直播平台，我们通过SDK的方式、小步伐的方式、覆盖了阿里全系的应用。

内容电商的新形态

回到电商直播，电商直播本质上一个人货场的概念。起首是人，也就是用户和直播，别的是直播这个场，基于视频流的实时互动；这里面包罗许多东西，最直接就是发品评问直播什么，直播看到品评就会回复用户，以及主播会给用户发送他的权益。别的是货，直播商品中心，我们把基于淘宝大盘进行选品，整合供应链，实在各人也发现譬如李佳琦、薇娅的直播间，抢到就是赚到，这是商品力强体现的一个点。

淘宝直播电商互动探索：低延时、连麦以及电商营销AI互动

淘宝直播业务架构

在淘宝直播团体的业务架构图中。起首需要明白主播怎么进来，此中重点是机构怎么进来的，商家怎么进来，别的是商品中心，也就是怎么样做好选品，把好的品类选出来，商家卖本身的货，但是假如是网红，就需要毗连商家和主播；中控台是开播工具以及直播场的管理工具，包括PC移动的推流工具和管理公里。

中心是直播平台，也是直播的核心本事。此中直播开放平台是我们把直播的互动，直播SDK开放出去，包括这次猫晚互动落地在手淘等。别的是直播的稳定性，这个很紧张，卡顿，乐成率、秒开率、稳定性题目排查等，比如说天津某个节点出题目了，可以或许快速定位出来，并办理。质量平台是我们对直播业务和技能的监控平台。

上层是分发，增长很紧张，我们有一套基于数据驱动增长平台，可以或许高效迭代，别的另有流量调控，可以或许针对主播进行流量鼓励，这些对一些商家特别紧张。内容分发一个是搜刮、一个是保举，特别是直播场景，和原先视频、图文，商品搜刮保举不一样，给我们提出了新的寻衅。

直播技能架构

对于淘宝直播的技能架构，底层是基于阿里直播云搭建，推流上行，CDN分发，用户通过边缘拉流，大多数直播都是类似的架构。大概业内许多都是基于多运营商的融合方案，我们和阿里云深度结合，在全链路上可以做更强的优化，这块后续也会提到。中心一层左侧是生产平台，包括全端推流工具，中心就是基于互动通道构建的直播各种互动权益玩法；直播间我们也定义两层，播放器和互动层，互动玩法开放是基于互动层实现的，提供直播间的互动数据本事以及玩法组件，各个场景可以深度定制，现在我们在团体内开放了，未来盼望可以或许有机会走到行业里面去的。

基础营销互动权益

营销互动玩法，实在我们如今互动比这个图更复杂，如今的玩法都是基于任务型的和游戏型的，做一个主播简单的任务，才能拿到。

比如猫晚到场红队PK，我赢了就抽奖，没赢就不抽奖，这里面就是淘宝直播里提供一套基于任务行为驱动的互动营销权益玩法。基础是密切度，如何发的有服从。所以我们定义直播密切度的玩法是基于主播和用户的，比如某用户是薇娅的一个挚爱粉，但是到李佳琦大概就是一个新粉，更多是夸大用户跟主播的关联。用户怎么涨分，核心也是和主播互动，比在这里直播间下单、常常返来、观看时间、发品评互动等。基于密切度分数就可以灵活的调控运营策略，譬如排位赛等。主播也能做到差异化运营。是平台发现新的主播的很紧张的场景，设置不同的赛道，从不同的赛道里筛选出不同新的有潜力的主播。

端智能互动实践

起首是互动通道，可以或许以秒级的速度推动到每个人的前面。一般有两种模式，基于房间消息和流SEI。本质上SEI可以或许做到很好的音画同步的体验，这块在和内容联动的时间，比力紧张。

别的一个端媒体智能基础本事，MNN是淘系的开源推理引擎，这个性能非常高，也就是现在在端侧AI处理，门槛已经很低了。在端智能都做了比力深入的探索。比如本年手淘信息流端的保举系统，实时感知用户的行为在反馈给算法，提拔也非常好。

比如笑酡颜包的玩法，是去年猫晚现场的玩法，两个明星在打趣脸进行PK；端侧匹配用户的心情，对的话就加1分，错的话就没有分，这是在猫晚做的一个尝试，效果也都非常好。

别的一块是如何生产玩法，因为不大概每一个玩法都单独开发。我们有一个多媒体的素材编辑平台。从工程角度，端侧聚集采集、推理、渲染并编码，现在是算力是没题目标。

别的算法在人脸识别，手势识别，心情识别、pose识别等，也都比力成熟。基于一套跨平台的渲染脚本，就可以实如今各个平台渲染玩法。比如说这个玩法，在直播间的树会长高，长得更高的话，大概就一个红包出来。我们可以通过玩法编排可以或许定义点赞、大概品评触发树的状态，并在某个状态下到达出发一个红包的效果。这样就可以做到很快速的上线一些比力好玩的玩法了。

淘宝直播在低延时的尝试

我们的直播多样性差异很大，有大有小，李佳琦和薇娅直播间人就许多，但更多腰部和尾部实在没那么大，团体的丰富度会非常多。比如一场发布会来讲大概30秒延时OK的，但是对于电商互动来说，实时的互动就很紧张了。我们也非常关注中小主播的体验。

拆解直播团体延时的链路，主播通过手机推流，采集画面（还包括渲染的前处理），然后编码，封包，发送到推流缓冲区，末了推到云上。用户拉流播放侧大概需要做后处理，末了渲染出来。整个流程里来看的话，延时大概是7秒，基于常规的TCP的协议的直播，根本上都是这个延时，核心是TCP协议里面，保障基础的不卡必须需要约莫3-5的缓冲。这点是由复杂的网络场景限定的。

低延时怎么优化呢？关键是播放缓存区，如何去做拥塞控制的题目，理论上来做基于RTP的协议，假如网络非常好，理论上是可以做1秒内的延时，所以第一步我们基于FLV-TCP的协议换成的RTP，RTP是基于UDP的流媒体传输协议，在流媒体场景下适配性会更好。

如何确保播得更流通，拥塞控制就显得很紧张了。WebRTC在拥塞控制有很好的实现，我们做了许多改造，并将部分功能移植到我们的系统里面去。netEQ是webrtc里面音频处理和控制一个非常核心的模块。看直播对于抖动的体验，对声音的敏感大概比图像更强烈；因此我们在边缘实现了类似webrtc的拥塞控制算法，包罗FEC、netEQ等，根据端上用户网络情况，决定下行的策略，以及控制是否要丢帧等。末了我们在卡顿率稳定等条件下，低落到了1.5秒的延时。从前问主播一个题目，大概7秒钟才能听到回复，而如今大概2秒钟就回复了，这个对互动率有一个很大的提拔。

别的就是连麦，譬如两个直播PK，这里有许多不同的实现方式，就合流的方式来看，有端侧和云侧的，各有优点。

我们是基于端上合流的，因为主播生产侧手机照旧蛮好的，同时在端上对团体的码率控制，画面控制也会更加灵活。第二点是连麦跟直播的融合，一般情况下，发起连麦的时间，直播大多数会中断掉，切换到别的一个分发体系里面，从传统的flv协议切换到通话的协议。这里面会导致用户画面有一些厘革。我们实现了主播和连麦一体化的技能，就可以做到无缝切换的体验。可以理解成一个大型的集会场景，全部人都是以连麦的方式来接入直播的，对于和主播，都是通过级联的proxy。对于连麦而言，就是将连麦者之间的画面做一次分发，直接把这个流跟主播合流，这对用户和主播均是无感的，有点类似于视频集会，这个也是我们在直播场景特别是超低延时直播的一个探索。

刚才提到分发体系，现在整个主流直播的技能，大体都是基于CDN的，CDN的分发体系，更多适配于图片和视频，边缘回源中心，一级一级上溯，这个实在对直播不一定得当，特别有大量冷流直播，会导致每一个用户的这个回源都会回到中心去，就会对不同条理节点造成非常大的压力。这里去中心化的分发模式就起到作用了，尤其的5G来了之后，大码率的传输就可以本地卸载，用户在上海，别的用户在杭州，上海的用户直接去拉杭州的节点，团体分发服从就会更高。

直播内容理解

直播主要由两部分构成，一个是你看到的是什么，第二你跟主播在互动。譬如用户要问主播，衣服怎么样，是否有折扣，是否再讲一下8号的宝贝，这类用户品评里黑白常广泛的，但实际上对于大的主播来说是来不及回复每一个用户的。因此我们做了一个主动回复的助手，效果非常好，用户在品评的表达，多数意图是蛮明显的，比如说像8号宝贝，那大概重新再讲一下，直播助手就可以识别出来，然后就刚才讲过的片断推送给用户。帮助了主播提拔用户的运营服从，团体的购买转化率也提拔3%。实在不光仅智能回复，也包括打招呼等等功能，本质上就是用AI的方式提拔主播如何接客的本事。

别的一个是商品识别，直播的分发实在和传统意义的图文不太一样，图文比力好理解，因为有笔墨，能分析这篇内容讲的是什么，短视频的也能做一些深度的语义理解，结合标题标签已经用户行为，也做很好的分发。

直播不太一样，实时性更强，技能寻衅更大。电商直播的特点就是讲解商品，商品的内容构成了互动的核心，用户也是大多数是来买商品的。我们本年在直播的内容理解做许多的变乱，此中一块是商品识别。比如我们的直播看点功能，在直播时间轴某个点在讲什么，比如说这个点在讲这个衣服，用户就可以快速的在直播间跳转到他想看的东西，提拔用户的体验；同时布局化的内容也能更好分发直播，这个比力轻易理解，之前大多数是基于人到主播的匹配，如今能做到人到商品的匹配，这个是对直播的分发非常的紧张，也是一个很大的飞跃。

具体实现本质上就是一个商品检索的过程，直播间有一个宝贝口袋，也就是这场直播的讲解的商品，实在只要在口袋里少数商品去检索匹配就好了。因此当直播发一个商品的时间，我们会将商品主图生存在客户端里，识别的时间，会把当前直播的图片截取出来，先抠人再分割然后匹配。不外也不能办理全部题目，比如珠宝，大概其他希奇很难识别的商品，再比如拿得手上，有遮挡等，这里面寻衅很大，因此我们也尝试思量引入ASR，尝试进一步理解讲的东西是什么，进一步布局化理解当前直播的内容。

5G+直播AI，电商直播未来思考

5G的特性，对于直播多媒体来说，低延时和大带宽是最直接的，广毗连大概会对IOT的作用比力大。2019年年初我们和中国电信有一次联动，尝试一下5G直播对于互动直播体验。年初5G还没有如今那么遍及，所以本年跟电信的合作就是在淘宝直播里做一个高清观看并普惠到现在的大多数用户。思量到当前4G手机下如何才能更好的显现5G高清画面，比如4K，所以我们实现了一个可以支持4K播放同时可以或许支持放大缩小的直播间，日常的用户手机实现高清的观看，实现细节的放大观看，我们在美妆产品做了测试，可以或许很清晰的看到主播讲解的细节，体验也很好。

别的，5G对于AI的应用，此中一块就是直播的内容理解和渲染。5G边缘盘算可以或许提供较大的算力，对于直播的理解和渲染，一部分的盘算本事做到云上去，理论上是边缘到端5-20毫秒的延时，刚好是一个观看帧的时延，有机会实现更强的直播交互体验，包括在直播里实现个性化，类似游戏的玩法都是有大概的。而这些基于边缘的基站都可以实现，比如你在杭州银泰逛街，大概看到的和别人不一样，你会从银泰的边缘重新渲染银泰相干的内容，大概包罗银泰的广告。这个未来5G都是有大概的。

以上就是这次演讲的内容，谢谢各人。