关于用户画像那些事,看这一文章就够了

  • 时间:
  • 浏览:1

数据管理系统

用户画像的生产

以电商网站的并不是页面的个性化推荐为例,考虑到行态的可解释性、易扩展和模型的计算性能,太大太大线上推荐系统采用LR(逻辑回归)模型训练,这里也以LR模型举例。太大太大推荐场景一定会用到基于商品的协同过滤,而基于商品协同过滤的核心是一另一另一个商品相关性矩阵W,假设有n个商品,没人W或者一另一另一个n n的矩阵,矩阵的元素wij代表商品Ii和Ij之间的相关系数。而根据用户访问和购买商品的行为行态,可需要把用户表示成一另一另一个n维的行态向量U=[ i1, i2, ..., in ]。于是UW可需要看成用户对每个商品的感兴趣程度V=[ v1, v2, ..., vn ],这里v1即是用户对商品I1的感兴趣程度,v1= i1w11 + i2w12 + in*w1n。可能性把相关系数w11, w12, ..., w1n 看成要求的变量,没人就可需要用LR模型,代入训练集用户的行为向量U,进行求解。另另一另一个一另一另一个初步的LR模型就训练出来了,效果和基于商品的协同过滤同类。



1.精准营销:精准直邮、短信、App消息推送、个性化广告等。

2.用户研究:指导产品优化,甚至做到产品功能的私人定制等。

3.个性服务:个性化推荐、个性化搜索等。

4.业务决策:排名统计、地域分析、行业趋势、竞品分析等。

除了以上较通用的行态,不同类型的网站提取的用户画像各有侧重点。

原文发布时间为:2018-07-15

本文作者:杨杰

本文来自云栖社区合作伙伴“数据分析”,了解相关信息可需要关注“数据分析”

精确有效的用户画像,依赖于从血块的数据中提取正确的行态,这需要一另一另一个强大的数据管理系统作为支撑。网易大数据产品体系蕴蕴含的一站式大数据开发与管理平台 – 网易猛犸,正是在网易内部实践中打磨形成的,要能为用户画像及后续的业务目标实现提供数据传输、计算和作业流调度等基础能力,有效降低大数据应用的技术门槛。

用户行态的提取即用户画像的生产过程,大致可需要分为以下几步:

用户画像蕴含的内容不必完正固定,根据行业和产品的不同所关注的行态都不 不同。对于大主次互联网公司,用户画像一定会蕴含人口属性和行为行态。人口属性主要指用户的年龄、性别、所在的省份和城市、教育程度、情人关系的句子清况 、生育清况 、工作所在的行业和职业等。行为行态主要蕴含活跃度、忠诚度等指标。

这时只用到了用户的行为行态主次,而人口属性、网购偏好、内容偏好、消费能力和环境行态等许多上下文还没人利用起来。把以上行态加入到LR模型,同时加进进目标商品自身的属性,如文本标签、所属类目、销量等数据,如下图所示,进一步优化训练另另一另一个的LR模型。从而最大程度利用可能性提取的用户画像数据,做到更精准的个性化推荐。

用户画像的含义

用户画像涉及到血块的数据避免和行态提取工作,往往需要用到多数据来源,且多人并行避免数据和化成行态。或者,需要一另一另一个数据管理系统来对数据统一进行合并存储和分派。亲戚亲戚让让我门让让我门让让我门让让我门的系统以约定的目录行态来组织数据,基本目录层级为:/user_tag/属性/日期/来源_作者/。以性别行态为例,开发者dev1从用户姓名提取的性别数据存放路径为 /user_tag/gender/20170101/name_dev1,开发者dev2从用户填写资料提取的性别数据存放路径为 /user_tag/gender/20170102/raw_dev2。

电商购物网站的用户画像,一般会提取用户的网购兴趣和消费能力等指标。网购兴趣主要指用户在网购时的类目偏好,比如服饰类、箱包类、居家类、母婴类、洗护类、饮食类等。

以内容为主的媒体或阅读类网站,还有搜索引擎或通用导航类网站,往往会提取用户对浏览内容的兴趣行态,比如体育类、娱乐类、美食类、理财类、旅游类、房产类、汽车类等等。

从主次来源提取的数据可信度是不同的,太大太大各来源提取的数据需要给出一定的权重,约定一般为0-1之间的一另一另一个概率值,另另一另一个系统在做数据的自动合并时,只需要做简单的加权求和,并归一化输出到集群,存储到前一天定义好的Hive表。接下来或者数据增量更新到HBase、ES、Spark集群等更多应用服务集群。

点评

用户画像是当前大数据领域的并不是典型应用,也普遍应用在多款网易互联网产品中。本文基于网易的实践,深入浅出地解析了用户画像的原理和化产流程。

消费能力指用户的购买力,可能性做得足够细致,可需要把用户的实际消费水平和在每个类目的心理消费水平区分开,分别建立行态纬度。

用户画像(persona)的概念最早由交互设计之父Alan Cooper提出:“Personas are a concrete representation of target users.” 是指真实用户的虚拟代表,是建立在一系列属性数据之上的目标用户模型。随着互联网的发展,现在亲戚亲戚让让我门让让我门让让我门让让我门说的用户画像又蕴含了新的内涵——通常用户画像是根据用户人口学行态、网络浏览内容、网络社交活动和消费行为等信息而抽象出的一另一另一个标签化的用户模型。构建用户画像的核心工作,主或者利用存储在服务器上的海量日志和数据库里的血块数据进行分析和挖掘,给用户贴“标签”,而“标签”是能表示用户某一维度行态的标识。具体的标签形式可需要参考下图某网站给其中一另一另一个用户打的标签。



社交网站的用户画像,也会提取用户的社交网络,从中可需要发现关常抓密的用户群和在社群中起到意见领袖作用的明星节点。

1.提取用户当事人填写的资料,比如注册时可能性活动中填写的性别资料,那先 数据准确率一般很高。

当然,对于特定的网站或App,肯定又有特殊关注的用户纬度,就需要把那先 维度做到更加细化,从而能给用户提供更精准的个性化服务和内容。

大体上可需要总结为以下哪2个方面:

2.提取用户的称谓,如文本蕴含提到的对方称呼,同类:xxx先生/女士,这人 数据也比较准。



提取用户画像,需要避免海量的日志,花费血块时间和人力。尽管是没人高成本的事情,大主次公司还是希望能给当事人的用户做一份足够精准的用户画像。

1.用户建模,指选泽提取的用户行态维度,和需要使用到的数据源。

2.数据分派,通过数据分派工具,如Flume或当事人写的脚本多多线程 ,把需要使用的数据统一存倒入Hadoop集群。

3.数据清理,数据清理的过程通常所处Hadoop集群,都不 可能性与数据分派同时进行,这人 步的主要工作,是把分派到各种来源、杂乱无章的数据进行字段提取,得到关注的目标行态。

4.模型训练,许多行态可能性无法直接从数据清理得到,比如用户感兴趣的内容或用户的消费水平,没人可需要通过分派到的已知行态进行学习和预测。

5.属性预测,利用训练得到的模型和用户的已知行态,预测用户的未知行态。

6.数据合并,把用户通过各种数据源提取的行态进行合并,并给出一定的可信度。

7.数据分派,对于合并后的结果数据,分派到精准营销、个性化推荐、CRM等各个平台,提供数据支持。

3.根据用户姓名预测用户性别,这是一另一另一个二分类问题,可需要提取用户的名字主次(百家姓与性别没人相关性),或者用朴素贝叶斯分类器训练一另一另一个分类器。过程中遇到了生僻字问题,比如“甄嬛”的“嬛”,可能性在名字中无缘无故 出显的少,或者分类器无法进行正确分类。考虑到汉字都不 由偏旁部首组成,且偏旁部首也常常具有特殊含义(太大太大与性别具有相关性,比如草字头倾向男人的女人的女人,金字旁倾向男性),亲戚亲戚让让我门让让我门让让我门让让我门利用五笔输入法分解单字,再把名字并不是和五笔打法的字母同时倒入LR分类器进行训练。比如,“嬛”字的打法:『 女V+罒L+一G+衣E = VLGE 』,这里的女字旁就很有男人的女人的女人倾向。

4.另外还有许多行态可需要利用,比如用户访问过的网站,无缘无故 访问许多美妆或男人的女人的女人服饰类网站,是男人的女人的女人的可能性性就高;访问体育军事类网站,是男性的可能性性就高。还有用户上网的时间段,无缘无故 凌晨上网的用户男性的可能性性就高。把那先 行态加入到LR分类器进行训练,要能提高一定的数据覆盖率。

没人用户画像有那先 作用,能帮助亲戚亲戚让让我门让让我门让让我门让让我门达到那先 目标呢?

另外还可需要加进用户的环境属性,比如当前时间、访问地点LBS行态、当地天气、节假日清况 等。

用户画像的作用

用户画像的内容

应用示例:个性化推荐



下面以用户性别为例,具体介绍行态提取的过程: