获取Google Analytics明细数据的方法与思路

我们在用Google Analytics进行网站分析的过程中,很多时候需要按用户ID,时间获取用户的访问明细,这样可以更好的和内部的CRM或订单系统对接。在GA后台导出或通过API获取数据是没法完成这一任务的,因为这儿得到的是聚合的数据,如按城市、来源的访问量、停留时间、跳出率等。

方案1:购买Google Analytics企业版

购买GA企业版,然后明细数据可以同步到谷歌的Big Query数据仓库,可以很方便的查询以及和已有系统做集成。这儿的主要成本是Google Analytics企业版,一年要10几万美元的费用,相比之下,Big Query会很便宜,因为是按存储量和查询收费。

在Big Query的示例数据库里有一个GA明细数据的例子,表结构和字段都很清晰,在GA的官方帮助里,也有查询的示例。

https://support.google.com/analytics/answer/3416091?hl=zh-Hans&ref_topic=3416089

方案2:使用开源的Piwik分析工具

Piwik 是一个开源的流量分析工具,PHP + Mysql,可以很方便的私有部署。使用Piwik最大的好处是统计代码的部署,维度指标的定义和GA非常类似,分析师可以很快的上手。这儿的成本主要在:服务器的部署,从Mysql数据库同步数据,以及数据处理的成本。如果想快速上手,也可以考虑Piwik Pro,会按照数据量收费。

方案3:前端Hack的方式

即在GA提交数据请求或打点的同时,把这儿请求的明细额外提交一份到自己的Web服务器,当然这种方式也还是需要额外的服务器部署和数据处理的成本。

总结

GA在免费流量工具里是非常好的产品,方便易用,和自家的广告系统也结合的很好。不过在需要获取明细或数据仓库的方案时,还是需要额外的成本。推荐的方式是免费的GA和私有部署的流量系统一起跑,这样既方便在GA后台看数据,也方便自己拥有明细数据做数据集成。


微信专栏开通了

这个博客开通于2012年6月,写到现在一共有45篇文章了,记录了在数据分析方面的经验与心得。中间经历了3份工作,认识了很多同行与朋友,关注的方向也从网站数据分析逐步转向:移动,用户行为,Tableau,Pandas,Aws,数据仓库等更广泛的内容。

当我们回顾自己的收获和成长时,除了做过的项目和产品,认识的人以外,我觉得还应该加上:有多少尝试与改变,尝试新的事情带来更多的思考与实践,也推动自己的成长。当然有一件事是应该是应该坚持与不变的,那就是:不断的思考与分享。

这个专栏会继续记录我在数据分析方面的思考实践,希望与大家共同成长,谢谢。

我的微信专栏:

wechat

 

Tableau online邮件订阅问题排查

Tableau online 有时候会出现邮件订阅出错的情况,原因有很多,可能是自己邮箱或数据库的问题,也有可能是online的问题,如:执行超时,出错,系统维护等,为了方便大家定位问题和与客服沟通,整理了如下检查步骤:

  1. 检查邮箱空间是否已满
  2. 检查数据库的日志信息,在邮件订阅的时段是否有:数据库连接数高或出错的情况
  3. 检查报表的订阅设置,看上次执行时间和下次执行时间之间是否有断档
  4. 检查online后台的:status -> Background Tasks for Non Extracts日志报表,看这段时间是否有出错的Task。

通过以上检查来确定是:自己的问题还是online后台的问题。

来自官方的初步的故障排除方法:

  1. 删除有故障的视图订阅设置
  2. 删除已经发布在Tableau Online站点的有故障的工作簿(请注意在删除前确认本地有保存副本文件)
  3. 重新发布工作簿与数据源(如果此工作簿有使用发布的数据源)
  4. 针对新发布的工作簿重新创建一个视图订阅

如果需要深入的问题排查,联系客服时,还需要提供以下信息:

  • online站点地址
  • Tableau Online使用的用户名
  • 用于接收发生了故障的订阅视图的邮箱地址

BTW:听说tableau的中文支持都在澳大利亚,如果问题搞不定,才会转到西雅图 :)

如何更方便的访问tableau online常用报表

在tableau online后台,会按照:项目,工作簿,视图的层次组织管理报表数据。

  • 项目可以看着是目录,方便组织管理多个工作簿文件。
  • 工作簿与Excel的工作簿类似,每个工作簿会包含多个工作表。
  • online里的视图也就是你具体查看的报表内容,可以为:工作表,仪表板或故事等。

虽然这样的组织很科学合理,但报表多了后,查找访问还是会不方便,以查看收入数据为例,我们的操作顺序是:

  1. 打开:销售数据项目。
  2. 打开:收入汇总工作簿,这时会列出该工作簿下的多个视图。
  3. 找到并打开:年度汇总视图,查看截止到当日的收入数据。
  4. 发现本月的收入比预期的要好,想了解是哪个销售团队带动了本月销售额,于是找到并打开:团队销售额明细视图。

这儿用了:找到并打开这样的说法,是因为一个工作簿的视图往往会比较多,不容易找到。

解决的方法是这样的:

  1. 常用视图,汇总视图在配置时往前放,这样打开工作簿时,默认看前几个即可。
  2. 通过加星收藏功能来标注重要的视图,这样既方便一眼看到,也方便在所有视图列表筛选,即:只看加星的视图。另外这儿的收藏功能也可以应用到工作簿。
  3. 浏览器的收藏夹大法,建一个:my-report目录,下面按业务划分建多个子目录,然后手工打开常用视图,依次添加。虽然繁琐些,但顺序和名称都可以自定义。

收藏夹大法有很多好处,除了方便定位打开,还可以在收藏夹目录上选择打开所有书签,这样你上班时,先打开所有书签,然后去倒杯咖啡,回来时,依次查看即可。

配合chrome的:reload-all-tabs插件,还可以一键刷新所有页面。

最后也建议,一些只用于仪表板子内容的视图,可以上传时不选中,这样也可以让工作簿更简洁。

 

tableau online 登录页加载慢的问题与解决方案

非翻墙情况下,访问tableau online登录页时,会出现加载慢,以及无法记住登录密码的问题。用chrome开发者工具检查内容加载,发现有两个资源的请求有问题:

  1. https://ajax.googleapis.com/ajax/libs/jquery/1.10.1/jquery.min.js
  2. https://cloud.webtype.com/css/7549ee6e-3df6-49b9-8c06-298835f90264.css

前者用到了google的cdn服务来加载jQuery脚本文件,后者是一个在线的样式字体服务。

对于这儿的css文件,可以在hosts文件里,简单禁掉:

127.0.0.1 cloud.webtype.com

如何修改,见:

对于jQuery脚本文件,直接禁掉,会影响记住密码,解决的方法是用一个chrome的插件来自动替换为中科大的文件服务器,插件名叫:Replace Google CDN。

搞定登录问题后,访问online的报表文件,其实还是蛮快的,这儿的问题,已经反馈给tableau的中国区团队,问题解决前,大家可以先用这儿的方法对付一下。

 

更规范的数据分析团队 – 使用专用的公司邮箱发送GA定期报告

我们在日常的数据分析,报表配置工作中,经常会用自己的个人邮箱在GA后台配置:定期邮件报告。

但这样做会产生几个问题:

  1. 人员权限收回时,已配置的定期发送邮件会失效
  2. 用户收邮件时,光看发件人,不方便区分是:专题分析还是定期邮件报告
  3. 公司有多个分析师的情况下,没法知道:配置了哪些定期邮件报告,以及发送给了哪些人

继续阅读

使用Google在线表格汇总计算Google analytics数据

介绍

数据导出与汇总分析的需求

我们在日常工作中,除了访问GA后台看各种固定报表外,还需要导出数据以方便报表分析,常见的需求有:

  • 从不同的视图汇总合并数据,如:iOS + Android
  • 一次性导出大量的明细数据,如:近3个月的订单号明细
  • 在同一个汇总报表上,显示不同时间范围的趋势数据

手工访问GA后台会比较繁琐,通过API查询,又需要开发人员的支持,都有局限性。

现在GA开发组又提供了一种新的方式来解决这个问题:Google在线表格 + GA Plugin

继续阅读

数据分析师的账号管理基础

作为数据分析师,不仅各种后台账号多,而且也需要帮同事添加各种数据查看权限。如何高效安全的管理各种账号,是值得我们注意的。

一些基础的安全常识

  1. 本机系统的安全性,定期升级系统安全补丁,开启防火墙,尽量从官方下载相关软件
  2. 避免连接不信任的wifi网络,可以自带3G上网卡或手机开热点
  3. 定期备份,离开时,电脑锁屏
  4. U盘等移动存储设备,使用加密模式,这块Windows,OSX都有默认的支持

继续阅读

在Google Analytics中去掉页面查询参数来更好的了解页面访问情况

网站会通过页面的查询参数来传递信息,例如:城市ID,排序方式,第几页,这些参数很详细也有利于后继的计算处理,例如:哪一种排序方式用的最多,价格还是距离?

但有时候这儿的查询参数对于我们的分析又会造成干扰,因为GA对于每个不同Url的页面都会有个唯一身份浏览量的指标,即使只是查询参数不同,也会看着不同的页面。
继续阅读