Spark —— 淘宝双 11 数据分析

• 问题定义
  • 实验内容
  • 数据集
• SparkRDD 实验过程及其结果
  • 实验一：查看日志前 10 个交易日志的商品品牌
  • 实验二：查询前 20 个交易日志中购买商品时的时间和商品的种类
  • 实验三：查询双十一那天有多少人购买了商品
  • 实验四：取给定时间和给定品牌，求当天购买的此品牌商品的数量
  • 实验五：查询有多少用户在双十一点击了该店
  • 实验六：查询双十一那天女性购买商品的数量
  • 实验七：查询双十一那天男性购买商品的数量
  • 实验八：查询某一天在该网站购买商品超过 5 次的用户 ID
• 使用 ECharts 进行可视化
  • 可视化实验一：双十一所有买家消费行为比例
  • 可视化实验二：双十一当天销量前十的商品类别
  • 可视化实验三：双十一男女买家各个年龄段交易对比
  • 可视化实验四：双十一男女买家交易对比
  • 可视化实验五：各个省份的总成交量对比
• 实验过程中发现的问题

问题定义

实验内容

使用 Spark 对数据进行处理，并分析双十一的用户交易等信息，用 Scala 语言进行程序编写，最后将处理的数据结果使用 Echarts 进行可视化。

实验环境以及使用的相关应用：

• Spark 2.4.3
• Scala 2.12
• Tomcat 9.0.20
• 可视化工具：ECharts
• Java 包：fastjson
• 系统环境：macOS Mojave 10.14.5