morooi's Blog
主页全部文章分类
  • 标签
  • ECharts
2019-06-07发表2021-01-06更新大数据1 小时读完 (大约7082个字)

Spark —— 淘宝双 11 数据分析

  • 问题定义
    • 实验内容
    • 数据集
  • SparkRDD 实验过程及其结果
    • 实验一:查看日志前 10 个交易日志的商品品牌
    • 实验二:查询前 20 个交易日志中购买商品时的时间和商品的种类
    • 实验三:查询双十一那天有多少人购买了商品
    • 实验四:取给定时间和给定品牌,求当天购买的此品牌商品的数量
    • 实验五:查询有多少用户在双十一点击了该店
    • 实验六:查询双十一那天女性购买商品的数量
    • 实验七:查询双十一那天男性购买商品的数量
    • 实验八:查询某一天在该网站购买商品超过 5 次的用户 ID
  • 使用 ECharts 进行可视化
    • 可视化实验一:双十一所有买家消费行为比例
    • 可视化实验二:双十一当天销量前十的商品类别
    • 可视化实验三:双十一男女买家各个年龄段交易对比
    • 可视化实验四:双十一男女买家交易对比
    • 可视化实验五:各个省份的总成交量对比
  • 实验过程中发现的问题

问题定义

实验内容

使用 Spark 对数据进行处理,并分析双十一的用户交易等信息,用 Scala 语言进行程序编写,最后将处理的数据结果使用 Echarts 进行可视化。

实验环境以及使用的相关应用:

  • Spark 2.4.3
  • Scala 2.12
  • Tomcat 9.0.20
  • 可视化工具:ECharts
  • Java 包:fastjson
  • 系统环境:macOS Mojave 10.14.5
阅读更多
morooi

morooi

morooi's Blog

文章

24

分类

4

标签

36

分类

  • Linux 使用8
  • 大数据6
  • 学习笔记1
  • 记录9

最新文章

2021-01-05

使用 acme.sh 自动签发 ZeroSSL 的 ECC 证书

记录

2020-12-21

解决 Parallels Desktop 16 by TNT 网络初始化失败的问题

记录

2020-12-01

使用 dockerfile-maven-plugin 插件构建并推送 Docker 镜像

记录

2020-08-16

一些容易忘掉的知识点 - Java

学习笔记

2020-07-13

使用 Docker 自建支持 DoH、DoT 的 DNS 服务器

记录

morooi's Blog

共0个访客

© 2022 SJ Zhou  沪 ICP 备 2022003363 号
Powered by Hexo & Icarus

本网站由 、 提供 CDN 加速服务

×