把生命浪费在美好事物上

产品产品产品

358篇博客

最新博客

最新资源下载

编辑推荐

网易数帆开源API网关与容器云项目，让云原生生产落地“多快好网易汪源：统一负载与多云环境的“开放姿态”，才是云原生网易数帆如何用 Kubernetes“原语”搞定云原生中间件快手打新挤爆券商系统，网易数帆推出券商稳定性保障方案探索智慧校园新模式，网易有数在教育行业的实践分享金融行业大数据治理之路——数据模型篇

【大数据之数据仓库】TPCH工具使用指南

把生命浪费在美好事物上2018-06-25 14:58
1.下载：


2.编译：
上传服务器（linux） 
hzhelifu@hadoop360:~$ unzip 5cfb201d-bb4a-4805-87d7-a1f337e937c4-tpc-h-tool.zip           解压
hzhelifu@hadoop360:~$ cd tpch_2_17_0/dbgen/                                               进入dbgen
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ cp makefile.suite Makefile                        复制Makefile
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ vi Makefile                                       编辑Makefile
修改103至111行之间的内容如下： 
103 CC      = gcc
104 # Current values for DATABASE are: INFORMIX, DB2, TDAT (Teradata)
105 #                                  SQLSERVER, SYBASE, ORACLE, VECTORWISE
106 # Current values for MACHINE are:  ATT, DOS, HP, IBM, ICL, MVS, 
107 #                                  SGI, SUN, U2200, VMS, LINUX, WIN32 
108 # Current values for WORKLOAD are:  TPCH
109 DATABASE= ORACLE
110 MACHINE = LINUX
111 WORKLOAD = TPCH
执行make 
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ make
... ...
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ ls -lrt
-rwxr-xr-x 1 hzhelifu neteaseusers 106747 Feb 17 15:25 dbgen
-rwxr-xr-x 1 hzhelifu neteaseusers  98833 Feb 17 15:25 qgen
... ...
得到：dbgen和qgen
3.生成数据： 
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ ./dbgen -vf -s 1 -b dists.dss
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ ls -lrt *.tbl
-rw-r--r-- 1 hzhelifu neteaseusers   1409184 Feb 17 15:32 supplier.tbl
-rw-r--r-- 1 hzhelifu neteaseusers       389 Feb 17 15:32 region.tbl
-rw-r--r-- 1 hzhelifu neteaseusers  24135125 Feb 17 15:32 part.tbl
-rw-r--r-- 1 hzhelifu neteaseusers 118984616 Feb 17 15:32 partsupp.tbl
-rw-r--r-- 1 hzhelifu neteaseusers 171952161 Feb 17 15:32 orders.tbl
-rw-r--r-- 1 hzhelifu neteaseusers      2224 Feb 17 15:32 nation.tbl
-rw-r--r-- 1 hzhelifu neteaseusers 759863287 Feb 17 15:32 lineitem.tbl       数据量大，称之为大表
-rw-r--r-- 1 hzhelifu neteaseusers  24346144 Feb 17 15:32 customer.tbl
总共会生成8张表的数据，

表名称

说明

PART

表示零件的信息

SUPPLIER

表示供货商的信息

PARTSUPP

表示供货商的零件信息

CUSTOMER

表示消费者的信息

ORDERS

表示订单的信息

LINEITEM

表示在线商品的信息

NATION

表示国家的信息

REGION

表示地区信息
命令中：
  • “-vf”参数用于控制提示信息和强制覆盖已有数据；
  • “-s”参数用于控制数据集规模；
  • “-b”参数用于指定生成的数据集的元数据信息；
如果要生成的数据集非常大，比如1T，那么就需要考虑使用“-C”和“-S”参数，把大表（比如lineitem/orders/partsupp）拆分成很多数据块（chunk）： 
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ ./dbgen -vf -s 1 -b dists.dss -T L -C 5 -S 1&
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ ./dbgen -vf -s 1 -b dists.dss -T L -C 5 -S 2&
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ ./dbgen -vf -s 1 -b dists.dss -T L -C 5 -S 3&
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ ./dbgen -vf -s 1 -b dists.dss -T L -C 5 -S 4&
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ ./dbgen -vf -s 1 -b dists.dss -T L -C 5 -S 5&
因为dbgen是个单线程程序，1次只能跑满1个核，所以 通过并发的方式可以提高数据生成的效率，注意上面命令最后的“&”符号（丢后台执行）；另外，命令中“-C”表示分成几份，“-S”表示第几份；（这里注意一个事项：打开 任意 一个刚生成的tbl文件，你会发现每行记录的末尾都有分隔符，有些地方可能不需要这个分隔符哦）
4.生成sql：
上面数据生成好以后，需要生成对应的sql语句： 
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ mkdir q
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ for id in `seq 1 22`; do     DSS_QUERY=./queries ./qgen -s 1 $id -b ./dists.dss > q/$id.sql; done
... ...
hzhelifu@hadoop360:~/tpch_2_17_0/dbgen$ ls -lrt q
total 88
-rw-r--r-- 1 hzhelifu neteaseusers  598 Feb 17 15:57 1.sql
-rw-r--r-- 1 hzhelifu neteaseusers  769 Feb 17 15:57 2.sql
-rw-r--r-- 1 hzhelifu neteaseusers  478 Feb 17 15:57 3.sql
-rw-r--r-- 1 hzhelifu neteaseusers  421 Feb 17 15:57 4.sql
-rw-r--r-- 1 hzhelifu neteaseusers  558 Feb 17 15:57 5.sql
-rw-r--r-- 1 hzhelifu neteaseusers  311 Feb 17 15:57 6.sql
-rw-r--r-- 1 hzhelifu neteaseusers  897 Feb 17 15:57 7.sql
-rw-r--r-- 1 hzhelifu neteaseusers  862 Feb 17 15:57 8.sql
-rw-r--r-- 1 hzhelifu neteaseusers  670 Feb 17 15:57 9.sql
-rw-r--r-- 1 hzhelifu neteaseusers  592 Feb 17 15:57 10.sql
-rw-r--r-- 1 hzhelifu neteaseusers  586 Feb 17 15:57 11.sql
-rw-r--r-- 1 hzhelifu neteaseusers  659 Feb 17 15:57 12.sql
-rw-r--r-- 1 hzhelifu neteaseusers  413 Feb 17 15:57 13.sql
-rw-r--r-- 1 hzhelifu neteaseusers  395 Feb 17 15:57 14.sql
-rw-r--r-- 1 hzhelifu neteaseusers  594 Feb 17 15:57 15.sql
-rw-r--r-- 1 hzhelifu neteaseusers  549 Feb 17 15:57 16.sql
-rw-r--r-- 1 hzhelifu neteaseusers  346 Feb 17 15:57 17.sql
-rw-r--r-- 1 hzhelifu neteaseusers  516 Feb 17 15:57 18.sql
-rw-r--r-- 1 hzhelifu neteaseusers 1041 Feb 17 15:57 19.sql
-rw-r--r-- 1 hzhelifu neteaseusers  669 Feb 17 15:57 20.sql
-rw-r--r-- 1 hzhelifu neteaseusers  727 Feb 17 15:57 21.sql
-rw-r--r-- 1 hzhelifu neteaseusers  726 Feb 17 15:57 22.sql
命令中：
  • “DSS_QUERY=./queries”是sql模板；
  • “-s”数据集规摸；
这里需要最后一次注意：不同的数据库（sql计算引擎）支持的sql不一样，所以可能需要稍作调整：删除好几个sql最后的limit部分，是否需要把DATE类型转换成TIMESTAMP类型，是否需要把 interval '1' year改成 interval '1 year'等等，具体环境具体分析吧。
本文来自网易实践者社区，经作者 何李夫 授权发布。


推荐博客