Infobright 企业版数据导入和数据擦写实验

拿到一个IEE的试用版证书,试了下作为日志存储和计算的方案。统计数据查询就不用测了,ICE试试就能感受出来,比hive反正快了不少。
这里主要还是想测试 INSERT / UPDATE / DELETE

实验环境的日志系统使用 rsyslog -> flume-ng -> IEE/HDFS.
使用Flume-ng自带的HDFS Sink写HDFS的方案一直很稳定,目录按天分,写脚本预先创建目录、加Hive分区,使用hive进行分析。
但是由于可能对当天数据有统计需求hdfs.rollInterval设的比较小,目前是2分钟,每天都会有大量小文件,hive处理速度十分慢。

Flume-ng 找人写了个简单的入mysql的插件,单加了一个队列,把日志文件切分后按列送进mysql,插件要求数据库insert使用prepare批量处理insert。
Continue reading “Infobright 企业版数据导入和数据擦写实验” »

Infobright 企业版数据导入和数据擦写实验 by @sskaje: https://sskaje.me/2015/01/infobright-iee-data-testing/

Incoming search terms:

Infobright Enterprise Edition Cracked

This post introduces how to get and patch a Infobright Entereprise Edition.

You are not authorised to read all content in this post.

Please login…

Infobright Enterprise Edition Cracked by @sskaje: https://sskaje.me/2013/08/infobright-enterprise-edition-cracked/