jandyfish
- 浏览: 15656 次
-
最新评论
-
jandyfish：
<div class="quote_title ...
storm性能测试文档 -
matianyi0307：
您好，能问一下你的性能测试是用的什么工具吗？十分感谢！
storm性能测试文档
文章列表
从13年初，开始搞hadoop的时候，是采用hadoop-eclipse插件来进行开发mapreduce，发现使用这个插件，其实也就是把相关的jar,class文件提交到远程的hadoop集群。
而实际上要部署应用的时候，如果不在远程提交，就得把任务代码打包成JAR，ftp到集群机器上进行执行。当然也可以在一个client机器上部署一套hadoop环境，把任务JAR放在这里，再提交到JobTracker。
对于想在web应用中触发远程mapreduce任务(或者是本地java应用触发远程mapreduce任务),就比较麻烦，上述插件方式/打包JAR后ftp也并不可取。
...
Storm性能测试方案与结果
1. 目的
测试twitter storm的运行性能以及数据处理的延迟。
2. 环境
2.1服务器A
Cpu型号 E3-1230 V2
Cpu核数 8
Cpu主频 3.30GHZ
Cpu MHZ 1600
内存 8G
网卡 千兆
带宽 千兆
IP
hostname Node0
service Nimbus,ui,supervisor
2.2服务器B
Cpu型号 E5620
Cpu核数 8
Cpu主频 2.40GHZ
Cpu MHZ 1600
内存 8G
网卡 千兆
带宽 千兆
IP
hostname ubuntu
Service Supervisor,zook ...
最近打算做日周月的质量分析报告，以便于发送给相应负责人查看质量现状。希望是可以生成pdf，并发送邮件的形式。
此处采用itext来进行实现，demo代码中，table定义以及表头如下代码所示：
public static Table getInitTable() throws DocumentException {
Table t = new Table(10, 2);
int width[] = { 50, 50,20,40, 80, 50, 50, 50, 50, 60 };
t.setWidths(width);
t.setWidth(100); // ...
在rsync同步数据后，因业务需要以及文件大小限制，需要对数据做增量分析，而每次都需要拿出文件的增量部分。
linux有差异计算命令diff以及补丁工具patch，都不是很符合预期。这两种工具都是需要对两个文件进行对比，而若如此做的话，其一计算增量耗时，其二需要有一个原数据的副本文件。多余的副本文件会导致额外的存储开销，以及数据移动成本。
又因同步过来的数据是多个application的数据，需要针对不同的app进行增量计算，提交给相应的计算任务。希望每次在rsync后直接做增量计算，这里就考虑到直接使用python脚本编写。
#! /usr/bin/env ...
在用spring定时任务时，配置如下:
<task:executor id="executor" pool-size="5" />
<task:scheduler id="scheduler" pool-size="10" />
<task:annotation-driven executor="executor" scheduler="scheduler" />
配置 ...