博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
公网数据采集比较(LogHub vs 自建前端机)
阅读量:6292 次
发布时间:2019-06-22

本文共 1342 字,大约阅读时间需要 4 分钟。

对一些应用场景而言,需要实时收集公网数据,例如移动端,HTML网页,PC、服务器、硬件设备、摄像头等实时数据进行处理。

在传统的架构中,一般通过前端服务器+Kafka这样的搭配来实现如上的功能。现在的能够代替这类架构,并提供更稳定、低成本、弹性、安全的解决方案。我们来比较下:

场景

公网有移动端、外部服务器、网页和设备数据进行采集。采集完成后需要进行实时计算、数据仓库等数据应用。

arch

方案1:前端服务器+Kafka

由Kafka不提供Resful协议,更多是在集群内使用。因此一般需要架设Nginx服务器做公网代理,再通过Logstash、或API通过Nginx写Kafka等消息中间件。

需要设施为:

设施 数目 配置 作用 价格
ECS服务器 2台 1核2GB 前端机、负载均衡,互备 108 元/台*M
SLB 1台 标准 按量计费实例 14.4 元/Month (租赁) + 0.8元/GB (流量)
Kafka / ZK 3台 1核2GB 数据写入并处理 108 元/台*M

方案2:使用LogHub

通过Mobile SDK、Logtail、Web Tracking JS直接写入LogHub EndPoint。

需要设施为:

设施 作用 价格
LogHub 实时数据采集 <0.2元/GB,参见

场景对比

场景1:一天10GB数据采集,大约一百万次写请求。( 这里10GB是压缩后,实际前数据大小一般为50GB-100GB左右)

方案1--------------SLB 租赁:0.02 * 24 * 30 = 14.4 元SLB 流量:10*0.8*30  = 240 元ECS 费用:108 * 2 = 216Kafka ECS: 免费,假设与其他服务公用共计:484.8 元 / 月方案2:--------------LogHub流量:10 * 0.2 * 3- = 60 元LogHub请求次数:0.12 (假设一天100W请求)* 30 = 3.6 元共计:63.6 元

场景2:一天1TB数据采集,大约一亿次写请求

方案1--------------SLB 租赁:0.02 * 24 * 30 = 14.4 元SLB 流量:1000 * 0.8* 30  = 24000 元ECS 费用:108 * 2 = 216Kafka ECS: 免费,假设与其他服务公用共计:24230.4 元 / 月方案2:--------------LogHub流量:1000 * 0.15 * 30 = 4500 元 (阶梯计价)LogHub请求次数:0.12 * 100(假设一天1亿请求)* 30 = 360 元共计:4860 元 / 月

方案比较

从以上两个场景可以看到,使用Loghub进行公网数据采集成本是非常有竞争力的。除此之外,和方案1相比还有其他优势:

  • 弹性伸缩:MB-PB/Day 间流量随意控制
  • 丰富权限控制:通过ACL控制读写权限
  • 支持HTTPS:传输加密
  • 日志投递免费:不需要额外开发就能与数据仓库对接
  • 详尽监控数据:让你清楚业务情况
  • 丰富SDK与上下游对接:和Kafka一样拥有完整的下游对接能力,和阿里云及开源产品深度整合

有兴趣可以参见体验该服务。

转载地址:http://ixjta.baihongyu.com/

你可能感兴趣的文章
AppScan使用
查看>>
Java NIO框架Netty教程(三) 字符串消息收发(转)
查看>>
Ucenter 会员同步登录通讯原理
查看>>
php--------获取当前时间、时间戳
查看>>
Spring MVC中文文档翻译发布
查看>>
docker centos环境部署tomcat
查看>>
JavaScript 基础(九): 条件 语句
查看>>
Linux系统固定IP配置
查看>>
配置Quartz
查看>>
Linux 线程实现机制分析
查看>>
继承自ActionBarActivity的activity的activity theme问题
查看>>
设计模式01:简单工厂模式
查看>>
项目经理笔记一
查看>>
Hibernate一对一外键双向关联
查看>>
mac pro 入手,php环境配置总结
查看>>
MyBatis-Plus | 最简单的查询操作教程(Lambda)
查看>>
rpmfusion 的国内大学 NEU 源配置
查看>>
spring jpa 配置详解
查看>>
IOE,为什么去IOE?
查看>>
Storm中的Worker
查看>>