[资料]

日志服务支持Shard自动分裂

2018-6-25 14:44:08 3643

0 摘要：日志服务提供Shard自动分裂功能，实时监控Shard流量，自动进行shard分裂以应对流量上涨，解决流量估算不准、随时可能上涨又难以及时处理的问题，保障数据完整。日志服务的数据模型中，使用Shard来控制Logstore的写入、读取吞吐能力，每个Shard提供5MB/sec写入、10MB/sec读取，通常情况下，shard越多，Logstore的吞吐越大。在创建Logstore时，可以根据实际数据量来进行预先设置shard的个数，同时，日志服务提供shard的split和merge功能，在日志量超过现有shard处理能力的情况，用户可分裂shard提升Logstore的处理能力。但是，你有没有为这样情况而烦恼 :事先无法准确预估数据量，预设多少个shard才合适呢数据量随时会突增，人不一定能够及时处理，长时间超quota无法写入而导致丢失的风险针对以上情况，日志服务提供了Shard自动分裂功能，后台实时监控每个shard的流量，如果发现一个shard的写入在一段时间内，有连续出现超过shard处理能力的情况，会触发shard的自动分裂。触发条件：数据量超出Shard的服务能力，且持续5分钟。 Logstore中readwrite状态的Shard数目未超过设定的最大shard总数。开启Logstore的自动分裂功能也非常简单，只要修改一下Logstore属性：开启Shard自动分裂后，你的Logstore将直接拥有自动弹性扩容的能力，解决流量估算不准、随时可能上涨又难以及时处理的问题，保障数据完整。原文链接：http://click.aliyun.com/m/1000003432/ 1
2018-6-25 14:44:08　　评论淘帖0 举报相关推荐 • Delta Reporting CFEngine日志服务 1 • LogMaster4Net日志服务器软件 2 • RemoteTail多服务器日志文件变更 1 • uller_log高性能日志服务 1 • 如何通过阿里云日志服务搭建一套通过Python上传日志的监控服务 406 • 如何设计一个高效的分布式日志服务平台 309 • 功率分裂器 2338 • 基于机器学习的日志自动识别 8 • API信息全掌控，方便你的日志管理——阿里云推出API网关打通日志服务 2159 • 仪器支持Web服务 595 1 个讨论