漏桶算法是限流的四大主流算法之一,其应用场景各种资料中介绍的不多,一般都是说应用在网络流量控制中。这里举两个例子:
1、目前家庭上网都会限制一个固定的带宽,比如100M、200M等,一栋楼有很多的用户,那么运营商怎么保证某些用户没有使用过多的带宽,从而影响到别人呢?这时就可以使用漏桶算法,限制每个用户访问网络的最大带宽,当然实际会比这复杂很多。
2、有一个祖传接口,当时写的时候没有任何保护措施,现在访问量稍微大点就会崩溃,但是代码谁也改不动。这时候也可以用漏桶算法,把这个接口封装一下,将外部请求通过漏桶算法进行整流,再转发给这个接口,此时访问频率不会超过阈值,接口就不会崩溃了。
说了这么多,那漏桶算法到底是怎么解决问题的呢?请看下图。
接收到请求后,先把请求放到一个漏桶中,漏桶以恒定的速率漏出请求,然后漏出的请求被处理;如果接收请求的速度过快,导致漏桶满了,则丢弃新的请求。
可以看出,漏桶算法主要是通过恒速的方式输出,给后续数据处理一个稳定的输入。这样它就能应对一定的突发流量,使系统不会因为请求量突增而导致崩溃,只不过是通过增加延迟的方式,会有那么一点浪费资源,这和令牌桶的处理方式不同,关于令牌桶算法可以看这篇文章:ASP.NET Core中使用令牌桶限流。
还有一个不常提及的好处,恒速的输出有时候也可以提升效率,比如一次允许漏出两个请求,则可以将两次处理合并为一次处理,如果每次处理都涉及到网络IO,则合并处理就有机会减少网络IO的开销。
这里讲两种实现方法:进程内即内存漏桶算法、基于Redis的漏桶算法。
这里在请求时计算漏出数量,没有单独的漏出处理,描述的算法稍显复杂,不过只需要增加一点耐心,也很容易理解。
先来定义几个变量:
对于漏出速率,用 [每X时间周期Y个] 来表示。X时间周期一般是若干秒、分钟、小时等时间跨度。
对于当前时间周期的开始时间用Ts表示,当前时间周期的结束时间用Te表示,当前时间用Ti表示。
对于漏桶容量,用Z来表示。
对于X时间内的所有请求数量,用N来表示。
当请求到达时,则可以按以下次序处理:
如果Ti-Ts<=X,说明还在当前时间周期内,先增加N的值:
如果Ti-Ts>X,则需要创建新的时间周期:
基于Redis也可以实现上述的算法,只不过变量的表示方式换成了Redis KV,算法逻辑还是一样的。
这些操作逻辑可以封装在一个Lua script中,因为Lua script在Redis中执行时也是原子操作,所以Redis的限流计数在分布式部署时天然就是准确的。
这里以限流组件 FireflySoft.RateLimit 为例,实现ASP.NET Core中的漏桶算法限流。
有多种安装方式,选择自己喜欢的就行了。
包管理器命令:
Install-Package FireflySoft.RateLimit.AspNetCore
或者.NET命令:
dotnet add package FireflySoft.RateLimit.AspNetCore
或者项目文件直接添加:
<ItemGroup> <PackageReference Include="FireflySoft.RateLimit.AspNetCore" Version="2.*" /> </ItemGroup>
在Startup中使用中间件,演示代码如下(下边会有详细说明):
public void ConfigureServices(IServiceCollection services) { ... app.AddRateLimit(new InProcessLeakyBucketAlgorithm( new[] { // 三个参数:漏桶的容量、单位时间漏出的数量、漏出的单位时间 new LeakyBucketRule(20,10, TimeSpan.FromSeconds(1)) { ExtractTarget = context => { // 提取限流目标 return (context as HttpContext).Request.Path.Value; }, CheckRuleMatching = context => { // 判断当前请求是否需要限流处理 return true; }, Name="leaky bucket limit rule", } }) ); ... } public void Configure(IApplicationBuilder app, IWebHostEnvironment env) { ... app.UseRateLimit(); ... }
如上需要先注册服务,然后使用中间件。
注册服务的时候需要提供限流算法和对应的规则:
基本的使用就是上边例子中的这些了。
如果还是基于传统的.NET Framework,则需要在Application_Start中注册一个消息处理器RateLimitHandler,算法和规则部分都是共用的,具体可以看Github上的使用说明:https://github.com/bosima/FireflySoft.RateLimit#aspnet
FireflySoft.RateLimit 是一个基于 .NET Standard 的限流类库,其内核简单轻巧,能够灵活应对各种需求的限流场景。
其主要特点包括:
Github开源地址:https://github.com/bosima/FireflySoft.RateLimit