最近在做用户拉灰策略,需要统计用户在n分钟之内获得的广告奖励总数,如果超过阈值则拉灰,其中n和阈值都支持配置。
获得用户任意时间段内的奖励值是一个典型的滑动窗口问题,这里我们要明确几点:
(1)广告行为是非高频行为,因为一个广告的市场一般在15-30之间
(2)因为作弊用户都是在短时间内获得高额奖励来实现刷钱行为,所以针对这种情况,我们只判断用户在最近一个小时内的数据
基于以上两点考虑,我们考虑使用Redis的zset,以奖励gold作为zset的member,时间作为score,这样就能以时间为range进行查找,但是因为member如果重复会覆盖,所以针对menmber做一下处理:
member = "gold-random",random取0-1000000之间的随机值,这样冲突的概率为百万分之一。
另外还要考虑性能问题,尽量在一次Redis请求内完成设置值,设置有效时间,根据范围查询区间奖励,所以使用lua。
private int miniteGoldLimitGray(long userId,EcpmEvent ecpmEvent,String ocpcPam,String osPam,JSONObject object){ if (object.getBooleanValue("switch")) { List<String> keyList = new ArrayList<>(); keyList.add(RedisConstants.getMiniteGold(userId)); List<String> valueList = new ArrayList<>(); long now = System.currentTimeMillis(); //score valueList.add(now+""); String gold = ecpmEvent.getGold()+"-"+new Random().nextInt(1000000); //member valueList.add(gold); valueList.add(RedisConstants.EXPIRE_ONE_HOUR+""); //过期时间 long start = now - object.getIntValue("startTime") * 60 * 1000; valueList.add(start+""); valueList.add((now + 1000)+""); //查询时间范围 Object result = jedisClusterClient.eval(ShuaConstants.LUA_ECPM,keyList,valueList); String reStr = result.toString(); String[] arr = reStr.substring(1,reStr.length()-1).replaceAll(" ","").split(","); int total = 0; for (String item : arr){ String[] itemArr = item.split("-"); total += Integer.parseInt(itemArr[0]); } if (total >= object.getJSONObject(ocpcPam).getIntValue(osPam)) { log.error("minite gold gray,user:{},total:{}", userId, total); return 3; } } return 0; }
lua脚本:
public static final String LUA_ECPM = "redis.call('zadd',KEYS[1],ARGV[1],ARGV[2]);redis.call('expire',KEYS[1],ARGV[3]);return redis.call('zrangeByScore',KEYS[1],ARGV[4],ARGV[5])";