SpringBoot+Redis实现布隆过滤器的⽰例代码
⽬录
简述
Redis安装BloomFilter
基本指令
结合SpingBoot
⽅式⼀
⽅式⼆
简述
关于布隆过滤器的详细介绍，我在这⾥就不再赘述⼀遍了
我们⾸先知道：BloomFilter使⽤长度为m bit的字节数组，使⽤k个hash函数，增加⼀个元素: 通过k次hash
将元素映射到字节数组中k个位置中，并设置对应位置的字节为1。查询元素是否存在: 将元素k次hash得到k个位置，如果对应k个位置的bit是1则认为存在，反之则认为不存在。
Guava 中已经有具体的实现，⽽在我们实际⽣产环境中，本地的存储往往⽆法满⾜我们实际的需求。所以在这时候，就需要我们使⽤ redis 了。
Redis 安装 Bloom Filter
git clone github/RedisLabsModules/redisbloom.git
cd redisbloom
make # 编译
f
## 增加配置
loadmodule /usr/local/web/redis/RedisBloom-1.1.1/rebloom.so
##redis 重启
#关闭
./redis-cli -h 127.0.0.1 -p 6379 shutdown
#启动
./redis-server ../f &
基本指令
#创建布隆过滤器，并设置⼀个期望的错误率和初始⼤⼩
#往过滤器中添加元素
bf.add userid 'sbc@163'
#判断指定key的value是否在bloomfilter⾥存在，存在：返回1，不存在：返回0
结合 SpingBoot
搭建⼀个简单的 springboot 框架
⽅式⼀
配置
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="/POM/4.0.0"
xmlns:xsi="/2001/XMLSchema-instance"
xsi:schemaLocation="/POM/4.0.0 /xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.bloom</groupId>
<artifactId>test-bloomfilter</artifactId>
<version>1.0-SNAPSHOT</version>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>1.5.8.RELEASE</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.apachemons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.0.1</version>
</dependency>
</dependencies>
</project>
redis本⾝对布隆过滤器就有⼀个很好地实现，在 java 端，我们直接导⼊ redisson 的 jar包即可<dependency>
<groupId&disson</groupId>
<artifactId>redisson</artifactId>
<version>3.8.2</version>
</dependency>
将 Redisson实例注⼊ SpringIOC 容器中
@Configuration
public class RedissonConfig {
@Value("${dis.address}")
private String address;
@Value("${dis.password}")
private String password;
@Bean
public Config redissionConfig() {
Config config = new Config();
SingleServerConfig singleServerConfig = config.useSingleServer();
singleServerConfig.setAddress(address);
if (StringUtils.isNotEmpty(password)) {
singleServerConfig.setPassword(password);
}
return config;
}
@Bean
public RedissonClient redissonClient() {
ate(redissionConfig());
}
}
配置⽂件
最后测试我们的布隆过滤器
@SpringBootApplication
public class BloomApplication {
public static void main(String[] args) {
ConfigurableApplicationContext context = SpringApplication.run(BloomApplication.class, args);
RedissonClient redisson = Bean(RedissonClient.class);
RBloomFilter bf = BloomFilter("test-bloom-filter");
Set<String> set = new HashSet<String>(1000);
List<String> list = new ArrayList<String>(1000);
//向布隆过滤器中填充数据，为了测试真实，我们记录了 1000 个 uuid，另外 9000个作为⼲扰数据
for (int i = 0; i < 10000; i++) {
String uuid = UUID.randomUUID().toString();
if(i<1000){
set.add(uuid);
list.add(uuid);
}
bf.add(uuid);
}
int wrong = 0; // 布隆过滤器误判的次数
int right = 0;// 布隆过滤器正确次数
for (int i = 0; i < 10000; i++) {
String str = i % 10 == 0 ? (i / 10) : UUID.randomUUID().toString();
if (bf.contains(str)) {
if (ains(str)) {
right++;
} else {
wrong++;springframework jar包导入
}
}
}
//right 为1000
System.out.println("right:" + right);
//因为误差率为3%，所以⼀万条数据wrong的值在30左右
System.out.println("wrong:" + wrong);
//过滤器剩余空间⼤⼩
System.out.unt());
}
}
以上使我们使⽤ redisson 的使⽤⽅式，下⾯介绍⼀种⽐较原始的⽅式，使⽤lua脚本的⽅式⽅式⼆
bf_add.lua
local bloomName = KEYS[1]
local value = KEYS[2]
local result = redis.call('BF.ADD',bloomName,value)
return result
bf_exist.lua
local bloomName = KEYS[1]
local value = KEYS[2]
local result = redis.call('BF.EXISTS',bloomName,value)
return result
@Service
public class RedisBloomFilterService {
@Autowired
private RedisTemplate redisTemplate;
//我们依旧⽤刚刚的那个过滤器
public static final String BLOOMFILTER_NAME = "test-bloom-filter";
/**
* 向布隆过滤器添加元素
* @param str
* @return
*/
public Boolean bloomAdd(String str) {
DefaultRedisScript<Boolean> LuaScript = new DefaultRedisScript<Boolean>();
LuaScript.setScriptSource(new ResourceScriptSource(new ClassPathResource("bf_add.lua")));
LuaScript.setResultType(Boolean.class);
//封装传递脚本参数
List<String> params = new ArrayList<String>();
params.add(BLOOMFILTER_NAME);
params.add(str);
return (Boolean) ute(LuaScript, params);
}
/**
* 检验元素是否可能存在于布隆过滤器中 * @param id * @return
*/
public Boolean bloomExist(String str) {
DefaultRedisScript<Boolean> LuaScript = new DefaultRedisScript<Boolean>();
LuaScript.setScriptSource(new ResourceScriptSource(new ClassPathResource("bf_exist.lua")));
LuaScript.setResultType(Boolean.class);
//封装传递脚本参数
ArrayList<String> params = new ArrayList<String>();
params.add(BLOOMFILTER_NAME);
params.add(String.valueOf(str));
return (Boolean) ute(LuaScript, params);
}
}
最后我们还是⽤上⾯的启动器执⾏测试代码
@SpringBootApplication
public class BloomApplication {
public static void main(String[] args) {
ConfigurableApplicationContext context = SpringApplication.run(BloomApplication.class, args);
RedisBloomFilterService filterService = Bean(RedisBloomFilterService.class);
Set<String> set = new HashSet<String>(1000);
List<String> list = new ArrayList<String>(1000);
//向布隆过滤器中填充数据，为了测试真实，我们记录了 1000 个 uuid，另外 9000个作为⼲扰数据
for (int i = 0; i < 10000; i++) {
String uuid = UUID.randomUUID().toString();
if (i < 1000) {
set.add(uuid);
list.add(uuid);
}
filterService.bloomAdd(uuid);
}
int wrong = 0; // 布隆过滤器误判的次数
int right = 0;// 布隆过滤器正确次数
for (int i = 0; i < 10000; i++) {
String str = i % 10 == 0 ? (i / 10) : UUID.randomUUID().toString();
if (filterService.bloomExist(str)) {
if (ains(str)) {
right++;
} else {
wrong++;
}
}
}
//right 为1000
System.out.println("right:" + right);
/
/因为误差率为3%，所以⼀万条数据wrong的值在30左右
System.out.println("wrong:" + wrong);
}
}
相⽐⽽⾔，个⼈⽐较推荐第⼀种，实现的原理都是差不多，redis 官⽅已经为我封装好了执⾏脚本，和相关 api，⽤官⽅的会更好⼀点
到此这篇关于SpringBoot+Redis实现布隆过滤器的⽰例代码的⽂章就介绍到这了，更多相关SpringBoot Redis布隆过滤器内容请搜索以前的⽂章或继续浏览下⾯的相关⽂章希望⼤家以后多多⽀持！
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论