Redis发布订阅机制学习|kafka相关经验-Toy模板网

这篇具有很好参考价值的文章主要介绍了Redis发布订阅机制学习|kafka相关经验。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Redis
键值数据库 key value
NoSql

第一章：差异
#1 structured 结构化
约束 primary unique unsigned
#2 relational 关联的
#3 SQL查询
例 select id, name, age from tb_user where id=1
redis get user:1
mongoDB db.users.find({_id: 1})
elasticsearch GET http://localhost:9200/users/1
#4 事务 ACID 基本一致无事务
键值类型 Redis 文档类型 MongoDB 列类型 HBase Graph类型 Neo4j
存储方式磁盘内存
扩展性垂直水平
Remote Dictionary Server 远程词典服务器基于内存的键值型NoSQL数据库
特征：
键值key-value型 value支持多种不同数据结构，功能丰富
单线程，每个命令具备原子性低延迟速度快基于内存，IO多路复用
-支持数据持久化
-支持主从集群，分片集群
-支持多语言客户端

安装Redis依赖 redius是基于C语言编写需要安装Redis所需要的gcc依赖:
yum install -y gcc tcl
解压: tar -zxvf redis-6.2.6.tar.gz
进入redis目录: cd redis-6.2.6
运行编辑命令: make && make install 编译安装
内容： redis-cli 命令行客户端 redis-server
任意目录 redis-server 端口 6379
–默认启动方式
–指定配置启动流程: 配置文件备份 cp redis.conf redis.conf.bck
修改redis.conf文件配置
bind 0.0.0.0 任意ip地址可以访问
#守护进程，修改为yes后即可后台运行 daemonize yes
#密码，设置后访问redis必须输入密码 requirepass xxxxx
其他常见配置 #监听端口 port
#工作目录 dir
#数据库数量 databases 默认有16个库，编号0-15
#能够使用的最大内存 maxmemory 512mb
#日志文件默认为空不记录日志 logfile “redis.log”
启动 redis-server redis.conf
—开机自启

redis客户端
1 命令行客户端
使用方式: redis-cli [options][commonds]
常见options -h IP地址 -p 端口 -a 访问密码
操作命令commonds ping 与redis服务端做心跳测试，服务端正常会返回pong
set name xxx
get name
SELECT 0 0号库

2 图形化客户端

3 编程客户端

redis常见命令
数据结构介绍 key-value
key一般是string类型
value多类型 string hash list set sortedset geo bitmap hyperlog
redis官网 commands 分组
命令行 help help @

redis通用命令 keys组下 @generic
KEYS: 查看符合模板的所有key(通配符) 例 KEYS * KEYS a* 以a开头
DEL：删除一个指定的KEY
MSET：批量插入
EXISTS: 判断key是否存在
EXPIRE: 给key设置有效期有效期到期key被自动删除 EXPIRE key seconds
TTL：查看KEY的剩余有效期

String类型底层都是字节数组形式存储，编码方式不同。
SET GET MSET MGET INCR INCRBY 自增，自增指定步长 SETNX （前提key不存在否则不执行）
Redis的key允许多个单词形成层级结构，多个单词用’:'隔开，
例: 项目名:业务名:类型:id

hash类型散列 value是无序字典，类似java中的hashmap结构
常见命令前缀加H field

List类型双向链表结构支持正向检索反向检索

java客户端
Jedis

引入依赖

redis.clients
jedis
3.7.0
建立连接
private Jedis jedis;
@BeforeEach
void setUp(){
//建立连接
jedis = new Jedis(“xxx”, xxx);
jedis.auth(“password”); //密码
jedis.select(0);
}

Jedis本身线程不安全频繁创建和销毁会有性能损耗推荐使用连接池
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
jedisPoolConfig.setMaxTotal(); //最大连接
jedisPoolConfig.setMaxIdle(); //最大空闲连接
jedisPoolConfig.setMaxIdle(); //最小空闲连接
jedisPoolConfig.setMaxWaitMillis(); //设置最长等待时间
jedisPool = new JedisPool(jedisPoolConfig, xxx, xxx, timeout, password)

public static Jedis getJedis(){
return jedisPool.getResource();
}

Redis 发布订阅机制
简介：
Redis 发布订阅（Pus/Sub）是一种消息通信模式：发送者通过 PUBLISH发布消息，订阅者通过 SUBSCRIBE 订阅接收消息或通过UNSUBSCRIBE 取消订阅。主要由「发布者」、「订阅者」、「Channel」三个部分组成。
发布者和订阅者属于客户端，Channel 是 Redis 服务端，发布者将消息发布到频道，订阅这个频道的订阅者则收到消息。

1 基于频道的发布订阅
//在redisServer中，有一个字典类型字段pubsub_channels 用来保存订阅信息，其中key为频道，value为订阅该频道的客户端
struct redisServer{
pid_t pid;
//将频道映射到已订阅客户端的列表
dict *pubsub_channels
}

2 基于模式的发布订阅
//在redisServer中有一个pubsub_patterns属性，该属性表示一个链表，链表中保存着所有和模式相关的信息
struct redisServer{
list *pubsub_patterns；
}
typedef struct pubsubPattern{
client *client; – 订阅模式客户端
robj *pattern; --被订阅的模式
} pubsubPattern;

需要注意的是，发布消息与监听消息要运行在不同的 JVM，如果使用同一个 redissonClient 发布的话，不会监听到自己的消息。

缺陷：
发布者不知道订阅者是否收到发布的消息
订阅者不知道自己是否收到了发布者发出的所有消息
发送者不能获知订阅者的执行情况
没人知道订阅者何时开始收到消息

实现
生产者代码

 * 发布消息到 Topic
 * @param message 消息
 * @return 接收消息的客户端数量
public long sendMessage(String message) {
    RTopic topic = redissonClient.getTopic(CHANNEL);
    long publish = topic.publish(message);
    log.info("生产者发送消息成功，msg = {}", message);
    return publish;
}

消费者代码

public void onMessage() {
  // in other thread or JVM
  RTopic topic = redissonClient.getTopic(CHANNEL);
  topic.addListener(String.class, (channel, msg) -> {
    log.info("channel: {} 收到消息 {}.",  channel, msg);
  });
}

Spring boot整合redis

消息监听配置
@Configuration
public class RedisSubConfig {
    public static final String SUB_KEY = "chat";//频道channel
     * redis消息监听器容器
     * 可以添加多个监听不同话题的redis监听器，只需要把消息监听器和相应的消息订阅处理器绑定，该消息监听器
     * 通过反射技术调用消息订阅处理器的相关方法进行一些业务处理
     * @param connectionFactory
     * @param listenerAdapter
     * @return
    @Bean
    RedisMessageListenerContainer container(RedisConnectionFactory connectionFactory, MessageListenerAdapter listenerAdapter) {
        RedisMessageListenerContainer container = new RedisMessageListenerContainer();
        container.setConnectionFactory(connectionFactory);
        //订阅了一个频道
        container.addMessageListener(listenerAdapter, new PatternTopic(RedisSubConfig.SUB_KEY));
        return container;
    }
    
   * 消息监听器适配器，绑定消息处理器，利用反射技术调用消息处理器的业务方法
    @Bean
    MessageListenerAdapter listenerAdapter(RedisReceiver receiver) {
        return new MessageListenerAdapter(receiver, "receiveMessage");
    }
    /**
     * redis 读取内容的template
     * @param connectionFactory
     * @return
     */
    @Bean
    StringRedisTemplate template(RedisConnectionFactory connectionFactory) {
        return new StringRedisTemplate(connectionFactory);
    }
}

接收消息

@Service
public class RedisReceiver {
    public void receiveMessage(String message) {
        System.out.println("接收消息：" + message);
    }
}

采用定时器发布消息

@EnableScheduling //开启定时器功能
@Component
public class MessageSender {
    @Autowired
    private StringRedisTemplate stringRedisTemplate;
    @Scheduled(fixedRate = 5000) //间隔5s 通过StringRedisTemplate对象向redis消息队列chat频道发布消息
    public void sendMessage(){
        stringRedisTemplate.convertAndSend("chat", "hello "+ new Date());
    }
}

kafka相关
消息头格式
RecordHeaders(headers = [RecordHeader(key = messageType, value = [0, 0, 0, 1]), RecordHeader(key = operationCode, value = [0, 0, 0, 1]), RecordHeader(key = messageId, value = [52, 52, 52, 53, 53, 53])], isReadOnly = false)
使用java读取消息头

private MsgHeader parseMsgHeaders(Headers headers) {
        MsgHeader msgHeader = new MsgHeader();
        Header xxxHeader = headers.lastHeader("xxx");
        if (xxxHeader != null) {
            msgHeader.setXXX(new String(xxxHeader.value()));
        }
        return msgHeader;
    }

使用go发送消息头文章来源地址https://www.toymoban.com/news/detail-606628.html

headers := []sarma.RecordHeader{
    sarama.RecordHeader{
        Key: []byte("kkk"),
        Value: []byte("vvv"),
}}
msg := &sarama.ProducerMessage{
    Topic: "topic",
    Key: sarama.StringEncoder("  "),
    Value: sarama.StringEncode("  "),
    Headers: headers,
}