缓存、消息队列与分布式一致性

⚡ 缓存、消息队列和分布式一致性是高并发系统的三大支柱。每项技术都有其适用场景和局限性。

缓存

缓存分层

CPU L1/L2/L3 → 内存 → 内容地址网络 CDN → 应用缓存（Redis）→ 数据库
延迟逐层増大，容量逐层增大

Redis 常用模式

// Cache-Aside（旁路缓存）
async function getUser(id: string) {
  const cached = await redis.get(`user:${id}`)
  if (cached) return JSON.parse(cached)
  
  const user = await db.findUser(id)
  await redis.setex(`user:${id}`, 3600, JSON.stringify(user))
  return user
}

// 分布式锁
// 使用 SET NX EX 实现
async function acquireLock(key: string, ttl: number) {
  const token = crypto.randomUUID()
  const ok = await redis.set(key, token, 'NX', 'EX', ttl)
  return ok ? token : null
}

async function releaseLock(key: string, token: string) {
  const script = `
    if redis.call('get', KEYS[1]) == ARGV[1] then
      return redis.call('del', KEYS[1])
    else return 0 end
  `
  await redis.eval(script, 1, key, token)  // Lua 原子性
}

缓存常见问题

问题	定义	解决方案
缓存击穿	查询不存在的 key	布隆过滤器 + 缓存空对象
缓存雪崩	大量 key 同时过期	TTL 加随机正夯
缓存击破	热点 key 失效后洲涂数据库	分布式锁 + 魁主生成

---

消息队列

核心概念

概念	说明
交换机	Kafka/RabbitMQ 负责路由和存储
生产者	发送消息，不关心下游处理
消费者	订阅并处理消息

Kafka 基础

Topic → Partition（并行）→ Replica（容错）
Consumer Group 中每个 Partition 只有一个 Consumer 消费
偏移量（Offset）由 Consumer 自己维护

// 常见消息语义
// 至少一次：可能重复消费，需幂等性
// 恰好一次：事务消息，实现复杂
// 至多一次：消息丢失或重购都不接受

---

分布式一致性

CAP 定理

C（一致性）：所有节点同时看到相同数据
 A（可用性）：每个请求都得到响应
 P（分区容忍）：网络分区时系统仍可运行

分布式系统必须应对分区，所以实际上是 CP vs AP 的选择

分布式事务模式

// Saga 模式（编排式）
class OrderSaga {
    async execute(orderId: string) {
        try {
            await paymentService.charge(orderId)  // 步骤 1
            await inventoryService.reserve(orderId)  // 步骤 2
            await shippingService.schedule(orderId)  // 步骤 3
        } catch (error) {
            // 补偿操作（逆序回滚）
            await shippingService.cancel(orderId)
            await inventoryService.release(orderId)
            await paymentService.refund(orderId)
        }
    }
}

幂等性设计

// 每次请求带唯一 idempotency key
POST /payments
{
  "idempotencyKey": "client-generated-uuid",
  "amount": 100
}

// 服务端检查山重复请求
if (await redis.get(`idem:${key}`)) {
  return cachedResponse
}

---

常见误区

• 缓存和数据库不原子更新，导致数据不一致（应先删缓存再更新数据库）
• Kafka 消费者没有幂等性，重试时重复处理业务
• 高估 CP 系统的可用性，网络分区时只能选一