Yitter IdGenerator多线程环境下ID重复问题分析与解决方案

问题背景

在使用Yitter IdGenerator生成分布式ID时，开发者CupidStar遇到了一个典型的多线程并发问题：在高并发场景下生成的ID出现了重复现象。具体表现为200并发时很容易复现，100多并发时偶尔复现。这个问题直接关系到分布式系统的数据一致性和唯一性保证，值得深入分析。

问题复现

开发者最初使用的测试代码如下：

static {
    IdGeneratorOptions options = new IdGeneratorOptions((short)0);
    YitIdHelper.setIdGenerator(options);
}

public static long getId(){
    return YitIdHelper.nextId();
}

@Test
public void idTest() throws InterruptedException {
    HashSet<Long> set = new HashSet<>();
    int count = 50;
    CountDownLatch countDownLatch = new CountDownLatch(count);
    for (int i = 0; i < count; i++) {
        int finalI = i;
        new Thread(()->{
            for (int j = 0; j < 10; j++) {
                set.add(IdUtil.getId());
            }
            System.out.println("ok"+ finalI);
            countDownLatch.countDown();
        }).start();
    }
    countDownLatch.await();
    System.out.println(set.size());
}

这段代码创建了50个线程，每个线程生成10个ID，理论上应该生成500个唯一ID，但实际测试中出现了重复现象。

问题本质

经过分析，问题并不在于Yitter IdGenerator本身，而是测试代码中存在两个关键问题：

1. 线程安全问题：使用了非线程安全的HashSet来收集生成的ID，在多线程环境下，HashSet的内部结构可能会被并发修改导致数据丢失或重复。

2. 测试方法不当：没有正确评估ID生成器的并发性能，测试用例设计存在缺陷。

正确解决方案

开发者最终找到了正确的测试方法，使用线程安全的ConcurrentSkipListSet替代HashSet：

public static void main(String[] args) throws InterruptedException {
    ConcurrentSkipListSet<Long> set = new ConcurrentSkipListSet<>();
    int count = 10;
    CountDownLatch countDownLatch = new CountDownLatch(count);
    IdUtil.getId();
    System.out.println("start");
    long start = System.currentTimeMillis();
    for (int i = 0; i < count; i++) {
        new Thread(()->{
            for (int j = 0; j < 2000; j++) {
                set.add(IdUtil.getId());
            }
            countDownLatch.countDown();
        }).start();
    }
    countDownLatch.await();
    System.out.println(System.currentTimeMillis() - start);
    System.out.println(set.size());
}

这个改进后的测试用例：

1. 使用线程安全的ConcurrentSkipListSet来收集ID
2. 增加了测试规模（10个线程，每个生成2000个ID）
3. 添加了性能统计功能
4. 移除了不必要的打印语句

深入理解

为什么HashSet在多线程下会出问题

HashSet内部基于HashMap实现，当多个线程同时向HashSet添加元素时，可能会发生：

1. 扩容时的数据丢失
2. 链表转红黑树时的结构破坏
3. 哈希冲突处理不当导致的元素覆盖

ConcurrentSkipListSet的优势

ConcurrentSkipListSet是基于跳表实现的线程安全集合：

1. 无锁算法实现高并发
2. 天然有序，便于后续分析
3. 写操作不会阻塞读操作
4. 适合高并发场景下的数据收集

最佳实践建议

1. 测试环境搭建：测试分布式ID生成器时，务必使用线程安全的数据结构来收集结果。

2. 性能考量：除了验证唯一性，还应该关注ID生成的速度和吞吐量，特别是在高并发场景下。

3. 异常处理：在实际应用中，应该对ID生成过程添加适当的异常处理和重试机制。

4. 监控指标：在生产环境中，建议监控ID生成的成功率、耗时等关键指标。

结论

通过这个案例，我们学习到在测试高并发组件时，测试方法本身也需要考虑线程安全性。Yitter IdGenerator作为一款分布式ID生成器，其本身在多线程环境下是安全的，但测试代码如果不当，可能会得出错误的结论。正确使用线程安全的数据结构是验证分布式组件功能的关键前提。