Keras 2与Keras 3中Embedding层输出差异分析

在深度学习模型开发过程中，我们经常会遇到需要将Keras 2模型迁移到Keras 3的情况。最近在TensorFlow Federated项目中，开发者发现使用相同结构的Embedding层在Keras 2和Keras 3中会产生不同的输出结果，这引起了我们的关注。

问题现象

当构建两个结构完全相同的模型，一个使用tf.keras（Keras 2）API，另一个使用keras（Keras 3）API，并输入相同的测试数据时，模型的输出结果却不一致。具体表现为：

1. 两个模型都包含Embedding层和Softmax层
2. 输入维度（input_dim）和输出维度（output_dim）设置相同
3. 输入相同的测试数据批次
4. 模型输出结果不匹配

原因分析

经过深入调查，我们发现问题的根源在于Embedding层的权重初始化方式。在Keras中，如果没有显式指定初始化器，Embedding层会使用默认的随机初始化策略。关键点在于：

1. Keras 2和Keras 3使用不同的随机种子策略
2. 即使模型结构相同，随机初始化的权重也会不同
3. 这导致前向传播计算结果出现差异

解决方案

要确保Keras 2和Keras 3模型产生相同的输出，我们需要显式指定Embedding层的初始化器，并设置相同的随机种子。具体实现如下：

# Keras 2模型
initializer = tf.keras.initializers.RandomUniform(seed=42)
keras_model.add(tf.keras.layers.Embedding(
    input_dim=vocab_size, 
    output_dim=5, 
    embeddings_initializer=initializer))

# Keras 3模型
initializer = keras.initializers.RandomUniform(seed=42)
keras_model.add(keras.layers.Embedding(
    input_dim=vocab_size, 
    output_dim=5, 
    embeddings_initializer=initializer))

通过这种方式，我们可以确保：

1. 两个模型使用完全相同的初始化权重
2. 前向传播计算过程一致
3. 最终输出结果匹配

最佳实践建议

在进行Keras版本迁移或跨版本比较时，建议遵循以下原则：

1. 对于包含随机性的层（如Embedding、Dropout等），始终显式指定初始化器和随机种子
2. 在模型迁移过程中，逐步验证各层的输出一致性
3. 对于关键模型，保存并比较权重以确保完全一致
4. 在单元测试中加入随机种子设置，确保测试的可重复性

总结

Keras框架的版本迭代带来了许多改进，但在处理随机性时需要注意细节。通过控制初始化过程，我们可以确保模型在不同Keras版本间的行为一致性，这对于模型迁移、测试验证和结果复现都至关重要。特别是在联邦学习等分布式场景下，这种一致性更是保证系统可靠性的基础。