Quill日志库中非平凡可复制类型的格式化支持方案

引言

在使用Quill这一高性能C++日志库时，开发者经常会遇到需要记录非平凡可复制(non-TriviallyCopyable)类型数据的需求。本文将以Eigen库中的Matrix类型为例，深入探讨在Quill中优雅处理这类类型的几种技术方案。

问题背景

Eigen::Matrix是线性代数计算中广泛使用的矩阵类型，它属于非平凡可复制类型。这类类型无法直接通过Quill的默认机制进行记录，因为Quill出于性能考虑，默认只支持平凡可复制(POD)类型通过SPSC队列传递到后台日志线程。

解决方案比较

方案一：直接字符串转换

最简单的解决方案是在日志调用点直接将对象转换为字符串：

Eigen::VectorXd vec;
// ...初始化vec...
LOG_INFO("Vector: {}", vec.transpose().format(myfmt).str());

优点：

• 实现简单直观
• 不需要额外代码

缺点：

• 字符串转换发生在调用线程（热路径）
• 每次调用都会执行转换

方案二：自定义格式化器与编解码器

更优雅的解决方案是提供特化的formatter和Codec实现：

// 自定义格式化器
template <>
struct fmtquill::formatter<Eigen::VectorXd> {
  constexpr auto parse(format_parse_context& ctx) { return ctx.begin(); }

  template <typename FormatContext>
  auto format(const Eigen::VectorXd& vec, FormatContext& ctx) const {
    static Eigen::IOFormat myfmt(4, Eigen::DontAlignCols, ", ", "; ", "[", "]", "", "");
    std::ostringstream oss;
    oss << vec.transpose().format(myfmt);
    return fmtquill::format_to(ctx.out(), "{}", oss.str());
  }
};

// 自定义编解码器
template <>
struct quill::Codec<Eigen::VectorXd> {
  static size_t compute_encoded_size(detail::SizeCacheVector& cache, Eigen::VectorXd const& arg) {
    return sizeof(size_t) + sizeof(double) * arg.size();
  }

  static void encode(std::byte*& buffer, detail::SizeCacheVector const& cache, 
                    uint32_t& cache_index, Eigen::VectorXd const& arg) {
    quill::Codec<size_t>::encode(buffer, cache, cache_index, arg.size());
    std::memcpy(buffer, arg.data(), sizeof(double) * arg.size());
    buffer += sizeof(double) * arg.size();
  }

  static Eigen::VectorXd decode_arg(std::byte*& buffer) {
    const size_t size = quill::Codec<size_t>::decode_arg(buffer);
    Eigen::VectorXd arg(size);
    std::memcpy(arg.data(), buffer, sizeof(double) * size);
    buffer += sizeof(double) * size;
    return arg;
  }

  static void decode_and_store_arg(std::byte*& buffer, DynamicFormatArgStore* args_store) {
    args_store->push_back(decode_arg(buffer));
  }
};

优点：

• 格式化操作转移到后台线程
• 更高效的内存使用
• 统一的处理方式

缺点：

• 实现较为复杂
• 需要理解Quill内部机制

性能优化建议

对于追求极致性能的场景，可以进一步优化编解码器的实现：

1. 避免双重格式化：在计算大小时直接使用fmt::formatted_size，而不是实际格式化
2. 直接缓冲区写入：在encode阶段直接格式化到缓冲区，避免中间字符串
3. 内存预分配：根据类型特点预先分配足够空间

最佳实践选择

根据实际场景选择合适方案：

1. 开发调试日志：使用简单的字符串转换方案
2. 生产环境性能关键日志：实现完整的Codec方案
3. 中等频率日志：折中方案，部分格式化在前台完成

总结

Quill通过灵活的扩展机制支持了非平凡可复制类型的日志记录。开发者可以根据性能需求和应用场景，选择最适合的方案。对于复杂类型，建议优先考虑完整的Codec实现，以获得最佳的性能和可维护性。理解这些技术细节有助于更好地利用Quill的强大功能，构建高效的日志系统。