YugabyteDB YSQL中INSERT ON CONFLICT批处理导致RETURNING返回数据异常问题分析
在YugabyteDB的YSQL功能中,当启用INSERT ON CONFLICT的批量读取功能时,如果RETURNING子句返回的是非指针类型(如text类型),会出现内存无效导致返回垃圾数据的问题。本文将深入分析这一问题的技术背景、原因及解决方案。
问题现象
当用户执行如下SQL语句时:
SET yb_insert_on_conflict_read_batch_size = 1024;
CREATE TABLE texts (i int, t text, UNIQUE (t));
INSERT INTO texts VALUES (1, 'hello world') ON CONFLICT DO NOTHING RETURNING *;
返回结果中的文本字段t显示为乱码,例如:
i | t
---+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
------------------------------------------------------------------------
1 | \x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\
x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F\x7F
值得注意的是,虽然返回数据显示异常,但实际插入数据库的数据是正确的。
技术背景
YugabyteDB为了提高INSERT ON CONFLICT操作的性能,引入了批量读取功能。这一功能通过yb_insert_on_conflict_read_batch_size
参数控制,允许系统批量处理冲突检测,减少网络往返次数。
在PostgreSQL及其衍生系统中,RETURNING子句用于返回被修改行的数据。对于复杂数据类型如text,系统需要维护对这些数据的引用,确保在返回给客户端时数据仍然有效。
问题根源
通过分析源代码,发现问题出在nodeModifyTable.c
文件中的YbFlushSlotsFromBatch
函数。该函数在处理批量操作时,过早地释放了元组表槽(TupleTableSlot),导致RETURNING子句引用的内存区域被标记为无效。
具体来说,函数中调用了ExecDropSingleTupleTableSlot
释放了slot和planSlot,但这些槽可能仍被后续的RETURNING处理所引用。对于简单类型如整数,数据是直接内联存储的,不受此影响;但对于text等需要间接引用的类型,就会导致访问已释放内存的问题。
临时解决方案
通过注释掉释放TupleTableSlot的代码可以临时解决此问题:
#if 0
ExecDropSingleTupleTableSlot(slot);
ExecDropSingleTupleTableSlot(planSlot);
#endif
有趣的是,这一修改并没有引发预期的元组表槽引用泄漏警告,这表明系统对资源管理的预期与实际行为存在差异。
影响范围
此问题主要影响以下场景:
- 启用了
yb_insert_on_conflict_read_batch_size
参数 - 使用INSERT ON CONFLICT语法
- RETURNING子句返回非内联数据类型(text等)
长期解决方案建议
完整的修复方案应该考虑以下几点:
- 确保RETURNING处理完成前不释放相关资源
- 维护正确的资源生命周期管理
- 添加适当的测试用例覆盖此类场景
- 考虑批量操作与RETURNING子句交互的其他边界情况
总结
这一问题揭示了在优化批量操作时需要特别注意资源生命周期管理的重要性。数据库系统在处理复杂查询时,必须确保数据引用的有效性,特别是在涉及内存管理和查询执行计划优化的场景中。开发者在实现性能优化功能时,应当全面考虑各种查询子句的交互影响,确保功能的正确性和稳定性。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0372Hunyuan3D-Part
腾讯混元3D-Part00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++0104AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选









