Arkime项目中新增通用对象字段类型的实现解析
背景与需求
在Arkime网络流量分析平台中,字段系统是核心组件之一,负责处理和存储从网络流量中提取的各种信息。传统字段类型如字符串、数字等简单类型已经不能满足日益复杂的协议解析需求,特别是在处理嵌套结构数据(如JSON对象、证书信息等)时显得力不从心。
现有实现中,每个复杂字段类型都需要修改多个核心源文件(如arkime.h、db.c、fields.c等),这不仅增加了维护成本,也限制了第三方开发者为Arkime开发复杂解析器的可能性。以ARKIME_FIELD_TYPE_CERTSINFO字段类型为例,其实现就涉及大量核心代码修改。
解决方案设计
Arkime社区提出并实现了一种新的通用对象字段类型ARKIME_FIELD_TYPE_OBJECT,它能够支持任意复杂度的结构化数据存储。这一设计具有以下关键特性:
- 类型无关性:可以存储任何自定义数据结构
- 生命周期管理:提供完整的创建、存储、释放机制
- 哈希与比较:支持高效的查找和去重操作
- JSON序列化:内置转换为JSON格式的能力
核心实现机制
数据结构设计
新实现引入了两个核心数据结构:
typedef struct arkime_field_object {
struct arkime_field_object *o_next, *o_prev;
uint32_t o_hash;
short o_bucket;
void *object;
} ArkimeFieldObject_t;
typedef struct {
struct arkime_field_object *o_next, *o_prev;
short o_count;
} ArkimeFieldObjectHead_t;
这种设计将对象存储与哈希表管理分离,使得每个字段类型只需关注自身数据结构的处理,而不必关心底层的存储机制。
回调函数接口
为实现通用性,定义了四种关键回调函数类型:
- 保存函数:将对象序列化为JSON格式
typedef void (* ArkimeFieldObjectSaveFunc)(BSB *jbsb, ArkimeFieldObject_t *object, ArkimeSession_t *session);
- 释放函数:清理对象占用的资源
typedef void (* ArkimeFieldObjectFreeFunc)(ArkimeFieldObject_t *object);
- 哈希函数:计算对象的哈希值用于快速查找
typedef uint32_t (* ArkimeFieldObjectHashFunc)(const void *key);
- 比较函数:判断两个对象是否相等
typedef int (* ArkimeFieldObjectCmpFunc)(const void *keyv, const void *elementv);
注册与使用流程
-
字段注册:通过
arkime_field_object_register
函数注册新的对象类型,提供上述四个回调函数 -
添加对象:使用
arkime_field_object_add
将具体对象实例添加到会话中 -
自动管理:系统会自动处理对象的存储、序列化和释放
实际应用与优势
这一改进已经在Arkime的TLS证书处理中得到实际应用,成功将原有的ARKIME_FIELD_TYPE_CERTSINFO迁移到新的通用对象系统。相比原有实现,新方案具有以下优势:
- 代码解耦:复杂字段类型的实现不再需要修改核心代码
- 开发效率:第三方开发者可以轻松添加新的复杂字段类型
- 维护性:统一的对象管理机制减少了重复代码
- 扩展性:支持任意复杂度的数据结构存储
技术实现细节
在底层实现上,ARKIME_FIELD_TYPE_OBJECT利用了Arkime现有的哈希表机制,但通过抽象层隐藏了实现细节。每个对象类型只需要:
- 定义自己的数据结构
- 实现必要的回调函数
- 注册到字段系统
系统会自动处理对象的存储、查找、去重和序列化。对于数组形式的字段值(如一个会话包含多个证书),系统会自动管理多个对象实例的生命周期。
未来展望
这一通用对象字段系统的引入为Arkime开辟了新的可能性,未来可以支持:
- 更复杂的协议解析结果存储
- 嵌套JSON对象的原生支持
- 自定义二进制格式的序列化
- 复杂关联数据的高效管理
这一改进不仅解决了当前的技术债务,也为Arkime未来的功能扩展奠定了坚实基础。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0370Hunyuan3D-Part
腾讯混元3D-Part00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++0102AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选









