Llama Index项目中GCS文件读取的Timestamp类型问题解析与解决方案
2025-05-02 18:39:51作者:韦蓉瑛
在Llama Index项目的最新版本(0.12.17)中,用户在使用SimpleDirectoryReader或GCSReader读取Google Cloud Storage(GCS)文件时,遇到了一个关于时间戳类型的错误。这个问题主要影响那些通过GCSFileSystem访问云存储的用户。
问题背景
当用户尝试从GCS加载文件时,系统会尝试获取文件的元数据,包括创建时间(created)、修改时间(mtime)和访问时间(atime)。在旧版本(0.10.58)中,这一功能工作正常,但在升级到0.12.17后,出现了类型错误。
错误原因分析
核心问题在于时间戳数据类型的处理不一致。GCSFileSystem返回的时间戳是datetime.datetime对象,而Llama Index内部的_format_file_timestamp函数期望接收的是一个浮点数或整数类型的时间戳值。这种类型不匹配导致了以下错误:
TypeError: an integer is required (got type datetime.datetime)
具体来说,当系统尝试调用datetime.fromtimestamp()方法时,传入的参数是一个datetime对象而非预期的数字时间戳,从而触发了类型错误。
解决方案
目前有两种可行的解决方案:
1. 自定义文件元数据处理函数
用户可以创建一个自定义的元数据处理函数来替代默认实现:
def custom_file_metadata(file_path):
fs = GCSFileSystem()
stat_result = fs.stat(file_path)
metadata = {
"file_path": file_path,
"file_name": file_path.split("/")[-1],
}
for key in ["created", "mtime", "atime"]:
value = stat_result.get(key)
if isinstance(value, datetime):
metadata[f"{key}_date"] = value.strftime("%Y-%m-%dT%H:%M:%SZ")
metadata[key] = int(value.timestamp())
else:
metadata[key] = value
return metadata
然后在创建Reader时指定这个函数:
reader = SimpleDirectoryReader(
input_files=files,
fs=fs,
file_metadata=custom_file_metadata
)
2. 等待官方修复
项目维护者已经注意到这个问题,并计划在未来的版本中修复。修复思路可能包括:
- 在_format_file_timestamp函数中添加对datetime对象的处理
- 或者在获取文件状态信息时统一转换时间戳格式
最佳实践建议
对于生产环境中的用户,建议:
- 如果急需使用,采用自定义元数据函数的临时解决方案
- 关注项目更新,及时升级到包含修复的版本
- 在使用云存储时,注意不同存储系统可能返回不同类型的时间戳格式
这个问题虽然看起来是一个简单的类型错误,但它反映了在不同存储后端之间保持接口一致性的挑战。Llama Index作为一个支持多种存储系统的框架,需要处理好这些差异,以提供统一的用户体验。
登录后查看全文
热门项目推荐
相关项目推荐
暂无数据
项目优选
收起
deepin linux kernel
C
27
11
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
539
3.76 K
Ascend Extension for PyTorch
Python
349
414
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
889
609
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
338
185
openJiuwen agent-studio提供零码、低码可视化开发和工作流编排,模型、知识库、插件等各资源管理能力
TSX
986
252
openGauss kernel ~ openGauss is an open source relational database management system
C++
169
233
暂无简介
Dart
778
193
华为昇腾面向大规模分布式训练的多模态大模型套件,支撑多模态生成、多模态理解。
Python
114
140
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
1.35 K
758