TaBERT 使用与启动教程

1. 项目介绍

TaBERT 是由 Facebook Research 开发的一种预训练语言模型，旨在学习自然语言表达和半结构化表格之间的联合表示，用于语义解析。该模型在 2600 万个网页表格及其相关自然语言上下文的大型语料库上进行预训练，可以作为语义解析器原始编码器的即插即用替代品，用以计算自然表达和表格模式（列）的表示。

2. 项目快速启动

环境搭建

首先，需要创建一个包含必要库的 Conda 环境。执行以下命令：

bash scripts/setup_env.sh

安装 TaBERT

在 Conda 环境创建后，使用以下命令安装 TaBERT：

conda activate tabert
pip install --editable .

下载预训练模型

预训练模型可以从命令行下载，使用以下命令：

pip install gdown
gdown 'https://drive.google.com/uc?id=1-pdtksj9RzC4yEqdrJQaZu4-dIEXZbM9'  # TaBERT_Base_(k=1)
gdown 'https://drive.google.com/uc?id=1NPxbGhwJF1uU9EC18YFsEZYE-IQR7ZLj'  # TaBERT_Base_(K=3)
gdown 'https://drive.google.com/uc?id=1eLJFUWnrJRo6QpROYWKXlbSOjRDDZ3yZ'  # TaBERT_Large_(k=1)
gdown 'https://drive.google.com/uc?id=17NTNIqxqYexAzaH_TgEfK42-KmjIRC-g'  # TaBERT_Large_(K=3)

加载预训练模型

加载预训练模型的代码如下：

from table_bert import TableBertModel
model = TableBertModel.from_pretrained('path/to/pretrained/model/checkpoint.bin')

使用模型

以下是如何使用模型来生成自然语言文本及其关联表格的表示的示例：

from table_bert import Table, Column

# 创建表格实例
table = Table(
    id='List of countries by GDP (PPP)',
    header=[
        Column('Nation', 'text', sample_value='United States'),
        Column('Gross Domestic Product', 'real', sample_value='21,439,453')
    ],
    data=[
        ['United States', '21,439,453'],
        ['China', '27,308,857'],
        ['European Union', '22,774,165'],
    ]
)

# 将表格数据转换为模型需要的格式
table.tokenize(model.tokenizer)

# 定义查询上下文
context = 'show me countries ranked by GDP'

# 获取文本和表格的编码表示
context_encoding, column_encoding, info_dict = model.encode(
    contexts=[model.tokenizer.tokenize(context)],
    tables=[table]
)

# 查看编码表示的维度
print(context_encoding.shape)  # 应输出：torch.Size([1, 7, 768])
print(column_encoding.shape)  # 应输出：torch.Size([1, 2, 768])

3. 应用案例和最佳实践

TaBERT 可以作为数据库表格语义解析任务的通用表示学习层。具体的应用案例和最佳实践可以在项目的 examples 文件夹中找到。

4. 典型生态项目

目前没有明确列出与 TaBERT 相关的典型生态项目，但可以预见，类似的项目将涉及自然语言处理和表格数据解析的领域，例如，构建智能问答系统、自动化报表生成工具等。在开源社区中，开发者可以基于 TaBERT 模型开发新的应用程序或集成到现有系统中，以提升处理自然语言和表格数据的能力。