掌握要点:指针生成网络的文本摘要利器
2024-05-21 15:24:24作者:邵娇湘
本仓库为您带来了ACL 2017会议论文《Get To The Point: Summarization with Pointer-Generator Networks》的代码实现。这篇开创性的研究引入了一种新的模型,用于自动摘要,通过混合生成和复制机制,有效地从原文中提取关键信息。
模型测试结果与预训练模型
对这个模型感兴趣?您可以直接查看测试集输出,并且可以找到针对Tensorflow 1.0和1.2.1版本的预训练模型。
CNN / Daily Mail 数据集
获取CNN / Daily Mail数据集的详细步骤可在项目链接中的这里找到。一旦完成,您将拥有train_000.bin等训练数据文件,以及词汇文件vocab。
关于此代码库
该代码基于Google Brain的TextSum项目开发,并已经更新为支持Tensorflow 1.0。值得注意的是,attention_decoder.py文件是基于旧版的tf.contrib.legacy_seq2seq_attention_decoder,但随着Tensorflow 1.0的新序列到序列库的发布,未来有可能以更优雅和高效的方式处理(包括束搜索)。
如何运行
- 获取并准备数据集。
- 运行训练脚本
python run_summarization.py --mode=train --data_path=/path/to/chunked/train_* --vocab_path=/path/to/vocab --log_root=/path/to/a/log/directory --exp_name=myexperiment。 - 同步进行评估:
python run_summarization.py --mode=eval ...。 - 使用束搜索解码:
python run_summarization.py --mode=decode ...。 - 利用ROUGE评估:设置
single_pass=1来生成ROUGE评分。 - 使用Tensorboard监控进度:在实验目录下启动Tensorboard。
特点
- 结合生成与复制:该模型能够基于原始文本中的单词或短语生成摘要,有效避免了过度概括。
- 预训练模型可用:无需从头开始训练,可以快速上手体验模型效果。
- ROUGE集成:提供ROUGE工具,轻松评估模型性能。
- 易于调试:如果遇到NaN问题,提供了
--debug=1选项,便于利用Tensorflow Debugger进行诊断。
总的来说,这是一个强大的文本摘要工具,它集成了深度学习领域的最新研究成果,对于自然语言处理的研究人员和开发者来说,是一个不可多得的学习和实践平台。无论您是想了解最新的NLP技术,还是希望在实际项目中应用自动化摘要,这个开源项目都值得您的关注和使用。
登录后查看全文
热门项目推荐
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0172
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook091
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
BitCPM-CANN-8BBitCPM-CANN 是首个基于华为昇腾 NPU 原生构建的端到端 1.58 位(三值化)大语言模型训练系统。该系统将量化感知训练(QAT)集成到 Megatron-LM 框架中,并结合 MindSpeed 加速,覆盖了从自定义三值算子到基于昇腾 910B 的分布式并行训练的完整训练栈。Python00
MiniCPM5-1BMiniCPM5-1B,这是 MiniCPM5 系列的首款模型。它是一个专为端侧、本地部署和资源受限场景打造的 10 亿参数密集型 Transformer 模型,达到了 10 亿参数级开源模型的 SOTA 水平Jinja00
skillhubopenJiuwen 生态的 Skill 托管与分发开源方案,支持自建与可选 ClawHub 兼容。Python0239
最新内容推荐
项目优选
收起
暂无描述
Dockerfile
748
4.86 K
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
641
1.26 K
Ascend Extension for PyTorch
Python
684
827
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
834
1.82 K
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
449
416
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.02 K
1.04 K
Claude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed.
Get Started
Rust
1.5 K
172
CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。
Python
933
554
暂无简介
Dart
995
256
昇腾LLM分布式训练框架
Python
172
211