数据从哪来?Nemotron-Personas-Finance-Japan 种子数据源深扒:日本国势调查 × J-FLEC 金融统计

原创2026-11-11 17:47:012,338 阅读
文章标签:数据集金融科技

数据从哪来?Nemotron-Personas-Finance-Japan 种子数据源深扒:日本国势调查 × J-FLEC 金融统计

Nemotron-Personas-Finance-Japan 是面向日本金融场景的开源合成人格(persona)数据集,以日本真实人口统计与家庭金融调查分布为种子,生成 100 万条记录、共 900 万个合成金融人格,帮助开发者在不触碰真实敏感个人信息的前提下训练和评估日语金融对话 AI。这篇文章带你深扒它背后的三大种子数据源——日本总务省国势调查、J-FLEC(金融经济教育推进机构)金融统计、以及名字由来net 姓名库,并解释这些"骨架数据"是如何被合成流水线"长成"逼真人格的。

一、什么是"种子数据":合成 900 万金融人格的地基

合成数据不是凭空生成的。Nemotron-Personas-Finance-Japan 的做法是:

  1. 取真分布:从官方统计中获取日本人口在年龄、性别、婚姻、学历、职业、地域、收入、资产等维度上的真实分布;
  2. 当概率种子:把每个维度变成一个带真实概率的"骰子";
  3. 采样生成:先掷骰子确定结构化属性(如"55 岁、福冈县、既婚、定期存款 + 投资信托"),再由大语言模型把这一串属性扩写成自然语言人格描述。

这样生成的人格在统计意义上"长得像"真实的日本社会,因此适合做金融客户模拟、对话数据生成与模型评测。

二、三大种子数据源全解析:日本国势调查、J-FLEC 金融统计与姓名数据

README.md 的"シードデータ(Seed Data)"一节明确列出了三个来源,它们各自负责人格的不同"器官":

2.1 日本国势调查:年龄、婚姻、学历、职业的"骨架"

总务省统计局(e-Stat)公开的国势调查数据提供了人口基本面:

  • 年龄 × 性别:完整复现了日本高龄化结构——中老年占比大、第一代与第二代婴儿潮的"隆起"、以及高龄层中女性占比偏高;
  • 婚姻状况:30 岁中段以前"未婚"占主导,随后"既婚"渐增,"死别"在晚年显著上升,完全贴合日本人生轨迹;
  • 学历:不同年龄段的学士/硕士/博士占比差异,反映了教育机会的历史变迁;
  • 地域:覆盖日本全部 47 个都道府县、1,837 个市区町村;
  • 职业:1,600+ 职业类别与就业形态、就业状态,映射日本劳动力结构。

2.2 J-FLEC 金融统计 + 全国家計構造調査:撑起"钱包"的部分

金融场景最关心的"钱"字段,主要来自两条统计线:

  • **J-FLEC(金融经济教育推进机构)**公开的调查·统计数据:支撑 financial_assets_held(持有金融资产类型)、securities_mix(有价证券内构)、financial_literacy(金融素养得分)、consumption_propensity(消费倾向)等字段的真实分布;
  • 总务省 2019 年全国家計構造調査:家庭金融资产按"户主性别 × 年龄阶级"的分布,直接驱动 household_financial_assets 字段——从 25~29 岁约 1 成的"2,000 万円以上"家庭,增长到 60~64 岁的约 3 成,退休后收入骤降但资产在 60~70 代维持高位,这条真实曲线都被忠实保留。
种子数据源 驱动的字段(示例)
国势调查(总务省统计局) sex、age、marital_status、education_level、occupation、prefecture、city
J-FLEC 金融经济教育推进机构 financial_assets_held、securities_mix、financial_literacy、consumption_propensity
全国家計構造調査(2019) household_financial_assets、housing_type、household_kind
名字由来net(Myoji-Yurai.net) 人格描述中约 95 万个不重复的逼真姓名

2.3 名字由来net:让 95 万个"日本人"叫出真实的名字

虽然姓名不是独立字段(数据集刻意只做人格、不含敏感信息),但人格合成时注入了名字由来net 提供的 2 万个不重复名(first name)+ 9.7 万个不重复姓(last name),组合出约 95 万个不重复姓名,使每个人物"听起来都像真实存在的日本人"。

三、从种子到人格:NeMo Data Designer 复合 AI 流水线

有了统计种子,还需要一台"生长引擎"。数据集由 NVIDIA 企业级合成数据系统 NeMo Data Designer 产出,核心组件包括:

  • NeMo SDG-PGMs:概率图模型(PGM)框架,把上面各维度的真实分布组织成带条件依赖关系的生成模型(例如先定年龄与地域,再定职业与资产);
  • gemma-4-31B-it:Apache-2.0 许可的大语言模型,负责把结构化种子扩写成自然语言人格;
  • 内置验证器与评估器:对每条生成结果做质量校验;
  • NeMo User Sim:生成完毕后可直接对接用户模拟框架,跑多轮对话仿真。

Nemotron-Personas-Finance-Japan 种子数据合成方法流程图

这套流水线的价值在于:分布保真度来自官方统计,而非模型记忆——官方说明中提到,在团队测试中没有任何 LLM 能凭记忆生成同等保真度的数据(例如"各县 25 岁以上居民持学士学位比例"这样的地理细节)。

四、分布保真度速览:用几张图检验种子效果

以下图表全部出自 README.md 的质量评估章节,可直观核对合成数据与真实分布的吻合程度。

4.1 年龄 × 性别金字塔:老龄化结构一眼可辨

日本合成人格数据年龄性别金字塔:Nemotron-Personas-Finance-Japan 人口结构分布

4.2 婚姻状况 × 年龄热图:人生轨迹如何被复现

"未婚 → 既婚 → 死别"随年龄的迁移规律与日本社会现实一致:

日本金融人格数据集婚姻状况与年龄分布热图

4.3 家庭金融资产 × 年龄:J-FLEC 种子最直观的体现

这是最能体现"金融特化"的一张图——各年龄层家庭金融资产的完整分布(每行合计 100%):

日本家庭金融资产按年龄分布热图:J-FLEC 金融统计驱动的合成数据

细节也保真:18~24 岁因多与父母同住,资产反映的是"父母家庭"而非本人收入;85 岁以上"非該当"(设施类世帯)比例陡增。

4.4 学历 × 年龄热图与都道府县教育地图

日本合成人格学历水平与年龄分布热图

地理维度同样来自国势调查:这张地图展示每县 25 岁以上居民中持学士及以上学位的比例,是 LLM 凭记忆无法达到的保真度:

日本都道府县学历地理分布地图:国势调查驱动的金融人格数据

4.5 1,600+ 职业类别与人格多样性

日本金融人格数据集职业分类树图:1600 个职业类别分布

结构化属性最终决定了语言层面的多样性。下图对 2 万条"金钱担忧人格"描述做 UMAP + HDBSCAN 聚类,可以看到养老、房贷、子女教育、继承等主题自然成簇:

日本金融人格数据集金钱担忧描述聚类图:人格多样性验证

五、数据规模与文件结构:100 万条、50 字段、15 亿 tokens

指标 数值
记录数 1,000,000 条(每条含 9 个人格 → 共 900 万 persona)
字段数 50(9 个人格字段 + 11 个人格属性 + 30 个上下文统计字段)
总 token 约 15 亿(其中人格 token 约 7.5 亿)
不重复姓名 约 95 万
职业类别 1,600+
地域覆盖 日本全部 47 都道府县
总存储 1.39 GB,8 个 parquet 分片
年龄范围 仅 18 岁及以上(成人)

数据本体存放在 data/ 目录,按 8 个分片组织,例如 train-00000-of-00008.parquet 至 train-00007-of-00008.parquet。字段与 token 明细可查阅 README.md 的统计表。

六、使用前的诚实披露:独立性与局限性

  • 独立性假设:在给定居住地(都道府县)与性别时,假设职业与学历相互独立;国势调查也无法提供独立于生物性别的性别(gender)综合统计;
  • 全合成数据:所有数据均为人工合成,即使姓名或描述与真实人物相似也纯属巧合,不代表任何关联;
  • 字段取舍:出于隐私优先,不含 NGC 版的姓名、合成地址等字段,也不含医疗等企业特化人格;
  • 对象限定:仅含 18 岁及以上成年人。

七、快速上手:3 行代码加载数据集

from datasets import load_dataset

nemotron_personas = load_dataset("nvidia/Nemotron-Personas-Finance-Japan", "train")

加载后即可按 age、prefecture、household_financial_assets 等字段筛选特定人群,配合 finance_persona、financial_concerns_persona 等字段生成金融多轮对话数据,用于客户模拟、适配性测试(suitability testing)与红队演练(red-teaming)。数据集采用 CC-BY-4.0 许可,商用与非商用均可自由使用。

八、总结

Nemotron-Personas-Finance-Japan 的种子数据设计思路可以概括为一句话:骨架取自国势调查,钱包来自 J-FLEC 与家計構造調査,名字来自名字由来net,再由概率图模型 + 大模型合成为 900 万个统计保真的日本金融人格。对想构建日语金融 AI 的开发者来说,它最大的价值就是——你拿到的每一个"虚拟客户",都站在真实日本统计分布的肩膀上。

登录后查看全文
Nemotron-Personas-Finance-Japan