如何用 matminer + scikit-learn 构建材料属性预测模型:从数据获取到特征重要性 6 步走

原创2026-11-13 14:09:081,957 阅读
文章标签:特征工程科学计算数据分析机器学习数据集

如何用 matminer + scikit-learn 构建材料属性预测模型:从数据获取到特征重要性 6 步走

matminer 是专为材料科学打造的开源数据挖掘工具包,搭配 scikit-learn 即可用不到 1 小时搭建一个完整的材料属性预测模型:从 Materials Project 一键拉取约 6000 条体模量(bulk modulus)数据,自动生成材料特征,再用线性回归与随机森林建模、评估并分析特征重要性。本文以预测材料体模量为案例,带你 6 步走完这条机器学习流水线 🚀

为什么选择 matminer 做材料属性预测?

matminer 把材料数据挖掘中最繁琐的三件事封装成了标准组件:

环节 matminer 提供的能力 源码位置
数据获取 对接 Materials Project、AFLOW、MDF 等材料数据库,直接返回 pandas DataFrame retrieve_MP.py
特征工程 数百种 featurizer,把化学式、晶体结构、能带转为数值特征 composition/、structure/
内置数据集 社区贡献的常用材料数据集离线加载 dataset_retrieval.py

matminer 材料数据挖掘流程:数据获取、特征提取、机器学习建模与可视化

整体思路非常清晰:数据库 → 特征表 → scikit-learn 模型 → 结果分析。下面进入实操。

第 1 步:快速安装 matminer

matminer 要求 Python 3.11+,建议使用虚拟环境(conda 或 venv)隔离依赖。最快的安装方式就一行命令:

pip install matminer

如果需要在源码级别开发,也可以克隆仓库后以开发模式安装:

git clone https://gitcode.com/gh_mirrors/ma/matminer
cd matminer
pip install -r requirements/ubuntu-latest_py3.11.txt
pip install -e .

安装说明详见官方文档 installation.rst。同时请提前准备好 scikit-learn(pip install scikit-learn)和 pymatgen,它们是建模与解析化学式的基础。

第 2 步:一键获取材料数据库数据

使用 matminer 的 MPDataRetrieval 适配器,只需指定筛选条件与想要的属性,就能把 Materials Project 中约 6000 条含体模量(K_VRH)的材料数据拉成 DataFrame:

from matminer.data_retrieval.retrieve_MP import MPDataRetrieval

mpr = MPDataRetrieval(api_key)   # 填入你的 MP API key

criteria = {'elasticity.K_VRH': {'$ne': None}}
properties = ['pretty_formula', 'elasticity.K_VRH',
              'formation_energy_per_atom', 'band_gap',
              'density', 'volume', 'nsites']
df_mp = mpr.get_dataframe(criteria=criteria, properties=properties)

拿到数据后先用 df_mp.head() 和 df_mp.describe() 快速浏览分布,再过滤掉不稳定条目与负体模量:

df_mp = df_mp[(df_mp['elasticity.K_VRH'] > 0)
              & (df_mp['e_above_hull'] < 0.1)]

💡 提示:这一步的关键是数据质量——离 Hull 太远的条目(e_above_hull 大)往往结构不稳定,会显著拖累模型。

第 3 步:特征工程——把化学式变成数字

机器学习不认识 "Fe2O3" 这样的化学式,matminer 的 featurizer 就是干这个的:它基于每个组成元素的属性(电负性、原子半径、熔点等)统计出 mean、std_dev 等描述符,自动追加到 DataFrame 中。

matminer 特征工程示意图:从成分、晶体结构与能带输入生成 pandas 特征表

以 ElementProperty 为例,几行代码即可为每个材料生成 14 个成分特征:

from matminer.featurizers.composition import ElementProperty
from pymatgen import Composition

df_mp["composition"] = df_mp['pretty_formula'].map(Composition)
ep = ElementProperty(features=['atomic_mass', 'atomic_radius',
                              'boiling_point', 'melting_point', 'X'],
                     stats=['mean', 'std_dev'])
df_mp = ep.featurize_dataframe(df_mp, "composition")
df_mp = df_mp.dropna()

featurizer 的完整清单可查看文档 featurizer_summary.rst,composition/、structure/、site/ 三大目录覆盖了绝大多数材料表征需求。

第 4 步:训练线性回归基线模型

先建立基线:以体模量为目标列 y,其余数值列为特征 X,用 scikit-learn 的 LinearRegression 拟合,并用 10 折交叉验证检查泛化能力:

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score

y = df_mp['elasticity.K_VRH'].values
lr = LinearRegression().fit(X, y)
print('R2 =', round(lr.score(X, y), 3))

scores = cross_val_score(lr, X, y, scoring='mean_squared_error',
                         cv=KFold(n_splits=10, shuffle=True, random_state=1))

官方示例中线性回归即可达到 R² ≈ 0.80,RMSE ≈ 33 GPa,预测值与 DFT 计算值呈明显的 1:1 关系:

matminer 线性回归模型预测材料体模量的散点图,R² 约 0.8

第 5 步:升级随机森林模型

线性关系解释不了的复杂效应交给树模型。RandomForestRegressor 同样几行搞定,交叉验证 RMSE 从 33 GPa 降至 约 20 GPa:

from sklearn.ensemble import RandomForestRegressor

rf = RandomForestRegressor(n_estimators=50, random_state=1).fit(X, y)
print('R2 =', round(rf.score(X, y), 3))   # ≈ 0.988

matminer 随机森林模型预测材料体模量的散点图,R² 约 0.99

第 6 步:解读特征重要性,回答"为什么"

材料科学建模最有价值的产出往往不是精度本身,而是哪些物理量在驱动性质。随机森林的 feature_importances_ 直接给出答案:

matminer 随机森林模型中各材料特征的重要性条形图:平均熔点与每原子体积贡献最大

结果一目了然:**平均熔点(mean melting_point)与每原子体积(vpa)**是最重要的两个特征,密度和平均沸点次之,而带隙、晶系信息几乎不贡献。这与"强键合、致密的材料体模量高"的直觉完全吻合——你的模型学到了真实物理规律 🎯

总结:6 步流水线速查

  1. 安装:pip install matminer(Python 3.11+)
  2. 取数:MPDataRetrieval 一键拉取数据库
  3. 清洗:过滤不稳定条目与异常值
  4. 特征:featurizer 把化学式转为描述符
  5. 建模:LinearRegression 基线 → RandomForest 进阶
  6. 解读:feature_importances_ 提炼物理洞察

完整的官方教程源码见 example_bulkmod.rst,约 30 分钟即可跑通全流程。换成热导率、形成能、带隙等其他属性,只需替换 properties 列名即可复用同一套流水线。

登录后查看全文
matminer