PySR项目实战：符号回归技术详解与示例解析

前言

符号回归(Symbolic Regression)是一种强大的机器学习技术，它能够从数据中自动发现数学表达式，而无需预先指定模型形式。PySR作为一款高效的符号回归工具，提供了丰富的功能和灵活的配置选项。本文将深入解析PySR的核心功能，并通过实际示例展示其应用场景。

环境准备

首先需要导入必要的Python库：

import numpy as np
from pysr import *

基础应用示例

1. 简单符号搜索

最基本的应用场景是从数据中发现数学关系式。以下示例展示了如何发现表达式2 cos(x3) + x0^2 - 2：

# 生成随机数据
X = 2 * np.random.randn(100, 5)
y = 2 * np.cos(X[:, 3]) + X[:, 0] ** 2 - 2

# 创建并训练模型
model = PySRRegressor(binary_operators=["+", "-", "*", "/"])
model.fit(X, y)
print(model)

这个例子展示了PySR的基本工作流程：生成数据、配置运算符、训练模型和输出结果。

2. 自定义运算符

PySR允许用户定义自己的运算符，这在处理特殊数学关系时非常有用：

X = 2 * np.random.randn(100, 5)
y = 1 / X[:, 0]

model = PySRRegressor(
    binary_operators=["+", "*"],
    unary_operators=["inv(x) = 1/x"],  # 自定义倒数运算符
    extra_sympy_mappings={"inv": lambda x: 1/x},  # 为SymPy定义映射
)
model.fit(X, y)

进阶功能

3. 多输出回归

PySR支持同时发现多个输出变量的表达式：

X = 2 * np.random.randn(100, 5)
y = 1 / X[:, [0, 1, 2]]  # 三个输出变量

model = PySRRegressor(
    binary_operators=["+", "*"],
    unary_operators=["inv(x) = 1/x"],
)
model.fit(X, y)

4. 结果可视化

分析回归结果时，可视化是重要手段：

from matplotlib import pyplot as plt

# 绘制预测值与真实值的对比
plt.scatter(y[:, 0], model.predict(X)[:, 0])
plt.xlabel('真实值')
plt.ylabel('预测值')
plt.show()

还可以输出LaTeX格式的表达式用于学术论文：

model.latex()[0]  # 第一个输出变量的LaTeX表达式

实用技巧

5. 特征选择

面对高维数据时，特征选择至关重要：

X = np.random.randn(300, 30)  # 30个特征
y = X[:, 3]**2 - X[:, 19]**2 + 1.5  # 仅使用2个特征

model = PySRRegressor(
    binary_operators=["+", "-", "*", "/"],
    unary_operators=["exp"],
    select_k_features=5,  # 自动选择最重要的5个特征
)
model.fit(X, y)

6. 数据去噪

对于含噪声数据，PySR提供去噪选项：

X = np.random.randn(100, 5)
noise = np.random.randn(100) * 0.1
y = np.exp(X[:, 0]) + X[:, 1] + X[:, 2] + noise

model = PySRRegressor(
    binary_operators=["+", "-", "*", "/"],
    unary_operators=["exp"],
    denoise=True,  # 启用去噪
)
model.fit(X, y)

高级应用

7. 使用Julia扩展功能

PySR基于Julia后端，可以无缝集成Julia生态：

from pysr import jl

# 安装并使用Julia的Primes包
jl.seval("""
import Pkg
Pkg.add("Primes")
import Primes
""")

# 定义素数计算函数
jl.seval("""
function p(i::T) where T
    if (0.5 < i < 1000)
        return T(Primes.prime(round(Int, i)))
    else
        return T(NaN)
    end
end
""")

# 创建数据集
primes = {i: jl.p(i*1.0) for i in range(1, 999)}
X = np.random.randint(0, 100, 100)[:, None]
y = [primes[3*X[i, 0] + 1] - 5 + np.random.randn()*0.001 for i in range(100)]

# 配置并训练模型
model = PySRRegressor(
    binary_operators=["+", "-", "*", "/"],
    unary_operators=["p"],
    niterations=100
)
model.fit(X, y)

8. 复数运算

PySR支持复数运算：

X = np.random.randn(100, 1) + 1j * np.random.randn(100, 1)
y = (1 + 2j) * np.cos(X[:, 0] * (0.5 - 0.2j))

model = PySRRegressor(
    binary_operators=["+", "-", "*"],
    unary_operators=["cos"],
    niterations=100,
)
model.fit(X, y)

9. 自定义目标函数

用户可以完全自定义优化目标：

objective = """
function my_custom_objective(tree, dataset::Dataset{T,L}, options) where {T,L}
    # 自定义目标函数实现
    # ...
    return loss_value
"""

model = PySRRegressor(
    loss_function=objective,
    # 其他配置...
)

10. 量纲分析

对于物理问题，可以加入量纲约束：

model = PySRRegressor(
    dimensional_constraint_penalty=10**5,  # 量纲违规惩罚系数
    # 其他配置...
)

model.fit(
    X, y,
    X_units=["kg", "m"],  # 输入变量单位
    y_units="m/s^2"       # 输出变量单位
)

结构化表达式

PySR 1.0引入了强大的表达式规范功能：

模板表达式

from pysr import TemplateExpressionSpec

template = TemplateExpressionSpec(
    expressions=["f", "g"],
    variable_names=["x1", "x2", "x3"],
    combine="sin(f(x1, x2)) + g(x3)",  # 定义表达式结构
)

model = PySRRegressor(
    expression_spec=template,
    # 其他配置...
)

参数化表达式

对于分类数据，可以学习类别特定的参数：

template = TemplateExpressionSpec(
    expressions=["f"],
    variable_names=["x1", "x2", "category"],
    parameters={"p1": 3, "p2": 3},  # 每个类别一个参数
    combine="f(x1, x2, p1[category], p2[category])"
)

性能监控

使用TensorBoard监控训练过程：

from pysr import TensorBoardLoggerSpec

model = PySRRegressor(
    logger=TensorBoardLoggerSpec(log_dir="logs"),
    # 其他配置...
)

结语

PySR作为一款强大的符号回归工具，从简单的数学表达式发现到复杂的结构化模型学习，提供了全面的解决方案。通过本文的示例，读者可以掌握PySR的核心功能和应用技巧，为解决实际问题奠定基础。无论是科学研究还是工程应用，PySR都能帮助用户从数据中发现有价值的数学关系。