机器学习艺术入门：使用ml5.js构建DIY神经网络的数据处理教程

前言

在机器学习项目中，数据处理是构建有效模型的关键第一步。本文将以著名的泰坦尼克号乘客生存数据集为例，详细介绍如何为ml5.js DIY神经网络准备数据。我们将从数据获取开始，逐步讲解数据探索、清洗和格式化的全过程。

数据获取阶段

寻找合适的数据集

寻找适合机器学习项目的数据集需要考虑多个因素。优质的数据集通常具备以下特征：

• 清晰的来源和收集目的
• 完整的数据字典（解释各字段含义）
• 合理的样本量和特征数量
• 适度的数据质量（缺失值比例可控）

对于初学者，结构化程度较高的数据集（如泰坦尼克号数据集）是理想的起点。这类数据集通常已经过初步整理，但仍保留了一些真实数据中常见的"瑕疵"，非常适合练习数据清洗技巧。

数据探索与分析

初步数据检查

在Google Sheets中打开原始数据后，我们首先进行以下基础检查：

1. 数据结构检查：

   • 行数：1,310条乘客记录
   • 列数：14个特征变量

2. 变量类型识别：

   • 数值型：年龄(age)、票价(fare)等
   • 类别型：乘客等级(pclass)、性别(sex)等
   • 文本型：姓名(name)、船票编号(ticket)等

3. 数据质量问题：

   • 年龄字段有263个缺失值（标记为"?"）
   • 票价字段有1个缺失值
   • 其他字段完整性较好

特征选择策略

基于模型简洁性和预测效果的平衡，我们选择保留以下核心特征：

• 生存状态(survived)：目标变量（预测是否幸存）
• 乘客等级(pclass)：反映社会经济地位
• 性别(sex)：已知对生存率有显著影响
• 年龄(age)：生命阶段可能影响生存机会
• 票价(fare)：间接反映乘客身份

数据清洗实战

数值型数据处理

1. 票价四舍五入：

   • 使用Google Sheets的格式化功能将票价取整
   • 操作路径：格式 > 数字 > 自定义数字格式

2. 缺失年龄处理：

   • 采用"均值±标准差"范围内的随机数填充
   • 公式示例：

     =IF(E2="?", RANDBETWEEN((AVERAGE(E:E)-STDEV(E:E)),(AVERAGE(E:E)+STDEV(E:E))), IF(E2=E2, E2))
     

   • 这种方法既保持了数据分布特性，又增加了合理波动性

类别型数据转换

ml5.js神经网络对类别型数据的特殊要求：

• 需要将数字编码转换为直观的字符串
• 例如将乘客等级1/2/3转换为"first"/"second"/"third"

转换公式示例：

=IF(A2=1,"first", IF(A2=2,"second", IF(A2=3,"third")))

异常数据处理

对于票价字段的唯一缺失值，简单的处理方式是：

• 直接删除该行记录
• 在样本量足够大的情况下，这种处理对模型影响有限

数据导出准备

最终数据整理步骤

1. 创建新工作表"titanic_clean"
2. 使用"仅粘贴值"方式复制清洗后的数据
3. 移除原始的特征列（保留转换后的版本）
4. 再次检查数值格式一致性

导出为CSV

关键操作：

• 文件 > 下载 > 逗号分隔值(.csv)
• 为文件命名时包含"clean"标识（如titanic_clean.csv）

数据科学最佳实践

1. 版本控制：

   • 始终保持原始数据的独立副本
   • 对每个处理步骤创建中间版本

2. 处理记录：

   • 记录所有数据转换决策（如缺失值处理方式）
   • 这对于结果复现和问题排查至关重要

3. 质量检查：

   • 随机抽样检查转换结果
   • 验证统计特性是否保持合理

结语

通过本教程，我们完成了从原始数据到模型就绪数据的完整处理流程。虽然泰坦尼克号数据集相对规整，但其中涉及的缺失值处理、类型转换等技术同样适用于更复杂的数据场景。记住，良好的数据质量是构建有效机器学习模型的基础，投入在数据准备阶段的时间将在模型性能上获得回报。

现在，您已经准备好使用这份清洗后的数据在ml5.js中训练您的第一个神经网络模型了！