embeddings 的项目扩展与二次开发

项目的基础介绍

本项目是纽约大学的研究人员发表在2016年AMIA临床研究信息学峰会（CRI）上的一篇论文的配套代码，题目为“学习医学概念的低维表示”。项目旨在通过大型医疗数据集学习诊断代码、程序代码、药物代码和实验室代码的低维表示，以帮助改善医疗数据的分析和理解。

项目的核心功能

项目的核心功能是提供了三种不同数据集的医学概念的低维嵌入表示，包括：

• claims_codes_hs_300.txt.gz：基于近4百万人的2005年至2013年大型索赔数据集得到的ICD-9诊断和程序代码、NDC药物代码和LOINC实验室代码的嵌入。
• stanford_cuis_svd_300.txt.gz：基于斯坦福医院和诊所19年数据集中的2000万份临床笔记得到的UMLS概念唯一标识符（CUIs）的嵌入。
• DeVine_etal_200.txt.gz：基于348,566篇医学期刊摘要得到的UMLS CUIs的嵌入。

此外，项目还包含了用于评估和可视化这些嵌入表示的工具。

项目使用了哪些框架或库？

本项目主要使用了Python语言，依赖的框架或库包括：

• numpy：用于高效的数值计算。
• scikit-learn：用于数据挖掘和数据分析。
• matplotlib和seaborn：用于数据可视化。
• IPython：用于交互式计算。

项目的代码目录及介绍

项目的代码目录结构如下：

• eval：包含用于评估嵌入表示的Jupyter笔记本和Python脚本。
• embeddings：包含论文中提到的三种嵌入表示文件。
• README.md：项目的说明文档。
• LICENSE：项目的开源协议文件。

对项目进行扩展或者二次开发的方向

1. 增加新的数据源：可以尝试将其他类型的医疗数据（如电子健康记录、医学影像等）纳入模型训练，以丰富嵌入表示的维度和深度。

2. 改进嵌入模型：可以尝试使用更先进的机器学习模型，如深度学习网络，来生成嵌入表示，以提高模型的性能和预测能力。

3. 扩展评估工具：可以增加更多评估指标和可视化方法，以更全面地评估和比较不同嵌入表示的性能。

4. 开发应用场景：基于这些嵌入表示，可以开发面向特定应用场景的工具，如疾病预测、药物推荐或患者分组等。

通过这些扩展和二次开发，本项目有望在医疗数据的分析和应用中发挥更大的作用。