【亲测免费】 Hopsworks：一款数据密集型AI平台与特性仓库

1. 项目基础介绍与主要编程语言

Hopsworks 是一个由 Logical Clocks 公司开发的开源数据平台，专注于机器学习（ML）领域。该平台提供了一个以 Python 为中心的特性仓库（Feature Store）以及 MLOps 功能。Hopsworks 采用模块化设计，可以作为一个独立的特性仓库使用，也可以用来管理、治理和提供模型服务，甚至可以开发和管理特征管道和训练管道。项目主要使用 Java、Scala 和 Python 编程语言。

2. 项目的核心功能

• 项目基础架构：Hopsworks 提供基于项目的多租户架构，允许团队在安全沙盒中协作和共享机器学习资产。
• 特性仓库：平台内置特性仓库，支持特征组、特征视图和连接器的管理，为机器学习模型提供数据支持。
• MLOps 功能：涵盖模型注册、服务和部署，支持整个机器学习生命周期的管理。
• 开发与运营工具：提供数据科学开发工具，包括 Python 的 conda 环境、Jupyter 笔记本、作业等，支持在 Airflow 上构建生产管道，以及使用 GPU 进行模型训练。
• 跨平台支持：Hopsworks 可以在 AWS、Azure 和 GCP 等云平台以及任何基于 Linux 的虚拟机上运行，甚至支持在无网络连接的数据中心部署。

3. 项目最近更新的功能

• 增强的协作功能：Hopsworks 进一步提升了项目级别的协作和共享能力，允许在共享集群中存储敏感数据，同时保持对 ML 资产的精细化管理。
• 弹性工作支持：支持在云环境中动态添加或移除工作节点，增强了 Spark、Spark Streaming 和 Flink 程序的弹性运行能力。
• 安全性提升：对安全策略进行了更新，增强了数据保护和隐私保护功能。
• 文档和教程更新：更新了用户指南、特性仓库文档和行政指南，以及提供了新的教程，帮助用户更好地理解和使用平台。

Hopsworks 作为一个功能丰富且不断进化的平台，为机器学习工程师和数据科学家提供了一个强大的工具集，以推动 AI 的创新和应用。