Harness：弹性可扩展的机器学习服务器

Harness是一款基于微服务架构的机器学习服务器，它提供了一个插件引擎API，并实现了所有输入和查询所需的服务。这个平台也支持通用推荐器，一个Harness引擎。

1、项目介绍

Harness通过其单一REST API和命令行界面（CLI），提供了简单易用的管理方式和SDK，可用于事件输入和查询操作。它支持Apache Spark，并且是计算引擎中立的，可以配合任何与JVM兼容的计算引擎，例如Spark、TensorFlow、Vowpal Wabbit等。

2、项目技术分析

架构设计

• 微服务架构：最佳实践服务，实现可扩展、高性能的操作，将内部系统尽可能包装为轻量级微服务。
• 单一REST API：命令行接口简化了管理，SDK支持输入和查询，所有功能都可通过完整的REST API访问。
• Apache Spark集成：支持Spark，方便创建使用MLlib算法的引擎。
• 计算引擎中立：不依赖特定计算引擎或预打包算法库，但支持Spark和 Harness Toolbox。

运行特性

• 可扩展性：通过无限扩展的计算引擎如Spark和数据库如MongoDB处理大型数据集。
• 实时输入验证：引擎提供实时输入验证。
• 客户端支持：Java SDK用于事件和查询REST端点，Python SDK提供所有端点的客户端侧支持并用于Python CLI。
• 命令行接口：以REST API调用的形式实现，安全远程可用。

3、应用场景

• 在线推荐服务： Harness的通用推荐器引擎适用于电商、新闻聚合等实时个性化推荐场景。
• 数据处理：通过Spark的支持，可在后台进行大规模数据预处理和模型构建。
• 企业级应用：通过多租户权限管理，为SaaS系统提供安全、灵活的机器学习服务。

4、项目特点

• 灵活的学习模式：支持在线（Kappa）和批量（Lambda）学习以及两者混合。
• 数据流兼容性：与Apache PredictionIO的数据集兼容，易于迁移升级。
• 高安全性：支持服务器之间使用的bearer令牌认证，授权控制以实现多租户安全隔离。
• 容器化部署：可使用Docker和Docker-compose进行快速安装，也可支持Kubernetes集群部署。

入门准备

Harness的最小配置只需基础的Docker和Docker-compose环境，或者在无容器环境中安装Python、Pip、MongoDB和相关服务。对于源代码构建，还需要Python 3、Pip 3、MongoDB 3.x和一些现代*nix操作系统。

Harness的核心是一个快速轻量级服务器，它提供两个灵活的API，并管理引擎实例。无论单独使用还是组合使用，都能满足不同需求。

现在，就加入 Harness 的行列，利用它的强大功能，搭建自己的机器学习服务吧！