掌握分布式应用新纪元:Stateful Functions

在复杂多变的分布式系统世界中,Stateful Functions 是一个基于状态的函数库,旨在简化分布式状态应用程序的开发。它解决了诸如扩展性、一致性状态管理、分布式服务之间的可靠交互以及资源管理等常见挑战。
这个项目的核心构建于强大的 Apache Flink 之上,提供了一种新的抽象方式来构建分布式应用程序和服务。
核心概念
抽象层
Stateful Functions 应用由以下核心组件组成:
- 状态函数:构成应用的基本构建块,它们是通过消息调用的小型逻辑单元。每个函数作为可唯一寻址的虚拟实例存在,由类型和内部独一无二的 ID(字符串)定义。
- 状态:每个虚拟函数实例都有其私有本地状态,可以通过局部变量访问。
- 入口(Ingresses)与出口(Egresses):入口用于事件最初进入应用,而出口则标准化了事件离开应用的方式。路由器(Routers)负责决定事件最初应由哪个功能实例处理。
模块化与可扩展性
模块 是向 Stateful Functions 应用添加基础构建块(如入口、出口、路由器和状态函数)的入口点。一个应用可以结合多个模块,每个模块贡献整体应用的一部分。这使得不同部分的应用可以由不同的模块贡献,促进了团队间的独立工作,但所有部分仍然部署在同一更大的应用上。
开始使用
获取与构建
需求
- Docker
- Maven 3.5.x 或以上
- Java 8 或以上
- 克隆项目并安装依赖:
git clone <repository-url>
mvn clean install
- 构建 Docker 基础镜像(如果计划使用 Docker 部署):
./tools/docker/build-stateful-functions.sh
运行示例
尝试运行预先存在的 Greeter 示例:
cd statefun-examples/statefun-greeter-example
docker-compose build
docker-compose up
发送消息到 names 主题并查看 greetings 的响应以了解示例如何工作。
项目设置
创建一个简单的 Stateful Functions 应用,使用 Maven 快速启动模板:
mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=statefun-quickstart \
-DarchetypeVersion=1.1-SNAPSHOT
然后导入你的IDE进行开发和测试。
IDE 中运行
参考 Harness 示例了解如何在 IDE 中直接运行应用。
部署应用
你可以将 Stateful Functions 应用打包为独立应用或 Flink 作业提交给 Flink 集群。
使用 Docker 镜像部署
创建一个 Dockerfile 来构建应用镜像。
将应用作为 Flink 任务部署
只需简单地将 statefun-flink-distribution 添加为你的应用依赖即可。
参与贡献
如果你对 Stateful Functions 感兴趣或者对其增强有兴趣,欢迎参与进来!你可以从 Apache Flink 网站 学习如何贡献,并在 Jira 上查看 "Stateful Functions" 组件中的社区工作进展。
许可证
本仓库代码遵循 Apache Software License 2 许可。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0191
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0114
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
omega-aiOmega-AI:基于java打造的深度学习框架,帮助你快速搭建神经网络,实现模型推理与训练,引擎支持自动求导,多线程与GPU运算,GPU支持CUDA,CUDNN。Java04
llm-universe本项目是一个面向小白开发者的大模型应用开发教程,在线阅读地址:https://datawhalechina.github.io/llm-universe/Jupyter Notebook08