HireFire 技术文档
1. 安装指南
1.1 环境要求
- Ruby on Rails 环境
- Heroku 平台
- Delayed Job 或 Resque 作为后台任务处理库
1.2 安装步骤
在 Ruby on Rails 环境中,首先需要在 Gemfile
中添加以下内容:
gem 'rails'
# gem 'delayed_job' # 如果使用 Delayed Job,取消注释此行
# gem 'resque' # 如果使用 Resque,取消注释此行
gem 'hirefire'
注意: 顺序很重要,确保 Delayed Job
或 Resque
在 HireFire
之前。
接下来,设置 Heroku 环境变量,以便 HireFire 可以管理你的 worker:
heroku config:add HIREFIRE_EMAIL=<your_email> HIREFIRE_PASSWORD=<your_password>
这些是你在 Heroku 网页界面中用于管理 worker 的邮箱和密码。你也可以使用 Heroku API 令牌作为 HIREFIRE_PASSWORD
的值。你可以通过 Heroku UI 或 CLI 命令 heroku auth:token
获取 API 令牌。
2. 项目的使用说明
2.1 默认配置
完成上述安装步骤后,默认配置已经设置完成。你可能需要根据应用程序的需求调整自动扩展配置。创建一个初始化文件(或在启动时加载的类似配置文件),并配置 HireFire 的扩展行为:
# Rails.root/config/initializers/hirefire.rb
HireFire.configure do |config|
config.environment = nil # 生产环境默认为 :heroku,开发环境默认为 :noop
config.max_workers = 5 # 默认值为 1
config.min_workers = 0 # 默认值为 0
config.job_worker_ratio = [
{ :jobs => 1, :workers => 1 },
{ :jobs => 15, :workers => 2 },
{ :jobs => 35, :workers => 3 },
{ :jobs => 60, :workers => 4 },
{ :jobs => 80, :workers => 5 }
]
end
2.2 配置解释
上述配置确保你最多同时运行 5 个 worker (config.max_workers = 5
)。然后我们定义了一个哈希数组,表示 job 与 worker 的比例关系。例如:
- 当队列中有 1-14 个 job 时,启动 1 个 worker
- 当队列中有 15-34 个 job 时,启动 2 个 worker
- 当队列中有 35-59 个 job 时,启动 3 个 worker
- 当队列中有 60-79 个 job 时,启动 4 个 worker
- 当队列中有 80 个以上 job 时,启动 5 个 worker
当队列中的所有 job 处理完毕后,所有 worker 将被关闭,下次有新 job 入队时,重新启动一个 worker。
2.3 非 Ruby on Rails 环境
在非 Ruby on Rails 环境中,设置几乎相同,只是需要在 Delayed Job
或 Resque
加载完成后手动初始化 HireFire:
require 'delayed_job'
# require 'delayed_job' # 如果使用 Delayed Job,取消注释此行
# require 'resque' # 如果使用 Resque,取消注释此行
HireFire::Initializer.initialize!
注意: 顺序同样重要,确保 Delayed Job
或 Resque
在 HireFire
之前。
3. 项目 API 使用文档
3.1 配置 API
HireFire 提供了灵活的配置 API,允许你根据应用程序的需求自定义扩展行为。以下是一些常用的配置选项:
config.environment
: 设置环境,默认为:heroku
(生产环境)或:noop
(开发环境)。config.max_workers
: 设置最大 worker 数量,默认为 1。config.min_workers
: 设置最小 worker 数量,默认为 0。config.job_worker_ratio
: 定义 job 与 worker 的比例关系。
3.2 动态配置
你还可以使用 Lambda 表达式动态定义 job 与 worker 的比例关系:
HireFire.configure do |config|
config.max_workers = 5
config.job_worker_ratio = [
{ :when => lambda {|jobs| jobs < 15 }, :workers => 1 },
{ :when => lambda {|jobs| jobs < 35 }, :workers => 2 },
{ :when => lambda {|jobs| jobs < 60 }, :workers => 3 },
{ :when => lambda {|jobs| jobs < 80 }, :workers => 4 }
]
end
4. 项目安装方式
4.1 通过 Gemfile 安装
在 Ruby on Rails 项目中,通过 Gemfile
安装 HireFire:
gem 'hirefire'
然后运行 bundle install
安装依赖。
4.2 手动安装
在非 Ruby on Rails 环境中,可以通过以下命令手动安装 HireFire:
gem install hirefire
然后在应用程序中手动初始化 HireFire。
5. 常见问题解答
-
问题: 当有新 job 入队时,是否会立即启动 worker?
- 回答: 是的,一旦有新 job 入队,HireFire 会立即计算所需的 worker 数量并启动相应数量的 worker。
-
问题: 当没有 job 需要处理时,是否会立即停止 worker?
- 回答: 是的,每个 worker 都会自动检测是否有 job 需要处理。如果没有 job 需要处理,所有 worker 将立即停止。
-
问题: 如何节省成本?
- 回答: 根据 Heroku 的文档,Worker(与 Dyno 相同)是按秒计费的。例如,如果有 10 个 job 入队,启动一个 worker 处理这些 job 并在一分钟内完成,理论上你只需支付 $0.0008。
-
问题: 如果 job 设置为在未来某个时间运行,worker 是否会保持启动状态等待该 job?
- 回答: 不会,因为如果你将一个 job 设置为 3 小时后运行,worker 可能会在这 3 小时内无所事事。建议避免在未来时间调度 job。
-
问题: 是否会从 5 个 worker 缩减到 4 个 worker?
- 回答: 不会,因为无法确定哪个 worker 正在处理 job,可能会终止正在处理 job 的 worker,导致 job 处理中断。此外,job 会更快处理完毕,一旦队列为空,所有 worker 都会被终止。
通过本文档,你应该能够顺利安装、配置并使用 HireFire 来管理你的 Heroku worker,从而实现自动扩展和成本优化。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0369Hunyuan3D-Part
腾讯混元3D-Part00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++095AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
热门内容推荐
最新内容推荐
项目优选









