首页
/ Qualitis 开源项目指南

Qualitis 开源项目指南

2024-08-20 06:23:45作者:冯梦姬Eddie

项目介绍

Qualitis 是由 WeBankFinTech 发起的一个开源项目,专注于数据质量管理和治理领域。它提供了一套完整的解决方案,帮助企业和组织确保其数据的准确性、完整性、一致性和时效性。通过 Qualitis,开发者和数据工程师可以更高效地监控和提升数据集的质量,减少因数据质量问题带来的业务风险。

项目快速启动

环境准备

在开始之前,确保你的开发环境已安装了以下组件:

  • Git
  • Java Development Kit (JDK) 1.8 或更高版本
  • Maven

克隆项目

首先,从 GitHub 克隆 Qualitis 项目到本地:

git clone https://github.com/WeBankFinTech/Qualitis.git

构建项目

进入项目目录并执行 Maven 构建命令:

cd Qualitis
mvn clean install

运行服务

构建成功后,你可以启动 Qualitis 应用:

cd qualitis-app/target
java -jar qualitis-app-<version>-SNAPSHOT.jar

这里 <version> 表示具体的版本号,请使用实际构建产生的 jar 包版本替换。

访问 http://localhost:8090 ,你可以看到 Qualitis 的登录界面,标志着快速启动成功。

应用案例和最佳实践

数据质量规则定义

使用 Qualitis,可以通过定义数据质量规则来自动检测数据问题。例如,定义一个简单的规则,检查表中的某个字段是否为空:

ruleName: "字段非空检查"
description: "确保用户ID字段不为空"
ruleType: "COLUMN_RULE"
dataSourceId: "your_data_source_id"
tableName: "users"
columnName: "user_id"
operator: "IS_NOT_NULL"

实践上,你应该根据具体业务需求,设计和实现一系列这样的规则,定期运行以维护数据质量。

典型生态项目

Qualitis 能够与其他数据治理工具和平台集成,形成强大的数据生态系统。比如,它可以与 Apache Atlas 协同工作,增强元数据管理能力,或者通过 Kafka 分发数据质量报告,实现自动化通知流程。这使得 Qualitis 成为企业级数据治理策略中不可或缺的一环,促进数据治理工作的标准化和自动化。


请注意,本指导提供了基础的快速启动流程和概念介绍,具体操作时请参照最新的官方文档以获得最详细和准确的信息。

登录后查看全文
热门项目推荐
相关项目推荐

项目优选

收起
kernelkernel
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
508
547
docsdocs
暂无描述
Markdown
851
5.67 K
kernelkernel
deepin linux kernel
C
33
16
ops-transformerops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
1.04 K
2.47 K
pytorchpytorch
作为 Ascend for PyTorch 社区的核心组件,TorchNPU 是昇腾专为 PyTorch 打造的深度学习适配插件,使 PyTorch 框架能够直接调用昇腾 NPU,为开发者提供昇腾 AI 处理器的超强算力。
Python
838
1.28 K
ops-nnops-nn
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
843
1.69 K
jiuwenswarmjiuwenswarm
JiuwenSwarm 是一款基于openJiuwen开发的智能AI Agent,它能够将大语言模型的强大能力,通过你日常使用的各类通讯应用,直接延伸至你的指尖。
Python
3.16 K
853
ops-mathops-math
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.25 K
1.37 K
AscendNPU-IRAscendNPU-IR
AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优
C++
502
344
cann-learning-hubcann-learning-hub
CANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。
Jupyter Notebook
778
409