如何在meta-sca项目中添加自定义代码检查模块

概述

本文将详细介绍如何在meta-sca项目中集成自定义的代码检查工具。meta-sca是一个基于Yocto项目的静态代码分析框架，它允许开发者将各种代码检查工具集成到构建系统中，在编译过程中自动执行代码质量检查。

准备工作

在开始集成前，需要确保以下几点：

1. 你的代码检查工具已经以原生工具(native-tool)的形式存在
2. 工具最好能支持以下特性：
   • 可以接受多个文件作为输入参数
   • 每个检查结果输出为单独一行
   • 输出到标准输出(stdout)

为了便于说明，我们假设要集成的工具名为myfoolint，对应的配方(recipe)名为myfoolint-native。

工具描述文件

所有工具都需要一个JSON格式的描述文件来定义其特性。对于myfoolint工具，需要在配方作用域下创建myfoolint.sca.description文件。

在配方文件中添加以下内容：

inherit sca-description
SCA_TOOL_DESCRIPTION = "myfoolint"

描述文件内容

描述文件JSON结构如下：

{
    "buildspeed": 7,
    "execspeed": 10,
    "languages": ["example"],
    "quality": 8,
    "scope": ["style"],
    "score": {
        "style": ["myfoolint.myfoolint..*"]
    }
}

各字段含义：

• buildspeed: 工具构建速度评分(0-10)
• execspeed: 工具执行速度评分(0-10)
• languages: 支持的语言列表(小写)
• quality: 检查结果质量评分(0-10)
• scope: 检查范围(security/functional/compliance/style)
• score: 将检查结果ID映射到特定范围

创建SCA类

基础类结构

在层的classes目录下创建sca-myfoolint.bbclass文件，基本结构如下：

SCA_MYFOOLINT_EXTRA_SUPPRESS ?= ""
SCA_MYFOOLINT_EXTRA_FATAL ?= ""

SCA_RAW_RESULT_FILE[myfoolint] = "txt"

inherit sca-conv-to-export
inherit sca-datamodel
inherit sca-global
inherit sca-helper
inherit sca-suppress
inherit sca-tracefiles

def do_sca_conv_myfoolint(d):
    ...

python do_sca_myfoolint() {
    ...
}

python do_sca_myfoolint_report() {
    ...
}

addtask do_sca_myfoolint after do_configure before do_sca_tracefiles
addtask do_sca_myfoolint_report after do_sca_tracefiles before do_sca_deploy

DEPENDS += "\
            myfoolint-native \
            sca-recipe-myfoolint-rules-native \
           "

规则配方

需要创建一个规则配方来提供suppress和fatal文件：

1. 创建目录结构：recipes-sca-rules/sca-recipe-myfoolint-rules-native/
2. 创建空文件：
   • files/suppress
   • files/fatal
3. 配方文件内容：

SUMMARY = "SCA ruleset for myfoolint at recipes"
DESCRIPTION = "Rules to configure how myfoolint is affecting the build"

SRC_URI = "file://suppress \
           file://fatal"

LICENSE = "BSD-2-Clause"
LIC_FILES_CHKSUM = "file://${SCA_LAYERDIR}/LICENSE;md5=a4a2bbea1db029f21b3a328c7a059172"

inherit_defer native

do_install() {
    install -d "${D}${datadir}"
    install "${WORKDIR}/fatal" "${D}${datadir}/myfoolint-recipe-fatal"
    install "${WORKDIR}/suppress" "${D}${datadir}/myfoolint-recipe-suppress"
}

FILES:${PN} = "${datadir}"

实现SCA类功能

实现检查任务

do_sca_myfoolint任务负责执行实际的代码检查：

python do_sca_myfoolint() {
    import os
    import subprocess
    
    _args = ["myfoolint"]
    
    _files = get_files_by_extention(d,
                                    d.getVar("SCA_SOURCES_DIR"),
                                    ".example",
                                    sca_filter_files(d, d.getVar("SCA_SOURCES_DIR"), 
                                    clean_split(d, "SCA_FILE_FILTER_EXTRA")))

    cmd_output = exec_wrap_check_output(_args, _files)

    with open(sca_raw_result_file(d, "myfoolint"), "w") as o:
        o.write(cmd_output)
}

实现报告任务

do_sca_myfoolint_report任务处理检查结果：

python do_sca_myfoolint_report() {
    d.setVar("SCA_DATAMODEL_STORAGE", "{}/myfoolint.dm".format(d.getVar("T")))
    dm_output = do_sca_conv_myfoolint(d)
    with open(d.getVar("SCA_DATAMODEL_STORAGE"), "w") as o:
        o.write(dm_output)

    sca_task_aftermath(d, "myfoolint", get_fatal_entries(d, "SCA_MYFOOLINT_EXTRA_SUPPRESS", 
                       d.expand("${STAGING_DATADIR_NATIVE}/myfoolint-${SCA_MODE}-suppress")))
}

实现结果转换器

转换器负责将工具原始输出转换为SCA数据模型：

def do_sca_conv_myfoolint(d):
    import os
    import re

    package_name = d.getVar("PN")
    buildpath = d.getVar("SCA_SOURCES_DIR")

    items = []
    pattern = r"^(?P<file>.*):(?P<severity>WARNING|ERROR|INFO):(?P<line>\d+):(?P<column>\d+)\s+\[(?P<id>.*)\]:\s+(?P<msg>.*)"

    severity_map = {
        "ERROR" : "error",
        "WARNING" : "warning",
        "INFO": "info"
    }

    _suppress = sca_suppress_init(d, "SCA_MYFOOLINT_EXTRA_FATAL",
                                  d.expand("${STAGING_DATADIR_NATIVE}/myfoolint-${SCA_MODE}-fatal"))
    _findings = []

    if os.path.exists(sca_raw_result_file(d, "myfoolint")):
        with open(sca_raw_result_file(d, "myfoolint")) as f:
            for m in re.finditer(pattern, f.read(), re.MULTILINE):
                try:
                    g = sca_get_model_class(d,
                                            PackageName=package_name,
                                            Tool="myfoolint",
                                            BuildPath=buildpath,
                                            File=m.group("file"),
                                            Line=m.group("line"),
                                            Column=m.group("column"),
                                            Message=m.group("msg"),
                                            ID=m.group("id"),
                                            Severity=severity_map[m.group("severity")])
                    if _suppress.Suppressed(g):
                        continue
                    if g.Scope not in clean_split(d, "SCA_SCOPE_FILTER"):
                        continue
                    if g.Severity in sca_allowed_warning_level(d):
                        _findings += sca_backtrack_findings(d, g)
                except Exception as e:
                    sca_log_note(d, str(e))
    
    sca_add_model_class_list(d, _findings)
    return sca_save_model_to_string(d)

全局配置

最后，在全局配置中启用你的模块：

SCA_AVAILABLE_MODULES += "myfoolint"
SCA_ENABLED_MODULES_RECIPE += "myfoolint"
SCA_BLOCKLIST_myfoolint = ""

为SDK用户提供工具

如果需要让工具在SDK中可用：

1. 生成SDK配方：

   path/to/meta-sca/scripts/sdk-gen --ignores=path/to/meta-sca/.nonsdkable recipes-lint/myfoolint/
   

2. 添加到包组： 在packagegroups/nativesdk-sca-tools.bb中添加：

   RDEPENDS:${PN} += "nativesdk-myfoolint"
   

通过以上步骤，你就成功地将自定义代码检查工具集成到了meta-sca框架中，可以在Yocto构建过程中自动执行代码质量检查了。