整体LLVM在Go中的实现：gllvm

项目简介

gllvm是一个专为构建整体程序（或整个库）的LLVM位码文件设计的工具，它可作为wllvm的直接替代品，具备并行构建位码的能力，运行速度更快。通过对比构建Linux内核，你可以明显感受到两者的差异。

快速上手：命令对比表

以下是gllvm与wllvm命令的快速对照：

wllvm命令/环境变量	gllvm命令/环境变量
wllvm	gclang
wllvm++	gclang++
wfortran	gflang
extract-bc	get-bc
wllvm-sanity-checker	gsanity-check
LLVM_COMPILER_PATH	LLVM_COMPILER_PATH
LLVM_CC_NAME ...	LLVM_CC_NAME ...
	LLVM_F_NAME
WLLVM_CONFIGURE_ONLY	WLLVM_CONFIGURE_ONLY
WLLVM_OUTPUT_LEVEL	WLLVM_OUTPUT_LEVEL
WLLVM_OUTPUT_FILE	WLLVM_OUTPUT_FILE
LLVM_COMPILER	不支持（仅限于clang）
LLVM_GCC_PREFIX	不支持（仅限于clang）
LLVM_DRAGONEGG_PLUGIN	不支持（仅限于clang）
LLVM_LINK_FLAGS	LLVM_LINK_FLAGS

此项目以Go语言重新实现了wllvm，适用于*nix平台，如Linux、FreeBSD和Mac OS X。它提供了用于编译C或C++源代码包的整体程序位码构建工具。

预备条件与安装

要安装gllvm，你需要先装有Go语言工具链。而使用gllvm则需要安装clang/clang++/flang以及LLVM工具，包括llvm-link和llvm-ar。gllvm对LLVM版本不敏感，但依赖标准构建工具如objcopy和ld。

安装步骤如下：

go get github.com/SRI-CSL/gllvm/cmd/...

这将会在你的$GOPATH/bin目录下安装gclang、gclang++、gflang、get-bc、gparse和gsanity-check等六个二进制文件。

如果你正在使用go 1.16，可能需要这样安装：

GO111MODULE=off go get github.com/SRI-CSL/gllvm/cmd/...

希望我们能很快解决这个问题（参考：github.com/golang/go/issues/44776）。

使用指南

gclang和gclang++是用于C和C++的编译器包装器，gflang则是Fortran的编译器包装器。get-bc用于从构建产物中提取位码，gsanity-check用于检测配置错误，而gparse可以解析gllvm如何处理编译器/链接器指令。

举个简单的例子，假设你的系统中有clang，可以通过以下步骤构建pkg-config的位码：

tar xf pkg-config-0.26.tar.gz
cd pkg-config-0.26
CC=gclang ./configure
make

完成后将产生可执行文件pkg-config。要提取位码，只需：

get-bc pkg-config

这会产生名为pkg-config.bc的位码模块。更多关于这个示例的信息，可参考这里。

进阶配置

如果clang和其他LLVM工具不在PATH中，需设置一些环境变量：

• LLVM_COMPILER_PATH：指定包含编译器和其他所需LLVM工具的绝对路径。
• LLVM_CC_NAME：如果您的clang编译器不是clang，而是类似clang-3.7，则使用该变量进行设置。同样，LLVM_CXX_NAME和LLVM_F_NAME用于描述C++和Fortran编译器的名称。还注意到环境变量LLVM_LINK_NAME和LLVM_AR_NAME也有类似用途。

另一个有用且有时必要的环境变量是WLLVM_CONFIGURE_ONLY。

• WLLVM_CONFIGURE_ONLY：设置任意值。当设置时，gclang和gclang++会像正常编译器一样工作，不会生成位码。这有时在配置构建时是必需的。

提取位码

get-bc工具用于从构建产物（如可执行文件、对象文件、薄归档、归档或库）中提取位码。最简单的情况就像上面那样操作。对于归档或库，可以选择是否生成位码模块还是位码归档，这由-b开关控制。

还有其他有用的开关，例如-h开关，列出所有命令行选项。由于我们使用了golang的flag模块，因此这些开关必须放在目标路径之前。

在存储中保存位码文件

有时，由于特殊的构建系统，保存构建过程中产生的位码文件可能会很有用，无论是为了防止删除还是以后检索。如果环境变量WLLVM_BC_STORE设为已存在的目录的绝对路径，那么gllvm将在该目录中复制产生的位码文件。复制的位码文件名是原始位码文件路径的哈希。如果同时使用了manifest功能和存储，manifest将包含原始路径和存储路径。

调试

gllvm工具可以显示不同级别的输出，帮助调试。通过设置WLLVM_OUTPUT_LEVEL环境变量到以下级别之一：

• 错误
• 警告
• 审计
• 信息
• 调试

例如：

export WLLVM_OUTPUT_LEVEL=DEBUG

输出将被定向到标准错误流，除非您通过WLLVM_OUTPUT_FILE环境变量指定了日志文件的路径。

审计级别（新添加于2022年）只记录编译器调用，指出每个调用是“编译”还是“链接”，使用的编译器以及提供的参数。

例如：

export WLLVM_OUTPUT_FILE=/tmp/gllvm.log

去除“龙”

gllvm不支持dragonegg插件。

疑难解答检查

太多的环境变量？试试做一次健全性检查：

gsanity-check

它可能会指出问题所在。

內部机制

gllvm和wllvm工具集都做了相似的事情，但实现方式略有不同。gllvm的代码库是用Go语言编写，大部分源自wllvm的Python代码库。

两者都会使用编译器生成对象文件和位码文件。wllvm可以使用gcc和dragonegg，而gllvm仅使用clang。gllvm工具集在并行中完成这两项任务，而wllvm则是顺序进行。这种并行处理加上Python的fork exec较慢以及解释型性质，造成了两者之间效率的巨大差距。

两者都在对象文件中注入位码版本的.o文件的路径。这段段落对两个工具集都是通用的，所以无论哪个工具集都可以提取位码。在*nix上，两者都使用objcopy来添加段落，而在OS X上，则使用ld。

当对象文件链接成最终库或可执行文件时，位码路径段会被附加，使得最终二进制文件包含构成二进制的所有位码文件的路径。然后，两个工具集都会使用llvm-link或llvm-ar结合位码文件到所需的格式。

内部自定义

您可以通过设置GLLVM_OBJCOPY和GLLVM_LD环境变量指定gllvm用来操纵工件的确切objcopy和ld版本。想要了解更多gllvm内部详情，尝试以下命令：

gsanity-check -e

自定义位码生成（如LTO）

在某些情况下，可能需要向clang传递特定标志以进行位码级别的优化（LTO）。通过这种方式，可以适应不同的构建需求。