首页
/ Cassandra分布式测试(DTests)技术文档

Cassandra分布式测试(DTests)技术文档

2024-12-23 20:12:11作者:庞眉杨Will

1. 安装指南

环境依赖

在开始运行DTests之前,需要安装一些必要的依赖项。以下是所需的依赖项:

  • Python 3
  • PIP for Python 3
  • libev
  • git
  • JDK 8 (Java)

Linux 系统

在Linux系统上,可以通过以下命令安装所需的依赖项:

apt-get install git-core python3 python3-pip python3-dev libev4 libev-dev

可选步骤(解决警告:“jemalloc共享库无法预加载以加速内存分配”):

apt-get install -y --no-install-recommends libjemalloc1

Mac 系统

在Mac系统上,推荐安装最新的Xcode和命令行工具,并使用Homebrew来安装依赖项:

brew install python3 libev

Python 依赖

DTests还需要一些外部的Python依赖项。这些依赖项的列表保存在cassandra-dtest仓库根目录下的requirements.txt文件中。

推荐使用pipvirtualenv来安装这些依赖项。虽然virtualenv不是严格必需的,但它可以提供一个通用的基础环境,避免不同配置之间的冲突。

  1. 安装virtualenv

    pip install virtualenv
    
  2. 创建一个新的virtualenv

    virtualenv --python=python3 --no-site-packages ~/dtest
    
  3. 激活新的virtualenv

    source ~/dtest/bin/activate
    
  4. 安装DTest的Python依赖项:

    pip install -r /path/to/cassandra-dtest/requirements.txt
    

2. 项目使用说明

测试执行

DTests使用pytest框架来执行测试。pytest框架提供了一个非常有用的使用和调用文档,可以帮助你了解基本的调用选项。

在执行测试时,框架需要知道Cassandra源代码的位置。有两种方式可以指定Cassandra源代码的位置:

  1. 使用现有的源代码:

    pytest --cassandra-dir=~/path/to/cassandra
    
  2. 使用ccm能力从archives.apache.org下载/编译发布的源代码:

    pytest --cassandra-version=1.0.0
    

运行特定测试

你可以通过传递测试文件、类或单个测试的路径来运行特定的测试:

pytest --cassandra-dir=~/path/to/cassandra pending_range_test.py
pytest --cassandra-dir=~/path/to/cassandra pending_range_test.py::TestPendingRangeMovements
pytest --cassandra-dir=~/path/to/cassandra pending_range_test.py::TestPendingRangeMovements::test_pending_range

重复运行测试

在添加新测试或修改现有测试时,建议多次运行以确保其稳定性。可以使用--count选项来重复运行测试。例如,运行一个测试类10次:

pytest --count=10 --cassandra-dir=~/path/to/cassandra pending_range_test.py

测试日志

每个测试都会启动一个新的集群,并在测试结束后将其关闭。如果测试失败,节点的日志将保存在logs/<timestamp>目录中,以便分析。

3. 项目API使用文档

测试编写

如果你需要编写新的测试或修改现有测试,建议参考现有的测试代码。每个测试都会启动一个新的集群,并在测试结束后将其关闭。

调试测试

在调试DTests时,可以使用以下方法:

使用pytest.set_trace()

如果某个断言值不符合预期,可以在断言前添加pytest.set_trace(),以便在执行到该行代码时进入交互式Python调试器(pdb),从而检查测试变量的状态。

处理挂起的测试

调试挂起的测试可能会比较困难,但通过Python 3的改进,现在可以轻松获取pytest进程中所有线程的Python线程转储。可以在代码中添加以下内容:

import faulthandler
faulthandler.enable()

这将安装一个信号处理程序,当进程接收到SIGABRT信号时,Python将转储所有运行线程的线程转储。

4. 项目安装方式

安装步骤

  1. 安装必要的依赖项(见环境依赖部分)。
  2. 使用pipvirtualenv安装Python依赖项(见Python依赖部分)。
  3. 使用pytest命令运行测试(见测试执行部分)。

通过以上步骤,你可以成功安装并运行Cassandra分布式测试(DTests)。

登录后查看全文
热门项目推荐