MetaNN 是一个使用 C++23 构建的轻量级深度学习组件库。它保留了原有的强类型、表达式模板和延迟求值能力,并增加了统一 API、C++ named module、Transformer 常用算子以及可选 CUDA 后端。
- C++23,支持传统头文件和
import metann; - CPU 矩阵、批数据、表达式算子、基础层、组合层和 SGD
- 稳定的 row-wise softmax、GELU、LayerNorm
- scaled dot-product attention、additive mask、causal mask 和 multi-head attention
- 可选 CUDA float32 张量:加法、分块矩阵乘、row softmax 和 causal attention
- CTest 测试、可运行示例、可安装的 CMake package
metann/ 公共头文件
data/ Matrix、Batch、Scalar 与内存设施
operators/ 延迟求值的一元/二元/三元表达式
operations/ 高层 eager 张量与 attention 算子
layers/ 基础层、组合层、初始化与优化器
cuda/ CUDA 公共 API(启用 CUDA 时链接实现)
modules/ C++23 named module 接口
src/cuda/ CUDA host 实现与 GPU kernels
examples/ 训练、推理与 Transformer 示例
Tests/ 按功能划分的 CTest 测试
cmake/ 安装包配置
要求 CMake 3.28+、Ninja 和支持 C++23 的编译器。Named module 还要求编译器具备 CMake 所支持的 module dependency scanning。
cmake --preset gcc-debug
cmake --build --preset gcc-debug
ctest --preset gcc-debug所有预设都使用 Ninja;每种 CPU 编译器都有 -debug 和 -release 两种配置:
| 编译器 | 预设前缀 | 平台说明 |
|---|---|---|
| MSVC | msvc |
Windows,需从 Visual Studio Developer Command Prompt 启动 |
| clang-cl | clang-cl |
Windows,同样需要 MSVC SDK/链接环境 |
| GCC | gcc |
使用 PATH 中的 g++ |
| Clang | clang |
使用 PATH 中的 clang++ 与默认标准库 |
| Clang + libc++ | clang-libcxx |
使用 clang++ -stdlib=libc++,需安装 libc++ 头文件和库 |
例如 cmake --preset clang-libcxx-release。每个配置都对应同名的 cmake --build --preset ... 和 ctest --preset ...;独立构建目录位于 out/build/<preset-name>。可用 cmake --list-presets 查看本机适用的配置。编译器不在 PATH 时,可在首次配置时用 -DCMAKE_CXX_COMPILER=/path/to/compiler 覆盖;已有构建目录要更换编译器时应使用新的构建目录。
不需要 named module 时可关闭:
cmake -S . -B out/build/headers -G Ninja \
-DCMAKE_BUILD_TYPE=Release \
-DMETANN_BUILD_MODULES=OFF
cmake --build out/build/headers#include <metann/metann.hpp>
int main() {
const auto input = metann::make_matrix<float>(1, 3, {1, 2, 3});
const auto output = metann::row_softmax(input);
}CMake:
add_subdirectory(path/to/metann)
target_link_libraries(your_app PRIVATE metann::metann)原有的细粒度头文件(例如 <metann/data/matrix.hpp>)继续可用。
import metann;
int main() {
const auto input = metann::make_matrix<float>(1, 3, {1, 2, 3});
const auto output = metann::gelu(input);
}target_link_libraries(your_app PRIVATE metann::modules)#include <metann/metann.hpp>
const auto q = metann::make_matrix<float>(2, 2, {1, 0, 0, 1});
const auto k = q;
const auto v = metann::make_matrix<float>(2, 2, {10, 0, 0, 20});
const auto result = metann::scaled_dot_product_attention(
q, k, v, metann::AttentionOptions<float>{.causal = true});
// result.output: [query_length, value_dimension]
// result.weights: [query_length, key_length]完整多头示例见 examples/transformer_attention.cpp。
CUDA 默认关闭,因此 CPU 用户不需要安装 CUDA Toolkit。CUDA 预设也提供 Debug/Release,用户按工具链选择 cuda-gcc-*、cuda-clang-* 或 cuda-msvc-*:GCC/MSVC 使用 NVCC,Clang 使用 Clang CUDA。需要 CUDA Toolkit、对应编译器支持的标准库,以及该 Toolkit 所支持的 host compiler。
cmake --preset cuda-clang-release -DCMAKE_CUDA_ARCHITECTURES=native
cmake --build --preset cuda-clang-release
ctest --preset cuda-clang-releaseNVCC 方案中,用户需确保 CUDA host compiler 与 C++ 编译器的 ABI 一致,必要时在首次配置时指定 host compiler 和 GPU 架构(下面仅为路径示意):
cmake --preset cuda-gcc-release \
-DCMAKE_CUDA_HOST_COMPILER=/path/to/supported/g++ \
-DCMAKE_CUDA_ARCHITECTURES=89CUDA API 使用独立目标,避免依赖传播到 CPU-only 应用:
#include <metann/cuda/ops.hpp>
#include <vector>
const std::vector<float> values{1, 0, 0, 1};
const auto q = metann::cuda::Tensor::from_host(2, 2, values);
const auto output = metann::cuda::scaled_dot_product_attention(q, q, q, true);
const auto host_output = output.to_host();target_link_libraries(your_cuda_app PRIVATE metann::cuda)当前 CUDA 后端聚焦 float32 推理算子。Tensor 使用 RAII 管理 device memory;kernel launch 和内存复制错误会转换为 C++ 异常。若机器只安装了 Toolkit 而没有可用 GPU,CUDA 测试会安全跳过运行阶段。
cmake --install out/build/gcc-release安装后可使用:
find_package(metann 0.2 CONFIG REQUIRED)
target_link_libraries(your_app PRIVATE metann::metann) # 或 metann::modules / metann::cudametann::metann是无 CUDA 依赖的公共 header target。metann::modules提供 named module,并复用相同实现,避免两套 API 行为分叉。metann::cuda仅在METANN_ENABLE_CUDA=ON时存在。- 高层
operations/使用运行时 shape 校验;原有表达式模板接口保持兼容。