Skip to content

About

This is a machine learning framework built by C++ with C++ metaprogramming. It is built just for fun.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

MetaNN

MetaNN 是一个使用 C++23 构建的轻量级深度学习组件库。它保留了原有的强类型、表达式模板和延迟求值能力,并增加了统一 API、C++ named module、Transformer 常用算子以及可选 CUDA 后端。

功能概览

  • C++23,支持传统头文件和 import metann;
  • CPU 矩阵、批数据、表达式算子、基础层、组合层和 SGD
  • 稳定的 row-wise softmax、GELU、LayerNorm
  • scaled dot-product attention、additive mask、causal mask 和 multi-head attention
  • 可选 CUDA float32 张量:加法、分块矩阵乘、row softmax 和 causal attention
  • CTest 测试、可运行示例、可安装的 CMake package

项目结构

metann/                 公共头文件
  data/                 Matrix、Batch、Scalar 与内存设施
  operators/            延迟求值的一元/二元/三元表达式
  operations/           高层 eager 张量与 attention 算子
  layers/               基础层、组合层、初始化与优化器
  cuda/                 CUDA 公共 API(启用 CUDA 时链接实现)
modules/                C++23 named module 接口
src/cuda/               CUDA host 实现与 GPU kernels
examples/               训练、推理与 Transformer 示例
Tests/                  按功能划分的 CTest 测试
cmake/                  安装包配置

构建和测试

要求 CMake 3.28+、Ninja 和支持 C++23 的编译器。Named module 还要求编译器具备 CMake 所支持的 module dependency scanning。

cmake --preset gcc-debug
cmake --build --preset gcc-debug
ctest --preset gcc-debug

所有预设都使用 Ninja;每种 CPU 编译器都有 -debug 和 -release 两种配置:

编译器 预设前缀 平台说明
MSVC msvc Windows,需从 Visual Studio Developer Command Prompt 启动
clang-cl clang-cl Windows,同样需要 MSVC SDK/链接环境
GCC gcc 使用 PATH 中的 g++
Clang clang 使用 PATH 中的 clang++ 与默认标准库
Clang + libc++ clang-libcxx 使用 clang++ -stdlib=libc++,需安装 libc++ 头文件和库

例如 cmake --preset clang-libcxx-release。每个配置都对应同名的 cmake --build --preset ... 和 ctest --preset ...;独立构建目录位于 out/build/<preset-name>。可用 cmake --list-presets 查看本机适用的配置。编译器不在 PATH 时,可在首次配置时用 -DCMAKE_CXX_COMPILER=/path/to/compiler 覆盖;已有构建目录要更换编译器时应使用新的构建目录。

不需要 named module 时可关闭:

cmake -S . -B out/build/headers -G Ninja \
  -DCMAKE_BUILD_TYPE=Release \
  -DMETANN_BUILD_MODULES=OFF
cmake --build out/build/headers

使用方式

统一头文件

#include <metann/metann.hpp>

int main() {
    const auto input = metann::make_matrix<float>(1, 3, {1, 2, 3});
    const auto output = metann::row_softmax(input);
}

CMake:

add_subdirectory(path/to/metann)
target_link_libraries(your_app PRIVATE metann::metann)

原有的细粒度头文件(例如 <metann/data/matrix.hpp>)继续可用。

C++23 module

import metann;

int main() {
    const auto input = metann::make_matrix<float>(1, 3, {1, 2, 3});
    const auto output = metann::gelu(input);
}
target_link_libraries(your_app PRIVATE metann::modules)

Attention

#include <metann/metann.hpp>

const auto q = metann::make_matrix<float>(2, 2, {1, 0, 0, 1});
const auto k = q;
const auto v = metann::make_matrix<float>(2, 2, {10, 0, 0, 20});

const auto result = metann::scaled_dot_product_attention(
    q, k, v, metann::AttentionOptions<float>{.causal = true});

// result.output: [query_length, value_dimension]
// result.weights: [query_length, key_length]

完整多头示例见 examples/transformer_attention.cpp。

CUDA 后端

CUDA 默认关闭,因此 CPU 用户不需要安装 CUDA Toolkit。CUDA 预设也提供 Debug/Release,用户按工具链选择 cuda-gcc-*、cuda-clang-* 或 cuda-msvc-*:GCC/MSVC 使用 NVCC,Clang 使用 Clang CUDA。需要 CUDA Toolkit、对应编译器支持的标准库,以及该 Toolkit 所支持的 host compiler。

cmake --preset cuda-clang-release -DCMAKE_CUDA_ARCHITECTURES=native
cmake --build --preset cuda-clang-release
ctest --preset cuda-clang-release

NVCC 方案中,用户需确保 CUDA host compiler 与 C++ 编译器的 ABI 一致,必要时在首次配置时指定 host compiler 和 GPU 架构(下面仅为路径示意):

cmake --preset cuda-gcc-release \
  -DCMAKE_CUDA_HOST_COMPILER=/path/to/supported/g++ \
  -DCMAKE_CUDA_ARCHITECTURES=89

CUDA API 使用独立目标,避免依赖传播到 CPU-only 应用:

#include <metann/cuda/ops.hpp>

#include <vector>

const std::vector<float> values{1, 0, 0, 1};
const auto q = metann::cuda::Tensor::from_host(2, 2, values);
const auto output = metann::cuda::scaled_dot_product_attention(q, q, q, true);
const auto host_output = output.to_host();
target_link_libraries(your_cuda_app PRIVATE metann::cuda)

当前 CUDA 后端聚焦 float32 推理算子。Tensor 使用 RAII 管理 device memory;kernel launch 和内存复制错误会转换为 C++ 异常。若机器只安装了 Toolkit 而没有可用 GPU,CUDA 测试会安全跳过运行阶段。

安装与 find_package

cmake --install out/build/gcc-release

安装后可使用:

find_package(metann 0.2 CONFIG REQUIRED)
target_link_libraries(your_app PRIVATE metann::metann) # 或 metann::modules / metann::cuda

设计说明

  • metann::metann 是无 CUDA 依赖的公共 header target。
  • metann::modules 提供 named module,并复用相同实现,避免两套 API 行为分叉。
  • metann::cuda 仅在 METANN_ENABLE_CUDA=ON 时存在。
  • 高层 operations/ 使用运行时 shape 校验;原有表达式模板接口保持兼容。

About

This is a machine learning framework built by C++ with C++ metaprogramming. It is built just for fun.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages