EN 中文

01 初始化与配置 (INITIALIZATION & CONFIG)

阶段: 循环开始之前

LiteRtLmEngine GPU 显存 (独占分配) 模型权重 (静态) KV Cache (max_num_tokens)

图 1.1: CreateEngine 时的物理资源分配

LiteRtLm_CreateEngine 核心入口 

DLL_EXPORT void* LiteRtLm_CreateEngine(LiteRtLm_Config config);

结构体 LiteRtLm_Config

max_num_tokens

决定 KV Cache 物理预分配大小。一旦分配，显存占用固定。

公式：显存 ≈ 权重 + (Tokens * 128 KB)

bOptimizeShader

UE5 必备项。设为 1 则加载时编译 PSO，消除推理首字掉帧。

注意: model_path 采用 mmap 映射。模型文件损坏或路径非法会导致进程直接崩溃，调用前必须验证文件物理存在。

LiteRtLm_GetAvailableBackends

环境探测接口。返回系统加速能力字符串（如 "gpu,cpu"）。

策略: If (!str.contains("gpu")) { config.num_threads = 16; }