中断正在进行的推理生成。向引擎发送制动信号,强行终止当前的 Token 生成循环。
此操作是线程安全的。它会设置一个内部标志位,推理引擎在生成下一个 Token 之前会检查该标志并决定是否优雅退出。
void LiteRtLm_StopMessage(void* conv_ptr);
| 参数名称 | 职责说明 |
|---|---|
conv_ptr |
要中断推理的会话句柄。 |
// 当用户点击“停止生成”按钮时
void UMyChatWidget::OnStopClicked() {
if (CurrentConvPtr) {
LiteRtLm_StopMessage(CurrentConvPtr);
}
}