[fastllm]多线程下动态组batch实现解析

# [fastllm]多线程下动态组batch实现解析 ## 需求分析 新版本的fastllm中添加了ForwardBatch的功能，用于处理批量推理请求，单次推理请求会被视为batch为1的批量请求，这样做似乎没什么问题。 然而在具体实践中，用户的请求往往是一个一个来的，每来一个请求都要等上一个请
posted @ 2023-08-26 15:19  wildkid1024  阅读(340)  评论(0)  编辑  收藏  举报