LLM采样后处理总结:LLM的后处理的cpp实现

LLM采样后处理总结:LLM的后处理的cpp实现 在经过LLM的lm_head之后,会得到[batch, vocab_size]大小的矩阵向量,此时需要对输出的逻辑张量进行采样,除了beam_search的贪心策略,还有repetition_penalty、temperature、top_k、top
posted @ 2023-10-11 18:09  wildkid1024  阅读(299)  评论(0编辑  收藏  举报