[LLM] LLM后量化(PTQ)总结及原理实现

LLM后量化(PTQ)总结及原理实现 weight only per_channel：按照a56爆大奖在线娱乐channel的方式，计算得到scale和zero参数，通过weight = weight * scale + zero的方式进行还原。 per_channel_group_wise：按照a56爆大奖在线娱乐channel
posted @ 2024-06-29 12:50  wildkid1024  阅读(12)  评论(0)  编辑  收藏  举报