摘要:
视频链接:https://www.bilibili.com/video/BV1ET411G7zV/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、最小模型配置 必要参数: platform/backend: 用于指定 阅读全文
摘要:
课程链接:https://www.bilibili.com/video/BV1234y157Xh/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、Triton总体架构 服务端:模型仓库->backend->硬件 从模 阅读全文
摘要:
视频链接:https://www.bilibili.com/video/BV1R3411g7VR/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、性能分析工具 Model analyzer: 是一套性能分析工具,提供 阅读全文
摘要:
课程链接:https://www.bilibili.com/video/BV11Z4y1q7vW/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 这节主要介绍Triton是如何设计的。 一、从推理生命周期角度 多模型框架 阅读全文
摘要:
视频链接:https://www.bilibili.com/video/BV1KS4y1v7zd/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、推理框架介绍 triton和推理框架不能画上等号,推理框架一般包括客户 阅读全文