Profiling
适用于性能分析(例如:查看单token耗时前三的算子)及定位性能问题(例如:算子间有空泡,单算子耗时过长)
开启Profiling环境变量
export ATB_PROFILING_ENABLE=1
export PROFILING_LEVEL=Level1
执行推理
注意:生成Profiling文件时,增量token数量不应设置太大,否则会导致Profiling文件过大
下载单卡Profiling文件
Profiling文件默认保存在${cur_dir}/profiling目录下
查看Profiling文件
将 msprof_*.json``文件拖拽入 ``chrome://tracing 网页中即可查看Profiling文件