Profiling

适用于性能分析(例如:查看单token耗时前三的算子)及定位性能问题(例如:算子间有空泡,单算子耗时过长)

  1. 开启Profiling环境变量

export ATB_PROFILING_ENABLE=1
export PROFILING_LEVEL=Level1
  1. 执行推理

注意:生成Profiling文件时,增量token数量不应设置太大,否则会导致Profiling文件过大

  1. 下载单卡Profiling文件

Profiling文件默认保存在${cur_dir}/profiling目录下

  1. 查看Profiling文件

msprof_*.json``文件拖拽入 ``chrome://tracing 网页中即可查看Profiling文件