脚本宝典收集整理的这篇文章主要介绍了如何找出 Python 程序中最慢的那行代码?,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
天下武功,唯快不破。
编程也不例外,你的代码跑的快,你能快速找出代码慢的原因,你的码功就高。
今天分享一个超级实用的 Python 性能分析工具 pyinstrument ,可以快速找到代码运行最慢的部分,帮助提高代码的性能。支持 Python 3.7+ 且能够分析异步代码,仅需一条命令即可显示具体代码的耗时。经常写 Python 的小伙伴一定要用一下。
pip install pyinstrument
在程序的开始,启动 pyinstrument 的 PRofiler,结束时关闭 Profiler 并打印分析结果如下:
From pyinstrument import Profilerprofiler = Profiler()profiler.start()# 这里是你要分析的代码profiler.stop()profiler.print()
比如这段代码 123.py,我们可以清楚的看到是列表推导式比较慢:
from pyinstrument import Profilerprofiler = Profiler()profiler.start()# 这里是你要分析的代码a = [i for i in range(100000)]b = (i for i in range(100000))profiler.stop()profiler.print()
上述分析需要修改源代码,如果你使用命令行工具,就不需要修改源代码,只需要执行 pyinstrument xxxx.py
即可:
比如有这样一段排序的程序 c_sort.py:
import Sysimport timeimport numpy as nparr = np.random.randint(, 10, 10)def slow_key(el): time.sleep(0.01) return el arr = list(arr)for i in range(10): arr.sort(key=slow_key)print(arr)
这段代码里面故意放了一句 time.sleep(0.01) 来延迟性能,看看 pyinstrument
能否识别,命令行执行 pyinstrument c_sort.py
:
从结果来看,程序运行了 1.313 秒,而 sleep 就运行了 1.219 秒,很明显是瓶颈,现在我们把它删除,再看看结果:
删除之后,性能最慢的就是 numpy 模块的初始化代码 __init__.py
了,不过这些代码不是自己写的,而且并不是特别慢,就不需要去关心了。
Web 应用也可以使用这个来找出性能瓶颈,比如 flask,只需要在请求之前记录时间,在请求之后统计时间,只需要在 flask 的请求拦截器里面这样写:
from flask import Flask, g, make_response, requestapp = Flask(__name__)@app.before_requestdef before_request(): if "profile" in request.args: g.profiler = Profiler() g.profiler.start()@app.after_requestdef after_request(response): if not hasattr(g, "profiler"): return response g.profiler.stop() output_htML = g.profiler.output_html() return make_response(output_html)
假如有这样一个 API:
@app.route("/DOSomething")def do_something(): import requests requests.get("http://GOOGLE.COM") return "Google says hello!"
为了测试这个 API 的瓶颈,我们可以在 url 上加一个参数 profile 就可以:http://127.0.0.1:5000/dosomething?profile
,哪一行代码执行比较慢,结果清晰可见:
分析 Django 代码也非常简单,只需要在 Django 的配置文件的 MIDDLEWARE 中添加
"pyinstrument.middleware.ProfilerMiddleware",
然后就可以在 url 上加一个参数 profile 就可以:
如果你不希望所有人都能看到,只希望QQ号地图管理员可以看到,settings.py 可以添加这样的代码:
def custom_show_pyinstrument(request): return request.user.is_suPEruserPYINSTRUMENT_SHOW_CALLBACK = "%s.custom_show_pyinstrument" % __name__
如果不想通过 url 后面加参数的方式查看性能分析,可以在 settings.py 文件中添加:
PYINSTRUMENT_PROFILE_DIR = 'profiles'
这样,每次访问一次 Django 接口,就会将分析结果以 html 文件形式保存在 项目目录下的 profiles 文件夹中。
简单的异步代码分析:
async_example_simple.py:
import asynciofrom pyinstrument import Profilerasync def main(): p = Profiler() with p: print("Hello ...") await asyncio.sleep(1) print("... World!") p.print()asyncio.run(main())
复杂一些的异步代码分析:
import asyncioimport timeimport pyinstrumentdef do_nothing(): paSSDef busy_wait(duration): end_time = time.time() + duration while time.time() < end_time: do_nothing()async def say(what, when, profile=False): if profile: p = pyinstrument.Profiler() p.start() busy_wait(0.1) sleep_start = time.time() await asyncio.sleep(when) print(f"slept for {time.time() - sleep_start:.3f} seconds") busy_wait(0.1) print(what) if profile: p.stop() p.print(show_all=True)loop = asyncio.get_event_loop()loop.create_task(say("First hello", 2, profile=True))loop.create_task(say("second hello", 1, profile=True))loop.create_task(say("third hello", 3, profile=True))loop.run_forever()loop.close()
Pyinstrument 每 1ms 中断一次程序,并在该点记录整个堆栈。它使用 C 扩展名和 PyEval_SetProfile 来做到这一点,但只每 1 毫秒读取一次读数。你可能觉得报告的样本数量有点少,但别担心,它不会降低准确性。默认间隔 1ms 是记录堆栈帧的下限,但如果在单个函数调用中花费了很长时间,则会在该调用结束时进行记录。如此有效地将这些样本“打包”并在最后记录。
Pyinstrument 是一个统计分析器,并不跟踪,它不会跟踪您的程序进行的每个函数调用。相反,它每 1 毫秒记录一次调用堆栈。与其他分析器相比,统计分析器的开销比跟踪分析器低得多。
比如说,我想弄清楚为什么 Django 中的 Web 请求很慢。如果我使用 cProfile,我可能会得到这个:
151940 function calls (147672 primitive calls) in 1.696 seconds Ordered by: cumulative time ncalls tottime percall cumtime percall filename:lineno(function) 1 0.000 0.000 1.696 1.696 profile:0(<code object <module> at 0X1053d6a30, file "./manage.py", line 2>) 1 0.001 0.001 1.693 1.693 manage.py:2(<module>) 1 0.000 0.000 1.586 1.586 __init__.py:394(execute_from_command_line) 1 0.000 0.000 1.586 1.586 __init__.py:350(execute) 1 0.000 0.000 1.142 1.142 __init__.py:254(fetch_command) 43 0.013 0.000 1.124 0.026 __init__.