Python执行时间计算方法及优化实例分析

这篇文章主要介绍“Python执行时间计算方法及优化实例分析”,在日常操作中,相信很多人在Python执行时间计算方法及优化实例分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python执行时间计算方法及优化实例分析”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

    一、时间不一致的猜想

    python脚本运行时间远远大于python脚本中统计的计算时间

    猜想:

    1.python中用到的是py2neo的写数据异步,阻塞进程运行;

    2.python脚本使用统计时间的方式是time.clock(),而这种方式统计的是CPU的执行时间,不是程序的执行时间。

    程序执行时间 = CPU运行时间 + IO时间 + 休眠或等待时间

    二、原因探索

    1.方法一

    import asyncio
    import datetime
    starttime = datetime.datetime.now()
    # long running
    # do something other
    
    async def sayhi():
        print("你好,若竹")
        await asyncio.sleep(10)
        print("用余生去守护")
    
    asyncio.run(sayhi())
    
    
    endtime = datetime.datetime.now()
    print(("程序运行时间为:")+ str((endtime-starttime).seconds)+"秒")

    输出:

    你好,若竹
    用余生去守护
    程序运行时间为:10秒

    datetime.datetime.now()获取的是当前日期,在程序执行结束之后,这个方式获得的时间值为程序执行的时间。

    2.方法二

    import asyncio
    import datetime
    import time
    
    starttime = time.time()
    # long running
    # do something other
    
    async def sayhi():
        print("你好,若竹")
        await asyncio.sleep(10)
        print("用余生去守护")
    
    asyncio.run(sayhi())
    
    endtime = time.time()
    print("程序运行时间为:"+ str(float(endtime-starttime))+"秒")

    输出:

    你好,若竹
    用余生去守护
    程序运行时间为:10.002257108688354秒

    time.time()获取自纪元以来的当前时间(以秒为单位)。如果系统时钟提供它们,则可能存在秒的分数,所以这个地方返回的是一个浮点型类型。这里获取的也是程序的执行时间。

    3.方法三

    import asyncio
    import datetime
    import time
    
    starttime = time.clock()
    # long running
    # do something other
    
    async def sayhi():
        print("你好,若竹")
        await asyncio.sleep(10)
        print("用余生去守护")
    
    asyncio.run(sayhi())
    
    endtime = time.clock()
    print("程序运行时间为:"+ str(float(endtime-starttime))+"秒")

    输出:

    .\py_study.py:807: DeprecationWarning: time.clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time.perf_counter or time.process_time instead
      starttime = time.clock()
    你好,若竹
    用余生去守护
    .\py_study.py:818: DeprecationWarning: time.clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time.perf_counter or time.process_time instead
      endtime = time.clock()
    程序运行时间为:10.0219916秒

    Deprecation Warning: time. clock has been deprecated in Python 3.3 and will be removed from Python 3.8: use time. perf_counter or time. process_time instead

    弃用警告:时间。clock在Python 3.3中已弃用,并将从Python 3.8中移除:使用time。perf_counter或时间。process_time代替。

    代码如下:

    import asyncio
    import datetime
    import time
    
    starttime = time.perf_counter()
    # long running
    # do something other
    
    async def sayhi():
        print("你好,若竹")
        await asyncio.sleep(10)
        print("用余生去守护")
    
    asyncio.run(sayhi())
    
    endtime = time.perf_counter()
    print("程序运行时间为:"+ str(float(endtime-starttime))+"秒")

    输出:

    你好,若竹
    用余生去守护
    程序运行时间为:10.060287599999999秒

    三、python 运行效率慢的原因

    1.简介

    编程语言的效率一方面指开发效率,即程序员完成编码所需的时间,另一方面是运行效率,即计算任务所需的时间。编码效率和运行效率往往很难兼顾。

    2.运行效率慢的原因

    1.python 是动态语言,造成运行时的不确定性影响运行效率;

    动态语言是一类在运行时可以改变其结构的语言,如新的函数、对象、代码可以被引入,已有的函数可以被删除或其他结构上的变化等,该类语言更具有活性,但是不可避免的因为运行时的不确定性也影响运行效率。数据的比较和转换类型的开销很大,每次读取、写入或引用一个变量,都要检查类型。很难优化一种极具动态性的语言。Python的许多替代语言之所以快得多,原因在于它们为了性能在灵活性方面作出了牺牲。

    2.python 是解释执行,不支持JIT(just in time compiler);

    相比于C语言编译性语言编写的程序,Python是解释执行语言,其运行过程是Python运行文件程序时,Python解释器将源代码转换为字节码,然后再由Python解释器来执行这些字节码。其每次运行都要进行转换成字节码,然后再由虚拟机把字节码转换成机器语言,最后才能在硬件上运行,与编译性语言相比,其过程更复杂,性能肯定会受影响。

    3.python 中一切皆对象,每个对象都需要维护引用计数,增加额外工作;

    Python是一门面向对象的编程语言,其设计理念是一切皆是对象,如数字、字符串、元组、列表、字典、函数、方法、类、模块等都是对象,包括代码,每个对象都需要维护引用计数,因此,增加了额外工作,影响了性能。

    4.python GIL,全局解释器锁导致无法实现真正的并发;

    GIL是Python最为诟病的一点,因为GIL,Python中的多线程并不能真正的并发,即使在单线程,GIL也会带来很大的性能影响,因为python每执行100个opcode就会尝试线程的切换,因此,影响Python运行效率。

    5.垃圾回收机制,会中断正在执行的程序,造成所谓的卡顿;

    Python采用标记和分代的垃圾回收策略,每次垃圾回收的时候都会中断正在执行的程序,造成所谓的顿卡,影响运行效率。

    四、python 优化

    1.优化算法:时间复杂度

    算法的时间复杂度对程序的执行效率影响最大,在python 中可以通过选择合适的数据结构来优化时间复杂度,如list和set查找某一个元素的时间复杂度分别是O(n)和O(1).不同的场景有不同的优化方式,总的来说,一般有分治,分支界限,贪心,动态规划等。

    20减少冗余数据

    如用上三角或下三角的方式去保存一个大的对称矩阵。在0元素占大多数的矩阵里使用稀疏矩阵表示。

    3.合理使用copy与deepcopy

    对于dict和list等数据结构的对象,直接赋值使用的是引用的方式。而有些情况下需要复制整个对象,这时可以使用copy包里的copy和deepcopy,这两个函数的不同之处在于后者是递归复制的。效率也不一样:(以下程序在ipython中运行)

    4.使用dict或set查找元素

    5.合理使用生成器(generator)和yield

    6.优化循环

    7.优化包含多个判断表达式的顺序

    8.使用join合并迭代器中的字符串

    9.选择合适的格式化字符方式

    10.不借助中间变量交换两个变量的值

    11.使用if is

    12.使用级联比较x < y < z

    13.while 1 比 while True 更快

    14.使用**而不是pow

    15.使用 cProfile, cStringIO 和 cPickle等用c实现相同功能(分别对应profile, StringIO, pickle)的包

    16.使用最佳的反序列化方式

    17.使用C扩展(Extension)

    18.并行编程

    19.终级大杀器:PyPy

    20.使用性能分析工具

    到此,关于“Python执行时间计算方法及优化实例分析”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注蜗牛博客网站,小编会继续努力为大家带来更多实用的文章!

    免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:niceseo99@gmail.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

    评论

    有免费节点资源,我们会通知你!加入纸飞机订阅群

    ×
    天气预报查看日历分享网页手机扫码留言评论Telegram