Python程序设计进阶之元编程-metaprogramming
前些天在看David Beazley的Python3 metaprogramming视频,觉得是时候总结下视频中学到的内容, 这篇文章主要是这个视频的笔记,以及关于metaclass的一些思考.
装饰器
首先看一个需求,就是想在函数被调用时,记录一下,可以简单的加个print
1 | def add(x, y): |
但是这样的话, print语句就重复了, 每个函数里都得加print, 于是我们可以使用装饰器
1 | # 一个简单的装饰器 |
使用functools
但是这个简单的装饰器是存在问题的,它会忽略被装饰的函数
1 | print(add) |
这里add函数经过debug装饰器装饰后,函数名都被忽略了,这个时候functools模块就派上用场了, 里面的wraps装饰器就是用来解决这个问题
1 | from functools import wraps |
带参数的装饰器
有时候装饰器里想传入一些参数, 这时就可以写带参数的装饰器
1 | # decorators with args |
这种带参数的装饰器有一个头疼的问题是, 使用装饰器时, 如果不想传参数, 也得加上括号, 不然会报错
1 | @debug |
加上括号后, 就不报错, 这很丑陋
1 | @debug() |
这里有一个小技巧, 实现如下
1 | from functools import wraps, partial |
如此, 当使用默认参数时, 即便不带括号时,也不会报错
1 | @debug(prefix='###') |
类装饰器
以下我们定义一个Spam类,
1 | class Spam: |
然后我们想在类的方法被调用时, 能够记录下, 想上面的函数被调用时一样, 这时我们就会可以编写一个类装饰器
1 | def debugmethods(cls): |
这里只打印了a和b, 没有打印c和d, 这什么原因呢? 这是因为classmethod和staticmethod都是descriptor, 也就是描述器, 它们没有实现__call__
方法,也就不是callable的
我们也可以编写一个类装饰器, 当获取一个属性时, 打印日志
1 | # debug access |
metaclass
现在我们想对所有的类都能打印日志,一个解决的办法是在所有的类前面都加上类装饰器
1 | @debugmethods |
但这样很麻烦,于是metaclass派上用场了, metaclass最强的地方是可以控制类的创建
1 | # a metaclass |
从上面的例子中我们看到,有一个类有metaclass, 它的所有子类都有metaclass, 这说明metaclass是会被继承的。结合蔡元楠的《metaclass, 是潘多拉魔盒还是阿拉丁神灯》, 可以知道,这里debugmeta其实不只一种写法,在__init__
函数里实现也是可以的。重载__init__
的实现如下
1 | # a metaclass |
这是因为, 所有的类都是type的实例, 都是对type的__call__
方法进行重载, 而type的__call__
方法会调用type.__new__(typeclass, classname, superclasses, attributedict)
和type.__init__(class, classname, superclasses, attributedict)
, 所以上面重写__new__
和重写__init__
都是可以的。
学到这里,我脑海里冒出了一个想法,就是为啥这里一定要用metaclass呢? 用继承的方式难道不行吗?于是自己尝试写了个继承的方式, 发现也是跑得通的。
1 | # a baseclass |
但实际上,这样做法是有问题的,后面等到后面我们来纠正这个问题。
既然如此,那么蔡元楠在《metaclass, 是潘多拉魔盒还是阿拉丁神灯》介绍的yaml的动态序列化和逆序列化的能力又为何要用metaclass实现呢?用继承难道不行吗?于是也写了一个继承的版本, 代码如下。
1 | import yaml |
所以其实到这里我还是没有明白为啥yaml要用metaclass来实现这个功能, 直到把子类的yaml_tag去掉, 才发现问题。
1 | import yaml |
这是因为Dragon这里没有yaml_tag的时候, 会继承父类Monster的yaml_tag, 这时Dragon.yaml_tag就是非空, 然后就会将!Monster这个标记与Dragon绑定到一起了, 覆盖了前面!Monster与Monster的绑定, 这时再去加载Monster类dump出来的内容, 就会报没有energy. 而使用metaclass就不存在这个问题, 因为在创建Dragon类时, 传入的属性字典里不会带有yaml_tag, 也就不会将!Monster这个标记与Dragon绑定到一起. 写代码测试如下
1 | import yaml |
从上面的结果里可以看到, yaml_tag是没有在Dragon类的属性字典里的,即便是Dragon类会从Monster那里继承yaml_tag.
回到前面的用基类来实现对所有类使用debugmethods进行装饰的例子。这里因为每次创建对象的时候都会调用__new__
方法, 会导致多次调用debugmethods装饰器, 这样会导致创建多少个对象, 调用一次类的方法就会输出多次, 测试如下
1 | # a baseclass |
这里Spam类创建了两个对象, 就调用了两次debugmethods, 所以会有多次输出。
到了这里, 我终于明白为什么要用metaclass来解决对于所有类使用debugmethods来装饰的问题,因为在metaclass里实现,则只会调用一次,因为一个类的创建只需要一次。也明白为什么yaml要使用metaclass, 而不是继承了。
总的来说, metaclass并不是什么奇淫巧技,简单来说就是一种改变类创建过程的能力。当然, 绝大多数情况下都不需要用到它。