Метаклассы в Python / Хабр
Привет, Хабр! У нас продолжается распродажа в честь черной пятницы. Там вы найдете много занимательных книг.
Возможен вопрос: а что такое метакласс? Если коротко, метакласс относится к классу точно как класс к объекту.
Метаклассы – не самый популярный аспект языка Python; не сказать, что о них воспоминают в каждой беседе. Тем не менее, они используется в весьма многих статусных проектах: в частности, Django ORM[2], стандартная библиотека абстрактных базовых классов (ABC)[3] и реализации Protocol Buffers [4].
Это сложная фича, позволяющая программисту приспособить под задачу некоторые самые базовые механизмы языка. Именно по причине такой гибкости открываются и возможности для злоупотреблений – но нас это уже не удивляет. С большими возможностями приходит большая ответственность.
Данная тема обычно не затрагивается в различных руководствах и вводных материалах по языку, поскольку считается «продвинутой» — но и с ней надо с чего-то начинать. Я немного поискал в онлайне и в качестве наилучшего введения в тему нашел соответствующий вопрос на StackOverflow и ответы на него [1].
Поехали. Все примеры кода приведены на Python 3.6 – на момент написания статьи это новейшая версия.
Первый контакт
Мы уже кое-что успели обсудить, но пока еще не видели, что представляет собой метакласс. Скоро разберемся с этим, но пока следите за моим рассказом. Начнем с чего-нибудь простого: создадим объект.
>>> o = object() >>> print(type(o)) <class 'object'>
Мы создали новый object
и сохранили ссылку на него в переменной o
.
Тип o
– это object
.
Мы также можем объявить и наш собственный класс:
>>> class A: ... pass ... >>> a = A() >>> print(type(a)) <class '__main__.A'>
Теперь у нас две плохо названные переменные a
и o
, и мы можем проверить, в самом ли деле они относятся к соответствующим классам:
>>> isinstance(o, object) True >>> isinstance(a, A) True >>> isinstance(a, object) True >>> issubclass(A, object) True
Выше заметна одна интересная вещь: объект
также относится к типу object
. Ситуация такова, поскольку класс A
является подклассом object
(все классы, определяемые пользователем, наследуют от object
).
Еще одна интересная вещь – во многих контекстах мы можем взаимозаменяемо применять переменные a
и A
. Для таких функций как print
невелика разница, какую переменную мы ей выдадим, a
или A
– оба вызова «что-то» выведут на экран.
Давайте поподробнее рассмотрим класс B
, который мы только что определили:
>>> class B: ... def __call__(self): ... return 5 ... >>> b = B() >>> print(b) <__main__.B object at 0x1032a5a58> >>> print(B) <class '__main__.B'> >>> b.value = 6 >>> print(b.value) 6 >>> B.value = 7 >>> print(B.value) 7 >>> print(b()) 5 >>> print(B()) <__main__.B object at 0x1032a58d0>
Как видим, b
и B
во многих отношениях действуют похоже. Можно даже сделать выражение с вызовом функции, в котором использовались бы обе переменные, просто возвращены в данном случае будут разные вещи:
возвращает 5, как и указано в определении класса, тогда как B
создает новый экземпляр класса.
Это сходство – не случайность, а намеренно спроектированная черта языка. В Python классы являются сущностями первой категории[5] (ведут себя как все нормальные объекты).
Более того, если классы – как объекты, то у них обязательно должен быть собственный тип:
>>> print(type(object)) <class 'type'> >>> print(type(A)) <class 'type'> >>> isinstance(object, type) True >>> isinstance(A, type) True >>> isinstance(A, object) True >>> issubclass(type, object) True
Оказывается, что и object
, и A
относятся к классу type
– type
это «метакласс, задаваемый по умолчанию «. Все остальные метаклассы должны наследовать от него. Возможно, на данном этапе вас уже немного путает, что класс имеет имя type
, но в то же время это и функция, возвращающая тип сообщаемого объекта (семантика у type
будет совершенно разной в зависимости от того, сколько аргументов вы ему сообщите – 1 или 3). В таком виде его сохраняют по историческим причинам.
Как object
, так и A
также являются экземплярами object
– в конечном итоге, все они объекты. Каков же в таком случае тип type
, могли бы вы спросить?
>>> print(type(type)) <class 'type'> >>> isinstance(type, type) True
Оказывается, никакого двойного дна здесь нет, поскольку type
относится к собственному типу.
Весь фокус, заключающийся в метаклассах: мы создали A
, подкласс object
, так, чтобы новый экземпляр a
относился к типу
и, следовательно, object
. Таким же образом можно создать подкласс от type
под названием Meta
. Впоследствии мы можем использовать его как тип для новых классов; они будут экземплярами обоих типов: type
и Meta
.
Рассмотрим это на практике:
class Meta(type): def __init__(cls, name, bases, namespace): super(Meta, cls).__init__(name, bases, namespace) print("Creating new class: {}".format(cls)) def __call__(cls): new_instance = super(Meta, cls).__call__() print("Class {} new instance: {}".format(cls, new_instance)) return new_instance
Это наш первый метакласс. Мы могли бы сделать его определение еще более минималистичным, но хотели сделать, чтобы в итоге он делал хотя бы что-нибудь полезное.
Он переопределяет магический метод
__init__
, чтобы на экран выводилось сообщение всякий раз, когда создается новый экземплярMeta
.Он переопределяет магический метод
call
, чтобы выводилось сообщение · всякий раз, когда пользователь применяет синтаксис вызова функцийvariable()
.
Оказывается, что в Python создание экземпляра класса имеет ту же форму, что и вызов функции. Если у нас есть функция f
, то, чтобы вызвать ее, мы пишем f()
. Если у нас есть класс A
, то мы пишем A()
для создания нового экземпляра. Соответственно, мы используем хук __call__
.
Все-таки, метакласс сам по себе не так интересен. Интересное начинается, лишь когда мы создаем экземпляр метакласса. Давайте это и сделаем:
>>> class C(metaclass=Meta): ... pass ... Creating new class: <class '__main__.C'> >>> c = C() Class <class '__main__.C'> new instance: <__main__.C object at 0x10e99ae48> >>> print(c) <__main__.C object at 0x10e99ae48>
Действительно, наш метакласс работает как задумано: выводит сообщения, когда в жизненном цикле класса происходят определенные события. В данном случае важно понимать, что мы работаем сразу с тремя разными уровнями абстракции — метаклассом, классом и экземпляром.
Когда мы пишем class C(metaclass=Meta)
, мы создаем C
, представляющий собой экземпляр
— вызывается Meta.init
, и выводится сообщение. На следующем шаге мы вызываем C()
для создания нового экземпляра класса C
, и на этот раз выполняется Meta.__call__
. На последнем шаге мы вывели на экран c
, вызывая C.__str__
, который, в свою очередь, разрешается в заданную по умолчанию реализацию, определенную в базовом классе object
.
Сейчас можем посмотреть все типы наших переменных:
>>> print(type(C)) <class '__main__. Meta'> >>> isinstance(C, Meta) True >>> isinstance(C, type) True >>> issubclass(Meta, type) True >>> print(type(c)) <class '__main__.C'> >>> isinstance(c, C) True >>> isinstance(c, object) True >>> issubclass(C, object) True
Выше я попытался сделать мягкое введение в тему метаклассов и, надеюсь, вы уже представляете, что это такое, и как ими можно пользоваться. Но, на мой взгляд, этот текст ничего бы не стоил без нескольких практических примеров. К ним и перейдем.
Полезный пример: синглтон
В этом разделе мы напишем совсем маленькую библиотеку, в которой будет малость метаклассов. Мы реализуем «эскиз» для паттерна проектирования синглтон [6] – это класс, который может иметь всего один экземпляр.
Честно говоря, его можно было бы реализовать и без всякого использования метаклассов, просто переопределив метод __new__
в базовом классе, так, чтобы он вернул ранее запомненный экземпляр:
class SingletonBase: instance = None def __new__(cls, *args, **kwargs): if cls. instance is None: cls.instance = super().__new__(cls, *args, **kwargs) return cls.instance
Вот и все. Любой подкласс, наследующий от SingletonBase
, теперь проявляет поведение синглтона.
Рассмотрим, каков он в действии:
>>> class A(SingletonBase): ... pass ... >>> class B(A): ... pass ... >>> print(A()) <__main__.A object at 0x10c8d8710> >>> print(A()) <__main__.A object at 0x10c8d8710> >>> print(B()) <__main__.A object at 0x10c8d8710>
Тот подход, который мы здесь используем, вроде бы работает – при каждой попытке создать экземпляр возвращается тот же самый объект. Но есть и такое поведение, которое может показаться нам неожиданным: при попытке создать экземпляр класса B
мы получаем в ответ тот же самый экземпляр A
, что и раньше.
Эту проблему можно решить, и не прибегая никоим образом к метаклассам, но решение с ними просто очевидное – так почему бы ими не воспользоваться?
У нас будет такой класс SingletonBaseMeta
, чтобы каждый его подкласс при создании инициализировал поле instance
со значением None
.
Вот что получается:
class SingletonMeta(type): def __init__(cls, name, bases, namespace): super().__init__(name, bases, namespace) cls.instance = None def __call__(cls, *args, **kwargs): if cls.instance is None: cls.instance = super().__call__(*args, **kwargs) return cls.instance class SingletonBaseMeta(metaclass=SingletonMeta): pass
Можем попробовать, а работает ли этот подход:
>>> class A(SingletonBaseMeta): ... pass ... >>> class B(A): ... pass ... >>> print(A()) <__main__.A object at 0x1101f6358> >>> print(A()) <__main__.A object at 0x1101f6358> >>> print(B()) <__main__.B object at 0x1101f6eb8>
Поздравляем, по-видимому наша библиотека-синглтон работает именно так, как и планировалось!
На правах опытных проектировщиков библиотеки с метаклассами, давайте замахнемся на что-нибудь посложнее.
Полезный пример: упрощенное ORM
Как упоминалось выше, с паттерном синглтон можно красиво разобраться, слегка воспользовавшись метаклассами, но острой необходимости в них нет. Большинство реальных проектов, в которых метаклассы действительно используются – это те или иные вариации на тему ORM[7].
В качестве упражнения построим подобный пример, но сильно упрощенный. Это будет уровень сериализации/десериализации между классами Python и JSON.
Вот как должен выглядеть интерфейс, который мы хотим получить (смоделирован на Django ORM/SQLAlchemy):
class User(ORMBase): """ Пользователь в нашей системе """ id = IntField(initial_value=0, maximum_value=2**32) name = StringField(maximum_length=200) surname = StringField(maximum_length=200) height = IntField(maximum_value=300) year_born = IntField(maximum_value=2017)
Мы хотим иметь возможность определять классы и их поля вместе с типами. Для этого нам пригодилась бы возможность сериализовать наш класс в JSON:
>>> u = User() >>> u.name = "Guido" >>> u.surname = "van Rossum" >>> print("User ID={}".format(u.id)) User ID=0 >>> print("User JSON={}". format(u.to_json())) User JSON={"id": 0, "name": "Guido", "surname": "van Rossum", "height": null, "year_born": null}
И десериализовать его:
>>> w = User('{"id": 5, "name": "John", "surname": "Smith", "height": 185, "year_born": 1989}') >>> print("User ID={}".format(w.id)) User ID=5 >>> print("User NAME={}".format(w.name)) User NAME=John
Для всего вышеприведенного нам не так уж и нужны метаклассы, так что давайте реализуем одну «изюминку» — добавим валидацию.
>>> w.name = 5 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "simple-orm.py", line 96, in __setattr__ raise AttributeError('Invalid value "{}" for field "{}"'.format(value, key)) AttributeError: Invalid value "5" for field "name" >>> w.middle_name = "Stephen" Traceback (most recent call last): File "<stdin>", line 1, in <module> File "simple-orm.py", line 98, in __setattr__ raise AttributeError('Unknown field "{}"'. format(key)) AttributeError: Unknown field "middle_name" >>> w.year_born = 3000 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "simple-orm.py", line 96, in __setattr__ raise AttributeError('Invalid value "{}" for field "{}"'.format(value, key)) AttributeError: Invalid value "3000" for field "year_born"
Напоминание о конструкторе типов
Прежде чем перейти к реализации ORM-библиотеки, я должен напомнить еще об одной вещи, конструкторе типов type
. Я упоминал его лишь вскользь, но это важная тема, которую требуется развернуть.
Вспомните эпизод из предыдущего раздела, когда мы определяли метод __init__
для нашего первого метакласса:
class Meta(type): def __init__(cls, name, bases, namespace):
Откуда же взялись эти три аргумента name
, bases
и namespace
? Это параметры конструктора типов. Три этих значения полностью описывают класс, создаваемый в данный момент.
name – просто имя класса в формате строки
bases – кортеж базовых классов, может быть пустым
namespace – словарь всех полей, определенных внутри класса. Сюда идут все методы и переменные класса.
Вот и все, что здесь есть. На самом деле, можно было бы и не определять класс при помощи общего синтаксиса, а вызвать конструктор type
напрямую:
class A: X = 5 def f(self): print("Class A {}".format(self)) def f(self): print("Class B {}".format(self)) B = type("B", (), {'X': 6, 'f': f})
В этом коде мы определили два почти идентичных класса, A
и B
.
У них отличаются значения, присвоенные переменной класса X
, и выводятся на экран разные значения при вызове метода f
. Но на этом все – фундаментальных отличий нет, и оба принципа определения классов эквивалентны. Фактически, интерпретатор Python преобразует первый из описанных здесь механизмов во второй.
>>> print(A) <class '__main__.A'> >>> print(B) <class '__main__.B'> >>> print(A.X) 5 >>> print(B.X) 6 >>> a = A() >>> b = B() >>> a.f() Class A <__main__.A object at 0x1023432b0> >>> b.f() Class B <__main__.B object at 0x1023431d0>
Именно на этом этапе определение собственного метакласса позволяет вам влиять на события. Можно перехватывать параметры, передаваемые конструктору type
, изменять их и создавать собственный класс таким образом, как вам угодно.
Упрощенное ORM – грамотная программа
Мы уже знаем, чего хотим – написать библиотеку, удовлетворяющую требованиям указанного интерфейса. Мы также знаем, что будем решать эту задачу при помощи метаклассов.
Далее я приведу реализацию в стиле грамотного программирования. Код из этого раздела можно загрузить в интерпретатор Python и запустить.
Мы будем использовать всего один пакет – для синтаксического разбора/сериализации JSON:
import json
Далее определим базовый класс для всех наших полей. Он устроен весьма просто, как и большинство других отдельных частей данной библиотеки. В нем есть реализация-заглушка для валидационной функции и пустое начальное значение.
class Field: """ Базовый класс для всех полей. Каждому полю должно быть присвоено начальное значение """ def __init__(self, initial_value=None): self.initial_value = initial_value def validate(self, value): """ Проверить, является ли это значение допустимым для данного поля """ return True
Для простоты я реализую всего два подкласса Field
: IntField
и StringField
. При необходимости можно добавить и другие.
class StringField(Field): """ Строковое поле. Опционально в нем можно проверять длину строки """ def __init__(self, initial_value=None, maximum_length=None): super().__init__(initial_value) self.maximum_length = maximum_length def validate(self, value): """ Проверить, является ли это значение допустимым для данного поля """ if super(). validate(value): return (value is None) or (isinstance(value, str) and self._validate_length(value)) else: return False def _validate_length(self, value): """ Проверить, имеет ли строка верную длину """ return (self.maximum_length is None) or (len(value) <= self.maximum_length) class IntField(Field): """ Целочисленное поле. Опционально можно проверять, является ли записанное в нем число целым""" def __init__(self, initial_value=None, maximum_value=None): super().__init__(initial_value) self.maximum_value = maximum_value def validate(self, value): """ Проверить, является ли это значение допустимым для данного поля """ if super().validate(value): return (value is None) or (isinstance(value, int) and self._validate_value(value)) else: return False def _validate_value(self, value): """ Проверить, относится ли целое число к желаемому дмапазону """ return (self. maximum_value is None) or (value <= self.maximum_value)
Если не считать перенаправления initial_value
конструктору базового класса, этот код состоит в основном из процедур валидации. Опять же, не сложно добавить в него другие подобные акты валидации, но я хотел показать вам простейшую возможную модель в качестве доказательства концепции.
В StringField
мы хотим проверить, относится ли значение к правильному типу – str
, и является ли длина строки меньшей или равной максимальному значению (если такое значение определено). В поле IntField
мы проверяем, является ли значение целым числом, и является ли оно меньшим или равным, чем сообщенное максимальное значение.
Важно отметить: мы допускаем, чтобы значения в полях были равны None
. В качестве интересного упражнения предлагаю читателю реализовать обязательные поля, в которых не допускается значение None
.
Следующий фрагмент кода – это наш метакласс:
class ORMMeta(type): """ Метакласс для нашего собственного ORM """ def __new__(self, name, bases, namespace): fields = { name: field for name, field in namespace. items() if isinstance(field, Field) } new_namespace = namespace.copy() # Удалить поля, относящиеся к переменным класса for name in fields.keys(): del new_namespace[name] new_namespace['_fields'] = fields return super().__new__(self, name, bases, new_namespace)
Наш метакласс совсем не кажется сложным. В нем одна функция, и единственное его назначение – собрать все экземпляры Field
в новую переменную класса, которая называется _fields
. Все экземпляры полей также удаляются из словаря класса.
Единственная вещь, для которой нам нужен наш метакласс – чтобы он подключался в момент, когда создается наш класс, брал все определения полей и сохранял их все в одном месте.
Собственно, большая часть фактической работы выполняется в базовом классе нашей библиотеки:
class ORMBase(metaclass=ORMMeta): """ Пользовательский интерфейс для базового класса """ def __init__(self, json_input=None): for name, field in self. _fields.items(): setattr(self, name, field.initial_value) # Если предоставляется JSON, то мы разберем его if json_input is not None: json_value = json.loads(json_input) if not isinstance(json_value, dict): raise RuntimeError("Supplied JSON must be a dictionary") for key, value in json_value.items(): setattr(self, key, value) def __setattr__(self, key, value): """ Установщик магического метода """ if key in self._fields: if self._fields[key].validate(value): super().__setattr__(key, value) else: raise AttributeError('Invalid value "{}" for field "{}"'.format(value, key)) else: raise AttributeError('Unknown field "{}"'.format(key)) def to_json(self): """ Преобразовать заданный объект в JSON """ new_dictionary = {} for name in self._fields.keys(): new_dictionary[name] = getattr(self, name) return json. dumps(new_dictionary)
У класса ORMBase
три метода, и у каждого из них своя конкретная задача:
__init__
— первым делом, установить все поля в начальные значения. Затем, если в качестве параметра передается документ в формате JSON, разобрать его и присвоить значения, полученные в процессе считывания, полям нашей модели.__setattr__
— Это магический метод, вызываемый всякий раз, когда кто-нибудь пытается присвоить значение атрибуту класса. Когда кто-нибудь записываетobject.attribute = value
, вызывается методobject.__setattr__("attribute", value)
. Переопределив этот метод, мы можем изменить поведение, заданное по умолчанию, в данном случае – при помощи инъекции валидационного кода.to_json
– простейший из всех методов в классе. Просто принимает все значения полей и сериализует их в документ JSON.
Вот и вся реализация – наша библиотека готова. Можете сами убедиться, что она работает как положено, и менять ее, если считаете, что она должна работать иначе.
>>> User('{"name": 5}') Traceback (most recent call last): File "/usr/local/lib/python3.6/site-packages/IPython/core/interactiveshell.py", line 2881, in run_code exec(code_obj, self.user_global_ns, self.user_ns) File "<ipython-input-1-76a1a93378fc>", line 1, in <module> User('{"name": 5}') File "/Users/jrx/repos/metaclass-playground/simple-orm.py", line 86, in __init__ setattr(self, key, value) File "/Users/jrx/repos/metaclass-playground/simple-orm.py", line 94, in __setattr__ raise AttributeError('Invalid value "{}" for field "{}"'.format(value, key)) AttributeError: Invalid value "5" for field "name"
Заключительные замечания
Весь код к этому посту можно скачать в репозитории на GitHub [8].
Надеюсь, эта статья вам понравилась и подсказала вам какие-то идеи. Метаклассы могут казаться немного непонятными и не всегда полезными. Однако, они определенно позволяют собирать элегантные библиотеки и интерфейсы, если уметь метаклассами пользоваться.
Подробнее о том, как метаклассы используются в реальной жизни, можно почитать в статье [9].
Источники
[1] http://stackoverflow.com/questions/100003/what-is-a-metaclass-in-python
[2] https://docs.djangoproject.com/en/1.10/topics/db/
[3] https://docs.python.org/3/library/abc.html#abc.ABCMeta
[4] https://developers.google.com/protocol-buffers/docs/pythontutorial
[5] https://ru.wikipedia.org/wiki/Объект_первого_класса
[6] https://ru.wikipedia.org/wiki/Одиночка_(шаблон_проектирования)
[7] https://ru.wikipedia.org/wiki/ORM
[8] https://github.com/MillionIntegrals/metaclass-playground
[9] http://eli.thegreenplace.net/2011/08/14/python-metaclasses-by-example
Метаклассы в Python
В этом руководстве мы расскажем, что такое метаклассы в Python, зачем они нужны и как их создавать.
Метакласс в Python — это класс классов, определяющий поведение класса. То есть класс сам по себе является экземпляром метакласса. Класс определяет поведение экземпляров этого класса. Чтобы хорошо понимать метаклассы, необходимо иметь предыдущий опыт работы с классами в Python. Поэтому, прежде чем углубиться в метаклассы, давайте рассмотрим несколько основных концепций.
От редакции Pythonist. О классах можно почитать в статье «Классы в Python».
В Python все является объектом
class TestClass(): pass my_test_class = TestClass() print(my_test_class) # Oytput: # <__main__.TestClass object at 0x7f6fcc6bf908>
Классы в Python можно создавать динамически
Функция type()
в Python позволяет нам определить тип объекта. Давайте проверим тип объекта, который мы только что создали:
type(TestClass) # type type(type) # type
Подождите, но что это было? Мы ожидали, что тип объекта, который мы создали выше, будет классом, однако это не так. Зафиксируйте, пожалуйста, эту мысль. Мы вернемся к ней чуть позже.
Кроме того, можно заметить, что type
имеет тип type
. Всё потому, что это экземпляр type
.
Функция type
, помимо определения типа объектов, имеет еще один волшебный вариант применения. С ее помощью можно динамически создавать классы. Давайте рассмотрим, как это делается.
Показанный ниже класс Pythonist
будет создан с использованием type
:
class Pythonist(): pass PythonistClass = type('Pythonist', (), {}) print(PythonistClass) print(Pythonist()) # Output: # <class '__main__.DataCamp'> # <__main__.DataCamp object at 0x7f6fcc66e358>
Здесь Pythonist
— это имя класса, а Pythonist Class
— это переменная, содержащая ссылку на класс.
При использовании type
мы можем передавать атрибуты класса с помощью словаря:
PythonClass = type('PythonClass', (), {'start_date': 'August 2018', 'instructor': 'John Doe'} ) print(PythonClass.start_date, PythonClass.instructor) print(PythonClass) # Output: # August 2018 John Doe # <class '__main__.PythonClass'>[python_ad_block]
Если мы хотим, чтобы наш PythonClass
наследовался от класса Pythonist
, мы передаем его нашему второму аргументу при определении класса с использованием type
:
PythonClass = type('PythonClass', (Pythonist,), {'start_date': 'August 2018', 'instructor': 'John Doe'} ) print(PythonClass) # Output: # <class '__main__. PythonClass'>
Теперь, когда эти две концепции ясны, мы понимаем, что Python создает классы, используя метакласс. Мы видели, что все в Python является объектом и эти объекты создаются метаклассами.
Всякий раз, когда мы вызываем class
для создания класса, есть метакласс, который колдует над созданием класса за кулисами. Мы уже видели, как это делает type
. Это похоже на str
, который создает строки, и int
, который создает целые числа. В Python атрибут __class__
позволяет нам проверить тип текущего экземпляра. Давайте создадим строку и проверим ее тип.
article = 'metaclasses' article.__class__ # str
Мы также можем проверить тип, используя type(article)
следующим образом:
type(article) # str
Проверив тип самого str
, мы узнаем, что это тоже type
:
type(str) # type
Если мы проверим тип float
, int
, list
, tuple
и dict
с помощью type()
, мы получим аналогичный результат. Это потому, что все эти объекты имеют тип type
:
print(type(list),type(float), type(dict), type(tuple)) # <class 'type'> <class 'type'> <class 'type'> <class 'type'>
Итак, мы уже видели, как type
создает классы. Следовательно, когда мы проверяем __class__
из __class__
, он должен возвращать type
:
article.__class__.__class__ # type
Создание пользовательских метаклассов
В Python мы можем настроить процесс создания класса, передав ключевое слово metaclass
в определение класса. Это также можно сделать, унаследовав класс, в который уже передали это ключевое слово. К примеру, это может выглядеть следующим образом:
class MyMeta(type): pass class MyClass(metaclass=MyMeta): pass class MySubclass(MyClass): pass
Ниже мы видим, что тип класса MyMeta
— type
, а тип MyClass
и MySubClass
— MyMeta
.
print(type(MyMeta)) print(type(MyClass)) print(type(MySubclass)) # Output: # <class 'type'> # <class '__main__.MyMeta'> # <class '__main__.MyMeta'>
При определении класса и отсутствии метакласса по умолчанию будет использоваться метакласс type
. Если задан метакласс, не являющийся экземпляром type()
, то он используется непосредственно как метакласс.
__new__ и __init__
Метаклассы также могут быть определены одним из двух способов, показанных ниже. Давайте рассмотрим разницу между ними:
class MetaOne(type): def __new__(cls, name, bases, dict): pass class MetaTwo(type): def __init__(self, name, bases, dict): pass
__new__
используется, когда нужно определить кортежи dict
или base
перед созданием класса. Возвращаемое значение __new__
обычно является экземпляром cls
. __new__
позволяет подклассам неизменяемых типов настраивать создание экземпляров. Его можно переопределить в пользовательских метаклассах, чтобы настроить создание класса.
__init__
обычно вызывается после создания объекта для его инициализации.
Метод метакласса __call__
Согласно официальной документации, мы также можем переопределить другие методы класса. К примеру, определив собственный метод __call__()
в метаклассе, что позволит настроить поведение при вызове класса.
Метод метакласса __prepare__
Согласно документам модели данных Python:
«После определения соответствующего метакласса подготавливается пространство имен класса.
Если у метакласса есть атрибут __prepare__
, он вызывается как namespace = metaclass.__prepare__(name, bases, **kwds)
(где дополнительные аргументы ключевого слова, если они есть, берутся из определения класса).
Если метакласс не имеет __prepare__attribute
, то пространство имен класса инициализируется как пустое упорядоченное отображение».
Проектирование Singleton с использованием метакласса
Данный шаблон проектирования ограничивает создание экземпляра класса только одним объектом. Это может оказаться полезным, например, при разработке класса для подключения к базе данных. Возможно, вы захотите иметь только один экземпляр класса соединения.
class SingletonMeta(type): _instances = {} def __call__(cls, *args, **kwargs): if cls not in cls._instances: cls._instances[cls] = super(SingletonMeta,cls).__call__(*args, **kwargs) return cls._instances[cls] class SingletonClass(metaclass=SingletonMeta): pass
Заключение
В этой статье мы узнали о том, что такое метаклассы в Python и как мы можем реализовать их в нашем коде. Метаклассы могут применяться, среди прочего, для ведения журнала, регистрации классов во время создания и профилирования. Они кажутся довольно абстрактными понятиями, и у вас может возникнуть сомнение относительно целесообразности их использования. Лучше всего об этом сказал Тим Питерс, питонист с большим опытом:
«Метаклассы — это более глубокая магия, о которой 99% пользователей не должны беспокоиться. Если вы задаетесь вопросом, нужны ли они вам – значит, нет, вы в них не нуждаетесь (люди, которые действительно нуждаются в метаклассах, точно знают, что они им нужны, и не нуждаются в объяснении зачем)».
Надеемся, данная статья была вам полезна! Успехов в написании кода!
Перевод статьи «Introduction to Python Metaclasses».
Метаклассы Python – Real Python
Смотреть сейчас Это руководство содержит соответствующий видеокурс, созданный командой Real Python. Посмотрите его вместе с письменным учебным пособием, чтобы углубить свое понимание: Метаклассы в Python
Термин метапрограммирование относится к возможности программы получать знания о себе или манипулировать ими. Python поддерживает форму метапрограммирования для классов, называемую метаклассами .
Метаклассы — это эзотерическая концепция ООП, скрывающаяся практически за всем кодом Python. Вы используете их, знаете ли вы об этом или нет. По большей части вам не нужно знать об этом. Большинству программистов Python редко, если вообще когда-либо, приходится думать о метаклассах.
Однако, когда возникает необходимость, Python предоставляет возможность, которую поддерживают не все объектно-ориентированные языки: вы можете заглянуть внутрь и определить собственные метаклассы. Использование пользовательских метаклассов несколько спорно, о чем свидетельствует следующая цитата Тима Питерса, гуру Python, автора Zen of Python:
.«Метаклассы — это более глубокая магия, чем 99% пользователей должны беспокоиться. Если вы задаетесь вопросом, нужны ли они вам, значит, они вам не нужны (люди, которым они действительно нужны, точно знают, что они им нужны, и не нуждаются в объяснении, почему)».
— Тим Питерс
Есть сторонники Python (так называют поклонников Python), которые считают, что вы никогда не должны использовать пользовательские метаклассы. Это может зайти слишком далеко, но, вероятно, это правда, что пользовательские метаклассы в большинстве случаев не нужны. Если не совсем очевидно, что проблема требует их, то, вероятно, она будет чище и читабельнее, если будет решена более простым способом.
Тем не менее, понимание метаклассов Python полезно, потому что оно приводит к лучшему пониманию внутреннего устройства классов Python в целом. Вы никогда не знаете: однажды вы можете оказаться в одной из тех ситуаций, когда вы просто знаете, что пользовательский метакласс — это то, что вам нужно.
Классы старого и нового стиля
В области Python класс может быть одним из двух вариантов. Официальная терминология не определена, поэтому они неофициально называются классами старого и нового стиля.
Удалить рекламуСтарые классы
В классах старого стиля класс и тип не совсем одно и то же. Экземпляр класса в старом стиле всегда реализуется из одного встроенного типа с именем instance
. Если obj
является экземпляром класса старого стиля, obj.__class__
обозначает класс, но type(obj)
всегда instance
. Следующий пример взят из Python 2.7:
>>> класс Foo: ... проходить ... >>> х = Фу() >>> х.__класс__ <класс __main__.Foo по адресу 0x000000000535CC48> >>> тип(х) <тип 'экземпляр'>
Классы нового стиля
Классы нового стиля объединяют понятия класса и типа. Если obj
является экземпляром класса нового стиля, type(obj)
совпадает с obj.__class__
:
>>> класс Foo: ... проходить >>> объект = Фу() >>> объект__класс__ <класс '__main__.Foo'> >>> тип(объект) <класс '__main__.Foo'> >>> obj.__class__ это тип (obj) Истинный>>>
>>> n = 5 >>> d = {'х': 1, 'у': 2} >>> класс Foo: ... проходить ... >>> х = Фу() >>> для obj в (n, d, x): ... print(type(obj) is obj.__class__) ... Истинный Истинный Истинный
Тип и класс
В Python 3 все классы являются классами нового стиля. Таким образом, в Python 3 разумно ссылаться на тип объекта и его класс взаимозаменяемо.
Примечание: В Python 2 классы по умолчанию имеют старый стиль. До Python 2.2 классы нового стиля вообще не поддерживались. Начиная с Python 2.2, их можно создавать, но они должны быть явно объявлены как новые.
Помните, что в Python все является объектом. Классы также являются объектами. В результате класс должен иметь тип. Что такое тип класса?
Рассмотрим следующее:
>>>>>> класс Foo: ... проходить ... >>> х = Фу() >>> тип(х) <класс '__main__.Foo'> >>> тип(фу) <класс 'тип'>
Тип x
— это класс Foo
, как и следовало ожидать. Но тип Foo
, сам класс, это тип
. В общем, тип любого класса нового стиля — тип
.
Тип встроенных классов, с которыми вы знакомы, тоже тип
:
>>> для t в int, float, dict, list, tuple: . .. печать (тип (т)) ... <класс 'тип'> <класс 'тип'> <класс 'тип'> <класс 'тип'> <класс 'тип'>
Если уж на то пошло, тип тип
тоже тип
(да, действительно):
>>> тип(тип) <класс 'тип'>
тип
— это метакласс, экземплярами которого являются классы. Подобно тому, как обычный объект является экземпляром класса, любой класс нового стиля в Python и, следовательно, любой класс в Python 3 является экземпляром класса.0039 метакласс типа .
В приведенном выше случае:
-
x
является экземпляром классаFoo
. -
Foo
является экземпляром метаклассатипа
. -
тип
также является экземпляром метаклассатипа
, поэтому он является экземпляром самого себя.
Динамическое определение класса
Встроенная функция type()
при передаче одного аргумента возвращает тип объекта. Для классов нового стиля это обычно то же самое, что и 9 объектов.0039 __класс__ атрибут:
>>> тип(3) <класс 'целое'> >>> type(['foo', 'bar', 'baz']) <класс 'список'> >>> т = (1, 2, 3, 4, 5) >>> тип(т) <класс 'кортеж'> >>> класс Foo: ... проходить ... >>> тип(фу()) <класс '__main__.Foo'>
Вы также можете вызвать type()
с тремя аргументами — type(
:
-
<имя>
указывает имя класса. Это становится атрибутом__name__
класса. -
__bases__
класса. -
__dict__
класса.
Звонок type()
таким образом создает новый экземпляр метакласса type
. Другими словами, он динамически создает новый класс.
В каждом из следующих примеров верхний фрагмент определяет класс динамически с помощью type()
, а нижний фрагмент определяет класс обычным образом с помощью оператора class
. В каждом случае два фрагмента функционально эквивалентны.
Пример 1
В этом первом примере
и
аргументы, переданные в type()
, оба пусты. Наследование от какого-либо родительского класса не указано, и изначально ничего не помещается в словарь пространства имен. Это самое простое определение класса:
>>> Foo = тип('Foo', (), {}) >>> х = Фу() >>> х Объект <__main__.Foo по адресу 0x04CFAD50>>>>
>>> класс Foo: ... проходить ... >>> х = Фу() >>> х Объект <__main__.Foo по адресу 0x0370AD50>
Пример 2
Здесь
— это кортеж с одним элементом Foo
, определяющий родительский класс, от которого наследуется Bar
. Атрибут attr
изначально помещается в словарь пространства имен:
>>> Bar = type('Bar', (Foo,), dict(attr=100)) >>> х = бар() >>> x.attr 100 >>> х.__класс__ <класс '__main__.Bar'> >>> x.__class__.__bases__ (<класс '__main__.Foo'>,)>>>
>>> класс Bar(Foo): ... атрибут = 100 ... >>> х = бар() >>> x.attr 100 >>> х.__класс__ <класс '__main__.Bar'> >>> x.__class__.__bases__ (<класс '__main__.Foo'>,)
Пример 3
На этот раз
снова пусто. Два объекта помещаются в словарь пространства имен с помощью аргумента
. Первый — это атрибут с именем attr
, а второй — функция с именем 9.0039 attr_val , который становится методом определенного класса:
>>> Foo = тип( ... 'Фу', ... (), ... { ... 'атрибут': 100, ... 'attr_val': лямбда x : x.attr ... } ... ) >>> х = Фу() >>> x.attr 100 >>> x.attr_val() 100>>>
>>> класс Foo: . .. атрибут = 100 ... def attr_val(self): ... вернуть self.attr ... >>> х = Фу() >>> x.attr 100 >>> x.attr_val() 100
Пример 4
Только очень простые функции могут быть определены с помощью lambda
в Python. В следующем примере несколько более сложная функция определяется извне, а затем назначается attr_val
в словаре пространства имен с помощью имени f
:
>>> определение f(obj): ... print('attr =', obj.attr) ... >>> Фу = тип( ... 'Фу', ... (), ... { ... 'атрибут': 100, ... 'attr_val': f ... } ... ) >>> х = Фу() >>> x.attr 100 >>> x.attr_val() атрибут = 100>>>
>>> определение f(obj): ... print('attr =', obj.attr) ... >>> класс Foo: ... атрибут = 100 ... attr_val = f ... >>> х = Фу() >>> x.attr 100 >>> x.attr_val() атрибут = 100Удалить рекламу
Пользовательские метаклассы
Рассмотрим еще раз этот избитый пример:
>>>>>> класс Foo: . .. проходить ... >>> f = Фу()
Выражение Foo()
создает новый экземпляр класса Foo
. Когда интерпретатор встречает Foo()
, происходит следующее:
Вызывается метод
__call__()
родительского классаFoo
. ПосколькуFoo
является стандартным классом нового стиля, его родительским классом является метакласстипа
, поэтому вызывается метод__call__()
типа
.Этот метод
__call__()
, в свою очередь, вызывает следующее:-
__новый__()
-
__init__()
-
Если Foo
не определяет __new__()
и __init__()
, методы по умолчанию наследуются от предков Foo
. Но если Foo
действительно определяет эти методы, они переопределяют методы из предка, что позволяет настроить поведение при создании экземпляра Foo
.
В дальнейшем пользовательский метод с именем new()
определяется и назначается как метод __new__()
для Foo
:
>>> новый по определению (cls): ... x = объект.__new__(cls) ... х.аттр = 100 ... вернуть х ... >>> Foo.__new__ = новый >>> f = Фу() >>> f.attr 100 >>> г = Фу() >>> g.attr 100
Это изменяет поведение экземпляра класса Foo
: каждый раз, когда создается экземпляр Foo
, по умолчанию он инициализируется атрибутом с именем 9.0039 attr , который имеет значение 100
. (Подобный код чаще всего появляется в методе __init__()
, а не в методе __new__()
. Этот пример придуман для демонстрационных целей.)
Теперь, как уже было сказано, классы тоже являются объектами. Предположим, вы хотели аналогичным образом настроить поведение инстанцирования при создании класса, например Foo
. Если бы вы следовали приведенному выше шаблону, вы бы снова определили пользовательский метод и назначили его в качестве 9. 0039 __new__() метод, экземпляром которого является Foo
класса. Foo
является экземпляром метакласса типа
, поэтому код выглядит примерно так:
# Спойлер: это не работает! >>> определение нового (cls): ... x = тип.__new__(cls) ... х.аттр = 100 ... вернуть х ... >>> type.__new__ = новый Traceback (последний последний вызов): Файл "", строка 1, в type.__new__ = новый TypeError: невозможно установить атрибуты встроенного/расширенного типа «тип»
За исключением того, что, как видите, вы не можете переназначить метод __new__()
метакласса типа
. Питон не позволяет.
Наверное, это даже к лучшему. тип
— это метакласс, из которого происходят все классы нового стиля. Вы действительно не должны возиться с этим в любом случае. Но тогда какой выход есть, если вы хотите настроить создание экземпляра класса?
Одним из возможных решений является собственный метакласс. По сути, вместо того, чтобы возиться с тип
метакласс, вы можете определить свой собственный метакласс, который является производным от типа
, а затем вместо этого вы можете возиться с ним.
Первым шагом является определение метакласса, производного от типа
, следующим образом:
>>> класс Мета(тип): ... def __new__(cls, name, bases, dct): ... x = super().__new__(cls, name, bases, dct) ... х.аттр = 100 ... вернуть х ...
Заголовок определения class Meta(type):
указывает, что Meta
происходит от типа
. Поскольку тип
является метаклассом, это делает Meta
также метаклассом.
Обратите внимание, что для Meta
определен пользовательский метод __new__()
. Невозможно было сделать это напрямую с метаклассом типа
. Метод __new__()
делает следующее:
- Делегаты через
super()
в__new__()
метод родительского метакласса (тип
) для фактического создания нового класса - Присваивает классу пользовательский атрибут
attr
со значением100
- Возвращает только что созданный класс
Теперь другая половина шаманства: Определите новый класс Foo
и укажите, что его метакласс является пользовательским метаклассом Meta
, а не стандартным метаклассом типа
. Это делается с помощью метакласса 9.0040 ключевое слово в определении класса следующим образом:
>>> класс Foo (метакласс = мета): ... проходить ... >>> Foo.attr 100
Вуаля! Foo
автоматически выбрал атрибут attr
из метакласса Meta
. Конечно, любые другие классы, которые вы определяете аналогичным образом, будут вести себя так же:
>>> класс Бар (метакласс = мета): ... проходить ... >>> класс Qux(метакласс=мета): ... проходить ... >>> Bar.attr, Qux.attr (100, 100)
Точно так же, как класс функционирует как шаблон для создания объектов, метакласс функционирует как шаблон для создания классов. Метаклассы иногда называют фабриками классов.
Сравните следующие два примера:
Фабрика объектов:
>>>>>> класс Foo: ... защита __init__(я): ... self.attr = 100 ... >>> х = Фу() >>> x.attr 100 >>> у = Фу() >>> y. attr 100 >>> г = Фу() >>> z.attr 100
Класс Фабрика:
>>>>>> класс Мета(тип): ... защита __init__( ... cls, имя, базы, dct ... ): ... клс.аттр = 100 ... >>> класс X (метакласс = мета): ... проходить ... >>> X.attr 100 >>> класс Y (метакласс = мета): ... проходить ... >>> Y.attr 100 >>> класс Z (метакласс = мета): ... проходить ... >>> Z.attr 100Удалить рекламу
Это действительно необходимо?
Каким бы простым ни был приведенный выше пример фабрики классов, в нем суть работы метаклассов. Они позволяют настраивать экземпляр класса.
Тем не менее, присваивать настраиваемый атрибут attr
каждому вновь созданному классу слишком много. Вам действительно нужен метакласс только для этого?
В Python есть по крайней мере пара других способов, которыми можно эффективно выполнить то же самое:
Простое наследование:
>>>>>> класс База: . .. атрибут = 100 ... >>> класс X (базовый): ... проходить ... >>> класс Y (базовый): ... проходить ... >>> класс Z (базовый): ... проходить ... >>> X.attr 100 >>> Y.attr 100 >>> Z.attr 100
Декоратор класса:
>>>>>> определитель декоратора (cls): ... класс NewClass (cls): ... атрибут = 100 ... вернуть новый класс ... >>> @декоратор ... класс Х: ... проходить ... >>> @декоратор ... класс Y: ... проходить ... >>> @декоратор ... класс Z: ... проходить ... >>> X.attr 100 >>> Y.attr 100 >>> Z.attr 100
Заключение
Как предполагает Тим Питерс, метакласса могут легко превратиться в «решение в поисках проблемы». Обычно нет необходимости создавать собственные метаклассы. Если проблема под рукой может быть решена более простым способом, вероятно, так и должно быть. Тем не менее полезно понимать метаклассы, чтобы понимать классы Python в целом и понимать, когда метакласс действительно является подходящим инструментом для использования.
Смотреть сейчас Это руководство содержит связанный с ним видеокурс, созданный командой Real Python. Посмотрите его вместе с письменным руководством, чтобы углубить свое понимание: Метаклассы в Python
class — Для чего полезны метаклассы Python?
Имейте в виду две вещи:
Возможно, они вам не понадобятся. Звучат круто, но большинству людей они на самом деле не нужны.
Python поддерживает динамические классы через type(), множественное наследование и цепочку методов через
super().foo()
. Вы даже можете добавить функцию в класс, и она будет привязана к нему во время выполнения.
Итак, в большинстве случаев метаклассы несколько излишни.
Однако я обнаружил, что они могут быть очень полезны для сборки поведения из атрибутов — а не только методов — нескольких классов.
Например, структура проверки, которая объединяет несколько требований:
Ответ http должен иметь
- код состояния - значение должно быть указано в подклассе
- тип содержимого - значение, которое должно быть указано в подклассе
Кроме того, ответ html, проверяющий класс , для которого ожидается успех, должен:
- ожидать 200 в этом коде состояния. html в типе контента
- ожидать, что заголовок - значение будет указано... в другом месте
В этом случае тестовому экземпляру нужно будет указать только точное название.
Система метаклассов может собрать все эти требования вместе, так что ваш модульный тест должен указать только заголовок, а класс «знает», что он должен очистить страницу для
, проверьте тип содержимого и проверьте код ответа.
Вот гораздо более скромная попытка примера использования метаклассов для этого. Мы печатаем письма с различными шаблонами заголовков, которые собираются вместе. Нижний колонтитул может использовать тот же механизм, но вместо этого используются миксины в стиле super() Python, которые считаются супер! . Эти 2 подхода — сборка атрибутов уровня класса и объединение методов, отличных от __init__
, через super хорошо работают вместе.
защита get_annos (v): вернуть getattr(v, "__annotations__", {}) класс MailMeta (тип): def get_annos (cls: тип, предки_в: список [тип]): разрешение = {} для ACL в предки_в: res. update(**get_annos(acls)) вернуть разрешение def _calc_annotations(cls, li_bases): """ объединить аннотации для класса и предков """ annos = cls.get_annos(li_bases + [cls]) cls.annos = год def _concat_template (cls, имя_переменной, базы: список [тип]): """это склеивает некоторые шаблоны сборка сложных атрибутов из нескольких классов кое-что, в чем метаклассы однозначно хороши. как это сделать может быть сложно, хотя! «Неупорядоченные» атрибуты например, наборы или словари могут быть проще, но используйте `copy` либерально. """ ли = [] cls_var = f"cls_{имя_переменной}" для acls в базах: v = getattr(acls, cls_var, "") если не v: продолжать если v в ли: продолжать li.append(v) all_ = "".присоединиться(ли) setattr(cls,имя_переменной,все_) def __init__(cls, name, bases, attrs, **kwargs): """собрать вместе некоторые атрибуты из mro""" li_bases2current = [ v для v в списке (обратное (cls. mro())) если не v является объектом, а не v является cls ] cls._calc_annotations(li_bases2current) cls._concat_template («заголовок», [cls] + список (обратный (li_bases2current)) super().__init__(имя, базы, атрибуты) класс Mail (метакласс = MailMeta): """ указать базовое поведение""" name : str # почта всегда должна указывать, для кого она приветствие: ул. cls_header: ул = "" шаблон: ул. нижний колонтитул: ул = "" def _set_annotations(я, **kwargs): """""" неопределенный = объект () для имени атрибута в self.annos.keys(): v = kwargs.get (имя атрибута, не определено) если v не является неопределенным: setattr(self, attrname, v) еще: #может быть, это установлено на занятиях v = getattr(self, attrname, undefined) если v не определено: поднять ValueError(f"{attrname} не определено") def __init__(я, **kwargs): """ отслеживать, какие переменные мы ожидали""" self. _set_annotations(**kwargs) self.fulltemplate = "\n".join([self.header,self.template,self.get_footer()]) защита get_footer (я): вернуть f"\n{self.footer}" деф печать (я): print(f"\n{'-' * 40}\n{self.__class__.__name__}:\n") di = dict(**vars(self.__class__)) di.update(**вары(сам)) печать (self.fulltemplate% (di)) Электронная почта класса: cls_header = "Уважаемый %(приветствие)s %(имя)s," cls_footer = "С уважением," класс Спам(Электронная почта, Почта): сумма: инт template = "Вы выиграли приз в размере $%(сумма)s" Подпись класса: t_footer = "%(от_)с" from_ : ул. защита get_footer (я): вернуть super().get_footer() + self.t_footer% vars(self) класс TrustedSpam (подпись, спам): «Надежный, потому что подписан» template = "Вы выиграли $%(сумма)s. Такая возможность выпадает раз в жизни." защита get_footer (я): return super().get_footer() + "\nПожалуйста, поверьте мне" класс SnailMailTrustedSpamForDoctors(TrustedSpam): «Врачам нравится, когда их называют доктором». приветствие = «Доктор». cls_header = "Улица Честных Товарищей, 101\n\n" пытаться: почта = Почта (приветствие = "Мисс", шаблон = "") кроме (ValueError,) как exc: print(f"ой. забыл `имя`. Все хорошо: {exc=} ✅") пытаться: почта = Спам (приветствие = «Мисс», имя = «Джонсон») кроме (Exception,) как exc: print(f"ой. забыл `amount` в спаме. Все хорошо: {exc=} ✅") почта = Спам (приветствие = «Мисс», сумма = 2000, имя = «Джонсон») почта.печать() mail = TrustedSpam(salutation="Мисс", сумма=2000, имя="Джонсон", from_="Джо Надежный") почта.печать() mail = SnailMailTrustedSpamForDoctors(amount=10000, name="Доверчивый", from_="Джо Надежный") почта.печать()
И вывод:
упс. забыл `имя`. Все хорошо: exc=ValueError('имя не определено') ✅ упс. забыл "сумма" в спаме. Все хорошо: exc=ValueError('сумма не определена') ✅ ---------------------------------------- Спам: Уважаемая мисс Джонсон, Вы выиграли приз в размере 2000 долларов США ---------------------------------------- Доверенный спам: Уважаемая мисс Джонсон, Вы выиграли 2000 долларов.