ast- 抽象语法树 – Python语言服务(Python教程)(参考资料)
ast
– 抽象语法树
源代码: Lib / ast.py
ast
模块帮助Python应用程序处理Pythonabstract语法语法的树。随着eachPython发布,抽象语法本身可能会改变;这个模块有助于以编程方式找出currentgrammar的样子.
通过将ast.PyCF_ONLY_AST
asa标志传递给compile()
内置函数或使用parse()
本模块中提供的帮助程序。结果将是一个对象树,其类都继承自ast.AST
。可以使用内置的compile()
功能。
节点类
- class
ast.
AST
- 这是所有AST节点类的基础。实际节点类来自
Parser/Python.asdl
文件,转载下面。它们在中定义_ast
Cmodule并在ast
.中重新导出。在abstractgrammar中为每个左侧符号定义了一个类(例如,
ast.stmt
或ast.expr
)。另外,在右侧为每个构造函数定义了一个类;这些类继承自左侧树的类。例如,ast.BinOp
继承自ast.expr
。对于具有替代(也称为“sums”)的生产规则,左侧类是抽象的:只创建特定构造函数节点的实例._fields
- 每个具体类都有一个属性
_fields
它给出了所有子节点的名称.具体类的每个实例都有一个属性用于每个子节点,类型在语法中定义。例如,
ast.BinOp
实例有left
属性ast.expr
.如果这些属性在语法中被标记为可选(使用aquestion标记),则值可能是
None
。如果属性可以具有零或更多值(标有星号),则值将表示为Python列表。在使用compile()
.
lineno
col_offset
- 的实例
ast.expr
和ast.stmt
子类有lineno
和col_offset
属性。lineno
是源文本的行号(1索引,因此第一行是第1行)和col_offset
是生成节点的第一个标记的UTF-8字节偏移量。记录UTF-8偏移是因为解析器内部使用了UTF-8
一个类的构造函数
ast.T
解析其参数如下:- 如果有位置参数,则必须有与
T._fields
中的项目一样多的参数;它们将被指定为这些名称的属性. - 如果有关键字参数,则会将相同名称的属性设置为给定值.
例如,要创建并填充
ast.UnaryOp
节点,可以使用node = ast.UnaryOp() node.op = ast.USub() node.operand = ast.Num() node.operand.n = 5 node.operand.lineno = 0 node.operand.col_offset = 0 node.lineno = 0 node.col_offset = 0
或更紧凑
node = ast.UnaryOp(ast.USub(), ast.Num(5, lineno=0, col_offset=0), lineno=0, col_offset=0)
抽象语法
抽象语法目前定义如下:
-- ASDL's 7 builtin types are: -- identifier, int, string, bytes, object, singleton, constant -- -- singleton: None, True or False -- constant can be None, whereas None means "no value" for object. module Python { mod = Module(stmt* body) | Interactive(stmt* body) | Expression(expr body) -- not really an actual node but useful in Jython's typesystem. | Suite(stmt* body) stmt = FunctionDef(identifier name, arguments args, stmt* body, expr* decorator_list, expr? returns) | AsyncFunctionDef(identifier name, arguments args, stmt* body, expr* decorator_list, expr? returns) | ClassDef(identifier name, expr* bases, keyword* keywords, stmt* body, expr* decorator_list) | Return(expr? value) | Delete(expr* targets) | Assign(expr* targets, expr value) | AugAssign(expr target, operator op, expr value) -- 'simple' indicates that we annotate simple name without parens | AnnAssign(expr target, expr annotation, expr? value, int simple) -- use 'orelse' because else is a keyword in target languages | For(expr target, expr iter, stmt* body, stmt* orelse) | AsyncFor(expr target, expr iter, stmt* body, stmt* orelse) | While(expr test, stmt* body, stmt* orelse) | If(expr test, stmt* body, stmt* orelse) | With(withitem* items, stmt* body) | AsyncWith(withitem* items, stmt* body) | Raise(expr? exc, expr? cause) | Try(stmt* body, excepthandler* handlers, stmt* orelse, stmt* finalbody) | Assert(expr test, expr? msg) | Import(alias* names) | ImportFrom(identifier? module, alias* names, int? level) | Global(identifier* names) | Nonlocal(identifier* names) | Expr(expr value) | Pass | Break | Continue -- XXX Jython will be different -- col_offset is the byte offset in the utf8 string the parser uses attributes (int lineno, int col_offset) -- BoolOp() can use left & right? expr = BoolOp(boolop op, expr* values) | BinOp(expr left, operator op, expr right) | UnaryOp(unaryop op, expr operand) | Lambda(arguments args, expr body) | IfExp(expr test, expr body, expr orelse) | Dict(expr* keys, expr* values) | Set(expr* elts) | ListComp(expr elt, comprehension* generators) | SetComp(expr elt, comprehension* generators) | DictComp(expr key, expr value, comprehension* generators) | GeneratorExp(expr elt, comprehension* generators) -- the grammar constrains where yield expressions can occur | Await(expr value) | Yield(expr? value) | YieldFrom(expr value) -- need sequences for compare to distinguish between -- x < 4 < 3 and (x < 4) < 3 | Compare(expr left, cmpop* ops, expr* comparators) | Call(expr func, expr* args, keyword* keywords) | Num(object n) -- a number as a PyObject. | Str(string s) -- need to specify raw, unicode, etc? | FormattedValue(expr value, int? conversion, expr? format_spec) | JoinedStr(expr* values) | Bytes(bytes s) | NameConstant(singleton value) | Ellipsis | Constant(constant value) -- the following expression can appear in assignment context | Attribute(expr value, identifier attr, expr_context ctx) | Subscript(expr value, slice slice, expr_context ctx) | Starred(expr value, expr_context ctx) | Name(identifier id, expr_context ctx) | List(expr* elts, expr_context ctx) | Tuple(expr* elts, expr_context ctx) -- col_offset is the byte offset in the utf8 string the parser uses attributes (int lineno, int col_offset) expr_context = Load | Store | Del | AugLoad | AugStore | Param slice = Slice(expr? lower, expr? upper, expr? step) | ExtSlice(slice* dims) | Index(expr value) boolop = And | Or operator = Add | Sub | Mult | MatMult | Div | Mod | Pow | LShift | RShift | BitOr | BitXor | BitAnd | FloorDiv unaryop = Invert | Not | UAdd | USub cmpop = Eq | NotEq | Lt | LtE | Gt | GtE | Is | IsNot | In | NotIn comprehension = (expr target, expr iter, expr* ifs, int is_async) excepthandler = ExceptHandler(expr? type, identifier? name, stmt* body) attributes (int lineno, int col_offset) arguments = (arg* args, arg? vararg, arg* kwonlyargs, expr* kw_defaults, arg? kwarg, expr* defaults) arg = (identifier arg, expr? annotation) attributes (int lineno, int col_offset) -- keyword arguments supplied to call (NULL identifier for **kwargs) keyword = (identifier? arg, expr value) -- import name with optional 'as' alias. alias = (identifier name, identifier? asname) withitem = (expr context_expr, expr? optional_vars) }
ast
助手
除了节点类之外,ast
模块定义了这些实用函数和用于遍历抽象语法树的类:
ast.
parse
(source, filename=”<unknown>”, mode=”exec”)- 将源解析为AST节点。相当于
compile(source,filename, mode, ast.PyCF_ONLY_AST)
.警告
由于Python的AST编译器中的堆栈深度限制,有可能使Python解释器崩溃的大/复杂的字符串很糟糕.
ast.
literal_eval
(node_or_string)- 安全地评估表达式节点或者包含Python文字或容器显示的字符串。提供的字符串或节点可能只包含以下Python文字结构:字符串,字节,数字,元组,列表,字符串,集合,布尔值和
None
.这可用于安全地评估包含来自不受信任来源的Python值的字符串无需自己解析价值观。它不能用于评估任意复杂的表达式,例如涉及操作符或索引.
Warning
由于Python的AST编译器中的堆栈深度限制,可能会因为大型/复杂的字符串而崩溃Python解释器.
更改版本3.2:现在允许字节和设置文字
ast.
get_docstring
// (node, clean=True)- 返回的文档字符串给node(必须是
FunctionDef
,AsyncFunctionDef
,ClassDef
,或Module
节点),或None
如果它没有docstring.If clean是的,用inspect.cleandoc()
.在版本3.5中更改:
AsyncFunctionDef
现在支持了
ast.
fix_missing_locations
(node)- 使用
compile()
,编译器期望lineno
和col_offset
支持sthem的每个节点的属性。填充生成的节点相当繁琐,因此通过将这些属性设置为父节点的值,可以递归地对这些属性进行递归处理。它从node.
ast.
increment_lineno
(node, n=1)- 从node开始增加树中每个节点的行号n这对于“移动代码”到文件中的不同位置
ast.
copy_location
(new_node, old_node)- 复制源位置(
lineno
和col_offset
)来自old_node至 new_node如果可能的话,返回new_node.
ast.
iter_fields
(node)- 产生一个
(fieldname, value)
对于node._fields
存在于node.
ast.
iter_child_nodes
(node)- 产生node,即作为节点的所有字段和作为节点列表的所有字段项.
ast.
walk
(node)- 从node(包含 node本身),没有指定的顺序。如果您只想修改节点并且不关心上下文,这很有用.
- class
ast.
NodeVisitor
- 一个节点访问者基类,它遍历抽象语法树并为找到的每个节点调用avisitor函数。此函数可能返回由
visit()
方法转发的值这个类是子类化的,子类添加了visitormethods.
visit
(node)- 访问一个节点。默认实现调用名为
classname的方法classname是nodeclass的名称,或self.visit_
generic_visit()
如果那种方法不存在的话
generic_visit
(node)- 这位访客打电话给
visit()
在节点的所有孩子身上请注意,除非访问者调用
generic_visit()
或拜访自己.
不要用
NodeVisitor
如果要在遍历期间对节点应用更改。为此,存在一个允许修改的特殊访客(NodeTransformer
)
- class
ast.
NodeTransformer
- A
NodeVisitor
遍历抽象语法树并允许修改节点的子类.NodeTransformer
将遍历AST并使用visitor方法的返回值来替换或删除旧节点。如果访问者方法的返回值是None
,节点将从其位置中删除,否则将替换为返回值。返回值可以是原始节点,在这种情况下不进行替换.这是一个示例变换器,它将所有出现的名称查找(
foo
)重写为data["foo"]
:class RewriteName(NodeTransformer): def visit_Name(self, node): return copy_location(Subscript( value=Name(, ctx=Load()), slice=Index(value=Str(s=node.id)), ctx=node.ctx ), node)
请记住,如果您正在操作的节点有子节点,您可以自己转换子节点或首先调用节点的
generic_visit()
方法.对于属于语句集合(适用于所有语句节点)的节点,访问者也可以返回节点列表而不是单个节点.
通常你使用这样的变换器:
node = YourTransformer().visit(node)
ast.
dump
(node, annotate_fields=True, include_attributes=False)- 在node中返回树的格式化转储。这主要用于调试目的。返回的字符串将显示字段的名称和值。这使代码无法评估,因此如果需要评估annotate_fields必须设置为
False
。默认情况下不会转储诸如亚麻布和列偏移之类的属性。如果需要这个,include_attributes可以设置为True
.
另见
Green Tree Snakes,一个外部文档资源,在使用Python AST时很好用.
文章导航
- 节点类
- 抽象语法
超哥软件库 » ast- 抽象语法树 – Python语言服务(Python教程)(参考资料)