ast- 抽象语法树 – Python语言服务(Python教程)(参考资料)

ast– 抽象语法树

源代码: Lib / ast.py


ast模块帮助Python应用程序处理Pythonabstract语法语法的树。随着eachPython发布,抽象语法本身可能会改变;这个模块有助于以编程方式找出currentgrammar的样子.

通过将ast.PyCF_ONLY_AST asa标志传递给compile()内置函数或使用parse()本模块中提供的帮助程序。结果将是一个对象树,其类都继承自ast.AST。可以使用内置的compile()功能。

节点类
class ast.AST
这是所有AST节点类的基础。实际节点类来自Parser/Python.asdl文件,转载下面。它们在中定义_astCmodule并在ast.

中重新导出。在abstractgrammar中为每个左侧符号定义了一个类(例如,ast.stmtast.expr)。另外,在右侧为每个构造函数定义了一个类;这些类继承自左侧树的类。例如,ast.BinOp继承自ast.expr。对于具有替代(也称为“sums”)的生产规则,左侧类是抽象的:只创建特定构造函数节点的实例.

 

_fields
每个具体类都有一个属性_fields它给出了所有子节点的名称.

具体类的每个实例都有一个属性用于每个子节点,类型在语法中定义。例如, ast.BinOp实例有left属性ast.expr.

如果这些属性在语法中被标记为可选(使用aquestion标记),则值可能是None。如果属性可以具有零或更多值(标有星号),则值将表示为Python列表。在使用compile().

lineno
col_offset
的实例ast.exprast.stmt子类有linenocol_offset属性。lineno是源文本的行号(1索引,因此第一行是第1行)和col_offset是生成节点的第一个标记的UTF-8字节偏移量。记录UTF-8偏移是因为解析器内部使用了UTF-8

一个类的构造函数ast.T解析其参数如下:

  • 如果有位置参数,则必须有与T._fields中的项目一样多的参数;它们将被指定为这些名称的属性.
  • 如果有关键字参数,则会将相同名称的属性设置为给定值.

例如,要创建并填充ast.UnaryOp节点,可以使用

node = ast.UnaryOp()  node.op = ast.USub()  node.operand = ast.Num()  node.operand.n = 5  node.operand.lineno = 0  node.operand.col_offset = 0  node.lineno = 0  node.col_offset = 0

或更紧凑

node = ast.UnaryOp(ast.USub(), ast.Num(5, lineno=0, col_offset=0),                     lineno=0, col_offset=0)

 

抽象语法

抽象语法目前定义如下:

-- ASDL's 7 builtin types are:  -- identifier, int, string, bytes, object, singleton, constant  --  -- singleton: None, True or False  -- constant can be None, whereas None means "no value" for object.    module Python  {      mod = Module(stmt* body)          | Interactive(stmt* body)          | Expression(expr body)            -- not really an actual node but useful in Jython's typesystem.          | Suite(stmt* body)        stmt = FunctionDef(identifier name, arguments args,                         stmt* body, expr* decorator_list, expr? returns)            | AsyncFunctionDef(identifier name, arguments args,                               stmt* body, expr* decorator_list, expr? returns)              | ClassDef(identifier name,               expr* bases,               keyword* keywords,               stmt* body,               expr* decorator_list)            | Return(expr? value)              | Delete(expr* targets)            | Assign(expr* targets, expr value)            | AugAssign(expr target, operator op, expr value)            -- 'simple' indicates that we annotate simple name without parens            | AnnAssign(expr target, expr annotation, expr? value, int simple)              -- use 'orelse' because else is a keyword in target languages            | For(expr target, expr iter, stmt* body, stmt* orelse)            | AsyncFor(expr target, expr iter, stmt* body, stmt* orelse)            | While(expr test, stmt* body, stmt* orelse)            | If(expr test, stmt* body, stmt* orelse)            | With(withitem* items, stmt* body)            | AsyncWith(withitem* items, stmt* body)              | Raise(expr? exc, expr? cause)            | Try(stmt* body, excepthandler* handlers, stmt* orelse, stmt* finalbody)            | Assert(expr test, expr? msg)              | Import(alias* names)            | ImportFrom(identifier? module, alias* names, int? level)              | Global(identifier* names)            | Nonlocal(identifier* names)            | Expr(expr value)            | Pass | Break | Continue              -- XXX Jython will be different            -- col_offset is the byte offset in the utf8 string the parser uses            attributes (int lineno, int col_offset)              -- BoolOp() can use left & right?      expr = BoolOp(boolop op, expr* values)           | BinOp(expr left, operator op, expr right)           | UnaryOp(unaryop op, expr operand)           | Lambda(arguments args, expr body)           | IfExp(expr test, expr body, expr orelse)           | Dict(expr* keys, expr* values)           | Set(expr* elts)           | ListComp(expr elt, comprehension* generators)           | SetComp(expr elt, comprehension* generators)           | DictComp(expr key, expr value, comprehension* generators)           | GeneratorExp(expr elt, comprehension* generators)           -- the grammar constrains where yield expressions can occur           | Await(expr value)           | Yield(expr? value)           | YieldFrom(expr value)           -- need sequences for compare to distinguish between           -- x < 4 < 3 and (x < 4) < 3           | Compare(expr left, cmpop* ops, expr* comparators)           | Call(expr func, expr* args, keyword* keywords)           | Num(object n) -- a number as a PyObject.           | Str(string s) -- need to specify raw, unicode, etc?           | FormattedValue(expr value, int? conversion, expr? format_spec)           | JoinedStr(expr* values)           | Bytes(bytes s)           | NameConstant(singleton value)           | Ellipsis           | Constant(constant value)             -- the following expression can appear in assignment context           | Attribute(expr value, identifier attr, expr_context ctx)           | Subscript(expr value, slice slice, expr_context ctx)           | Starred(expr value, expr_context ctx)           | Name(identifier id, expr_context ctx)           | List(expr* elts, expr_context ctx)           | Tuple(expr* elts, expr_context ctx)              -- col_offset is the byte offset in the utf8 string the parser uses            attributes (int lineno, int col_offset)        expr_context = Load | Store | Del | AugLoad | AugStore | Param        slice = Slice(expr? lower, expr? upper, expr? step)            | ExtSlice(slice* dims)            | Index(expr value)        boolop = And | Or        operator = Add | Sub | Mult | MatMult | Div | Mod | Pow | LShift                   | RShift | BitOr | BitXor | BitAnd | FloorDiv        unaryop = Invert | Not | UAdd | USub        cmpop = Eq | NotEq | Lt | LtE | Gt | GtE | Is | IsNot | In | NotIn        comprehension = (expr target, expr iter, expr* ifs, int is_async)        excepthandler = ExceptHandler(expr? type, identifier? name, stmt* body)                      attributes (int lineno, int col_offset)        arguments = (arg* args, arg? vararg, arg* kwonlyargs, expr* kw_defaults,                   arg? kwarg, expr* defaults)        arg = (identifier arg, expr? annotation)             attributes (int lineno, int col_offset)        -- keyword arguments supplied to call (NULL identifier for **kwargs)      keyword = (identifier? arg, expr value)        -- import name with optional 'as' alias.      alias = (identifier name, identifier? asname)        withitem = (expr context_expr, expr? optional_vars)  }

ast助手

除了节点类之外,ast模块定义了这些实用函数和用于遍历抽象语法树的类:

ast.parsesource, filename=”<unknown>”, mode=”exec”
将源解析为AST节点。相当于compile(source,filename, mode, ast.PyCF_ONLY_AST).

警告

由于Python的AST编译器中的堆栈深度限制,有可能使Python解释器崩溃的大/复杂的字符串很糟糕.

ast.literal_eval(node_or_string)
安全地评估表达式节点或者包含Python文字或容器显示的字符串。提供的字符串或节点可能只包含以下Python文字结构:字符串,字节,数字,元组,列表,字符串,集合,布尔值和None.

这可用于安全地评估包含来自不受信任来源的Python值的字符串无需自己解析价值观。它不能用于评估任意复杂的表达式,例如涉及操作符或索引.

Warning

由于Python的AST编译器中的堆栈深度限制,可能会因为大型/复杂的字符串而崩溃Python解释器.

更改版本3.2:现在允许字节和设置文字

ast.get_docstring// (node, clean=True)
返回的文档字符串给node(必须是FunctionDef, AsyncFunctionDef, ClassDef,或Module节点),或None如果它没有docstring.If clean是的,用inspect.cleandoc().

在版本3.5中更改:AsyncFunctionDef现在支持了

ast.fix_missing_locationsnode
使用compile(),编译器期望linenocol_offset支持sthem的每个节点的属性。填充生成的节点相当繁琐,因此通过将这些属性设置为父节点的值,可以递归地对这些属性进行递归处理。它从node.
ast.increment_linenonode, n=1
node开始增加树中每个节点的行号n这对于“移动代码”到文件中的不同位置
ast.copy_locationnew_node, old_node)
复制源位置(linenocol_offset)来自old_nodenew_node如果可能的话,返回new_node.
ast.iter_fieldsnode
产生一个(fieldname, value)对于node._fields存在于node.
ast.iter_child_nodesnode
产生node,即作为节点的所有字段和作为节点列表的所有字段项.
ast.walknode
node(包含 node本身),没有指定的顺序。如果您只想修改节点并且不关心上下文,这很有用.
class ast.NodeVisitor
一个节点访问者基类,它遍历抽象语法树并为找到的每个节点调用avisitor函数。此函数可能返回由visit()方法转发的值

这个类是子类化的,子类添加了visitormethods.

visit (node)
访问一个节点。默认实现调用名为self.visit_classname的方法classname是nodeclass的名称,或generic_visit()如果那种方法不存在的话
generic_visitnode
这位访客打电话给visit()在节点的所有孩子身上

请注意,除非访问者调用generic_visit()或拜访自己.

不要用NodeVisitor如果要在遍历期间对节点应用更改。为此,存在一个允许修改的特殊访客(NodeTransformer

class ast.NodeTransformer
A NodeVisitor遍历抽象语法树并允许修改节点的子类.

NodeTransformer将遍历AST并使用visitor方法的返回值来替换或删除旧节点。如果访问者方法的返回值是None,节点将从其位置中删除,否则将替换为返回值。返回值可以是原始节点,在这种情况下不进行替换.

这是一个示例变换器,它将所有出现的名称查找(foo)重写为data["foo"]

class RewriteName(NodeTransformer):        def visit_Name(self, node):          return copy_location(Subscript(              value=Name(, ctx=Load()),              slice=Index(value=Str(s=node.id)),              ctx=node.ctx          ), node)

请记住,如果您正在操作的节点有子节点,您可以自己转换子节点或首先调用节点的generic_visit()方法.

对于属于语句集合(适用于所有语句节点)的节点,访问者也可以返回节点列表而不是单个节点.

通常你使用这样的变换器:

node = YourTransformer().visit(node)

ast.dumpnode, annotate_fields=True, include_attributes=False
node中返回树的格式化转储。这主要用于调试目的。返回的字符串将显示字段的名称和值。这使代码无法评估,因此如果需要评估annotate_fields必须设置为False。默认情况下不会转储诸如亚麻布和列偏移之类的属性。如果需要这个,include_attributes可以设置为True.

另见

Green Tree Snakes,一个外部文档资源,在使用Python AST时很好用.

文章导航

  • 节点类
  • 抽象语法
本站所发布的一切资源仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如果侵犯你的利益,请发送邮箱到 [email protected],我们会很快的为您处理。
超哥软件库 » ast- 抽象语法树 – Python语言服务(Python教程)(参考资料)