Redian新闻
>
很实用的 PyYAML 使用技巧

很实用的 PyYAML 使用技巧

公众号新闻

YAML 是一个被广泛使用的数据序列化和配置语言,作为一个开发者,总是不免和它打交道。但处理 YAML 文档,尤其是使用 PyYAML 的过程总是非常痛苦。

这篇文章分享我在 Python 下使用 PyYAML 的技巧和代码片段,并介绍几个相关的库。

注意:本文中的代码仅保证在 Python 3 下正常工作

总是使用 safe_load/safe_dump

PyYAML 的 load 函数可以构造任意 Python 对象(Pickle 协议),这意味着一次 load 可能导致任意 Python 函数被执行。

为了确保应用程序的安全性,尽量在任何情况下使用 yaml.safe_load 和 yaml.safe_dump

保留字段顺序

Python 3.7+ 中,dict keys 具备保留插入顺序的特性,所以通过 yaml.safe_load 得到的 dict,其 keys 顺序会与原始文件保持一致。

>>> import yaml
>>> text = """---
... c: 1
... b: 1
... d: 1
... a: 1
... """

>>> d = yaml.safe_load(text)
>>> d
{'c'1'b'1'd'1'a'1}
>>> list(d)
['c''b''d''a']

当把 dict 导出为 YAML 字符串时,为 yaml.safe_dump 传递 sort_keys=False 来保留 keys 的顺序。

>>> print(yaml.safe_dump(d))
a: 1
b: 1
c: 1
d: 1
>>> d['e'] = 1
>>> print(yaml.safe_dump(d, sort_keys=False))
c: 1
b: 1
d: 1
a: 1
e: 1

如果 Python 版本较低,或者你想确保代码能在更广泛的环境下工作,你可以使用 oyaml 库来代替 PyYAML 的 yaml 包。

>>> import oyaml as yaml
>>> d = yaml.safe_load(text)
>>> d
OrderedDict([('c'1), ('b'1), ('d'1), ('a'1)])
>>> d['e'] = 1
>>> print(yaml.safe_dump(d, sort_keys=False))
c: 1
b: 1
d: 1
a: 1
e: 1

优化列表项的缩进

默认情况下,PyYAML 输出的列表缩进与其父元素一致。

>>> d = {'a': [123]}
>>> print(yaml.safe_dump(d))
a:
1
2
3

这并不是很好的格式,根据 Ansible 和 HomeAssistant 等 YAML 书写规范,列表项应该缩进 2 空格。

这种格式也会对导致列表项不会被如 VSCode 等编辑器识别,进而无法使用编辑器的折叠功能。

要解决这个问题,使用如下代码片段,在代码中定义 IndentDumper class:

class IndentDumper(yaml.Dumper):
    def increase_indent(self, flow=False, indentless=False):
        return super(IndentDumper, self).increase_indent(flow, False)

然后将它传递给 yaml.dump 的 Dumper 关键字参数。

>>> print(yaml.dump(d, Dumper=IndentDumper))
a:
  - 1
  - 2
  - 3

注意,yaml.safe_dump 由于有自己的 Dumper class,传递此参数会造成冲突。

输出可读的 UTF-8 字符

默认情况下,PyYAML 假设你希望输出的结果里只有 ASCII 字符。

>>> d = {'a''你好'}
>>> print(yaml.safe_dump(d))
a: "\u4F60\u597D"

这会让输出结果非常难以阅读。

在 UTF-8 足够普及的今天,直接输出 UTF-8 字符是非常安全的。因此我们可以将 allow_unicode=True 传入 yaml.safe_dump 使 PyYAML 将 Unicode 转换成 UTF-8 字符串。

>>> print(yaml.safe_dump(d, allow_unicode=True))
a: 你好

一些 YAML 相关的库

oyaml

Link: https://github.com/wimglenn/oyaml

正如上文中提到的,oyaml 是 yaml 包的替换品,使 dict keys 的顺序在 dump/load 的时候得以保留。

oyaml 是一个单文件库,只有 53 行代码,因此使用起来非常灵活,你可以直接把它的代码复制到自己的项目中,然后根据自己的需求进行修改。

strictyaml

Link: https://github.com/crdoconnor/strictyaml

有的人说 YAML 过于复杂和灵活,不是一个好的配置语言。但我认为这不是 YAML 的问题,而是使用方式的问题。如果我们限制程序只使用 YAML 的部分功能,YAML 其实可以变得像它设计的那般好用。

这就是 StrictYAML 的设计意图,它是一个类型安全的 YAML 解析器,实现了 YAML 规范说明中的一个子集 。

如果你对 YAML 的输入输出有较强的安全考虑,建议使用 StrictYAML 代替 PyYAML。

顺带一提的是,StrictYAML 的文档站有很多关于设计细节和配置语言思考的文章,非常值得一看。

ruamel.yaml

Link: https://yaml.readthedocs.io/en/latest/overview.html

ruamel.yaml 是 PyYAML 的一个分叉,于 2009 年发布并持续维护至今。

ruamel.yaml 的文档里详细说明了它和 PyYAML 的差异。总体来说,ruamel.yaml 专注在 YAML 1.2 上,对一些语法进行了优化。

ruamel.yaml 最令我感兴趣的特性是输入输出的 “round-trip”,可以最大程度地保留输入源的原始格式。官方文档中的定义是这样的:

A round-trip is a YAML load-modify-save sequence and ruamel.yaml tries to preserve, among others:

  • comments
  • block style and key ordering are kept, so you can diff the round-tripped source
  • flow style sequences ( ‘a: b, c, d’) (based on request and test by Anthony Sottile)
  • anchor names that are hand-crafted (i.e. not of the formidNNN)
  • merges in dictionaries are preserved

如果你有尽可能保留原始格式的需求,建议使用 ruamel.yaml 代替 PyYAML。

在使用中我注意到 ruamel.yaml 的 safe load 方法 (YAML(typ='safe').load) 与 PyYAML 有些不同,它无法解析 flow style 的集合定义 (如 a: {"foo": "bar"}),这点没有在文档中提及,使用时须多加注意。

总结

YAML 有它好的地方和坏的地方。它易于阅读,初期的学习曲线非常平缓。但 YAML 的规范说明非常复杂,不仅造成了使用中的混乱,也使不同语言的实现在很多细微的地方难以保持一致。

尽管有这些小毛病,YAML 仍然是我心中最好的配置语言。希望这篇文章所介绍的技巧能够帮助你避免问题,获得更好的开发和使用体验。

链接:https://reorx.com/blog/python-yaml-tips-zh/

(版权归原作者所有,侵删)


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
150cm小个子女生穿搭分享,1个思路和4个公式,显高显瘦很实用对话天与养老创始人卜江勇:用技术重新定义养老如何降低你的房屋保险费用?最实用的方法总结哆啦A梦宇航员手机支架,超实用的精美手办,带你游太空!这20个实用的思维模式,可以提高你的决策质量(限时删)yyds,付费搞来的,请低调使用!别恐慌!2个技巧:自测孩子用的「牙膏」到底安不安全?yyds,全是付费搞来的资源,请低调使用!(待会删)yyds的学习资源,请低调使用!全球首款通用型T细胞疗法或将上市,独创通用技术能否撬动千亿市场?最实用的电视剧网剧剧作课duang~做LOGO的四种常用技巧!生活的幸福度分享一个很实用的习惯养成模型在华 15 个“零碳工厂”,施耐德电气如何用技术实现“绿色”目标如何培养出情商高、性格好的孩子?14个很有用的方法与技巧,转给家长微信又有大变化!网友:这次很实用…发愁孩子自理能力弱?可以试试这样培养,每一步都很实操iPhone「贺岁片」超实用拍摄技巧分享,5 招教你打造朋友圈爆款视频丨有用功关于毛主席遗体的处置意见老照片:80年代的纽约美国|大雪来袭!在雪地里怎么拍美照?这10个技巧最实用!【对话Web3投资者】专访 AIKON CEO:拥有真实用例是区块链大规模采用的关键很有用的面试技巧!大家都别想好过哈哈哈浅聊上海百年风情史娄岩一周诗词四首如何快速学到标准鲜活实用的英语?答案就在→在Costco购物,有孩子家庭买七种美食很实惠!储备多项中医药应用技术,本草生活要做渠道与品牌的技术赋能者彩食鲜CTO乔新亮:数字化怎么做才能不“下头”?算好财务账,用技术接管业务唐笑宇:用技术创新扛起“钢铁强国”重任yyds,付费搞来的,请低调使用!高通膨下,有孩子家庭在Costco买这7种美食很实惠!两天赚1w,用Python接私活的一些技巧(待会删)yyds,想突破英语词汇量的请低调使用!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。