17611538698
webmaster@21cto.com

6年 Rust 开发经历,它改变了我的思考方式

图片

你知道吗?你使用的编程语言会影响你作为开发人员的思维方式。这是否会让你感到惊讶;你可能因为熟悉 Python 而很快掌握了 JavaScript,但这并没有真正影响你的思考或开发方式。这是因为这两种语言非常相似。一种编程语言与自己习惯的语言差异越大,它对你的影响就越大。而 Rust 对我来说就非常不同,所以它确实影响到了自己。

一个名叫马丁·法森(Martijn Faassen)的程序员写 Rust 已经长达 6年,其中4年多是专业开发。他在入手前就清楚这语言会有挑战,也正因如此才特别想精通它,然后成为一名优秀的开发者。现在,法森给出一个结论:它改变了自己。

他是这样说的。

我这辈子都错过了枚举法!

我们都熟悉类型,尽管通常不叫这个名字:

struct Human {    first_name: String,    last_name: String,}

Human结构体2的各个字段可以彼此独立变化,我们需要处理所有可能的组合:所有可能的名字和姓氏的组合。换句话说,这就是它们组合的乘积。

事实证明,还有另一种类型一直存在,但开发者社区却大多忽略了它:求和类型。求和类型表达的是变体:某个对象要么是其中一种,要么是另一种,它由多个变体组成。

enum Person {    Human { first_name: String, last_name: String },    Cat { name: String, cuteness: Cuteness }}

A要么Person是人,要么是猫:这就是所有可能性的总和。每个变体都可以关联数据,这些数据可以是一个乘积类型,但类型本身就是这些选项(在本例中为两个)。在需要处理个人的代码中,你需要通过对对象进行处理来区分每个变体。Rust 编译器会强制执行这一点—:个人匹配(Person match)。

match some_person {    Human { first_name, last_name } => { 	    // do a thing with first_name and last_name    },    Cat { name, cuteness } => {	   // do a thing with name and cutenes    }}

在处理个人变体时,你只需要关注first_name和 last_name,不必关注name或cuteness,这些情况彼此是不同的。

以事实来证明,使用和类型来建模非常有用。使用函数式编程语言的人早就知道这一点。你可以用null这种方式来建模可选性:要么得到某个值,要么啥也不得到。你也可以用这种方式建模错误:要么是正常(成功时返回的值),要么是错误(返回一个描述错误的值)。

现在任何缺少和类型的语言在我看来都显得特别贫乏。我知道可以用类型字段来模拟和类型,但编程语言的职责是帮助我处理基本事务,而和类型打交道正是基本事务。

枚举和抽象

在面向对象编程语言中,我们可以使用接口动态分派(或继承)来处理变体。具体做法如下:

interface Person {    def do_one_thing()    def do_another_thing}class Human implements Person {    ...}class Cat implements Person {   ...}

这个理念是,你现在可以任何地方使用Person在,而无需担心内部细节:它是松耦合的,我们只需使用它们的接口即可。

这是个好主意,但是 Rust 让我明白,这样做会带来一些可能不想付出代价的权衡。代价有两个:性能损失和创建接口的麻烦。

接下来,我们来谈谈创建接口的必要性。你需要设计一个真正适合你应用的接口:你如何在应用中使用人类和猫?进行这种抽象工作可能非常有价值,尤其是在你预见到未来会引入一些未知角色,并且需要在不修改现有代码的情况下将其接入的情况下,这需要你的代码遵循开闭原则。

但是如果你开发的是一个单一领域,在这个领域内你只想处理猫和人,仅此而已呢?根本没必要接入其他类型的人,当然更不需要从外部接入。

或者假设你确实想时不时地添加一个新的变体。比如说你想添加一个。也许你并不介意去查看处理和Dog的代码 ,并添加对狗的处理?也许当你这样做的时候,看到其他的处理程序确实很有帮助?编译器会确保你不会遗漏任何地方!HumanCat

或者,如果你试图构建的抽象概念是方差,而你对它的描述也仅限于此呢?对于错误处理而言,这种抽象概念要么对某个值表示“正常”,要么对某个错误值表示“错误”。

在此种情况下,你可能要为创建了一个毫无价值的界面付出代价。

这个enum可能正是你所需要的,它简洁高效,并且经过静态检查。最后需要指出的是,枚举并不会限制你创建这种抽象,你也可以像在结构体中一样,向枚举添加方法。

所以说,枚举让我成为了一名更好的程序员,因为现在我的思维工具箱里又多了一种基本的、简单的、易于理解的抽象语言结构。

大量的调度

许多语言中有两种类型的分发:动态分发(我们在Person接口示例中已经讨论过)和条件分发,如下所示:

if something {   do_this_thing()} else   do_another()}

Rust 拥有的是动态分发功能。如果你需要,它还拥有我之前讨论过的增强版条件分发:枚举匹配。它也支持条件分发,但这只在特殊的情况出现。

Rust 还让你思考另一种分发方式:静态编译的分发。

如果你要处理的是一群人或一群猫,并且你想对它们进行一些操作,而这些操作具有共同的行为(例如,你想统计它们的数量),那么这个群体或集合实际上并不关心其中包含什么,只要每个元素都满足某些基本属性即可。

你可以创建一个枚举型Person;即既可以是枚举,也可以是具有多个实现的接口,然后在运行时根据条目是人还是猫来分发给组中的每个成员。但这意味你必须考虑人和猫混合的群体,即使我们刚才说过这种情况实际上并不存在。

相反,在 Rust 中你可以用不同的方式表达这一点。你仍然需要一个接口(trait),但你可以在编译时Person 组合你自己的类型Person(Cat或Human)。

struct Group<T> {   // some fields	}// compile time assembly, // then runtime creation of the assembled group of catslet cat_group: Group<Cat> = Group::new();

现在,如果你对组内的元素使用非 cat 操作,Rust 将拒绝编译。这是一个不变量,你现在无需再担心了。你如果有使用 TypeScript 或 Python 等其他语言的经验,在对待泛型时应该会对此感到熟悉。

在 Rust 中,处理一组猫时,程序不会单独检查每个条目是人还是猫,因为程序在运行之前就已经知道它们都是猫。Rust 直接调用处理猫的代码,而不会调用处理人的代码。这样就避免了为每个组成员进行间接调用,这在对性能要求较高的情况下至关重要。

综上所述,Rust 让我成为了一名更好的程序员,因为我现在更好地理解了调度和性能之间的联系。

类型驱动开发

1999年末,我从C++转战到Python,动态类型对我来说简直是醍醐灌顶。它让我能够用极少的繁琐步骤完成许多事情。然而,在过去的十年里,我却经历了一段漫长而曲折的回归之路,最终还是回到了类型(更符合人体工程学的类型)和繁琐的规范之中。我感觉很多人也和我一样,走过这条漫长的路。

类型可以在代码运行前进行静态检查。在 Rust 中,它们可以帮助编译器将代码编译成高性能代码,两者都很棒。但类型还有一些更微妙的好处。让我用一个类比来解释一下。

为什么要创建自动化测试?

显而易见的事:自动化测试可以确保代码的各种属性能够正常工作并保持正常工作。

微妙之处在于:编写测试会迫使你更仔细地思考你正在实现的架构和 API。使代码可测试可以带来更好的架构。这就是测试驱动开发的核心理念。

为什么要编写技术文档?

显而易见的事:人们(现在还有机器)可以通过阅读文档来理解你的软件的原理与功能。

微妙之处在于:编写文档的过程会迫使你思考软件的架构和 API。如果你无法用文字表达出来,或许说明你还没有真正理解它的含义,这就是文档驱动开发。

为什么要编写类型?

显而易见的事:运行代码前务必进行静态检查!防止运行时错误!提升性能!

微妙之处在于:你使用类型来构建领域模型,并确保它能够自洽运作。枚举在这里非常有用。枚举用于表达解析,而不是验证 。类型指导着软件的架构和 API。

这听起来可能像是前期设计阶段就把所有测试、文档或类型定义都预先写好,然后再进行实现。但我说的不是这种模式——我说的是迭代开发,在这种模式下,你会在学习的过程中不断地回顾测试、文档和类型定义。

Rust 让我意识到,类型是帮助我进行开发思考的又一个利器。

它让我成为了一名更优秀的程序员,因为它让我能够完全接受类型驱动的开发。

Rust给我最大的惊喜

以下我接触 Rust 后最大的惊喜。很多我以前认为只有像 Python 这样拥有丰富运行时环境的动态解释型语言才能实现的功能,实际上在 Rust 中都可以用宏静态地实现。

让我们来聊聊魔法吧。

假设你想导出 Python 对象的状态,你可以检查它的所有字段,查看它们的类型,将每个字段转换成一个字符串,然后将所有字符串合并成一个大字符串。而现在你可以把它存储起来,之后你可以把这个字符串恢复成一个对象。你可以保存和加载任何对象:是不是很神奇丫!Python 把这种机制称为 pickle。

如果需要序列化为 JSON 呢?Python 有类型系统,像Pydantic这样的库会在运行时检查类型对象,然后利用这些信息自动将 Python 对象序列化为 JSON,或者将其解析回 Python。真真是太神奇了!

Rust 是一种编译型语言。类型并非运行时对象,如果没有反射(这需要特殊的实现方式),Rust 将无法进行运行时类型自省。

但是 Rust 仍然可以在编译时执行 Pickle 和 Pydantic 所做的操作。

使用serde(Rust 对 pickle 和 Pydantic 的回应),你可以使用普通的 Rust 类型,通过一些声明对其进行注解,然后将其序列化为 JSON、TOML 配置格式以及许多其他格式,并再次加载。注解如下代码所示:

#[derive(Serialize, Deserialize)]struct Human {    first_name: String,    last_name: String}

使用`clap`,你可以创建一个类型,精确地表达你期望的命令行参数(包括enum`s`!),然后像在 Rust 中编写 API 文档,瞧,你就拥有了一个内置帮助的 CLI。处理各种情况的代码会获得类型正确的数据——此时,数据已经被正确解析,使用的正是你用来表达 CLI 的同一类型。

像这样:

/// My first CLI#[derive(Parser)]struct MyFirstCli {    /// How many cats do you want?    #[arg(long, short)]    amount_of_cats: usize}

如你所视,这又是声明式#[]编程。这看起来很像 Python 的装饰器。但 Python 装饰器是在运行时执行的,而我们刚才说过 Rust 通常不允许这样做。

在 Rust 中这是如何实现的呢?答案是:宏!宏允许你编写在编译时生成代码的代码。例如,使用 `serde` 宏,它会为带有注解的类型生成大量的序列化代码和反序列化代码。这些生成的代码会与你的其他代码一同编译。编译器可以像优化其他代码一样优化它。

代码生成很可怕,宏也很可怕。在动态类型语言中进行代码内省比使用 Rust 宏要容易得多,因为 Rust 的代码会被解析和生成。宏不应该随意混入应用程序代码中;宏应该放在框架里。话虽如此,容易使用并不意味着可以随意使用:在 Python 中,你通常也需要将你的“魔法”封装在一个声明式框架中。

Rust 让我成为了一名更优秀的程序员,我从中学习到了一种新的框架模式。

所有权和架构

Rust 最出名的一点就是它允许你编写没有内存泄漏且不使用垃圾回收器的代码。它还能阻止你修改正在其他地方读取的数据,从而避免出现各种奇怪的未定义行为,尤其是在并行运行的代码中。

Rust 的所有权系统是其学习难点之一。Python、JavaScript、Java 和许多其他语言都允许使用可变引用,并且可以创建循环数据结构。而 Rust 默认情况下不允许这样做。

以下这段代码在 Rust 中无法正常编译:

class Item:    def __init__(self, value):        self.value = valueclass Container:    def __init__(self, items):        self.items = itemsmy_item = Item()my_container = Container()my_container.items.append(my_item)my_item.value = "I change you!"

这段代码也无法编译:

class Node:   def __init__(self, parent, value):       self.parent = parent       self.value = value       self.children = []   def add_child(self, node):       node.parent = self       self.children.append(node)

Rust 不允许出现循环引用,在这种情况下,它提供了子引用也有父引用。

一开始你会觉得限制很多!那该怎么办呢?对于修改数据,你需要学习如何将修改(通常在构造过程中)与使用数据分开。这在很多情况下都很有用——减少不变式更容易理解,但需要一些时间来适应 Rust 严格的强制执行。

循环引用就比较复杂了。我会在后面部分讨论时再做详细讲解。

一件奇怪的事情发生了:如果你利用这种摩擦,它可以改善你的代码库架构:代码耦合度会降低,很难创建奇怪的、远程操作的反向通道,从而使代码难以理解、测试和调试。

Rust 代码在本地可能会难以理解。但在更大的代码库中,数据流向和各个组件的功能往往更加清晰。

Rust 让我成为了一名更好的程序员,因为我现在会更仔细地考虑所有权问题,这对架构产生了积极的影响。

竞技场的图案无处不在

几年前,我分析了一堆用 Rust 编写的 XML 树库。我发现最好的库roxmltrree使用的是不可变树。但我需要的是可变树。我找到了一些支持可变性的库,但很多都不支持父节点引用。你无法追溯节点的祖先链。正是这一点,再加上它们缺少对某些 XML 特性的支持,促使我创建了自己的 XML 树库 Xot。

造成这种令人惊讶的父节点引用缺失的原因是我之前讨论过的所有权限制:Rust 使得循环引用难以处理。虽然可以使用引用计数类型和内部可变性来规避这个问题,但在很多情况下,这种模式并非最优,它冗长、性能较低,而且循环引用还可能导致内存泄漏。正确的做法是将节点存储在数组中,并使用数组索引作为节点的引用。这样,你就可以使用索引指向父节点,并使用索引指向子节点,或者进行任何其他循环引用。

这种模式的一个比较专业的词是“竞技场”,在 Rust 中它们可以说是随处可见。

在竞技场中,你可以将大量对象存储在同一块内存区域(数组)中。这能让你做什么?

可以快速遍历其内容。对象位于同一内存区域意味着 CPU 可以有效地利用其缓存。这比任意访问主内存要快得多,循环尤其受益。

然后可以快速分配。竞技场会从堆中以块的形式分配,之后你的分配可能只需要几个增量。

内部存储:你只需在服务器上存储一次数据,就可以在很多地方使用它,这样就不会重复存储数据。

竞技场拥有其所有物品的所有权。竞技场内的所有物品都具有相同的生命周期。竞技场内对象之间的索引可以是循环的,而无需有其他任何担心。

Rust 鼓励你使用 arena。这比直接引用需要更多规范,但也意味着 Rust 会促进你编写计算机能够高效执行的代码。

性能本身就具有一种独特的品质

在本文中,我多次提到性能问题。但是如果过早优化呢?这段引言的讽刺之处在于,它出自克努斯(Knuth)的一篇论文,而他本人却主张保留goto这一表述,因为它对于编写高效软件至关重要。

Rust 会让你清楚地知道你为之付出的代价。引用计数?动态分发?你完全可以实现,但它们会在你的代码中留下痕迹。Rust也经常会让你知道哪些东西你不想为此付出代价:看看Tower 中间件,你就会明白为什么在一个相对简单的抽象层上堆砌了那么多泛型类型和类型约束。

当你拥有这些工具时,你需要对那些看似无关紧要的权衡取舍形成新的认识。如果你编写的是 Python 代码,你可能不会太担心哈希表会成为性能瓶颈,但在 Rust 代码中,它们却可能成为瓶颈。你可能会在过度优化的道路上迷失方向。很多时候,你只需要回归初心即可,许多原本就易于阅读的 Rust 代码模式,恰好也对 CPU 执行友好。

但Rust用大量你可能不想考虑的细节淹没你,这并非全部真相,因为性能不仅仅是量化的:如果你的代码真的能更高效,它就能展现出新的特质。当你能编写出不占用内存和CPU时间的代码时,你的思维方式会发生改变,一切皆有可能。

有时性能质量显而易见:如果你编写的是数值代码或模拟程序,当然不希望等待结果。能够快速完成大量计算是实现人工智能的关键。

但事情远比这更微妙:现代计算机功能强大,速度惊人,我们通常会忽略这一点,只是一味地投入更多资源来解决问题。这种情况的出现有其合理原因。但如果我们稍微睁开眼睛看看,就会发现还有新的架构可能性值得探索。

宏的强大功能固然是这门语言带给我的最大惊喜,但我认为最大的思维转变在于:对性能的掌控开启了我之前从未考虑过的可能性。以我的实验项目 Colchis为例:一个库可以将海量的 JSON 数据存储在内存中,同时保留对 JSON 数据的完全访问权限,甚至包括索引访问(我仍然希望有一天能添加 jsonpath 功能)。在 Rust 出现之前,这对我来说是想也没想过、闻也所未闻的。

Rust 让我成为了一名更优秀的程序员,因为可以用更少的资源让计算机做更多的事情,从而开辟了新的机遇领域。

结论

Rust 是我学过的最难的编程语言之一,因此它也是对我影响最大的语言之一。

Rust 中有一些简单的部分,其管理难度并不比其他语言高多少,在某些情况下甚至能让你的工作更轻松,它提供了枚举enum等类型驱动的框架和优秀的开发工具。即使是一个叫 Arena 的东西,本身理解起来也并不难。真正的难点在于摒弃一些旧习惯,去学习新的习惯。此外,Rust 蕴含着更具挑战性的复杂性,它大多隐藏在表面之下,但会在你需要的时候出现。

Rust 拓展了我的创作范围。正因为如此,我是多么庆幸自己踏上了这段美好的旅程。

作者:场长

评论

我要赞赏作者

请扫描二维码,使用微信支付哦。

分享到微信