所有权

所有的程序都必须和计算机内存打交道,如何从内存中申请空间来存放程序的运行内容,如何在不需要的时候释放这些空间,十分重要。在计算机语言 不断演变过程中,出现三种流派:

  • 垃圾回收机制(GC):在程序运行时不断寻找不再使用的内存,代表:Java、Go
  • 手动管理内存的分配和释放:在程序中,通过函数调用的方式来申请和释放内存,代表:C++
  • 通过所有权来管理内存:编译器在编译时会根据一系列规则进行检查

其中 Rust 选择了第三种,最妙的是,这种检查只发生在编译期,因此对于程序运行期,不会有任何性能上的损失。

一段不安全的代码

先看一段 C 语言的糟糕代码:

int* foo() {
    int a; // 变量 a 的作用域开始
    a = 100;
    char *c = "xyz"; // 变量 c 的作用域开始
    return &a;
}			// 变量 a 和 c 的作用域结束

这段代码虽然可以编译通过,但是其实非常糟糕,变量 ac 都是局部变量,函数结束后将局部变量 a 的地址返回,但局部变量 a 存在栈中,在离开作用域后,a 所申请的栈上内存都会被系统回收,从而造成了 悬空指针(Dangling Pointer) 的问题。这是一个非常典型的内存安全问题,虽然编译可以通过,但是运行的时候会出现错误, 很多编程语言都存在。

再来看变量 cc 的值是常量字符串,存储于常量区,可能这个函数我们只调用了一次,也可能我们不再会使用这个字符串,但 "xyz" 只有当整个程序结束后系统才能回收这片内存

栈(Stack)与堆(Heap)

栈和堆时编程语言最核心的数据结构,对于 Rust 这样的系统编程语言,值是位于栈上还是堆上非常重要,因为会影响程序的行为和性能

栈按照顺序存储值并以相反顺序取出值,这也被称为后进先出

增加数据叫做进栈,移出数据叫做出栈

因为上述的实现方式,栈中的所有数据都必须占有已知且固定大小的内存空间,假设数据大小是未知的,那么在取出数据时,将无法取到想要的数据。

与栈不同,对大小未知或者可能变化的数据,我们需要将它存储在堆上

当向堆上放入数据时,需要请求一定大小的内存空间。操作系统在堆的某处找到一块足够大的空位,把它标记为已使用,并返回一个表示该位置地址的指针, 该过程被称为在堆上分配内存,有时简称为 “分配”(allocating)。

接着,该指针会被推入栈中,因为指针的大小是已知且固定的,在后续使用过程中,你将通过栈中的指针,来获取数据在堆上的实际内存位置,进而访问该数据。

由上可知,堆是一种缺乏组织的数据结构。

想象一下去餐馆就座吃饭: 进入餐馆,告知服务员有几个人,然后服务员找到一个够大的空桌子(堆上分配的内存空间)并领你们过去。如果有人来迟了,他们也可以通过桌号(栈上的指针)来找到你们坐在哪。

性能区别

写入方面: 入栈比堆上分配内存要快,因为入栈时操作系统无需分配新的空间,只需要将新数据放入栈顶即可。相比之下,在堆上分配内存则需要更多的工作,这是因为操作系统必须首先找到一块足够存放数据的内存空间,接着做一些记录为下次分配做准备。

读取方面: 得益于 CPU 高速缓存,使得处理器可以减少对内存的访问,高速缓存和内存的访问速度差异在 10 倍以上。栈数据往往可以直接存储在 CPU 高速缓存中,而堆数据只能存储在内存中。 访问堆上的数据比访问栈上的数据慢,因为必须先访问栈再通过栈上的指针来访问内存。

因此,处理器处理分配在栈上数据会比在堆山的数据更加高效。

所有权和堆栈

当代码调用一个函数时,传递给函数的参数(包括可能指向堆山数据的指针和函数的局部变量)依次被压入栈中,当函数调用结束时,这些值将被从栈中按照相反的顺序依次移除。

因为堆上的数据缺乏组织,因此跟踪这些数据合适分配和释放是非常重要的,否则堆上的数据将产生内存泄漏——这些数据将永远无法回收。这就是 Rust 所有权系统为我们提供的强大保障。

在 Rust 中,明白堆栈的原理,对于我们理解所有权的工作原理会有很大的帮助

所有权原则

所有权原则如下:

  1. Rust 中每一个值都被一个变量所拥有,该变量被称为值的所有者
  2. 一个值同时只能被一个变量所拥有,或者说一个值只能拥有一个所有者
  3. 当所有者(变量)离开作用域范围时,这个值将被丢弃(drpo)

变量作用域

作用域是一个变量在程序中有效的范围。假如有这样一个变量:

let s = "hello";

变量 s 绑定到了一个字符串字面值,该字符串字面值是硬编码到程序代码中的。s变量从声明的点开始直到当前作用域的结束都是有效的:

{				// s 在这里无效,因为没有声明
    let s = "hello"; //从此处开始,s 是有效的
    
    // 使用 s
} // 此作用域已经结束,s 不再有效

简单来说,s从创建开始有效,然后有效期持续到他离开作用域为止。就作用域来说,Rust 语言和其他编程语言没有区别。

简单介绍 String 类型

在这之前,我们已经了解了字符串字面值let s = "hello"s是被硬编码进程序里的字符串值(类型为&str)。字符串字面值是很方便的,但是它并不适用于所有场景:

  • 字符串字面值是不可变的,因为被硬编码到程序代码中
  • 并非所有字符串的值都能在编写代码时得知

例如,字符串是需要程序运行时,通过用户动态输入然后存储在内存中的,这种情况,字符串字面值就完全无用武之地。 为此,Rust 为我们提供动态字符串类型: String, 该类型被分配到堆上,因此可以动态伸缩,也就能存储在编译时大小未知的文本。

可以使用下面的方法基于字符串字面量来创建 String 类型:

let s = String::from("hello");

:: 是一种调用操作符,这里表示调用 String 中的 from 方法,因为 String 存储在堆上是动态的,你可以这样修改它:

let mut s = String::from("hello");

s.push_str(", world!"); // push_str() 在字符串后追加字面值

println!("{}", s); // 将打印 `hello, world!`

言归正传,了解 String 内容后,一起来看看关于所有权的交互。

变量绑定背后的数据交互

转移所有权:

先看一段代码:

let x = 5;
let y = x;

代码背后的逻辑很简单,将5绑定到变量x;接着浅拷贝x的值赋给y,最终xy都等于5,因为整数是 Rust 基本数据类型,是固定大小的简单值,因此这两个值都是通过自动拷贝的方式来赋值的,都被存在栈中,完全无需在堆上分配内存

这种拷贝不消耗性能吗?实际上,这种栈上的数据足够简单,而且拷贝非常非常快,只需要复制一个整数大小(i32,4 个字节)的内存即可,因此在这种情况下,拷贝的速度远比在堆上创建内存来得快的多。实际上,上一章我们讲到的 Rust 基本类型都是通过自动拷贝的方式来赋值的,就像上面代码一样。

然后再来看一段代码:

let s1 = String::from("hello");
let s2 = s1;

注意:对于基本类型(存储在栈上),Rust 会自动拷贝,但是String不是基本类型,而且是存储在堆上的,因此不能自动拷贝

实际上,String类型是一个复杂类型,由 存储在栈中的堆指针、字符串长度、字符串容量 共同组成,其中 堆指针 是最重要的,他只想了真实存储字符串的内容的堆内存,至于长度和容量:容量是堆内存分配空间的大小,长度是目前已经使用的大小。

总之 String 类型指向了一个堆上的空间,这里存储着它的真实数据,下面对上面代码中的 let s2 = s1 分成两种情况讨论:

  1. 拷贝 String 和存储在堆上的字节数组 如果该语句是拷贝所有数据(深拷贝),那么无论是 String 本身还是底层的堆上数据,都会被全部拷贝,这对于性能而言会造成非常大的影响
  2. 只拷贝 String 本身 这样的拷贝非常快,因为在 64 位机器上就拷贝了 8字节的指针8字节的长度8字节的容量,总计 24 字节,但是带来了新的问题,还记得我们之前提到的所有权规则吧?其中有一条就是:一个值只允许有一个所有者,而现在这个值(堆上的真实字符串数据)有了两个所有者:s1s2

假定一个值可以拥有两个所有者会发生什么?

当变量离开作用域后,Rust 会自动调用drop函数并清理变量的堆内存。不过由于两个String变量指向了同一位置。这就有了一个问题:当s1s2离开作用域后,他们都会尝试释放相同的内存。这是一个叫做 二次释放(double free)的错误,也是之前提到过的内存安全性 BUG 之一。两次释放(相同)内存会导致内存污染,可能会导致潜在的安全漏洞。

因此,Rust 这样解决问题:s1赋予s2后,Rust 认为s1不再有效,因此也无需在s1离开作用域后drop任何东西,这就是把所有权从s1转移到了s2s1在被赋予s2后就马上失效了

接下来,在所有权转移后再来使用旧的所有者,会发生什么:

let s1 = String::from("hello");
let s2 = s1;

println!("{}, world!", s1);

由于 Rust 禁止使用的无效引用,会看到这样的错误:

error[E0382]: use of moved value: `s1`
 --> src/main.rs:5:28
  |
3 |     let s2 = s1;
  |         -- value moved here
4 |
5 |     println!("{}, world!", s1);
  |                            ^^ value used here after move
  |
  = note: move occurs because `s1` has type `std::string::String`, which does
  not implement the `Copy` trait

这个听起来像是浅拷贝(拷贝指针、长度、容量而不拷贝数据)但是又因为 Rust 同时使第一个变量s1无效了,因此这个操作被称为移动(move),而不是浅拷贝。上面的例子可以解读为 s1移动到了 s2 中。那么具体发生了什么,用一张图简单说明:

s1 moved to s2

这样就解决了我们之前的问题,s1 不再指向任何数据,只有 s2 是有效的,当 s2 离开作用域,它就会释放内存。 相信此刻,你应该明白了,为什么 Rust 称呼 let a = b变量绑定了吧?

再来看一段代码:

fn main() {
    let x :&str = "hello, world";
    let y = x;
    println!("{}, {}",x, y);
}

那这段代码会报错么?实际上不会

这段代码和之前的String有一个本质上的区别:String的例子中s1持有了通过String::from("hello")创建的值的所有权,而这个例子中,x只是引用了存储在二进制中的字符串"hello,world",并没有持有所有权。

因此let y = x中,仅仅是对该引用进行了拷贝,此时yx都引用了同一个字符串。

克隆(深拷贝)

首先,Rust 永远也不会自动创建数据的“深拷贝”。因此,任何自动的复制都不是深拷贝,可以被认为对运行时性能影响较小。

当我们确实需要深度复制String中堆上的数据,而不仅仅是栈上的数据,可以使用一个叫做clone的方法:

let s1 = String::from("hello");
let s2 = s1.clone();

println!("s1 = {}, s2 = {}", s1, s2);

这段代码可以正常运行,因此说明s2确实完整的复制了s1的数据。

如果代码性能无关紧要,例如初始化程序时,或者在某段时间只会执行一次时,可以使用clone来简化编程。但是对于执行较为频繁的代码(热点路径),使用clone会极大的降低程序性能。

拷贝(浅拷贝)

浅拷贝只发生在栈上,因此性能很高,在日常编程中,浅拷贝无处不在。

这意味着没有理由在创建变量 y 后使 x 无效(xy 都仍然有效)。换句话说,这里没有深浅拷贝的区别,因此这里调用 clone 并不会与通常的浅拷贝有什么不同,我们可以不用管它(可以理解成在栈上做了深拷贝)。

Rust 有一个叫做Copy的特征,可以用在类似整型这样在栈中存储的类型。如果一个类型拥有Copy特征,那么一个旧的变量在被赋值给其他变量后依然可用

那么,什么类型是可Copy的呢?可以查看给定类型的文档来确认,不过作为一个通用的规则:任何基本类型的组合可以Copy,不需要分配内存或某种形式资源的类型是可以Copy的。如下是一些Copy的类型:

  • 所有整数类型
  • 布尔类型
  • 所有浮点数类型
  • 字符类型
  • 元组,当且仅当其包含的类型也都是Copy的时候。如:(i32, i32)Copy的,但是(i32, String)就不是。
  • 不可变引用&T,例如转移所有权中的最后一个例子。但是注意: 可变引用 &mut T 是不可以 Copy的

函数传值和返回

将值传递给参数,一样会发生移动或者复制,就跟let语句一样,下面的代码展示了所有权、作用域的规则:

fn main() {
    let s = String::from("hello"); // s 进入作用域
    
    takes_ownership(s); // s 的值移动到函数里...
    				  // ... 所以到这里不再生效
    let x = 5; // x 进入作用域
    
    makes_copy(x); // x 应该移动函数里
    			  // 但 i32 是 Copy 的,所以在后面可以继续使用 x
} // 这里,x 先移出了作用域,然后是 s。但因为 s 的值已经被移走,
  //所以不会有特殊操作

fn takes_ownership(some_string: String) { //some_string 进入作用域
    println!("{}", some_string);
} // 这里,some_string 移出作用域并调用`drop`方法。占用的内存被释放

fn make_copy(some_integer: i32) {// some_integer 进入作用域
	println!("{}",some_integer);
} // 这里,some_integer 溢出作用域。不会有特殊操作

可以尝试在takes_ownership之后,再使用s,会报错。例如添加一行println!("在 move 进函数后继续使用 s : {}", s);

同样,函数返回值也有所有权,例如:

fn main() {
	let s1 = gives_ownership(); // gives_ownership 将返回值
    						  // 移给 s1
    
    let s2 = String::from("hello"); // s2 进入作用域
    
    let s3 = takes_and_gives_back(s2);
    // s2 被移动到takes_and_gives_back 中,它也将返回值移给 s3
} // 这里, s3 移出作用域并被丢弃。s2 也移出作用域,但已被移走,
  // 所以什么也不会发生。s1 移出作用域并被丢弃

fn gives_ownership() -> String { 
    // gives_ownership 将返回值移动给调用它的函数
    let some_string = String::from("hello");
    // some_string 进入作用域。
    some_string
    // 返回 some_string 并移出给调用的函数
}

所有权很强大,避免了内存的不安全性,但是也带来了一个新麻烦: 总是把一个值传来传去来使用它。 传入一个函数,很可能还要从该函数传出去,结果就是语言表达变得非常啰嗦,幸运的是,Rust 提供了新功能解决这个问题。


引用与借用

仅仅通过转移所有权的方式来获取一个值会让程序变得复杂。

Rust 通过借用(Borrowing)这个盖尼安来达成上述的目的,获取变量的引用,称之为借用(Borrowing)

引用与解引用

常会引用是一个指针类型,指向了对象存储的内存地址。在下面的代码中,我们创建了一个i32值的引用y,然后使用解引用运算符来解出y所使用的值:

fn main() {
    let x = 5;
    let y = &x;
    
    assert_eq!(5, x);
    assert_eq!(5, *y);
}

变量 x 存放了一个 i325yx 的一个引用。可以断言 x 等于 5。然而,如果希望对 y 的值做出断言,必须使用 *y 来解出引用所指向的值(也就是解引用)。一旦解引用了 y,就可以访问 y 所指向的整型值并可以与 5 做比较。

相反如果尝试编写 assert_eq!(5, y);,则会得到如下编译错误:

error[E0277]: can't compare `{integer}` with `&{integer}`
 --> src/main.rs:6:5
  |
6 |     assert_eq!(5, y);
  |     ^^^^^^^^^^^^^^^^^ no implementation for `{integer} == &{integer}` // 无法比较整数类型和引用类型
  |
  = help: the trait `std::cmp::PartialEq<&{integer}>` is not implemented for
  `{integer}`

不允许比较整数与引用,因为它们是不同的类型。必须使用解引用运算符解出引用所指向的值。

不可变引用

下面的代码,我们用s1的引用作为参数传递给calculate_length函数,而不是把s1的所有权转移给该函数:

fn main() {
    let s1 = String::from{"hello"};
    
    let len = calculate_length(&s1);
    
    println!("The length of '{}' is {}.", s1, len);
}
fn calculate_length(s : &String) -> usize {
    s.len()
}

能注意到两点:

  1. 无需像上章一样:先通过函数参数传入所有权,然后再通过函数返回来传出所有权,代码更加简洁
  2. calculate_length的参数s类型从String变为&String

这里,&符号即是引用,他们允许你使用值,但是不获取所有权,如图所示:

&String s pointing at String s1

通过&s1语法,我们创建了一个指向s1的引用,但是并不拥有它。因为并不拥有这个值,当引用离开作用域后,其指向的值也不会被丢弃。

同理,函数calculate_length使用&来表明参数s的类型是一个引用:

fn calculate_length(s: &String) -> usize { // s 是对 String 的引用
    s.len()
} // 这里,s 离开了作用域。但因为它并不拥有引用值的所有权,
  // 所以什么也不会发生

而我们已经实现了借用,接下来尝试修改借用的变量:

fn main() {
    let s = String::from("hello");
    
    change(&s);
}

fn change(some_string: &String) {
    some_string.push_str(", world");
}

结果会发生报错:

error[E0596]: cannot borrow `*some_string` as mutable, as it is behind a `&` reference
 --> src/main.rs:8:5
  |
7 | fn change(some_string: &String) {
  |                        ------- help: consider changing this to be a mutable reference: `&mut String`
                           ------- 帮助:考虑将该参数类型修改为可变的引用: `&mut String`
8 |     some_string.push_str(", world");
  |     ^^^^^^^^^^^ `some_string` is a `&` reference, so the data it refers to cannot be borrowed as mutable
                     `some_string`是一个`&`类型的引用,因此它指向的数据无法进行修改

正如变量默认不可变一样,引用指向的值默认也是不可变的。

可变引用

对于上面代码的错误,只需要一个小调整即可修复:

fn main() {
    let mut s = String::from("hello");
    
    change(&mut s);
}

fn change(some_string: &mut String) {
    some_string.push_str(", world");
}

首先,声明 s 是可变类型,其次创建一个可变的引用 &mut s 和接受可变引用参数 some_string: &mut String 的函数。

可变引用同时只能存在一个

可变引用有一个很大的限制:同一作用域,特定数据只能有一个可变引用:

let mut s = String::from("hello");

let r1 = &mut s;
let r2 = &mut s;

println!("{}, {}",r1, r2);

上述代码会报错:

error[E0499]: cannot borrow `s` as mutable more than once at a time 同一时间无法对 `s` 进行两次可变借用
 --> src/main.rs:5:14
  |
4 |     let r1 = &mut s;
  |              ------ first mutable borrow occurs here 首个可变引用在这里借用
5 |     let r2 = &mut s;
  |              ^^^^^^ second mutable borrow occurs here 第二个可变引用在这里借用
6 |
7 |     println!("{}, {}", r1, r2);
  |                        -- first borrow later used here 第一个借用在这里使用

这段代码出错的原因在于:第一个可变引用r1必须要持续到最后一次使用的位置println!(),在r1创建和最后一次使用之间,我们又尝试创建第二个可变引用r2

对于新手来说,这个特性绝对是一大拦路虎,也是新人们谈之色变的编译器 borrow checker 特性之一,不过各行各业都一样,限制往往是出于安全的考虑,Rust 也一样。

这种限制的好处就是使 Rust 在编译期就避免数据竞争,数据竞争可由以下行为造成:

  • 两个或更多的指针同时访问一个数据
  • 至少有一个指针被用来写入数据
  • 没有同步数据访问的机制

数据竞争会导致未定义行为,这种行为很可能超出我们的预期,难以在运行时追踪,并且难以诊断和修复。而 Rust 避免了这种情况的发生,因为它甚至不会编译存在数据竞争的代码。

很多时候,大括号可以帮我们解决一些编译不通过的问题,通过手动限制变量的作用域:

let mut s = String::from("hello");

{
    let r1 = &mut s;
} // r1 在这里离开了作用域,所以我们完全可以创建一个新的引用

let r2 = &mut s;

可变引用和不可变引用不能同时存在

下面的代码会导致一个错误:

let mut s = String::from("hello");

let r1 = &s; // no problem
let r2 = &s; // no problem
let r3 = &mut d; // big problem

println!("{}, {}, and {}", r1, r2, r3);

错误如下:

error[E0502]: cannot borrow `s` as mutable because it is also borrowed as immutable
        // 无法借用可变 `s` 因为它已经被借用了不可变
 --> src/main.rs:6:14
  |
4 |     let r1 = &s; // 没问题
  |              -- immutable borrow occurs here 不可变借用发生在这里
5 |     let r2 = &s; // 没问题
6 |     let r3 = &mut s; // 大问题
  |              ^^^^^^ mutable borrow occurs here 可变借用发生在这里
7 |
8 |     println!("{}, {}, and {}", r1, r2, r3);
  |                                -- immutable borrow later used here 不可变借用在这里使用

其实这个也很好理解,正在借用不可变引用的用户,肯定不希望他借用的东西,被另外一个人莫名其妙改变了。多个不可变借用被允许是因为没有人会去试图修改数据,每个人都只读这一份数据而不做修改,因此不用担心数据被污染。

注意,引用的作用域 s 从创建开始,一直持续到它最后一次使用的地方,这个跟变量的作用域有所不同,变量的作用域从创建持续到某一个花括号 }

Rust 的编译器一直在优化,早期的时候,引用的作用域和变量作用域是一致的。例如:

fn main() {
    let mut s = String::from("hello");
    
    let r1 = &s;
    let r2 = &s;
    println!("{} and {}", r1, r2);
// 新编译器中,r1,r2作用域在这里结束

    let r3 = &mut s;
    println!("{}", r3);
} // 老编译器中,r1、r2、r3作用域在这里结束
  // 新编译器中,r3作用域在这里结束

在老版本的编译器中(Rust 1.31 前),将会报错,因为 r1r2 的作用域在花括号 } 处结束,那么 r3 的借用就会触发 无法同时借用可变和不可变的规则。

但是在新的编译器中,该代码将顺利通过,因为 引用作用域的结束位置从花括号变成最后一次使用的位置,因此 r1 借用和 r2 借用在 println! 后,就结束了,此时 r3 可以顺利借用到可变引用。

NLL

对于这种编译器优化行为,Rust 起了一个名字 —— Non-Lexical Lifetimes(NLL),专门用于找到某一个引用在作用域({})结束前就不再被使用的代码位置。

悬垂引用(Dangling References)

垂直引用也叫悬垂指针,意思为指针指向了某个值后,这个值被释放掉了,而指针依然存在,其指向的内存可能不存在任何值或已被其他变量重新使用。在 Rust 中编译器可以确保引用永远不会变成悬垂状态:当你获取数据的引用后,编译器可以确保数据不会在引用结束前被释放,要想释放数据,必须先停止其引用的使用

让我们尝试创建一个悬垂引用,Rust 会抛出一个编译时错误:

fn main() {
    let reference_to_nothing = dangle();
}

fn dangle() -> &String {
    let s = String::from("hello");

    &s
}

这里是错误:

error[E0106]: missing lifetime specifier
 --> src/main.rs:5:16
  |
5 | fn dangle() -> &String {
  |                ^ expected named lifetime parameter
  |
  = help: this function's return type contains a borrowed value, but there is no value for it to be borrowed from
help: consider using the `'static` lifetime
  |
5 | fn dangle() -> &'static String {
  |                ~~~~~~~~

错误信息引用了一个我们还未介绍的功能:生命周期(lifetimes)。不过,即使你不理解生命周期,也可以通过错误信息知道这段代码错误的关键信息:

this function's return type contains a borrowed value, but there is no value for it to be borrowed from.
该函数返回了一个借用的值,但是已经找不到它所借用值的来源

仔细看看 dangle 代码的每一步到底发生了什么:

fn dangle() -> &String { // dangle 返回一个字符串的引用

    let s = String::from("hello"); // s 是一个新字符串

    &s // 返回字符串 s 的引用
} // 这里 s 离开作用域并被丢弃。其内存被释放。
  // 危险!

因为 s 是在 dangle 函数内创建的,当 dangle 的代码执行完毕后,s 将被释放,但是此时我们又尝试去返回它的引用。这意味着这个引用会指向一个无效的 String,这可不对!

其中一个很好的解决方法是直接返回 String

fn no_dangle() -> String {
    let s = String::from("hello");

    s
}

这样就没有任何错误了,最终 String所有权被转移给外面的调用者

借用规则总结

总的来说,借用规则如下:

  • 同一时刻,你只能拥有要么一个可变引用, 要么任意多个不可变引用
  • 引用必须总是有效的