7. 编译器后端和运行时

在上一章节,我们详细讲述了一个编译器前端的主要功能,重点介绍了中间表示以及自动微分。在得到中间表示后,如何充分利用硬件资源高效地执行,是编译器后端和运行时要解决的问题。

在本章节中, 我们将会介绍编译器后端的一些基本概念,详细描述后端的计算图优化、算子选择等流程。通过对编译器前端提供的中间表示进行优化,充分发挥硬件能力,从而提高程序的执行效率。在此基础上,介绍运行时是如何对计算任务进行内存分配以及高效的调度执行。

本章的学习目标包括:

  • 了解编译器后端和运行时的作用

  • 掌握计算图优化的常用方法

  • 掌握算子选择的常用方法

  • 掌握内存分配的常用方法

  • 掌握计算图调度和执行的常用方法