Языки программирования и компиляторы
Санкт-Петербург, весна 2021
Описание
Данный курс представляет собой начальное введение в область языков программирования, компиляторов и других языковых инструментов. Будут сформулированы некоторые основные понятия и подходы в данной области, такие, как операционная семантика языков программирования, промежуточное представление программ, интерпретация, преобразования программ и т.д., и показано, как эти понятия и подходы решают важные и интересные практические задачи. Предполагается, что слушатели в процессе выполнения заданий к концу курса реализуют полноценный компилятор в машинный код для простого, но вполне функционального языка императивного программирования, содержащего выражения, присваивания, конструкции управления, функции высших порядков и динамические структуры данных. В качестве основного инструмента в рамках курса будет использован тот же самый язык.
Родственные курсы:
- Семантика языков программирования (https://compscicenter.ru/courses/programming-language-semantics/2020-spring/)
- Основы формальной верификации (https://compscicenter.ru/courses/formal-verification/2020-spring/)
Программа курса
1) Из истории вопроса. Программирующие программы.
2) Языки программирования и машинные архитектуры. Что происходит с программой при трансляции. Понятие среды трансляции (toolchain). Раскрутка компилятора (bootstrapping).
3) Как устроен компилятор. Промежуточное представление и просмотры. Программа и библиотека поддержки времени исполнения. Компилятор GCC, инфраструктура LLVM.
4) Канонический интерпретатор. Операционная семантика как способ описания канонического интерпретатора. Простейший язык: выражения и присваивания.
5) Стадия синтаксического анализа - мифы и реальность. Построение атрибутированного дерева. Встраиваимые языки (embedded languages). Поверхностное (shallow) и глубокое (deep) встраивание.
6) Стековая машина. Система команд, операционная семантика. Интерпретатор стековой машины.
7) Компилятор языка выражений в стековую машину. Корректность/частичная корректность компилятора, её обоснование.
8) Символический интерпретатор стековой машины как генератор кода.
9) Система команд x86. Память, регистры, режимы адресации. Среда трансляции GCC, устройство ассемблерного файла, метки и директивы.
10) Генератор кода для выражений и присваиваний. Тестирование.
11) Конструкции управления как операторы.
12) Конструкции управления как выражения. Указатели как значения --- за и против.
13) Процедуры и функции. Варианты организации вызовов и передачи параметров.
14) Массивы и строки. Варианты определения и реализации.
15) Символические выражения и сопоставление с образцом.
16) Функции как значения.
17) Функции высших порядков, дефункционализация, лямбда-лифтинг, построение замыканий.
18) Арифметика с коррекцией (fixnum), автоматическое управление памятью, сборка мусора.
Критерии получения оценки
Еженедельно слушателям курса предлагается домашнее задание с небольшим сроком выполнения (1-2 недели). В конце семестра будет проходить обязательный финальный экзамен. К нему студент зарабатывает оценку по домашним заданиям по следующему правилу: — отлично — сданы все домашние задания, — хорошо — сданы все, кроме одной, — удовлетворительно — сданы все, кроме двух. На экзамене вам будет предложено «подтвердить» свою оценку, ответив на небольшой теоретический вопрос или прокомментировав собственный код. Будет возможность как повысить оценку ответом (в случае, если она была спорной), так и понизить.Полезные ссылки и литература
https://github.com/JetBrains-Research/Lama - репозиторий языка Lama;
https://github.com/dboulytchev/compilers-2021-spring - репозиторий для домашних заданий.
ocaml.org - среда программирования OCaml;
gcc.gnu.org - компилятор GCC;
llvm.org - инфраструктура LLVM;
gcc.gnu.org/wiki/ListOfCompilerBooks - список книжек про конструирование компиляторов.
N.Wirth. Compiler Construction. Книжка Вирта, одна из немногих, пользуясь которой можно действительно написать компилятор, не умея этого делать предварительно. Идеологически близка курсу, но использует другие технические подходы.
F.Nielson, H-R.Nielson. Semantics with Applications. A formal introduction. Аккуратное введение в семантику языков программирования.
D.Knuth. Semantics of context-free languages. Статья Кнута, в которой вводятся атрибутные грамматики.
G.Hutton, E.Meijer. Monadic parser combinators. Считается первой статьей по данному вопросу.
http://www.felixcloutier.com/x86 - описание системы команд x86.
Некоторые предварительные требования
Основы архитектуры и принципы функционирования ЭВМ, основы программирования на ассемблере.
Основы функционального программирования (алгебраические типы данных, сопоставление с образцом, функции высших порядков, параметрический полиморфизм, рекурсия).
Преподаватели
Список лекций
Введение. Предмет и структура курса. Как устроены компиляторы. Разные уровни понимания семантики языков программирования. Формальная семантика. Эталонный интерпретатор. Язык выражений, операционная семантика большого шага.
Язык линейных программ. Операторы, конфигурации, семантика большого шага. Стековая машина: система команд, семантика большого шага. Компилятор линейных программ для стековой машины.
Архитектура и система команд процессора x86-32. Использование системы gcc при программировании на ассемблере. Структура ассемблерной программы с точки зрения компилятора. Символический интерпретатор стековых программ как генератор кода.
Проблема преобразования конкретного синтаксиса в абстрактный. Проблемы, возникающие при использовании КС-разбора при реализации синтаксических анализаторов. Однопроходная схема разбора, атрибутные грамматики, L-атрибутные грамматики, монадические парсер-комбинаторы.
Конструкции ветвления и цикла, операционная семантика большого шага. Синтаксические расширения, вопросы применимости.
Расширение стековой машины метками и инструкциями переходов. Окружения, семантика большого шага для расширенной стековой машины. Инварианты стековых программ для генерации машинного кода с помощью символического интерпретатора.
Объединение синтаксических категорий выражений и операторов. Well-formed абстрактный синтаксис, вывод well-formed AST по сокращенному AST, полученному синтаксическим анализатором. Операционная семантика выражений с побочными эффектами. Модификация стековой машины, операционная семантика. Нарушение инварианта символического интерпретатора стековой машины и его восстановление. Генерация машинного кода.
Конструкции описания переменный и функций. Well-formedness, вывод значений по умолчанию. Статическое и динамическое связывание свободных переменных. Операционная семантика статического связывания.
Описание: Расширение стековой машины. Компилятор в стековую машину как интерпретатор с символическим состоянием. Соглашения о вызовах. Локальная стстиам, рамка стека, доступ к локальным аргументам и параметрам, возврат результата функции.
NB: обратите внимание на изменения по сравнению с лекцией (например, в языке теперь есть ключевое слово var вместо local)
Запись лекции прошлого года прилагается
Массивы. Well-formedness выражений с массивами. Абстракция памяти. Устройство массивов в библиотеке поддержки времени исполнения. Встроенные функции.
Различение прямых/косвенных значений. Арифметика с коррекцией.
Символические выражения. Представление в памяти, поддержка на уровне интерпретатора, стековой машины и генератора кода.
Поддержка связываний в образцах с помощью синтаксического расширения. Монада состояния в синтаксическом анализаторе. Операционная семантика.