Трансформер (Transformer)

Трансформер (англ. transformer — «преобразующий, меняющий форму») — многозначный термин, который в разных областях знания обозначает объекты или системы, способные преобразовывать что-либо или менять собственную форму. В русском языке слово используется как общее имя для нескольких разнородных понятий — от электротехнического компонента до архитектуры нейронных сетей и игрушечных роботов.

Что означает термин

В зависимости от контекста «трансформер» может обозначать разные понятия. В электротехнике это пассивный компонент (чаще передаваемый в русском языке словом «трансформатор»), который передаёт электрическую энергию между цепями посредством электромагнитной индукции без гальванической связи между обмотками. В машинном обучении это архитектура глубоких нейронных сетей, предназначенная для обработки последовательностей. В поп-культуре так называют персонажей и игрушки-роботы, способные менять облик — например, складываться из человекоподобной формы в транспортное средство. Из-за многозначности в англоязычных источниках различение смысла обычно делается через страницу-дизамбигуатор.

Как устроено

В контексте машинного обучения трансформер — архитектура глубокой нейронной сети, состоящая из кодировщика и декодировщика, каждый из которых образован слоями, передающими результат следующему слою или в декодировщик вместе с выходом кодировщика. Ключевой механизм — внимание (attention), позволяющий модели учитывать связи между всеми элементами входной последовательности одновременно. В отличие от рекуррентных нейронных сетей (RNN), трансформер не требует последовательной обработки элементов: конец текста может обрабатываться параллельно с началом, что существенно упрощает распараллеливание вычислений.

Где применяется

Архитектура нейросетевого трансформера лежит в основе современных языковых моделей и используется для машинного перевода, автоматического реферирования, генерации и анализа текстов на естественном языке. Электротехнический трансформатор (чаще именуемый в русском языке «трансформатор») применяется в линиях электропередач: понижающие устройства снижают напряжение (в линиях оно может превышать 300 000 вольт) до пригодного для потребителя уровня, а повышающие работают в обратном направлении. В поп-культуре название «трансформер» носит коммерческая франшиза преобразующихся игрушек-роботов.

История возникновения

Электрический трансформатор основан на принципе электромагнитной индукции, открытом Майклом Фарадеем в 1831 году; первый трансформатор с постоянным потенциалом был создан в 1885 году, после чего подобные устройства стали обязательным звеном передачи, распределения и потребления электроэнергии переменного тока. Архитектура нейросетевого трансформера была представлена в 2017 году исследователями Google Brain / Google Research в статье «Attention Is All You Need», изначально для задач машинного перевода и автоматического реферирования.