Алгоритм переводит дореволюционные издания в современный русский язык

Популярная механикаHi-Tech

В России создали алгоритм для перевода старой орфографии в современную

Сотрудники Института вычислительных технологий СО РАН разработали систему, которая позволяет переводить дореволюционные издания в современную русскую орфографию практически без участия человека. Алгоритм может выполнять рутинную работу редакторов и дает исследователям дополнительные инструменты для анализа текстов.

Василий Макаров

Представьте, что вы решили оцифровать, а затем опубликовать книгу, которая была издана в дореволюционное время. Новейшие мощные сканеры, способные работать без участия человека, сами перелистывают страницы, современное программное обеспечение преобразовывает отсканированные страницы в текст, но он будет, естественно, в исходной старой орфографии. Это неудобно для потенциальной обработки документа, ведь большинство алгоритмов автоматического анализа работают только с произведениями в современной орфографии. Для этого и нужна система автоматического приведения текста в привычный для читателя вид. Существует несколько подходов к преобразованию текстов из одной орфографии в другую: основанный на правилах, статистический, основанный на машинном обучении, нейронный машинный перевод, а также гибридный, который может сочетать перечисленные выше методы. Так как орфография — это совокупность четких правил написания слов, на основе которых может быть создан алгоритм перевода, исследователи выбрали правиловый подход. Всё усложняется тем, что до середины XX века орфография русского языка не была официально утверждена. «До революции появлялись орфографические справочники, на их основании писались гимназические грамматики, но нормы не были кодифицированы. Декрет Совета народных комиссаров от 10 октября 1918 года «О введении новой орфографии» был весьма краток, и описывал то, что требует изменения, далеко не полностью. Например, вышло так, что ижица (Ѵ) вообще не была упомянута», — рассказывает ведущий научный сотрудник ИВТ СО РАН доктор технических наук Владимир Борисович Барахнин.

Примеры основных правил, заложенных в работу переводчика. Мария Фёдорова

Для разработки программы за основу был взят «Справочник по старой орфографии русского языка» П. И. Давыдова, изучившего и проанализировавшего значительное количество источников и литературы, в том числе учебники, словари и справочники, изданные в старой орфографии до 1917 года. В этом справочнике изложен ряд изменений, которые можно разделить на две большие категории: правописание морфем (приставок, падежных окончаний) и употребление отдельных букв. Кто-то может предположить, что достаточно заменить устаревшие буквы на современные и убрать твердые знаки в конце слов, но всё гораздо сложнее, потому что есть случаи, в которых правописание морфем отличается от нынешнего. Именно на основе перечисленных в справочнике норм дореволюционного правописания — с учетом послереволюционных новаций и был разработан переводчик.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как создать прикольный мем онлайн прямо сейчас Как создать прикольный мем онлайн прямо сейчас

Создайте себе собственную коллекцию мемов - это делается элементарно

CHIP
Павианы не захотели расставаться с мертвыми детенышами Павианы не захотели расставаться с мертвыми детенышами

Павианы носили трупы своих или чужих детенышей, вычесывали и охраняли их

N+1
1946: «Макаки» прилетели 1946: «Макаки» прилетели

Как в один год началось мотопроизводство сразу на нескольких заводах

Мото
Листья нори, фучжу и тхина: 10 неочевидных продуктов, которыми можно запастись кроме гречки Листья нори, фучжу и тхина: 10 неочевидных продуктов, которыми можно запастись кроме гречки

Какими продуктами запастись, чтобы жизнь казалась чуть приятнее и интереснее

Forbes
После Бонда После Бонда

Аукционы для поклонников бондианы и другие новости искусства

Robb Report
Длинный, где проезд Неглинный? Длинный, где проезд Неглинный?

Вместе с историком Константином Полещуком отправляемся на прогулку по Москве

Seasons of life
Удаленный доктор Удаленный доктор

В режиме чрезвычайной ситуации врач сможет удаленно назначать лечение

Огонёк
О катастрофах и страхах. Размышления о прошлом на фоне настоящего О катастрофах и страхах. Размышления о прошлом на фоне настоящего

В том, что происходит сегодня во всем мире, нет ничего пугающего

СНОБ
50 оттенков яркого: научиться любить себя и жизнь… в любом возрасте! 50 оттенков яркого: научиться любить себя и жизнь… в любом возрасте!

В кабинет психолога не приходят, когда все хорошо

Psychologies
Спроси гробовщика. Как молодая девушка с миллионом подписчиков в YouTube заработала $17 млн на смерти Спроси гробовщика. Как молодая девушка с миллионом подписчиков в YouTube заработала $17 млн на смерти

Кейтлин Даути — владелица похоронного бюро и создательница YouTube-канала

Forbes
Проект беспилотных грузовиков Starsky Robotics с инвестициями фонда Дмитрия Гришина закрылся: что произошло и почему Проект беспилотных грузовиков Starsky Robotics с инвестициями фонда Дмитрия Гришина закрылся: что произошло и почему

Инвесторы разочаровались в рынке автономных автомобилей

VC.RU
Параноидальный стиль Параноидальный стиль

Закономерности передачи и мутации паники

Огонёк
Сергей Янчуков: «Деньги здесь не быстрые, но мы осознанно инвестируем миллиарды» Сергей Янчуков: «Деньги здесь не быстрые, но мы осознанно инвестируем миллиарды»

Что такое развивать бизнес в забайкальской тайге и как помогает государство

Forbes
Путешествие в тарантасе с кокурками, скородумками и другим дорожным припасом Путешествие в тарантасе с кокурками, скородумками и другим дорожным припасом

Домашние припасы по-гоголевски

Наука и жизнь
10 отличных фильмов об эпидемиях: от Швеции до Японии, от 1950-х до наших дней 10 отличных фильмов об эпидемиях: от Швеции до Японии, от 1950-х до наших дней

Какое кино об эпидемиях снимали в разных странах в разные эпохи

Esquire
Ася Волошина Ася Волошина

Ася Волошина раздвигает рамки профессии

Собака.ru
От чего нейросети избавят мир От чего нейросети избавят мир

О каких вещах можно будет забыть в ближайшем будущем благодаря нейросетям?

Популярная механика
Переговорка на балконе Переговорка на балконе

Работа из дома связана с некоторыми сложностями

Эксперт
Здесь был Чехов… Здесь был Чехов…

Антон Павлович Чехов и его дом на Грачёвке, ныне Трубной улице

Дилетант
7 «полезных» продуктов, от которых срочно нужно отказаться, если вы худеете 7 «полезных» продуктов, от которых срочно нужно отказаться, если вы худеете

Шпаргалка для тех, кто не может похудеть, хотя всё делает правильно

Cosmopolitan
Cамые опасные виды спорта в мире — топ-9 рискованных занятий Cамые опасные виды спорта в мире — топ-9 рискованных занятий

Рассказываем, какие самые опасные виды спорта существуют в мире

Cosmopolitan
Создано «невозможное» соединение металла и водорода Создано «невозможное» соединение металла и водорода

Ученые разработали новые сверхпроводники

Популярная механика
Боль валит с ног Боль валит с ног

Боль в ноге может появиться внезапно, а может беспокоить долгое время

Здоровье
Братья Электроники Братья Электроники

Владимир и Юрий Торсуевы – актёры, предприниматели и, конечно же, мотоциклисты

Мото
Илья Прусикин (Little Big) — о любимой музыке, безумных идеях для клипов и российском YouTube Илья Прусикин (Little Big) — о любимой музыке, безумных идеях для клипов и российском YouTube

Илья Прусикин рассказывает о европейских концертах и сравнении с Die Antwoord

Esquire
Мировой рекорд по длине члена и другие интимные достижения человечества Мировой рекорд по длине члена и другие интимные достижения человечества

В эти рекорды человечества сложно поверить с первого раза

Playboy
Один дома Один дома

В каком возрасте можно оставлять ребенка одного или отпускать в школу?

Лиза
Смех зверей Смех зверей

Посмеяться любят многие: и обезьяны, и дельфины, и даже грызуны

Вокруг света
Маршрут построен Маршрут построен

Эксклюзивная экскурсия по Белграду от актера Милоша Биковича

OK!
Время играть в камни. Почему китайская Го стала так популярна среди российских политиков и бизнесменов Время играть в камни. Почему китайская Го стала так популярна среди российских политиков и бизнесменов

Китайская игра Го набирает популярность в кругах российских бизнесменов

Forbes
Открыть в приложении