Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Два капитана: пенис и мозг — кто кем управляет? Два капитана: пенис и мозг — кто кем управляет?

Наличие пениса и мозга составляют правильный тандем всей мужской жизни

Maxim
Чувствуют агрессию: выявлена способность животных распознавать эмоции людей Чувствуют агрессию: выявлена способность животных распознавать эмоции людей

Лошади и свиньи оказались куда более проницательны, чем считалось раньше

Вокруг света
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Одна из худших машин в мире: история автомобиля Yugo Одна из худших машин в мире: история автомобиля Yugo

«Юго — это ненадолго» — шутят белградские автомобилисты

Вокруг света
Летающие мотоциклы, робот-хирург и механические птицы. За кем сейчас стоит наблюдать в области новых технологий? Летающие мотоциклы, робот-хирург и механические птицы. За кем сейчас стоит наблюдать в области новых технологий?

Инженер Илья Чех – об изобретениях, которые изменят нашу жизнь уже завтра

СНОБ
Сочетание иммунопрепарата и CAR-T-лимфоцитов сохранило жизнь мышам с онкозаболеваниями Сочетание иммунопрепарата и CAR-T-лимфоцитов сохранило жизнь мышам с онкозаболеваниями

Ученые повысили эффективность терапии CAR-T-лимфоцитами

N+1
К вам санитары, мистер Андерсон К вам санитары, мистер Андерсон

Писатель Александр Цыпкин о наших цифровых аватарах

СНОБ
«Люди и учреждения Петровской эпохи». Какими были законы, институции и люди в начале XVIII века «Люди и учреждения Петровской эпохи». Какими были законы, институции и люди в начале XVIII века

Отрывок из книги «Люди и учреждения Петровской эпохи» о России XVIII—XX вв

N+1
Быстрее, выше, хитрее Быстрее, выше, хитрее

В чем еще, помимо силы и ловкости, соревнуются участники Олимпиад

Forbes
Предсказуемо яркая мегазвезда: Дженнифер Лопес в фильме «Половина» Предсказуемо яркая мегазвезда: Дженнифер Лопес в фильме «Половина»

Фильм о Дженнифер Лопес и пути, который она прошла за почти 30-летнюю карьеру

Forbes
Пуд соли на двоих Пуд соли на двоих

Где заключаются браки и что нужно сделать, чтобы жить долго и счастливо?

Seasons of life
Как запасти пищу на случай постапокалипсиса: что люди будут есть после ядерной зимы Как запасти пищу на случай постапокалипсиса: что люди будут есть после ядерной зимы

Каков самый выигрышный вариант еды на случай апокалипсиса?

ТехИнсайдер
20 ответов на простые вопросы о сексе 20 ответов на простые вопросы о сексе

Честные ответы на самые простые вопросы про это

Playboy
Ужас, комедия и драма: как сериал «Очень странные дела» стал феноменом поп-культуры Ужас, комедия и драма: как сериал «Очень странные дела» стал феноменом поп-культуры

Почему миллионы людей сходят с ума от сериала про детей?

Forbes
10 знаковых грузовиков из США 10 знаковых грузовиков из США

Компаний, делающих или делавших ранее те самые легендарные траки

ТехИнсайдер
Вопрос дня: всем ли нужно быть лидером? Вопрос дня: всем ли нужно быть лидером?

«Сноб» спросил участников клуба: всем ли нужно быть лидером?

СНОБ
Искусство после Сребреницы Искусство после Сребреницы

Как сербские художники переживали войну

Weekend
Всё, что хочу Всё, что хочу

Актриса Елена Лядова – о сложном характере, любви и терпении

Новый очаг
Премиальные пивоварни: поколение Z Премиальные пивоварни: поколение Z

Крафтовое пивоварение переживает очередной подъем

Эксперт
Что такое осознанность и как ее развить: 5 простых упражнений Что такое осознанность и как ее развить: 5 простых упражнений

Что скрывается за модным словом «осознанность»? И как она может нас изменить?

Psychologies
Через 16700 лет Через 16700 лет

"Вояджеры" уже невероятно далеко, но они еще работают

ТехИнсайдер
Проститутки, кровь и миллионы: каково работать председателем ТСЖ Проститутки, кровь и миллионы: каково работать председателем ТСЖ

Работа с людьми — как уравнение с множеством неизвестных

Правила жизни
Как быстро снять отек лица: 8 работающих способов Как быстро снять отек лица: 8 работающих способов

Без паники, все под контролем! Рассказываем, как быстро снять отеки с лица

VOICE
10 невероятных самодельных электробайков: инженерное чудо 10 невероятных самодельных электробайков: инженерное чудо

Серийные модели байков, которые превратили в очаровательные кастомы

ТехИнсайдер
Пенсия по-итальянски: как стать миллиардером в 87 лет Пенсия по-итальянски: как стать миллиардером в 87 лет

В 60 лет Джузеппе Криппа решил рискнуть и основать собственный бизнес

Forbes
Технопарад Технопарад

Линзы с AR, новая ракета Nasa Space Launch System и запись звуков на Марсе

ТехИнсайдер
История одной вещи: «Смена-8М» — самый массовый в мире фотоаппарат История одной вещи: «Смена-8М» — самый массовый в мире фотоаппарат

Непритязательную камеру любили студенты, а ее тиражи исчислялись миллионами

Правила жизни
Тайна гибели шестилетней Джонбенет Рэмси: кто убил маленькую «Мисс Рождество» Тайна гибели шестилетней Джонбенет Рэмси: кто убил маленькую «Мисс Рождество»

Все были уверены: когда девочка вырастет, она станет известной моделью

VOICE
Ракетка для сердца: ученые придумали растворяющийся в организме кардиостимулятор Ракетка для сердца: ученые придумали растворяющийся в организме кардиостимулятор

Ученые изобрели кардиостимулятор без проводов и батареи

Вокруг света
Энтомологи усомнились в скором вымирании монархов Энтомологи усомнились в скором вымирании монархов

Вопреки популярному мнению, бабочки монархи не находятся на грани вымирания

N+1
Открыть в приложении