Дерево проектов Инженерно-математической школы НИУ ВШЭ и VK

Проект направлен на исследование методов интерпретации и визуализации работы Vision-Language моделей. Участники анализируют внутренние представления и механизмы принятия решений, разрабатывают инструменты для визуального объяснения поведения модели, а также сравнивают интерпретации различных архитектур.

Величко Екатерина

Участник:

2025

Рогачев Александр

Куратор:

х

Пучки на графах в рекомендательных системах

Описание:

Исследование применимости пучков на графе для построения стабильных эмбеддингов пользователей и айтмеов.

Стеблий Мария

Участник:

2025

Александр Тараканов

Куратор:

х

Attacks on Large Vision-Language Models

Описание:

Для понимания переносимости атак с составных частей VLM на итоговую модель предлагается реализовать различные подходы для атак на visual и LLM компоненты, проанализировать результаты работы моделей с изображениями и видео, повысить устойчивость моделей.

Пищик Евгений
Максимова Анна
Пименов Арсений
Ломакина Александра
Княжевский Владимир

Участники:

2024

Рогачев Александр

Евгений Пищик

Куратор:

Руководитель:

х

Улучшение качества речевого сигнала для голосовых интерфейсов в зашумленных условиях

Описание:

Участники проекта занимаются созданием прикладных решений, пригодных для внедрения в масштабируемые сервисы голосового взаимодействия, включая диалоговые системы, ассистентов и стриминговые платформы.

Забурдаев Александр
Золина Ксения
Марценюк Даниил
Трофименко Илья

Участники:

2025

Глеб Ишелев

Дмитрий Рюмин

Куратор:

Руководитель:

х

VLMemes: сбор датасета и оценка Vision-Language моделей для выявления токсичности, сарказма и культурных отсылок

Описание:

Целью проекта является сбор датасета русскоязычных мемов, аннотировать его по категориям токсичности, сарказма и культурных отсылок, и исследовать, как современные мультимодальные модели (CLIP, LLaVa, Qwen VL, MemeBLIP2 и др.) работают с таким материалом.

Гусева Ирина

Участник:

2025

Рогачев Александр

Куратор:

х

ContextRank: динамические социальные рекомендации на основе интеграции LLM и RL с моделированием асимметричного доверия

Описание:

Проект фокусируется на ускорении рекомендаций за счет LLM-RL интеграции, с использованием VK-LSVD, смешивание с негативными сэмплами (по расстоянию сходства в эмбеддинговом пространстве) для бинарной классификации в RL, с генерацией причин для проверки гипотез. Это улучшит персонализацию и объяснимость, особенно при холодном старте.

Просвирнин Роман

Участник:

2025

Сергей Ермилов

Джин Сеунгмин

Куратор:

Руководитель:

х

Супер-разрешение аудио в высокую частоту в условиях низкоресурсных устройств

Описание:

Задача супер-разрешения аудио посвящена получению высококачественного аудио в высокой частоте семплирования (48кГц и выше) из более низких. Цель проекта состоит в поиске архитектуры, которая может работать в постановке аудиопотока.

Кузнецов Никита

Участник:

2025

Александр Тараканов

Максим Каледин

Куратор:

Руководитель:

х

Улучшение эффективности архитектур нейронных сетей для обработки последовательностей, включая языковые модели

Описание:

В данном проекте предлагается исследовать применимость низкоразмерной параметризации ортогональных матриц в трансформерах для дальнейшего снижения вычислительных затрат при работе языковых моделей.

Алексеев Павел
Павлов Алексей
Каменев Матвей
Рожкин Александр

Участник:

2025

Александр Тараканов

Куратор:

х

Оптимизация работы графовых нейронных сетей на пучках при помощи методов низкоразмерной параметризации ортогональных матриц

Описание:

В данном проекте предлагается провести исследование на предметы того, могут ли низкоразмерные параметризации ортогональных матриц повысить качество рекомендаций графовых нейронных сетей на пучках.

Белькова Ксения

Участник:

2025

Александр Тараканов

Куратор:

х

Модель совместного шумоподавления и дереверберации для речи

Описание:

Проект посвящен исследованию и разработке модели улучшения качества речи. В рамках проекта будет реализован алгоритм шумоочистки и дереверберации, в том числе для работы с потоковым аудио на CPU.

Кондауров Захар

Участник:

2025

Иван Бескровный

Кураторы:

х

Быстрая генерация MCMC-сэмплов при помощи нейросетей

Описание:

В данном проекте изучается возможность ускорения Гамильтонова метода Монте Карло за счет применения методов машинного обучения.

Имамутдинова Лилия
Комаров Фёдор
Сидоров Иван

Участники:

2025

Александр Тараканов

Максим Каледин

Куратор:

Руководитель:

х

Инструмент контроля безопасности ML моделей и датасетов

Описание:

В рамках проекта должен быть разработан инструмент для оценки безопасности моделей машинного обучения и связанных с ними датасетов.

Пересадин Георгий
Горбунцов Александр
Коновалов Матвей
Мухаметдинов Булат
Петрованов Илья
Павлов Михаил

Участники:

2025

Павел Литиков
Дмитрий Куколев

Михаил Шульгин

Кураторы:

Руководитель:

х

Использование кодовых конструкций для k-анонимизации

Описание:

Проект нацелен на разработку алгоритма кластеризации данных на основе кодовых конструкций, с применением метрик L0 и L1.

Иванов Демьян
Тимошкин Павел
Чевтаев Илья

Участники:

2025

Павел Литиков

Давыдов Вячеслав

Куратор:

Руководитель:

х

Cистема психолингвистического анализа текстов

Описание:

Проект направлен на разработку комплекса библиотек для автоматизированного психологического анализа текстов.

Белявская Виктория
Валялов Даниил
Кочетков Александр
Масленникова Мария
Никонов Владимир
Павлухин Сергей

Участники:

2025

Каймаков Кирилл

Куратор:

х

Детекция и идентификация знаменитостей на видео

Описание:

Задачей проекта является создание системы, которая автоматически определяет присутствие знаменитостей в пользовательских и профессиональных видео VK.

Панченко Василий

Участник:

2025

Рогачев Александр

Куратор:

х

Автокоррекция изображений

Описание:

Профессиональная автокоррекция изображений всего в один клик. Повышение вовлеченности пользователей в продукт, хорошая рекламная компания для VK.

Качаев Никита

Участник:

2024

Роман Безбородов

Куратор:

х

Face Mobile Face Reenactment

Описание:

По изображению лица и аудио нужно генерировать видео движений данного лица в соответствии с аудио. Алгоритм должен генерировать видео хорошего качества. Алгоритм должен быть пригодным к работе на мобильных устройствах.

Артемий Мосейчук

Участник:

2024

Роман Безбородов

Куратор:

х

Умная замена бэкграунда

Описание:

Пользователь делает фотографию себя или другого объекта (машина, домашнее животное и т.д.) и описывает текстом новый фон, который должен быть на фотографии. Алгоритм должен сгенерировать новый фон по текстовому запросу и заменить им настоящий фон.

Джунковский Кирилл

Участник:

2024

Роман Безбородов

Куратор:

х

Шаблонная генерация видео

Описание:

Превращение сюжета в видео - это процесс, в ходе которого создаётся видеоконтент на основе текстового сценария. Видео формируется в виде последовательности изображений, сгенерированных моделью Text2Image. Эти изображения приобретают жизнь благодаря различным эффектам, таким как анимация, сопровождаемая наложением субтитров и возможно добавлением звукового сопровождения.

Терещенко Денис

Участник:

2024

Роман Безбородов

Куратор:

х

Редактирование изображений лиц

Описание:

По фотографии лица изменять его атрибуты:
цвет/длину волос, размер носа, овал лица и т.д.

Данил Шешеня

Участник:

2024

Роман Безбородов

Куратор:

х

Интерактивная сегментация и маттинг фото

Описание:

Пользователь делает клик на необходимый объект на фотографии, в ответ на который модель должна выдать качественную маску сегментации для данного объекта.

Андрей Широбоков

Участник:

2024

Роман Безбородов

Куратор:

х

Воспоминания на основе истории

Описание:

На основе предварительно классифицированных историй пользователя провести отбор и суммаризацию
Из полученных данных скомпилировать ролик, который будет предлагаться пользователю в формате истории.

Павел Кудреватых

Участник:

2024

Роман Безбородов

Куратор:

х

CV, Multimodal, robustness

Описание:

В рамках работы проведено исследование устойчивости мультимодальных моделей, таких как CLIP, BLIP, к изменению текстов и изображений, с использование классических механизмов, а также используя технику adversarial attacks.

Яблочников Вячеслав

Участник:

2024

Алексей Спасёнов

Куратор:

х

Разработка русскоязычных бенчмарков для оценки качества Visual Language Model

Описание:

Команда проекта разработала и проанализировала русскоязычные бенчмарки для Vision-Language Models (VLM), адаптировав существующие датасеты и создавая новые тестовые примеры, собирая уникальную разметку данных.

Рябков Игорь

Участник:

2024

Александр Рогачев

Куратор:

х

Анализ временных рядов с логами для Statshouse

Описание:

Разработана автоматическое решение для детектирования аномалий в логах для минимизации false positive.

Шахвалиева Юлиана

Участник:

2024

Егор Спирин

Куратор:

х

Портретная стилизация

Описание:

Реализовать портретную стилизацию фотографий пользователя в режиме image2image с помощью диффузионных моделей. Основные приоритеты:

Скорость работы
Сохранение деталей лиц и элементов одежды
Эстетичность изображения в целом

Александр Крагин

Участник:

2024

Роман Безбородов

Куратор:

х

Сервис Антифишинга

Описание:

Созданный сервис антифишинга повысил скорость нахождение фишинговых ресурсов и осуществил переход от реактивного к проактивному реагированию на фишинг внутри продуктов экосистемы VK с высокой степенью автоматизации.

Окусков Иван
Самсонов Дмитрий
Шакиров Алмаз
Косенко Алексей

Участники:

2024

Ярослав Полин

Куратор:

Алмаз Шакиров

Руководитель:

х

Модель оценки TTS метрик

Описание:

При обучении и оценке TTS моделей активно используются метрики, вовлекающие людей - асессоров, что требует больших затрат. В проекте проведены исследования, которые отвечают на вопросы - можно ли используя синтетические данные построить модель, выполняющую такие оценки вместо людей.

Репников Павел
Левин Марк
Трофименко Илья
Кочарян Давид
Чернов Вячеслав
Дмитриева Екатерина

Участники:

2024

Галайко Максим
Илья Чичаев

Кураторы:

Маркович Александр
Шевцов Никита

Руководители:

х

Веб-платформа Robbi

Описание:

В рамках проекта разрабатывалась платформа, в которой пользователи с небольшим опытом и неглубоким знанием программирования могли бы с помощью визуального интерфейса описывать, обучать и публиковать различные модели машинного обучения.

Лукьянов Александр
Зубаков Алексей
Галоев Илькин
Полупанова Анна
Суркис Антон
Шелухина Екатерина

Участники:

2022

Блинов Антон
Торобаев Руслан

Кураторы:

Иван Окусков

Руководитель:

х

Обучение моделей синтеза речи на больших данных

Описание:

Одно из активно развивающихся направления - zero shot tts - генерация нового спикера по нескольким секундам аудио референса, без дообучения модели. Для решения этой задачи был собран и размещен русскоязычный датасет и проведены эксперименты.

Тюняткин Пётр
Симонян Диана
Семиклит Екатерина
Зотов Семён
Паншин Игорь
Дусов Мурад
Якубов Вячеслав
Яковлев Михаил

Участники:

2023

Галайко Максим
Илья Чичаев

Кураторы:

Иван Горбунов

Руководитель:

х

Универсальный семантический энкодер текстов

Описание:

Для задачи получения векторного представления текста на русском языке была обучить модель и результаты сравнивались с существующими аналогами. Для этого были проанализированы существующие подходы, собраны релевантные данные и проведены эксперименты с обучением нейросетей.

Малашенко Борис

Участник:

2023

Егор Спирин
Антон Земеров

Кураторы:

х

Технология разделения аудиосигнала на источники

Описание:

В рамках проекта была разработа нейросеть, которая разделяет композицию на источники звука, такие как - вокал, басы, шум и т.д.

Грошев Максим
Яковлев Дмитрий

Участники:

2022

Шутов Виталий

Куратор:

Королев Денис

Руководитель:

х

Исследование использования визуального представления текстов в NLP-задачах

Описание:

Кадочников Данил
Гимранова Екатерина

Участники:

2022

Безбородов Роман

Куратор:

Клышинский Эдуард

Руководитель:

х

Разработка прототипа компилятора для нейроускорителя

Описание:

Абдуллин Амир
Рожин Андрей
Кателкин Никита
Щукин Аркадий
Знатнов Егор
Епхиев Алибек
Вараксин Арсений

Участники:

2022

Соловьев Дмитрий

Куратор:

Нефедов Сергей

Руководитель:

х

Разработка нейросетевого ускорителя на основе ПЛИС

Описание:

Бабинцев Лев
Ильянова Дарья
Губазов Данила
Минеев Артем
Деркач Виктория Батонова Оксана
Осипов Александр Клюев Никита
Цуркан Андрей
Ванин Кирилл
Проскурин Дмитрий

Участники:

2022

Соловьев Дмитрий

Куратор:

Нефедов Сергей

Руководитель:

х

Универсальная система детекции лица для различных объектов на видео

Описание:

Проект разработал набор моделей искусственного интеллекта для поиска и позиционирования образа лица (морды) на объектах разных классов, таких как люди, животные и роботы. В рамках проекта был создан универсальный детектор лиц/морд для людей, роботов и животных.

Какурин Василий
Кириченко Глеб

Участники:

2022

Безбородов Роман

Куратор:

Соколова Анастасия

Руководитель:

х

Разработка технологии создания 3D-персонажа человека по фотографии

Описание:

В рамках проекта студенты разработали нейронную сеть, способную по фотографии человека создать 3D-персонажа. Пользователь делает фотографию себя спереди, а алгоритм генерирует 3D-модель человека с текстурой его одежды и скелетом.

Бетев Иван
Гета Ольга
Сабитов Эльфат
Шевцов Никита

Участники:

2022

Безбородов Роман

Куратор:

Ганичев Антон

Руководитель:

х

Аппаратно-программный комплекс искусственного интеллекта на основе отечественных процессоров

Описание:

В проекте делается обзор современных архитектур процессоров для нейровычислений (нейроускорителей) и разрабатывается проект оригинального процессора. Физическая модель такого процессора делается на основе технологии FPGA.

Качмазов Руслан
Баулин Филипп
Проскурин Дмитрий
Дорофеев Александр
Зубачев Егор
Абрамов Илья
Бестужев Богдан
Ваганов Владимир
Воробьинов Виктор
Кочарян Давид
Мячин Даниил
Остапенко Федор
Тарасов Владислав
Глотов Алексей

Участники:

2022

Соловьев Дмитрий

Куратор:

Нефедов Сергей

Руководитель:

х

Расширение возможностей KPHP

Описание:

В интересах развития KPHP – уникального языка программирования, на котором написан весь бэкэнд ВКонтакте, проведен ряд работ по подключения поддержки недостающих PHP-функций к KPHP. Таким образом, без существенной переработки ядра компилятора, можно расширить возможности языка.

Арутюнян Андрей Нестеренко Анастасия Омаров Марат
Осинцев Николай

Участники:

2022

Кирсанов Александр

Куратор:

Башун Владимир

Руководитель:

х

Kaa: Создание фреймворка, совместимого с KPHP

Описание:

В интересах развития KPHP – уникального языка программирования, на котором написан весь бэкэнд ВКонтакте, создан веб-фреймворк, который можно компилировать в C++.

Абрамов Дмитрий
Моисеев Николай
Петрованов Илья
Федосов Михаил

Участники:

2022

Кирсанов Александр

Куратор:

Абрамов Дмитрий

Руководитель:

х

KPHP: разработка и портирование библиотек

Описание:

Расширение популярных пакетов PHP и их переработка для развития KPHP. Создание такого фреймворка позволяет обнаружить "узкие места" KPHP и предложить способы решения проблем.

Басыров Сергей
Запорожченко Дмитрий

Участники:

2022

Кирсанов Александр

Куратор:

Абрамов Дмитрий

Руководитель:

х