MoodLens ← В приложение
MoodLens · исследование · тренажёр станков

Не «какая эмоция», а нужна ли помощь прямо сейчас

MoodLens переходит от схемы «камера → эмоция» к оценке состояния обучающегося, которая почти всегда заканчивается решением ничего не делать. Стартовая конфигурация — поведение в тренажёре, обычная веб-камера и короткая самооценка. Без физиологических датчиков.

Полный отчёт исследования →
// контур решения
  1. наблюдения
  2. состояние обучающегося
  3. уверенность
  4. решение — чаще всего «ничего не делать»
  5. адаптация на границе шага
  6. исход: ошибки, ТБ, удержание
Принцип
Добавлять модальность только тогда, когда она даёт полезную дополнительную информацию. Больше датчиков — не значит лучше. Различия между людьми стоят дороже, чем добавляет любой отдельный сенсор.
01шаг / 07

Что мы хотим понять?

Состояния обучающегося, на которые можно ответить действием, а не эмоции. Каждое состояние связано с конкретным рычагом тренажёра: подсказка, повтор, пауза, усложнение.

S1 · лог

Освоение шага

Основной драйвер адаптации: выбор следующей задачи, повтор, снятие опор.

S2 · лог + самооценка

Затруднение

Продуктивное или непродуктивное. Короткое разрешимое затруднение полезно.

S3 · лог + камера

Потеря внимания

Простой, лицо вне кадра, голова отвёрнута от экрана.

S4 · медленная шкала

Утомление

Моргания на длинных окнах и замедление шагов. Слабый сигнал.

Не цель адаптации: 7 базовых эмоций, valence/arousal как цель, flow как детектор, «стресс» как метка. Высокая нагрузка — не отдельный детектор, её меряем самооценкой после шага. Безопасность — вне модели состояний, это правила.
В обучении стабильно частыми оказываются только вовлечённость/flow; базовые эмоции редки (D'Mello 2013, мета-анализ).

Подробнее в отчёте: §5 Какие состояния нужны →

02шаг / 07

Что мы уже наблюдаем?

Тренажёр сам по себе — самый сильный источник: шаги, ошибки, время, нарушения ТБ, реакция на аварию. Поведение отвечает на вопрос «освоил ли», хуже — на «что чувствует».

Что выводим из логаСилаОпора
Освоение, ошибки, безопасностьсильнопрямое наблюдение события
Отключение / off-taskумеренноA′ ≈0.82 по логам ITS (Pardos 2014)
Замешательство, фрустрация, скукаслабоA′ 0.63–0.74
Нагрузкакосвенновремя и заминки; требует проверки

Точки подключения адаптации уже есть

BeginInterrupt · StepBack · подсветка · стрелка · warning UI

Рантайм-адаптации и real-time канала Unity ↔ MoodLens пока нет.

Что починить в логе до экспериментов

  • unixMs у каждого события вместо игрового таймера с паузой
  • пишем паузы, показанные подсказки, ориентацию головы/камеры
  • баги: wasCorrect, счётчик нарушений ТБ, выпадающие незавершённые шаги

Подробнее в отчёте: §6 Поведенческие данные →

03шаг / 07

Что добавляет камера?

Обычная веб-камера даёт наблюдаемые признаки внимания и присутствия. Эмоции она не измеряет. Выгода камеры сверх лога для нашей задачи ещё не измерена — это проверяется экспериментально.

▲ надёжноМожно опираться

  • лицо в кадре / пропуски детекции
  • поза головы (yaw / pitch / roll)
  • моргания: частота и длительность, окна ≥30 с
  • средний HR по rPPG, окна 20–60 с, человек неподвижен

◆ с оговоркамиТолько вспомогательно

  • взгляд по крупным зонам экрана
  • blendshapes/AU — нужен baseline человека
  • PERCLOS — флаг выраженной усталости, не шкала
  • тренд HR за сессию

▼ ненадёжноНе заявлять как измерение

  • «эмоция оператора» из 7 классов
  • готовые детекторы engagement/confusion
  • индивидуальный HRV (RMSSD) в реальном времени
  • зрачок, фиксации на мелких элементах UI
≥720p · 30 кадр/сфиксированная экспозициясвет спередилицо ≥150 pxвидео не хранитсяface-api → MediaPipe Face Landmarker

rPPG vs ECG, лучший пайплайн: HR 1.67 уд/мин, RMSSD 11.02 мс — на групповом, не индивидуальном уровне (Woelk 2026, N=77).

Подробнее в отчёте: §7 Веб-камера, §8 rPPG →

04шаг / 07

Нужны ли физиологические датчики?

Для старта — нет. Их добавочная ценность над поведением и камерой в литературе мала, а для нашей задачи не измерена. Проверяем в лаборатории на подвыборке с заранее заданным порогом отказа.

Прирост мультимодальности над лучшей одной модальностью

Относительный прирост, %. Среднее по типу данных; штрих — медиана по всем системам, 6.60%.

D'Mello & Kory 2015, 90 систем. Шкала 0–15%. Наш тренажёр — естественные данные.

SWELL-KW: физиология сверх позы и лица

Точность, %. Шкала от 0 — разница в 0.6 п. почти не видна, и это главное.

Штрих — мажоритарный baseline 61.76%: на новом человеке модель хуже угадывания самого частого класса.

6–30 п.

теряют модели при переходе к оценке на новых людях (LOSO) — больше, чем добавляет любой сенсор.

0.82→0.03

корреляция с усилием в SWELL при LOSO. С ID участника как признаком — 0.94: модель узнаёт человека, а не состояние.

5.6% / 13.0%

медианная ошибка: деление по записям vs по людям (Saeb 2017, межстатейное сравнение).

Что различает нагрузку чаще всего

Доля экспериментов, где мера различила уровни нагрузки, % (Ayres et al. 2021, Frontiers in Psychology).

Самая дешёвая мера — самая чувствительная. По температуре кожи доказательств нет (2 исследования, исключена).

Вывод. Первым проверять пульс/RR с нагрудного ECG-ремня — дёшево, не мешает, служит эталоном для rPPG. КГР — вторым, в лаборатории. EEG — нет (максимум валидационный канал, если того требует грантовое обязательство).

Подробнее в отчёте: §18 Абляция модальностей →

Уровни конфигурации

Каждый следующий уровень оправдан, только если даёт новую информацию. Нажмите уровень или используйте ← →.

L0 · Поведение тренажёра

Что добавляется
Какую информацию даёт
Какую сложность добавляет
Оправдано ли
05шаг / 07

Как оцениваем состояние?

Отдельная оценка для каждого состояния, объединение по качеству сигнала, сглаживание во времени. Пропавшая модальность получает вес 0 — система работает на любом уровне конфигурации.

  1. окна 1–5 сПризнакисобытия лога, поза головы, моргания, HR при наличии
  2. правила · логрегрессияОценки по состояниямсвой детектор на каждое состояние
  3. decision-levelСлияниевеса по качеству сигнала; нет данных — вес 0
  4. EMA · sticky HMMСглаживаниеподавляет дребезг между окнами
  5. Zm(r)Слой IRISAинтерпретируемое агрегирование
  6. p, калибровкаУверенностьвероятность + качество сигнала

Re · поведение

Заминки, попытки, ошибки, отведения взгляда, время реакции на аварию.

Im · наблюдаемая психофизиология

Внимание и моргания с камеры; HR относительно покоя — если есть ремень. Вход может быть пустым.

IRISA сохраняем, но нужно: расчёт по скользящему окну вместо нормировки на всю сессию, работа без аварий, и сравнение с простым baseline (логрегрессия/HMM на тех же признаках) при LOSO.

Подробнее в отчёте: §16 Fusion, §17 IRISA →

06шаг / 07

Когда MoodLens адаптирует?

Только когда выполнены все условия. Иначе — ничего не делать. Это решение по умолчанию. Безопасность — отдельно: жёсткие правила, немедленно.

Проверьте, как срабатывает шлюз
Решение
Ничего не делать

    Нарушение ТБ / авария — мимо шлюза. Правило срабатывает немедленно, без порогов и ожидания границы шага.

    ×2

    ошибок при прерывании посреди задачи; время выполнения +3–27%. Поэтому подсказки — только на границе шага. Bailey & Konstan 2006, N=50.

    S2

    Затруднение

    Свидетельства

    время на шаге сверх личной нормы, повторные ошибки, отмены, паузы перед действием; камера — вспомогательно

    Подробнее в отчёте: §23 Closed-loop адаптация →

    Действие

    ступенчато: намёк → указание → демонстрация, затем упрощение и разбор

    Когда не действовать

    эпизод короткий и разрешимый — это продуктивная борьба; идёт шаг
    S3

    Потеря внимания

    Свидетельства

    бездействие, лицо вне кадра, голова от экрана, «прокликивание» без обработки

    Действие

    мягкая переориентация, повтор пропущенного, контрольный вопрос по шагу; при повторе — пауза

    Когда не действовать

    сигнал только с камеры без подтверждения логом; плохой свет или лицо не найдено
    S4

    Утомление

    Свидетельства

    моргания и PERCLOS на длинных окнах + замедление шагов к концу сессии

    Действие

    предложить паузу

    Когда не действовать

    короткие окна; PERCLOS нечувствителен к лёгкой усталости — это флаг, не шкала
    ПРАВИЛО · вне модели

    Нарушение ТБ

    Свидетельства

    событие тренажёра: нарушение техники безопасности, аварийная ситуация

    Действие

    немедленная прямая обратная связь

    Когда не действовать

    не бывает: без порога уверенности, без «продуктивной борьбы»
    07шаг / 07

    Как проверяем?

    Три разных вопроса, три разных доказательства. Работающий сигнал ещё не значит верное состояние, а верное состояние — ещё не лучшее обучение.

    A

    Сигнал

    Признак измеряется корректно: rPPG против ECG-ремня, синхронизация, качество кадра.

    B

    Состояние

    Оценка совпадает с самооценкой и манипуляцией сложностью — на новых людях (LOSO).

    C

    Обучение

    Адаптация снижает ошибки и нарушения ТБ, улучшает отсроченное удержание и перенос.

    1. Study 0

      3–5 чел.

      Технический пилот: синхронизация, качество сигнала, экранный фото-маркер.

      проверяет A

    2. Study 1

      N≈20–30

      Внутрисубъектно по сложности, без адаптации. Подвыборка на L4 — для абляции: что выбросить.

      A + B, подбор порогов

    3. Study 2

      N≈40

      Адаптивный тренажёр против yoked-контроля / адаптации по успеваемости. Пилотное РКИ: детектируемый d≈0.9; подтверждающее при d=0.4 — около 100 на группу.

      C

    Почему нужен yoked-контроль: в преререгистрированном исследовании (Lui 2025, N=130) адаптивное обучение оказалось ≈ фиксированному.

    Подробнее в отчёте: §22 Экспериментальный pipeline →