VR/ПК-тренажёр металлорежущих станков фиксирует действия и стимулы, веб-камера — мимику и поведение, тепловизор — физиологию. Все три потока синхронизируются по абсолютному времени.
Что происходило в симуляторе: шаги сценария, ошибки, нарушения ТБ, нештатные ситуации, взгляд на объекты, перемещения. Даёт стимулы и «правильные ответы».
Мимика (7 эмоций), направление взгляда, поза головы, моргания. Нейросетевой анализ лица локально, покадрово.
Температура зон лица (нос, лоб, область глаз, щёки). Объективный физиологический маркер стресса и возбуждения.
| Событие | Смысл |
|---|---|
| Старт / конец сессии session_start / end | Начало и завершение записи |
| Вход в шаг / завершение шага step_enter / complete | Переход к шагу сценария и его завершение (с длительностью) |
| Ошибка действия error | Тип ошибки, детали, время на шаге |
| Нарушение техники безопасности safety_violation | Например, контакт со шпинделем |
| Появление нештатной ситуации emergency_spawn | Ключевой стресс-стимул |
| Исход нештатной ситуации emergency_resolved | Верно / не успел + время реакции (с) |
| Смена состояния станка machine_state | Переход между состояниями |
| Взаимодействие игрока interaction | Любое действие (нажатие, захват, ввод числа…) |
Три источника идут по разным часам, но сводятся к общему времени от старта через метку старта сессии (файл _sync.json):
Время от старта = (Абсолютное время − Метка старта сессии) ÷ 1000
| Группа | Показатели | Что характеризует |
|---|---|---|
| Эмоции | среднее, минимум, максимум, разброс по каждой | общий эмоциональный фон |
| Доминирование | доля времени (%) каждой эмоции; топ-3 | преобладающие состояния |
| Реактивность | суммарный разброс эмоций | стабильность / лабильность |
| Переходы | частота смен доминирующей эмоции | динамика состояния |
| Внимание | разброс координат взгляда | концентрация / рассеянность |
| Моторика | разброс по осям головы | усидчивость / беспокойство |
| Термо | колебания температуры носа | маркер стресса |
| Сигнал тренажёра | Сопоставляется с | Гипотеза |
|---|---|---|
| Появление нештатной ситуации → время реакции | всплеск страха/удивления, падение темп. носа | реакция на стресс-стимул |
| Заминка, попытки, ошибки на шаге | средняя эмоция и волатильность | фрустрация / когнитивная нагрузка |
| Сложность шага (номер этапа) | температура области глаз, разброс взгляда | возбуждение/нагрузка по этапам |
| Стабильность взгляда, простой ввода | нейтральность vs негативные эмоции | концентрация vs отвлечение |
Реакция на нештатные ситуации: время реакции из тренажёра против всплеска страха и охлаждения носа.
Стабильность взгляда на объектах сцены и устойчивость взгляда по камере на ключевых шагах.
Заминки и число попыток на шаге, частота морганий, температурная динамика.
Нарушения техники безопасности и ошибки действий в привязке к эмоциональному фону.
Прохождение шагов, длительности и результат сценария на фоне эмоциональной устойчивости.
Совмещённая шкала трёх потоков вокруг каждого появления нештатной ситуации (окно ±N секунд).
Внутреннее время тренажёра не зависит от паузы. Если обучение поставлено на паузу, отсчёт времени останавливается — это не сбивает синхронизацию с внешними записями.
Реальной геометрии резания нет. Обработка детали в прототипе — заглушка (изменение масштаба), поэтому фактических параметров съёма металла нет; есть только намерения шага и взаимодействия.
Пороги интерпретации MoodLens заданы экспертно — прозрачны и воспроизводимы, но в публикации указываются как экспертные.
Эмоции считаются покадрово (≈40 мс при 25 кадрах/с); кратковременные колебания могут увеличивать число мелких переходов — применимо сглаживание.
Термография требует синхронизации часов устройств и рабочей станции (автоматическая сверка системного времени) для корректного совмещения по абсолютному времени.
Формат файлов: в таблицах числа записаны с точкой-разделителем (международный формат), текстовые поля — в кавычках.