Microphone Text Input

Мод для Майнкрафт на Fabric, который распознаёт речь с микрофона и превращает её в сообщения игрового чата. Подходит, чтобы говорить вместо ручного набора текста; для распознавания нужен отдельный файл модели GGML Whisper.

Возможности

• Распознаёт речь на выбранном языке и добавляет результат в чат.
• Работает в трёх режимах: AUTO_SEND сразу отправляет распознанную фразу, RELEASE_KEY_TO_SEND отправляет её после отпускания клавиши, а RELEASE_KEY_TO_INPUT оставляет текст в строке ввода как черновик.
• Позволяет задать префикс для распознанного текста, длительность записи, размер буфера и исправление кодировки.
• Поддерживает VAD — определение голосовой активности, чтобы разделять речь и тишину.

Как пользоваться

1. Скачайте модель GGML Whisper и укажите путь к ней в параметре model.
2. В настройках выберите язык распознавания в language и нужный режим в mode.
3. Нажмите клавишу распознавания: по умолчанию это V.

Чтобы включить определение голосовой активности, скачайте модель VAD, включите расширенные настройки и укажите путь к файлу в vad_model_path.

Настройки

В обычных настройках доступны путь к модели model, язык language, режим mode, длительность цикла записи recordCycleMs, префикс prefix и черновой ввод draftInput.

Расширенные параметры Whisper включаются через advancedConfig. Среди них число потоков nThreads, размер аудиоконтекста audioCtx, стратегия выборки whisperSamplingStrategy, перевод распознанного текста translate и параметры VAD. Неподходящие значения могут ухудшить распознавание, сильно нагрузить компьютер или вызвать сбой.

Можно подключить собственную динамическую библиотеку Whisper: включите useCustomDynamicLib и задайте каталог в customDynamicLibDir. Для вариантов с Vulkan или CUDA на компьютере должны быть установлены соответствующие драйверы и библиотеки.

Если игра завершается при запуске с собственной библиотекой, отключите useCustomDynamicLib, чтобы использовать стандартную библиотеку для процессора. При ошибке загрузки микрофона проверьте, разрешён ли Java доступ к устройству ввода; при ошибке загрузки модели — путь в model.

Требования и совместимость

Для Fabric требуются Fabric API и MidnightLib. Для NeoForge требуются Architectury API и MidnightLib. Также нужен Java и загруженная модель GGML Whisper.