소프트웨어 정보

MobMate WhispTalk는 게임 음성 채팅을 위해 설계된 제로 클라우드 음성 지원 툴킷입니다.

"말할 수 없는" 사람을 위한 것이 아닙니다 — 현재 상황의 분위기와 거리감을 존중하며, 지금은 말하지 않기로 선택하는 사람들을 위해 만들어졌습니다.

실제 목소리를 내지 않아도 음성 채팅 그룹에 머물 수 있습니다. 필요할 때만, 짧게, 자연스럽게.

클라우드 기반 서비스와 달리, 모든 음성 처리는 PC 내에서 완료됩니다(제로 클라우드). 음성이나 텍스트가 외부로 전송되지 않으며, 프라이버시를 우선시하는 설계입니다.

---

## 🧠 주요 기능

### 실시간 음성 인식 & 익명 음성 출력

음성을 로컬에서 텍스트로 변환하고 익명 음성으로 재생합니다. 실제 목소리를 내지 않고도 대화에 반응과 응답을 남길 수 있습니다.

**사용 사례:**

* 심야 게임: 가족을 깨우지 않고 VC 참여

* 방송 중: 시청자에게 실제 목소리를 노출하지 않고 소통

* 컨디션 난조: 목이 아플 때도 음성 채팅 계속

* 프라이버시 중시: 성문과 개인 정보를 보호하면서 참여

---

### 📻 라디오 채팅(Radio Chat)

글로벌 단축키 또는 오버레이를 통해 사전 설정된 문구와 자주 사용하는 표현을 즉시 전송합니다.

**특징:**

* **글로벌 단축키 지원:** 게임 중 Alt+Tab 없이 발언

* **오버레이 표시:** 게임 화면에 겹쳐 표시, 마우스 클릭으로 즉시 전송

* **히스토리에서 간편 등록:** 과거 문구 우클릭 → 라디오 채팅에 추가

* **커스터마이징 가능:** 자주 사용하는 문구를 자유롭게 등록

**사용 사례:**

* 전술 호출: "적 출현", "힐 필요", "집합" 즉시 전송

* 표준 인사: "GG", "감사", "알겠습니다" 원터치로

* 게임플레이 중: 타이핑 없이 빠른 소통

* 외국어 VC: 미리 준비한 영어 문구 즉시 전송

**사용 방법:**

1. 히스토리 창에서 과거 문구 확인

2. 자주 사용하는 문구 우클릭 → "라디오에 추가"

3. 게임 중 단축키 또는 오버레이 사용

4. 즉시 TTS 낭독 → VC로 전송

---

### 🎧 청취 기능(실험적 - WIP)

Discord, VRChat, 게임 내 VC 등에서 데스크톱 오디오(시스템 출력)를 실시간으로 텍스트로 변환합니다. 다른 플레이어의 발언을 화면에 표시할 수 있습니다.

**특징:**

* 오버레이 표시: 게임 화면에 겹쳐 표시

* 다국어 지원: 100개 이상의 언어 자동 인식

* 커스터마이징 가능: 글꼴 크기, 배경색, 투명도, 위치, 히스토리 크기, 디스플레이 선택

**사용 사례:**

* 외국어 VC에서의 의사소통: 발언 내용을 실시간으로 확인

* 놓친 말 방지: 빠른 지시와 전술 호출을 나중에 확인

* 자막 대신: 듣기 어려운 환경에서도 내용 파악

* 기록으로: 중요한 대화를 히스토리에 보관

**주의:** 이 기능은 실험적입니다. 인식 정확도와 안정성은 향후 개선 예정입니다. 자동 번역 등의 기능은 현재 개발 중입니다.

---

### 화자 검증(본인 목소리만 인식)

MFCC(멜 주파수 켑스트럼 계수) 화자 검증을 사용하여 본인의 목소리만 인식하고 타인의 목소리나 환경음을 무시합니다. 오인식을 방지하고 의도한 발언만 전송할 수 있습니다.

**사용 사례:**

* 동거인 목소리 무시: 가족 대화를 인식하지 않음

* 게임 오디오 무시: 게임 내 NPC나 BGM을 인식하지 않음

* 방송 오디오 무시: 방송 소프트웨어 오디오를 인식하지 않음

* 정확도 향상: 본인 발언만 확실하게 인식

**초기 설정:**

첫 실행 시 몇 번만 말하면 성문이 등록됩니다. 이후 자동으로 본인 목소리만 인식합니다.

---

### 게임 VC 템포에 맞춘 설계

긴 문장이 아닌 짧은 반응과 호출을 위한 설계. 웃음소리, 맞장구, 전술 문구 등, 멀티플레이의 "흐름"을 깨지 않고 사용할 수 있습니다.

**프리셋 기능:**

* 웃음소리: "ㅋㅋ", "하하" 등을 자동으로 웃음소리로 변환

* 맞장구: "응", "맞아맞아" 등 자연스러운 맞장구

* 전술 문구: 라디오 채팅에 등록하여 즉시 전송

---

### 경량 & 오프라인 작동

Whisper.cpp를 통한 로컬 인식으로 인터넷에 의존하지 않고 저지연으로 작동합니다. (*환경에 따라 체감은 다릅니다)

**CPU 버전:**

* 기본 포함, 추가 비용 없음

* Intel/AMD CPU에서 작동

* 저지연, 안정적 작동

**GPU 버전(DLC):**

* Vulkan 호환 GPU로 가속

* 더 낮은 지연, 쾌적한 작동

* AMD, NVIDIA, Intel Arc 호환

---

### 3가지 TTS 엔진 지원

더 명확하고 자연스러운 음성 출력을 위해 3가지 TTS 엔진을 지원합니다.

**VoiceVox(일본어):**

* 무료, 고품질 일본어 TTS

* 여러 캐릭터 음성 중 선택

* 감정 표현 가능

**Voiceger(5개 언어):**

* **지원 언어:** 일본어, 영어, 중국어(간체), 한국어, 광둥어

* 차세대 TTS 엔진

* 더 자연스러운 발음

* 저지연, 고품질

* 글로벌 멀티플레이어 VC에 최적

**XTTS(다국어, 실험적):**

* 100개 이상의 언어 지원

* 커스텀 음성 반응

* 외부 API 통합(별도 설정 필요)

* *XTTS는 포함되지 않음. 자세한 내용은 GitHub 참조

---

### 커스터마이징(무시 목록 / 사전 필터 / 좋은 목록)

불필요한 단어를 제거하고 원하는 방식으로 표현을 조정할 수 있습니다. "자신만의 방식"으로 계속 사용할 수 있는 조정 기능입니다.

**무시 목록:**

* "어", "음" 같은 불필요한 단어 제거

* 원치 않는 인식 결과 자동 제외

**사전 필터:**

* "알겠습니다" → "알겠어" 등 단축 변환

* 게임 전문 용어 자동 교정

**좋은 목록:**

* 자주 사용하는 문구 등록

* 라디오 채팅 통합으로 빠르게 전송

---

## 🎮 작동 방식

### 일반 음성 인식:

1. 마이크에 대고 말하기

2. WhispTalk가 로컬에서 음성 인식(화자 검증으로 본인 목소리만)

3. 인식 결과를 익명 음성으로 재생

4. 가상 오디오를 통해 Discord, VRChat, 각종 멀티플레이어 게임에 연결

### 라디오 채팅:

1. 히스토리 또는 설정에서 사전 설정 문구 등록

2. 게임 중 단축키 누르기(예: Ctrl+1)

3. 즉시 TTS 낭독 → VC로 전송

---

## 🔒 프라이버시 중시(제로 클라우드)

이 소프트웨어는 음성이나 텍스트 데이터를 외부로 전송하지 않습니다. 모든 처리는 사용자의 PC에서 완료됩니다. 클라우드 서비스에 의존하지 않으며, 완전한 프라이버시를 보호합니다.

**제로 클라우드란:**

* 클라우드로 절대 전송하지 않음

* 음성 데이터는 PC에 보관

* 100% 프라이버시 보호

* 인터넷 연결 불필요(오프라인 작동 가능)

---

## ⚡ GPU 가속 팩(DLC)

기본 버전은 CPU에서 작동하지만, DLC를 도입하면 무거운 처리를 Vulkan 호환 GPU로 오프로드할 수 있습니다. 저지연과 더 쾌적한 사용을 원하는 분께 추천합니다.

**호환 GPU:**

* AMD Radeon(Vulkan 호환)

* NVIDIA GeForce(Vulkan 호환)

* Intel Arc(Vulkan 호환)

**효과:**

* 인식 속도 최대 3배 향상

* 더 낮은 지연으로 실시간 성능 개선

* CPU 부하 감소

---

## ⚠️ 주의사항 & 제한사항

* 주변 소음이나 말하는 방식에 따라 인식 정확도가 달라집니다

* 이 도구는 짧은 반응과 간단한 호출을 위한 것이며, 긴 텍스트 변환이나 회의록 용도에는 적합하지 않습니다

* 화자 검증은 환경 소음이 많은 경우 정확도가 낮아질 수 있습니다

* 청취 기능은 실험적이며 인식 정확도와 안정성은 향후 개선 예정입니다

---

## 💡 MobMate WhispTalk가 적합한 사람

멀티플레이어 VC에서는 "말할 수 있나"뿐만 아니라 "지금 말해야 하나"도 고려하는 상황이 있습니다.

* 지금은 말하지 않고 참여하고 싶음

* VC 가입은 망설여지지만 존재감은 유지하고 싶음

* 과도한 개인 정보 공유 없이 게임하고 싶음

* 프라이버시를 우선시하면서 음성 채팅 사용하고 싶음

* 말하기 어려운 상황: 심야 게임, 가족과 동거, 방송 중, 컨디션 난조

* 외국어 VC에서 소통하고 싶음(Voiceger 5개 언어 지원)

* 전술 호출과 사전 설정 문구를 빠르게 전송하고 싶음(라디오 채팅)

MobMate WhispTalk는 실제 목소리를 사용하지 않고도 자연스럽게 음성 채팅에 계속 참여할 수 있는 도구입니다.

**조용한 플레이어도 크게 말할 수 있습니다.** 조용한 참여에도 명확한 목소리가 있어야 합니다.

---

## 🌐 호환 플랫폼

Discord, VRChat 및 기타 멀티플레이어 게임 전반과 호환됩니다. 가상 오디오 장치(VB-Audio VoiceMeeter 등)와 결합하여 모든 음성 채팅 앱에서 사용할 수 있습니다.

**작동 확인됨:**

* Discord

* VRChat

* 가상 오디오 장치를 지원하는 기타 게임

---

## 🌍 다국어 UI 지원

UI는 일본어, 영어, 중국어(간체/번체), 한국어를 지원합니다.

---

## 📚 지원 / 기술 정보

소스 코드 및 기술 정보는 GitHub에 공개되어 있습니다:

**Discord 커뮤니티:**

이 제품에는 whisper.cpp(MIT 라이선스)가 포함되어 있습니다

AI 생성 콘텐츠 사용 공개

개발사는 게임에서 AI 생성 콘텐츠를 사용하는 방법을 다음과 같이 설명합니다.

This application uses AI technologies for real-time speech recognition, optional translation, and voice synthesis during gameplay.

User voice input is processed locally or via optional AI models to generate text and synthesized speech. No personal data is stored or shared without user consent.

AI is also used for some pre-generated assets such as icons or promotional images.