コアツール概要

Jump to bottom

tnugent01 edited this page Oct 12, 2024 · 2 revisions

Mahina HUDのコアツール

Mahina HUDは、アクセシビリティ、語学学習、現実世界とのインタラクションを強化するために設計されたインテリジェント拡張現実（iAR）アプリケーションです。
以下に、Mahina HUDの主なコアツールと、それに対応する主要機能を示します。

1. リアルタイム字幕表示

説明：
Mahina HUDは、会話の内容をリアルタイムで字幕化し、聴覚能力や言語レベルに関係なく、ユーザーに視覚化された会話を提供。

主要機能：

音声認識（STT）：
音声をリアルタイムで字幕に変換。
多言語対応：
字幕をリアルタイムで他言語に翻訳。
カスタマイズ可能な表示：
ユーザーは、字幕や言語設定をカスタマイズ可能。

2. 言語ツール

説明：
Mahina HUDは、新しい言語を学習する、または言語スキルを向上させるための様々な言語ツールを提供。

主要機能：

品詞タグ付け（POS Tagging）：
文法的な文脈を提供するために、リアルタイムで品詞をタグ付け。
音訳：
スクリプトや書記体系を変換し、言語固有の文法・言語ツールを提供。
バブルテキスト／カスタム言語インデックス：
辞書や百科事典の情報をリアルタイムのテキストに追加。
ユーザーカスタマイズ：
言語固有のツールを用いて、言語認知の流れを改善。

3. 多重字幕（開発中）

説明：
Mahina HUDは、多重字幕をサポートしており、複数の字幕を異なる言語や追加の文脈とともに同時に表示。

主要機能：

同時字幕：
複数の言語の字幕をリアルタイムで表示。
文脈字幕：
定義、説明、類義語、語源などの追加文脈を提供。
言語モード：
国際音声記号（IPA）、ピンイン、ふりがななどの字幕カスタマイズが可能。

4. 端末上処理対応（計画中）

説明：
将来的には、STTや翻訳のオフライン対応オプションを検討しており、エッジモデルを使用してデバイス上で主要な機能を利用可能にする予定。これは、速度やプライバシーに関連する重要な要素。

主要機能：

オンボードSTTモデル：
クラウドサービスを使用せずに、音声を文字起こし処理。
オフライン翻訳モデル：
翻訳機能をリアルタイムでオンボード処理。

現在実装されていないコアツール

以下のコアツールは現在実装されておらず、将来の実装や強化のために評価中。

環境・ビジュアルツール

説明：
Mahina HUDはAR機能を統合し、ユーザーが環境とのインタラクションを強化できる高度なビジュアルツールを提供。

主要機能：

対象検出：
ユーザーの視野内の人や物体を自動的に検出。
アーティファクト拡張：
環境内の物体、標識、または危険物を強調表示し、レンダリング。
マップ／ナビゲーション統合：
AR内でのナビゲーションや標識の表示を提供。

手書きツール

説明：
関連するAPIが利用可能になり次第、リアルタイム手書き認識への対応を検討中。これにより、ユーザーがAR内で手書きでテキストとやり取りすることが可能に。

主要機能：

手書き認識：
手書き文字を認識し、処理。
ARトレース：
文字の書き方を学ぶ際に、リアルタイムのトレースオーバーレイでガイド。
書き方に関するフィードバック：
文字形成、筆順、正確性についてフィードバックを提供。

その他のコアツールやアプリケーションへの統合方法について詳しく知りたい場合は、他のページを探索するか、開発チームにお問い合わせください。