安全性データセット

日本語ネイティブの安全性アライメント用データセットです。英語圏で開発された安全性手法をそのまま日本語に適用しても十分な効果が得られない、という課題に対し、APTOのデータ作成ノウハウで日本語安全性学習データを設計しました。「攻撃プロンプトの設計 → モデル応答の設定 → 模範安全回答の作成 → 品質精査」の4段階プロセスで作成し、有害発話の抑制と、安全な質問への過剰拒否を避けることの両立を狙っています。

主要点

過剰拒否を抑える設計：安全な質問に正しく答えるデータを組み込み、単純なキーワード遮断で機械的に拒否させない、文脈理解を伴う応答を学習させます。
途中拒否（軌道修正）パターン：ACL 2025 の Decoupled Refusal Training（DeRTa）に着想を得て、回答を始めた後でも安全側に軌道修正するパターンを収録。より頑健な安全性を獲得します。

データセット概要

攻撃プロンプト・モデル応答・模範安全回答をセットにした日本語安全性学習データで構成されます。データは大きく ①安全回答（有害な要求を適切に拒否）②過剰拒否防止（安全な質問には正しく答える）③途中拒否（回答途中からの軌道修正）の3種を含みます。学習には LoRA（Low-Rank Adaptation）を用い、モデルサイズに応じてランクとターゲット層を最適化しています。サンプルデータを Hugging Face（APTO-001/ja-safety-sft-dataset、CC BY-SA 4.0）で公開しています。

3種のデータ構成

有害要求への適切な拒否（安全回答）だけでなく、過剰拒否防止データと途中拒否データを意図的に混在させています。安全性だけを最大化すると「安全な質問まで断る」モデルになりがちですが、3種を混ぜることで安全性と有用性のバランスを取ります。

品質担保（LLM-as-Judge ＋人手）

合成した学習データは LLM-as-Judge により5段階で自動評価し、高品質なもののみを採用します。さらに回答品質は人による目視確認も実施。作成プロセス全体を4段階に分けることで、各段でチェックが入る構造にしています。

評価の信頼性（3社3地域の独立Judge）

評価は単一のJudgeに依存せず、Qwen（Alibaba／中国）・Mistral（欧州）・Gemma（Google／米国） の異なるファミリーのLLMを独立Judgeとして使用し、Cohen’s kappa による一致率を確認しています。指標は AnswerCarefully v2.2・SORRY-Bench（公式Judge）・MultiJail・MT-Bench(日/英)・JMMLU・JCommonsenseQA・MGSM-ja と多角的で、全指標で95%信頼区間による有意性検定を実施しています。

品質を落とさない安全性向上

本データの最大の特徴は、安全性を上げても対話品質・知識性能が劣化しないことです。MT-Bench-ja は 27B で 8.97 を完全維持、9B-Base はむしろ 6.75→7.40 に向上しました。さらに JMMLU（知識）は 27B で +7.9pt と、安全性学習の効果が知識タスクにも波及しています。学習済みモデル（SafetyTuned）と推論用の GGUF 量子化版も公開しています。