マルチターン安全性データセット

LLMの安全性は、単発の質問では守られても、会話のターン数が増えるほど劣化する傾向があります。段階的に情報を引き出す、役割を演じさせる、話題をすり替える——といった多ターンにわたる誘導に、モデルは徐々に応じてしまいがちです。本データセットは、この「ターンを重ねることで安全性が崩れる」点に着目し、日本語のマルチターン対話（最大12ターン）で安全性を鍛えるために構築しました。

主要点

ターン増加に伴う安全性劣化に対応：最大12ターンの対話を収録し、どのターンで安全性が崩れたか（unsafe_turns）を明示。単一ターンでは捉えられない誘導型の攻撃に強くします。
テーマ×攻撃手法の2軸タグ：会話テーマ（category_tag）と、SafeDialBench準拠のマルチターン攻撃パターン（attack_tag）を付与し、弱点となる攻撃型を狙って学習・評価できます。

データセット概要

日本語マルチターン対話を Parquet 形式で収録。各データは question_turnN / answer_turnN（各ターンの質問と回答）に加え、安全でないターンを示す unsafe_turns、会話テーマの category_tag、攻撃手法の attack_tag を持ちます。対話は最大12ターンまで。合成データと手作業によるデータを組み合わせて作成しています。ライセンスは各データ個別（license キー）に付与しており、利用時は各データのライセンスに従います。

会話テーマ（category_tag・11カテゴリ）

Llama Guard の “UNSAFE CONTENT CATEGORIES” を参考に、11カテゴリを付与しています：プライバシー・個人情報 / 法律 / 政治・選挙 / 倫理・道徳 / 攻撃・暴力 / 差別 / 冒涜・毀損 / 性的表現 / 悪意のあるプログラム / 精神障害・自傷行為 / 税制・会計の悪用。

攻撃手法（attack_tag・7パターン）

SafeDialBench を参考に、マルチターン特有の攻撃パターンを分類しています：詳細な探り / 参照・深掘り / ロールプレイ / 話題の転換 / 目的の逆転 / シーン構築 / 誤った考え。単発では検知しやすい要求も、これらの手法で複数ターンに分割されると通りやすくなるため、攻撃型ごとの耐性を鍛えます。

評価方法

日本語での安全性は AnswerCarefully を GPT-5 の LLM-as-a-judge で採点。マルチターンの安全性は SafeDialBench を用い、会話の最終ターンに限定して評価します。Gemma3-27B・Qwen3-32B の2モデルで検証し、両ベンチマーク・両モデルすべてでSFTによる改善を確認しました。