指示追従データセット

「3行で要約」「JSON形式で出力」「この観点を必ず含める」——LLMに複数のルールを同時に課すと、指示を取りこぼして望ましい出力にならない、という経験は少なくありません。本データセットは、通常の指示に加えて指示が2個以上含まれる「複雑な指示」を多数収録した Instruction Tuning 用データです。各質問について、含まれる指示を抽出したリストと指示数を構造化メタデータとして付与し、指示の粒度まで追従できるモデル学習に最適化しています。

主要点

「複雑な指示」を構造化：1つの質問に含まれる指示を instructions 配列として抽出し、number_of_instructions（指示数）を付与。どの制約にどれだけ従えたかを扱える設計です。
3層のタグ体系：質問が要求する内容（質問ジャンル）／回答の内容種別（回答タイプ）／会話の題材（会話ジャンル）の3系統でラベリングし、用途別のフィルタリングを可能にしています。

データセット概要

各レコードは Instruction Tuning に必要な「質問」「回答」に加え、質問内の指示を抽出した instructions（配列）とその number_of_instructions、および会話内容を示す3種のタグで構成されます。「複雑な指示」（指示2個以上）は、指示を複雑化した合成データを作成したうえで GPT-4.1 による追従評価 → 人手での確認・修正 の2プロセスで品質を担保しています。データセットは近日公開予定です。

{
  "question": "（質問。多段の指示・条件・形式指定を含む）",
  "answer":   "（回答）",
  "metadata": {
    "instructions": ["（質問内の指示1）", "（指示2）", ...],
    "number_of_instructions": 2
  },
  "tag": {
    "question":     "（質問ジャンル）",
    "answer":       "（回答タイプ）",
    "conversation": "（会話ジャンル）"
  }
}

「複雑な指示」とは

ここでいう複雑な指示とは、指示内容が2個以上含まれるケースを指します。例えば「この方法を選択する技術的背景を説明してください。なお、回答には異なる撮影条件の比較も含めてください」のように、説明要求＋条件付けが重なる質問です。実務でLLMに指示を出す際は、具体的な条件付けや出力形式の指定が重なることが多く、そうした指示に対して従えるようデータを設計しました。

質問ジャンル（10種）

質問が要求する内容に応じて、以下いずれかのラベルを割り当てています：定義 / 抽出 / 分類 / 選択 / 穴埋め / 書き換え / 校正 / 翻訳 / 数学 / 推論。

タグ体系（回答タイプ・会話ジャンル）

質問ジャンルに加え、回答が何を答えているかを示す 回答タイプ（例：文章／数値表現／リスト／YES-NO／表／固有名詞など）と、会話が扱う題材を示す 会話ジャンル を付与。3層のタグにより、フォーマット指定タスクや特定ドメインのデータだけを抽出するといった使い分けが可能です。

評価と成果

指示追従ベンチマーク IFEval の多言語版 M-IFEval の日本語部分で、学習前後を各4回評価して平均を比較しました。日本語性能の高い shisa-ai/shisa-v2-qwen2.5-32b（57.41→58.85, +1.44）と deepcogito/cogito-v1-preview-qwen-32B（59.51→60.73, +1.22）でいずれも改善を確認。作成データには JSON 出力や箇条書き指定などフォーマットに対する指示も含まれ、ベンチマークと類似する制約が性能改善に寄与したと考えられます。