Dataset AvisFlow — Fine-tuning Modèles de Programmation Autonome

Structure

dataset/
├── data/
│   ├── python/
│   │   ├── bug_fix.jsonl
│   │   ├── code_gen.jsonl
│   │   ├── refactor.jsonl
│   │   ├── testing.jsonl
│   │   └── architecture.jsonl
│   ├── agents/
│   │   ├── planning.jsonl
│   │   ├── tool_use.jsonl
│   │   ├── code_review.jsonl
│   │   └── multi_step.jsonl
│   ├── systems/
│   │   ├── os.jsonl
│   │   ├── networking.jsonl
│   │   ├── databases.jsonl
│   │   ├── security.jsonl
│   │   ├── parallelism.jsonl
│   │   ├── graphics.jsonl
│   │   ├── ml.jsonl
│   │   └── compilers.jsonl
│   ├── fr/
│   │   └── programming.jsonl
│   ├── en/
│   │   └── programming.jsonl
│   └── mixed/
│       └── multilingual.jsonl
├── prompts/
│   ├── system_prompts.jsonl
│   └── few_shot.jsonl
├── utils/
│   ├── format_checker.py
│   └── train.py
└── README.md

Format Qwen Chat

Chaque ligne JSONL est une conversation complète :

{
  "messages": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

Le préprocesseur Qwen ajoute les tokens spéciaux :

• <|system|> avant le contenu system
• <|user|> avant le contenu user
• <|assistant|> avant le contenu assistant
• <|end|> à la fin de chaque message

Conventions

• Code en blocs python ... dans les réponses
• Explications concises mais complètes
• Toujours inclure les tests
• Toujours mentionner les cas limites
• Tâches réalistes de programmation autonome

Sources inspirantes

• SWE-bench (tâches de bug fix réalistes)
• Codeforces / LeetCode (algorithmes)
• Real-world GitHub issues (refactoring, architecture)
• Agent benchmarks (tool use, planning)

License

Ce dataset est créé pour usage interne AvisFlow. Il s'inspire de formats publics mais le contenu est original.