Les Méthodes

Comment évalue-t-on l'expertise ?

AIAM mobilise les méthodes d'évaluation les plus rigoureuses — des modèles de maturité à la psychométrie — adaptées au pilotage d'agents IA.

Les 3 temps de l'évaluation

L'évaluation AIAM n'est pas un test unique. C'est un processus en 3 phases complémentaires.

Diagnostique

Point de départ

Test adaptatif initial qui positionne le candidat sur les 5 dimensions. Produit un profil radar et un niveau estimé.

Instruments

Test adaptatif (IRT)
Auto-évaluation guidée
Profil radar 5 dimensions

Formatif

En continu

Suivi continu basé sur l'analyse automatisée des interactions. Inclut les métriques tokenométriques et des micro-défis intégrés.

Instruments

Analyse d'interactions
Micro-défis intégrés
Métriques tokenométriques
Journal réflexif

Sommatif

Certification

Évaluation finale combinant test adaptatif, scénarios authentiques, portfolio et évaluation par les pairs.

Instruments

Test adaptatif final
Scénarios authentiques
Portfolio de réalisations
Évaluation par les pairs

La grille de notation

L'évaluation sommative s'appuie sur 5 axes pondérés.

Qualité du résultat 35%
Qualité du processus 20%
Pensée critique 15%
Posture éthique 15%
Efficience tokenométrique 15%

Articulation automatique / humaine

Le dosage entre évaluation automatique et intervention humaine s'ajuste selon le niveau.

Niveau Automatique Humaine Justification
Niveau 1 100% 0% Compétences basiques vérifiables automatiquement
Niveau 2 70% 30% Validation de la structuration des prompts
Niveau 3 50% 50% Évaluation de la coordination et du leadership
Niveau 4 35% 65% Jugement stratégique et arbitrages complexes
Niveau 5 25% 75% Conception de systèmes et politiques
Niveau 6 15% 85% Innovation et influence sectorielle

Les fondements méthodologiques

Modèle de Dreyfus

5 stades d'acquisition d'expertise (novice → expert), adapté en 6 niveaux pour AIAM.

DigComp 2.2

Cadre européen des compétences numériques (8 niveaux de maîtrise), référence pour le calibrage.

Théorie de Réponse à l'Item (IRT)

Modèle psychométrique pour les tests adaptatifs — ajuste la difficulté en temps réel.

Tests Adaptatifs (CAT)

Questions adaptées au niveau estimé du candidat pour une évaluation plus précise et plus courte.

Open Badges 3.0

Standard ouvert pour la reconnaissance numérique des compétences — interopérable et vérifiable.

Human-AI Teaming

Approche émergente évaluant la collaboration humain-IA comme un système intégré.