Intégrer un modèle dans une application
Appeler un modèle depuis son code : la requête (rôle système, messages, température, limite de jetons), la réponse et son coût, la sortie structurée, l'appel d'outils, la génération augmentée par la recherche, la clé gardée côté serveur, l'injection d'invite, les délais et les reprises.
- 27 cartes
- 6 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Les chiffres
- Sur le schéma
- Mises en situation
- Comprendre
Quelques cartes du deck
Invite système : de quoi s'agit-il ?
Voir la réponse
Message de consigne placé en tête de la requête, qui fixe le rôle, le ton et les règles que le modèle doit suivre pendant toute la conversation.
Elle oriente le modèle, elle ne le protège pas : un utilisateur peut tenter de la faire répéter ou de la contourner. On n'y met ni secret ni règle de sécurité dont dépendrait le système.
Une page web appelle directement l'API du modèle depuis le navigateur, avec la clé écrite dans son JavaScript. Quel est le problème ?
- Tout visiteur peut lire la clé et appeler le modèle aux frais du propriétaire
- Le navigateur n'a pas le droit d'envoyer de requêtes HTTPS vers une autre adresse
- Le modèle répond plus lentement aux requêtes qui viennent d'un navigateur
- La clé s'efface du code après son premier appel réussi, ce qui casse la page
Voir la réponse
Tout visiteur peut lire la clé et appeler le modèle aux frais du propriétaire
Le code d'une page est lisible par tous, comme le trafic réseau. Une clé exposée se retrouve vite utilisée par d'autres, et la facture revient au propriétaire. La clé reste sur un serveur qui sert d'intermédiaire.
La clé d'API d'un modèle se garde …, lue dans une variable … ; un site ou une application mobile qui l'embarque la livre à quiconque ouvre son code.
Voir la réponse
La clé d'API d'un modèle se garde côté serveur, lue dans une variable d'environnement ; un site ou une application mobile qui l'embarque la livre à quiconque ouvre son code.
Une clé écrite en dur finit dans le dépôt ou dans le paquet distribué. Le navigateur ou le téléphone appelle le serveur de l'application, qui seul appelle le modèle avec la clé, après avoir identifié l'utilisateur.
Sortie structurée : de quoi s'agit-il ?
Voir la réponse
Réponse que le modèle est contraint de produire dans un format que le code sait lire, en général un objet JSON conforme à un schéma donné.
Sans contrainte, le modèle ajoute volontiers une phrase d'introduction autour du JSON et l'analyse échoue. Le code valide quand même la réponse : un format correct ne garantit pas un contenu correct.