Ces derniers jours OpenAI a annoncé les possibilités de d’affiner les réglages
pour GPT-3.5 Turbole modèle d’IA qui sous-tend la version
gratuite de ChatGPT. Cette nouvelle fonctionnalité permet d’entraîner le modèle avec
des données personnalisées, telles que la documentation d’une entreprise ou d’un projet
en utilisant l’API appropriée. L’aspect intéressant de tout cela est le fait que, selon OpenAI, le modèle peut être entraîné avec des données personnalisées, telles que la documentation de l’entreprise ou du projet ;
le fait, selon OpenAI, qu’un modèle d’IA ainsi optimisé peut
fonctionner dans certains scénarios avec des niveaux de qualité égaux à ceux du modèle GPT-4, mais avec des coûts inférieurs ;
GPT-4, mais à moindre coût.
Dans le monde de l’intelligence artificielle, on parle de réglage fin pour
se référer au processus par lequel un réseau neuronal pré-entraîné, comme c’est le cas avec
précisément le cas du GPT-3.5 Turbo) est entraîné sur un
ensemble de données différentgénéralement plus petit et plus spécifique que
l’ensemble « de base ». De cette manière, les connaissances que le modèle
modèle est approprié dans la formation de base, en l’affinant dans un domaine
application spécifique ou verticale.
Mise au point de ChatGPT-3.5 Turbo : création d’assistants IA pour des domaines
spécifiques
En d’autres termes, il devient possible d’administrer un réseau neuronal
un contenu personnalisé et propriétaire, dans le but de créer
un assistant d’IA qui, dans ce cas particulier, serait basé sur GPT-3.5
et familier avec son produit ou service, en dépit du fait que l’ensemble de données original est dépourvu de ces informations ;
l’ensemble de données original est dépourvu de ces informations.
Oui
lire sur le blog de l’OpenAI :
« Depuis la sortie de GPT-3.5 Turbo,
les développeurs et les entreprises ont exigé la possibilité de personnaliser le modèle
afin de créer des expériences uniques et différenciées pour leurs utilisateurs,
Avec ce lancement, les développeurs peuvent désormais procéder à un réglage fin
supervisés pour rendre ce modèle plus performant pour
leurs cas d’utilisation.
GPT-4, le modèle d’IA le plus avancé de l’OpenAI actuellement disponible,
est apprécié en tant que système polyvalent pouvant être adapté à différents environnements, mais
sa mise en œuvre est plus onéreuse et sa vitesse de fonctionnement
semble plus lente que celle du GPT-3.5. La mise au point du GPT-3.5
devrait précisément résoudre ce problème dans certains cas, c’est-à-dire
permettre des performances comparables à celles de GPT-4 lorsqu’il est exercé sur des
des domaines de connaissance spécifiques, ce qui permet de réduire les coûts et d’obtenir des temps d’exécution plus rapides.
tout en obtenant des temps d’exécution plus rapides. L’OpenAI souligne à cet égard que
que sur des domaines spécifiques et verticaux une version optimisée
de GPT-3.5 Turbo a des capacités comparables, voire supérieures, à celles de
GPT-4.
Parmi les autres avantages du réglage fin, citons la possibilité de
;
raccourcir les invites que les utilisateurs soumettent à l’IA, de sorte qu’elle puisse
réaliser des économies sur les appels à l’API qui sont facturés par jetons ;
tokens. OpenAI indique que dans certaines situations, il a été possible de réduire la taille de l’invite jusqu’à 90 % ;
taille de l’invite jusqu’à 90 %, grâce à la possibilité d’intégrer certaines instructions dans le modèle lui-même ;
d’incorporer certaines instructions dans le modèle lui-même.
ChatGPT-3.5 Turbo fine-tuning : comment faire et combien ça coûte
Dans le billet sur le blog officiel où OpenAI annonce les nouvelles
;
possibilités d’affinage, il est brièvement expliqué comment configurer une invite système avec l’API, télécharger des fichiers vers OpenAI pour l’affiner ;
configurer une invite système avec l’API, télécharger des fichiers vers OpenAI pour l’entraînement et créer un travail d’optimisation à l’aide de l’outil de ligne de commande ;
formation et créer un travail d’optimisation à l’aide de l’outil en ligne de commande ;
outil de ligne de commande curl pour interroger une adresse
API Web. Le modèle personnalisé est immédiatement disponible une fois que le processus d’optimisation est terminé ;
le processus d’optimisation est terminé. OpenAI
a publié une documentation officielle dans laquelle il est possible de
d’entrer dans tous les détails techniques pertinents.
La formation d’un modèle personnalisé a évidemment des coûts, qui
sont à la fois des coûts de formation et des coûts d’utilisation. Dans le premier cas, il s’agit de
0,008 dollar pour 1 000 tokens, tandis que l’accès à l’API pendant l’utilisation a un coût de 0,012 dollar pour 1 000 tokens de données ;
a un coût de 0,012 dollar pour 1 000 tokens d’entrée textuelle
et 0,016 dollar pour un nombre égal de jetons de sortie textuelle. Ce sont des coûts
nettement plus élevés que ceux facturés pour le modèle de base du GPT-3.5 Turbo ;
modèle de base du GPT-3.5 Turboqui sont de 0,0015 $ pour 1 000
tokens en entrée et 0,002 $ pour 1 000 tokens en sortie. Cependant, OpenAI
affirme qu’il est possible de maintenir les coûts à un niveau bas en raison des exigences moindres en matière d’invites, comme indiqué ci-dessus.
d’invites, comme indiqué ci-dessus, dans le modèle optimisé.
Il convient de noter que l’OpenAI insiste sur le fait que les données envoyées et reçues
;
via l’API d’optimisation ne sont pas utilisées par OpenAI (ou par des
tiers) pour entraîner d’autres modèles d’IA, même s’ils sont seront
de toute façon examiné par GPT-4 à des fins de modération, avec
l’objectif d’empêcher GPT-3.5 d’être formé avec des ensembles de données qui entrent en conflit
avec les politiques de base. Il se lit à cet égard :
« Il est très important pour nous que
la mise en œuvre de l’optimisation soit sécurisée. Pour préserver les
caractéristiques de sécurité du modèle par défaut pendant le processus d’optimisation, les données d’entraînement pour la mise au point sont
d’optimisation, les données d’entraînement pour la mise au point sont
transmises via notre API de modération et un système de
système de modération alimenté par GPT-4, pour détecter les données d’entraînement dangereuses qui violent nos normes ;
qui violent nos normes de sécurité.
En ce qui concerne le GPT-4, OpenAI indique que des possibilités de réglage fin
pour ce modèle seront disponibles plus tard cet automne. E’
possible, cependant, que les coûts d’optimisation soient encore plus élevés
que ceux nécessaires à la mise au point du GPT-3.5 Turbo.
