Réalités engagées dans le domaine de ll’intelligence artificielle qui
continuent de rivaliser pour construire des modèles toujours plus grands et plus puissants ;
Les entreprises qui construisent des modèles de plus en plus grands et de plus en plus puissants, pourraient bientôt se heurter à un problème intéressant : i
les données disponibles sur l’internet ne suffiront plus pour
satisfaire leur soif d’information.
Le Wall
Street Journal note que certaines entreprises
explorent déjà d’autres sources d’information après avoir réalisé que le grand réseau n’est pas si grand lorsqu’il s’agit de former de nouveaux
;;;; ;
grand réseau n’est pas si grand lorsqu’il s’agit de former de nouveaux
modèles d’IA.
Certaines des options envisagées semblent un peu plus
que des palliatifs: en effet, le Journal mentionne transcriptions des vidéos
accessibles au public et même « résumé des données« généré
par l’intelligence artificielle elle-même.
OpenAI envisagerait, par exemple, la possibilité de former
GPT-5 en utilisant les transcriptions des vidéos de YouTube.
Cependant, OpenAI éprouve une certaine gêne lorsqu’il s’agit de YouTube:
à plusieurs reprises, la directrice technique Mira Murati a hésité lorsqu’on lui a demandé si le contenu de la plateforme de Google avait été utilisé pour entraîner Sora ;
lorsqu’on lui demandait si le contenu de la plateforme de Google avait été utilisé pour former Sora ;
la plateforme de Google pour entraîner Sora.
Les données synthétiques, quant à elles, sont un sujet souvent débattu par les chercheurs en IA
les chercheurs en IA, qui en sont venus à désigner cette pratique par les
termes de « consanguinité numérique« , avec des résultats potentiellement
des résultats potentiellement destructeurs pour les modèles d’IA, exactement de la même manière que
;
la consanguinité excessive constitue une menace biologique pour la
survie de l’espèce.
Au sujet des données synthétiques de l’OpenAI et des Anthropique tentent de
trouver une solution en produisant des données synthétiques de « qualité supérieure » ;
qualité supérieure », bien que tous deux soient réticents à préciser ce que cela signifie ;
signifie exactement. En tout état de cause, lorsque Anthropic a présenté Claude
3, il précise que le modèle a été entraîné à partir de « données générées
en interne » et le CSO de l’entreprise, Jared Kaplan, a pu
a déclaré lors d’une interview avec le Wall Street Journal que
il existe également de « bons cas d’utilisation » pour les données synthétiques.
Le problème que les grandes entreprises d’IA rencontreront tôt ou tard,
peut en fait être une source de réflexion sur la nécessité de poursuivre la création de modèles toujours plus grands et plus complexes,
de poursuivre la création de modèles toujours plus grands et plus complexes,
également à la lumière des coûts énergétiques nécessaires pour faire fonctionner l’infrastructure destinée à soutenir l’intelligence artificielle,
l’infrastructure de soutien à l’intelligence artificielle ainsi que la forte
la demande de processeurs nécessaires pour fournir la puissance de calcul
nécessaire, de se concentrer plutôt sur lal’optimisation et
rationalisation des modèles existants.
