Barbara
WITH DEEPFLOYD, L’ART GÉNÉRATIF DE L’IA OBTIENT UNE MISE À JOUR DE TEXTE
Les avancées de l’IA générative sont impressionnantes en termes de fidélité, comme le suggèrent des mèmes viraux tels que Balenciaga Pope. Les derniers systèmes peuvent créer des paysages urbains et des cafés, créant des images qui semblent surprenamment réalistes. Cependant, l’un des points faibles de longue date des modèles d’IA texte-image est, ironiquement, le texte. Les meilleurs modèles ont du mal à générer des images avec des logos lisibles, sans parler du texte, de la calligraphie ou des polices. Mais cela pourrait changer avec DeepFloyd IF, un modèle texte-image développé par un groupe de recherche soutenu par Stability AI. Le modèle est entraîné sur plus d’un milliard d’images et de textes et est capable d’intégrer du texte dans des images. DeepFloyd IF est disponible en open source sous licence qui interdit l’utilisation commerciale.
DEEPFLOYD IF, UN MODÈLE QUI INTÈGRE INTELLIGEMMENT LE TEXTE DANS L’IMAGE
DeepFloyd IF peut créer une image à partir d’une demande comme « un ours en peluche portant une chemise qui lit « Deep Floyd » » – en option dans une gamme de styles. DeepFloyd IF utilise plusieurs processus différents empilés les uns sur les autres dans une architecture modulaire pour générer des images, ce qui le distingue des modèles tels que DALL-E 2 et Stable Diffusion. Le modèle est particulièrement doué pour comprendre les demandes complexes, les relations spatiales décrites dans les demandes et même les langues étrangères.
L’AVENIR DE L’ART GÉNÉRATIF
Avec la capacité de générer du texte lisible dans les images, DeepFloyd IF devrait déverrouiller une vague de nouvelles possibilités pour l’art génératif, comme la conception de logos, la conception de sites web, les affiches, les panneaux d’affichage et même les mèmes. Le modèle devrait également être beaucoup plus efficace pour générer des choses comme des mains et peut-être même des textes dans d’autres langues. Cependant, il convient de noter que DeepFloyd IF ne génère pas d’images aussi esthétiquement plaisantes que certains modèles de diffusion.
POTENTIELS BIAIS ET RISQUES
Il est important de noter que l’IA générative peut présenter des biais, notamment raciaux, ethniques et de genre, comme le montre une recherche sur Stable Diffusion. Pour l’instant, DeepFloyd IF ne prend pas suffisamment en compte les textes et images des communautés et des cultures qui utilisent d’autres langues. Il pourrait également être utilisé pour créer du contenu inapproprié, comme des deepfakes pornographiques de célébrités et des représentations graphiques de la violence. Les filtres personnalisés ont été utilisés pour éliminer les contenus inappropriés du jeu de données d’entraînement.
En conclusion, DeepFloyd IF est une mise à jour impressionnante pour l’IA générative, capable d’intégrer du texte dans des images et d’imaginer une vague de nouvelles possibilités pour l’art génératif. Cependant, il est important de noter les biais potentiels et les risques d’un tel modèle.
Sources:
– https://techcrunch.com/2021/07/22/with-deepfloyd-generative-ai-art-gets-a-text-upgrade/
– https://www.washingtonpost.com/technology/2021/07/16/deepfake-artificial-intelligence/
– https://www.theartnewspaper.com/news/stable-ai-defends-itself-against-artists-criticising-the-use-of-their-work-in-ai-generated-art
– https://towardsdatascience.com/image-generation-with-stylegan-2-and-the-race-bias-of-facial-recognition-systems-948b7f33d75b
