TCG-AR complète un jeu de cartes Pokémon en direct, en plaçant des sprites animés directement sur chaque carte et en affichant les informations de la carte.
Motivation et objectif
Si vous avez déjà regardé un stream du Jeu de Cartes à Collectionner Pokémon, vous connaissez l’expérience : une caméra fixe, un tapis plat, des cartes jouées et déplacées. Le commentateur fait de son mieux, mais à moins que vous ne suiviez déjà de près le format, il est vraiment difficile de savoir ce qui se passe à partir des seules images.
Et si les Pokémon de chaque carte pouvaient simplement… apparaître ? En direct, en streaming, au moment où les cartes sont jouées ?
C’est exactement ce que nous avons construit.
Nous sommes une équipe de chercheurs de l’Université de Liège, en Belgique, et nous avons passé plus d’un an à construire
JCC-AR
un outil gratuit et open source qui détecte automatiquement chaque carte Pokémon sur le terrain de jeu, reconnaît de quelle carte il s’agit et superpose son sprite Pokémon animé directement sur la carte dans le flux de la caméra en direct. Plusieurs angles de caméra à la fois. Pas de chips. Pas de planche spéciale. Juste des webcams ordinaires et un PC de jeu.
Le rêve qui nous a inspiré
Cette idée n’est pas entièrement nouvelle. Vous êtes nombreux à avoir vu la vidéo du créateur de contenu français SuperZouloux, intitulée « Le rêve de tous les fans de Yu-Gi-Oh ! » (« Le rêve de tout fan de Yu-Gi-Oh! »), devenu viral parmi les communautés de jeux de cartes. Dans ce document, SuperZouloux présente un système qui place des modèles de monstres tridimensionnels directement sur Yu-Gi-Oh ! cartes pendant une partie en direct, faisant apparaître les créatures comme si elles se tenaient physiquement sur la table.
C’est l’une des choses les plus excitantes que nous ayons jamais vues réaliser avec un jeu de cartes, et cela a été une source d’inspiration directe pour TCG-AR. Nous voulions construire quelque chose de similaire, mais pour le JCC Pokémon, et le rendre accessible à tous gratuitement.
Pourquoi ce genre d’outil est si rare
Des systèmes comme celui de SuperZouloux fonctionnent en intégrant une minuscule puce NFC (du même type que celle utilisée dans les cartes de paiement sans contact) à l’intérieur de chaque carte. Un tapis capteur placé sous l’aire de jeu lit les jetons et indique au logiciel quelle carte se trouve où.
Cela fonctionne parfaitement, mais le coût est énorme. Vous avez besoin d’un tapis spécialement fabriqué et vous devez pucer chaque carte de la collection de chaque joueur. Les tournois et les grands événements peuvent se permettre ce type de configuration, mais le créateur de contenu ou l’organisateur de communauté moyen ne le peut tout simplement pas.
Nous voulions le même résultat avec du matériel que (presque) tout le monde possède déjà : une webcam et un ordinateur avec une carte graphique.
Comment fonctionne le TCG-AR
Nous avons construit notre système autour de trois idées travaillant ensemble et tirant parti des outils de vision par ordinateur et d’IA.
- Trouver les cartes. La première étape consiste à scanner le flux de la caméra et à localiser chaque carte sur la table. Les cartes peuvent être placées sous n’importe quel angle et peuvent se chevaucher, et le système gère tout cela en dessinant un contour serré autour de chacune.
- Lecture de la carte. Une fois qu’il a trouvé une carte, le système vérifie dans quelle direction elle se trouve.
- Reconnaître la carte. C’est là que la magie opère. Le système examine la carte et compare son apparence à une base de données d’images de référence, une pour chacune des 20 360 cartes du JCC Pokémon provenant de l’API officielle du JCC Pokémon. Il trouve la correspondance la plus proche et identifie la carte.
Le meilleur : lorsqu’une nouvelle extension sort, aucune mise à jour n’est requise. Le système apprend à reconnaître les nouvelles cartes simplement en ajoutant leur image de référence à la base de données. Pas de reconversion. Pas d’attente.
La superposition AR fonctionnant sur un véritable plateau de jeu. Chaque carte est identifiée et son sprite Pokémon est composé en direct sur plusieurs vues de caméra.
Plus d’une caméra
Un streamer a généralement plus d’une caméra sur la table : une vue de haut en bas et un ou deux angles latéraux pour montrer les réactions ou les cartes en main d’un joueur. TCG-AR les gère tous.
Le système utilise la caméra descendante pour effectuer le dur travail de reconnaissance, puis mappe chaque résultat sur chaque angle de caméra supplémentaire. Un étalonnage unique au début du flux (en cliquant sur les quatre coins du tableau dans chaque vue de la caméra) suffit. Après cela, le sprite animé apparaît exactement dans la bonne position sous tous les angles simultanément, sans délai et sans matériel supplémentaire nécessaire.
La superposition de diffusion
Au-delà des sprites AR, TCG-AR comprend une superposition de diffusion complète conçue pour les flux de commentaires.
L’écran de construction de deck permet à chaque joueur de sélectionner son deck avant le match
Avant un match, chaque joueur sélectionne son deck dans la base de données complète des cartes à l’aide d’une interface de recherche intégrée. Pendant le jeu, le système suit quelles cartes ont été identifiées sur le plateau, permettant aux opérateurs et aux spectateurs de suivre l’état du jeu d’un seul coup d’œil.
Le panneau latéral de diffusion affiche les cartes actives et de banc de chaque joueur avec leurs HP, leur statut et leurs attaques, mises à jour en direct pendant le match.
Un panneau latéral de style TV affiche les Pokémon actifs de chaque joueur, ses cartes de banc, ses HP, les conditions de statut et les attaques disponibles, mis à jour en direct au fur et à mesure de la progression du jeu, tout comme ce que vous verriez lors d’une diffusion de tournoi majeur. Le flux augmenté va directement dans OBS, de sorte que la configuration existante du streamer fonctionne sans modification.
Est-ce que ça marche réellement ?
Nous l’avons testé sur de vraies images de gameplay, avec de vraies cartes sous des éclairages variés et différentes configurations de plateau. Identifier la bonne carte à partir de la base de données complète de 20 360 cartes à la fois est un défi : le système y parvient environ 85 fois sur 100. Mais en pratique, chaque joueur apporte un jeu d’environ 60 cartes uniques, et une fois ces jeux sélectionnés dans l’application, le système n’a plus qu’à faire la distinction entre elles. Dans ce mode, il identifie la bonne carte
96 fois sur 100
et peut prendre en charge trois vues de caméra haute définition simultanées à 30 images par seconde sur un seul GPU grand public.
Essayez-le vous-même
TCG-AR est entièrement gratuit et open source. Il nécessite un PC Windows avec une carte graphique NVIDIA.
Regardez l’interface en action avant de vous lancer :
Les instructions de configuration complètes sont sur notre GitHub : https://github.com/ULiege-VIULab/tcg-ar
Pour un aperçu technique plus approfondi de la façon dont il a été construit, l’article universitaire complet est disponible ici : https://arxiv.org/abs/2607.02090
Ce qui vient ensuite
Le système présente quelques limitations connues sur lesquelles nous travaillons. L’étalonnage de la caméra suppose que les caméras restent fixes, donc en déplacer une pendant un jeu nécessite un recalibrage. Les cartes brièvement cachées par une main disparaissent de la superposition jusqu’à réapparaître dans le cadre. Et les sprites sont actuellement en deux dimensions ; nous serions ravis de passer à des modèles entièrement 3D dans une future version, un peu comme ce que SuperZouloux a réalisé.
Si vous essayez TCG-AR sur votre propre stream ou lors d’un tournoi local, nous serions vraiment ravis d’en entendre parler et de voir des images.
Citation
Si vous faites référence ou utilisez cet ouvrage, pensez à citer :
À propos de l’auteur : Anthony Cioppa est professeur assistant à l’Université de Liège, en Belgique, où il codirige le VIULab sur la vision par ordinateur pour le sport et les médias audiovisuels. TCG-AR a été développé en collaboration avec Antoine Verdonck, Maxim Henry, Marc Van Droogenbroeck et Raphael La Rocca.
Avertissement : Pokémon, tous les noms de Pokémon et toutes les images associées sont des marques déposées de Nintendo, Game Freak et The Pokémon Company. TCG-AR est un projet de recherche universitaire indépendant sans affiliation ni approbation par ces sociétés. Les images de cartes utilisées par le système sont récupérées lors de l’exécution à partir de l’API Pokémon TCG (pokemontcg.io) et ne sont ni stockées ni redistribuées par nous. Ce projet est partagé à des fins de recherche et d’éducation uniquement.
