@Manwe: it will be just like Tron and Game of drones: no additonal battles at the end of the challenge.
We did a study of your experiments with TrueSkill (again, thank you for that), we concluded that we could not implement the “mean” of the TrueSkill score during the challenge as it would be very hard for new submitters to beat an old submitter. We could do it at the end of challenge, starting from a score of 0 as you suggest. BUT, let’s imagine for a minute that you have a player that would be first during the whole duration of the challenge, then the challenge ends, we recompute everything with the new method you suggest and the leaderboard is completely changed and the first player is no longer first. You cannot imagine the level of complaints we would get from that. This is not acceptable. We need to have the same ranking method from the start of the challenge till the end.
We did something though to stabilize the top of the leaderboard: let’s say our system triggers a battle between players for ranking. If among these players you have at least one player in the top 20, then we do 5 different games with the same players and only the global result of the 5 games taken together (by adding the rank within each game) is fed to True Skill (TrueSkill only sees this as one game). It lowers considerably the chance of a player winning by chance over another one. As a result it provides a better leaderboard.
One more thing: as for Tron, we do the combination games for 1vs1 and 1vs1vs1 asymetrical games (so 2 games for 1vs1 and 6 for 1vs1vs1). For 1vs1vs1vs1, the ranking games are always symetrical, so no need for combinations. If you are still with me it means that, when you are in the top 20, each of your 100 ranking battles is in fact [2x5 = 10 games] for a 2 players battle, [6x5 = 30 games] for a 3 players battle and 5 for a 4 players battle. So on average, if you are in the top 20, you do (2+6+1)/35100 = 1500 games per submission (plus all the games you play afterwards against new submitters).
Bonjour,
Lorsque j’essaie d’envoyer mes 2 chips l’un vers l’autre, au moment de la collusion, ils repartent chacun dans le sens opposé pour tant les move sont dans le bon sens, ce phénomène est-il bormal ?
Merci,
I totally agree that applying the means during the challenge is not what I recommended here. Bots are evolving all along during the challenge, and the fact trueskill “forget” about the old matchs progressivelly is a key feature that allows to have a live and updated leaderboard.
That’s great news that there is combinations for asymatric games, it avoids the unstabilities we had with tron at the begining. And if you multiply the number of games, then it ensures that results pushed to trueskill are certainly more accurate. And from what I understood, you guaranty 300 trueskill updates to anyone reaching the top20. I think it is fine.
But I don’t really understand the relation between the player beeing first and he finally does not wins… Imagine the second is making a key enhancement that allows his bot to win in the last hour. That wouldn’t be fair?
If we forget about all the bots non playing exactly the same number of matches (you guaranty a minimum to the last submiter) the problem is still the volatility of the results : if you submit twice the same IA, you get approximatively the same ranking. For the top bots, there is no problem, they are enough stronger so that there is a difference, but arround the 30s, that’s not the same.
I think everyone see its ranking going up and down when not modifying their code, and for me between the up and the down there is 15 places. From what I understood from trueskill that’s totally expected : the confidence of trueskill in you skill is not increasing anymore after a certain number of match, and so you are “arround” this position.
Anyway, that’s good to know, and I’ll take that into account for my last submission
On my default Chrome instance (W7, Version 37.0.2062.120 m), each time I try to submit my code to the Arena, the browser tab freeze and never came back. Restarting the browser do not change anything.
On my other Chrome instance (W7, Version 39.0.2164.0 canary) on the same computer, everything if fine…
Be carrefull, Firefox update 32.0.2 makes Codingame IDE fail from times.
Attention, mise à jour Firefox 32.0.2 fait planté l’interface Codingame sur l’interface multijouer (et notamment sur le rechargement de la fenêtre du classement.)
I’ve got a bug when running my simulation.Sometimes my chips becomes instantly gray and I marked as “not playing anymore”. What that come from ? Is it from two much time spent on the computation ?
I forced a segfault and a timeout : in either case, I got a message describing a timeout or a segfault. But the bug for me does not display anything. I would gladly use some.
La fin du challenge, c’est bien ce soir à 22h (heure de paris) ? Le compte à rebours m’a pas l’air bien réglé par rapport à ce qui est marqué sur la page du challenge:
Je surveillais la fin du concours quand juste au dernier moment une popup est apparue “Le concours est fini, souhaitez-vous soumettre un nouveau code… ?”. Je n’ai rien cliqué du tout, la popup se ferme, des notifications se sont affichées par dizaines et la je vois que je passe de 3ème à 448ème… Mon code a été renvoyé sans que je fasse quoi que ce soit !
Visiblement c’est arrivé à beaucoup de monde mais j’ai l’impression d’être le seul du TOP 5 à qui ce soit arrivé…
J’ai vraiment passé beaucoup de temps sur ce challenge, je suis vraiment dégoûté d’un tel bug après autant d’efforts ! :’( :’( :’(
Il semblerait que la solution à ce bug ait été de relancer des matchs pour les 33 personnes concernées… Je résume la situation:
On est dans une course d’endurance de 10 jours, au moment de la ligne d’arrivée on abat 33 personnes à cause d’un bug et on dit “C’est pas grave, pour vous la course va se jouer sur la dernière heure”… En plus il semblerait que tous les premiers matchs (>250) déclenchés par le bug ou je perd par timeout soit bien comptés pour ceux qui l’ont gagné et pour moi même vu qu’ils sont toujours dans mon historique de parties.
Résultat je suis 7eme au lieu de 3eme…
Vous expliquiez pourtant juste avant :
Je ne crois pas qu’ici on ai vraiment “la même méthode de classement du début à la fin du challenge” !
Si vous n’avez pas de logs pour reconstruire le classement de 21h59m59 (ce qui est un peu affligeant…), je ne vois pas bien comment obtenir un classement réaliste. En faisant retourner tout le bouzin pendant plusieurs heure en déclenchant vraiment des matchs entre tous les participants ?
Bref, je trouve le concept de Codingame vraiment sympa, le défit bien fait et prenant (trop ?) mais la je suis dégoûté de m’être autant investi durant 10 jours de compétition pour atteindre un podium et de me le faire voler sur un bug qui n’est même pas dans mon code !
Hello, oui en effet pas super cool, je me mets à ta place. D’ ailleurs j’étais moi même surpris d’être classé en 22e position (ma meilleur position) quand sont arrivés vos déboires. Je retombe en 42e position ce qui me semble plus conforme à mon code soumis et par rapport au travail des leaders du classement. Peut être on en reparlera chez Winamax … d’ailleurs j’ai hâte de revoir les codeurs que j’ai rencontré et avec qui j’ai sympatisés chez Parrot (Game of Drones) … mais ça bien sûr, c’est si je fais parti des 30 meilleurs français
