Afin de vérifier le niveau de fiabilité d'une nouvelle version, un programme de test fait jouer à Sabrina une série de 1000 donnes distribuées au hasard. Si cette série de 1000 donnes ne révèle aucun blocage du programme, on peut en conclure que la probabilité d'occurence d'une erreur fatale n'est pas supérieure à 1 pour 1000.
En outre, les résultats statistiques obtenus sur la base de ces 1000 donnes jouées, permettent de se faire une idée du niveau de jeu que peut pratiquer la version testée. Ces résultats sont rassemblés dans le tableau ci-dessous.
Résultats des tests de la version 2.4.4
| Nombre de contrats partiels joués |
625 |
Réussis: |
425 |
68,0 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
335 |
Réussies: |
227 |
67,8 % |
Avec 26 PH en moyenne |
| Nombre de petits chelems demandés |
32 |
Réussis: |
18 |
56,2 % |
Avec 31 PH en moyenne |
| Nombre de grands chelems demandés |
0 |
Réussis: |
0 |
--- |
--- |
| Nombre de fois 4 Passe |
8 |
|
|
|
Avec 20 PH en moyenne |
| Nombre de donnes avec 4 de chute ou plus |
3 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
3,32 |
|
|
|
|
| Nombre moyen de Pts Atanassov du Déclarant |
-3,8 |
|
|
|
|
Résultats des tests de la version 2.3.10
| Nombre de contrats partiels joués |
677 |
Réussis: |
455 |
67,2 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
300 |
Réussies: |
200 |
66,7 % |
Avec 26 PH en moyenne |
| Nombre de petits chelems demandés |
11 |
Réussis: |
5 |
45,5 % |
Avec 29 PH en moyenne |
| Nombre de grands chelems demandés |
0 |
Réussis: |
0 |
--- |
--- |
| Nombre de fois 4 Passe |
12 |
|
|
|
Avec 19 PH en moyenne |
| Nombre de donnes avec 4 de chute ou plus |
4 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
2,83 |
|
|
|
|
| Nombre moyen de Pts Atanassov du Déclarant |
-4,6 |
|
|
|
|
Résultats des tests de la version 1.39.0
| Nombre de contrats partiels joués |
620 |
Réussis: |
392 |
63,2 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
348 |
Réussies: |
201 |
57,8 % |
Avec 26 PH en moyenne |
| Nombre de petits chelems demandés |
17 |
Réussis: |
6 |
35,3 % |
Avec 31 PH en moyenne |
| Nombre de grands chelems demandés |
2 |
Réussis: |
0 |
--- |
--- |
| Nombre de fois 4 Passe |
13 |
|
|
|
Avec 19 PH en moyenne |
| Nombre de donnes avec 4 de chute ou plus |
4 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
2,26 |
|
|
|
|
| Nombre moyen de Pts Atanassov du Déclarant |
-4,2 |
|
|
|
|
Résultats des tests de la version 1.38.1
| Nombre de contrats partiels joués |
610 |
Réussis: |
399 |
65,4 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
353 |
Réussies: |
199 |
56,4 % |
Avec 26 PH en moyenne |
| Nombre de petits chelems demandés |
18 |
Réussis: |
5 |
27,8 % |
Avec 30 PH en moyenne |
| Nombre de grands chelems demandés |
1 |
Réussis: |
0 |
--- |
--- |
| Nombre de fois 4 Passe |
18 |
|
|
|
Avec 20 PH en moyenne |
| Nombre de donnes avec 4 de chute ou plus |
7 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
2,31 |
|
|
|
|
| Nombre moyen de Pts Atanassov du Déclarant |
-4,5 |
|
|
|
|
Résultats des tests de la version 1.38.0
La version 1.38.0 est caractérisée par l'introduction d'un nouvel algorithme d'estimation des mains cachées.
Quel va être l'impact de cette amélioration sur la qualité de jeu de Sabrina ?
Cette question est difficile à analyser. On peut prévoir cependant :
- que le jeu du Déclarant ne va guère être modifié par l'introduction de la nouvelle procédure. En effet, le code définissant le jeu du Déclarant avec le Mort fait très peu appel aux estimations des mains cachées, mais s'efforce au contraire de trouver des solutions de jeu applicables quelles que soient les distributions adverses rencontrées.
- Par contre, le jeu de Sabrina en défense risque de devenir meilleur, car en Flanc, comme on dispose de moins d'informations, il faut davantage faire appel à cette source, même imparfaite, que constituent les estimations.
- Au total, la vie risque donc de devenir plus difficile pour le programme Sabrina, lorsqu'il joue contre lui-même. Les moyennes d'IMP marqués par le Déclarant sur une série de 1000 donnes devraient donc logiquement baisser. C'est ce qui a été constaté pour la série de 1000 donnes analysée ci-dessous:
| Nombre de contrats partiels joués |
631 |
Réussis: |
399 |
63 ,2 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
342 |
Réussies: |
195 |
57,0 % |
Avec 26 PH en moyenne |
| Nombre de petits chelems demandés |
19 |
Réussis: |
8 |
42,1 % |
Avec 31 PH en moyenne |
| Nombre de grands chelems demandés |
1 |
Réussis: |
1 |
--- |
--- |
| Nombre de fois 4 Passe |
7 |
|
|
|
Avec 20 PH en moyenne |
| Nombre de donnes avec 4 de chute ou plus |
5 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
2,22 |
|
|
|
|
| Nombre moyen de Pts Atanassov du Déclarant |
-4,5 |
|
|
|
|
Résultats des tests de la version 1.36.0
| Nombre de contrats partiels joués |
629 |
Réussis: |
429 |
68?2 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
338 |
Réussies: |
199 |
58,9 % |
Avec 26 PH en moyenne |
| Nombre de petits chelems demandés |
24 |
Réussis: |
7 |
29,2 % |
Avec 31 PH en moyenne |
| Nombre de grands chelems demandés |
1 |
Réussis: |
1 |
--- |
--- |
| Nombre de fois 4 Passe |
8 |
|
|
|
Avec 19 PH en moyenne |
| Nombre de donnes avec 4 de chute ou plus |
7 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
2,46 |
|
|
|
|
| Nombre moyen de Pts Atanassov du Déclarant |
-4,5 |
|
|
|
|
Résultats des tests de la version 1.35.3
| Nombre de contrats partiels joués |
608 |
Réussis: |
399 |
65,6 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
363 |
Réussies: |
237 |
65,3 % |
Avec 26 PH en moyenne |
| Nombre de petits chelems demandés |
18 |
Réussis: |
9 |
50,0 % |
Avec 30 PH en moyenne |
| Nombre de grands chelems demandés |
0 |
Réussis: |
1 |
--- |
--- |
| Nombre de fois 4 Passe |
11 |
|
|
|
Avec 20 PH en moyenne |
| Nombre de donnes avec 4 de chute ou plus |
6 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
2,92 |
|
|
|
|
| Nombre moyen de Pts Atanassov du Déclarant |
-4,2 |
|
|
|
|
Résultats des tests des versions 1.35.1 et 1.35.2
Les résultats de ces tests ne sont pas reproduits ici, car ils ne montrent aucune amélioration significative des performances de Sabrina. Leur intérêt est d'établir un niveau de fiabilité correct du programme, puisque celui-ci est capable de jouer 1000 donnes consécutives sans une seule erreur d'exécution. Pour ce qui concerne l'effet des améliorations de jeu introduites, il est invisible sur un échantillon de seulement 1000 donnes. (Pour revoir 2 fois la même séquence d'enchères, il faut parfois jouer plus de 20.000 donnes !)
Résultats des tests de la version 1.35.0
| Nombre de contrats partiels joués |
547 |
Réussis: |
370 |
67,6 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
405 |
Réussies: |
233 |
57,5 % |
Avec 26 PH en moyenne |
| Nombre de petits chelems demandés |
37 |
Réussis: |
13 |
35,1 % |
Avec 29 PH en moyenne |
| Nombre de grands chelems demandés |
1 |
Réussis: |
1 |
--- |
Avec 36 PH |
| Nombre de fois 4 Passe |
10 |
|
|
|
Avec 20 PH en moyenne |
| Nombre de donnes ayant conduit à plus de 4 levées |
8 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
2,77 |
|
|
|
|
Résultats des tests de la version 1.34.1
| Nombre de contrats partiels joués |
570 |
Réussis: |
394 |
69,1 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
384 |
Réussies: |
198 |
51,6 % |
Avec 25 PH en moyenne |
| Nombre de petits chelems demandés |
39 |
Réussis: |
17 |
43,6 % |
Avec 28 PH en moyenne |
| Nombre de grands chelems demandés |
0 |
Réussis: |
0 |
--- |
--- |
| Nombre de fois 4 Passe |
7 |
|
|
|
Avec 20 PH en moyenne |
| Nombre de donnes ayant conduit à plus de 4 levées |
4 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
2,32 |
|
|
|
|
Résultats des tests de la version 1.34.0
| Nombre de contrats partiels joués |
548 |
Réussis: |
362 |
66,1 % |
Avec 22 PH en moyenne |
| Nombre de manches demandées |
411 |
Réussies: |
214 |
52,1 % |
Avec 25 PH en moyenne |
| Nombre de petits chelems demandés |
34 |
Réussis: |
17 |
50,0 % |
Avec 29 PH en moyenne |
| Nombre de grands chelems demandés |
1 |
Réussis: |
0 |
--- |
Avec 32 PH en moyenne |
| Nombre de fois 4 Passe |
6 |
|
|
|
Avec 20 PH en moyenne |
| Nombre de donnes ayant conduit à plus de 4 levées |
10 |
|
|
|
|
| Nombre moyen d'IMP marqué par donne jouée |
2,45 |
|
|
|
|