Tu replay conoce tu Elo (con 100 puntos de margen)

Hola, soy Nemzy, el dev de AoE Buddy. Había una pregunta que me obsesionaba: ¿se puede adivinar tu Elo solo viendo cómo juegas?

Analicé 12 800 replays de 1v1 clasificatorio, de 600 a 2 800 Elo, y entrené un modelo que solo te mira a ti: ni a tu rival ni el resultado. Veredicto: acierta con 100 Elo de margen en 5 partidas.

Esto es lo que dicen los datos sobre nuestro juego, y lo que no funcionó.

1. Los datos en breve

• 12 800 replays de 1v1 clasificatorio, tantas partidas a 700 como a 2 500, descargadas desde el punto de vista del jugador para tener su cámara (10 posiciones por segundo). Más 19 944 replays de julio para el entrenamiento.
• 335 indicadores por jugador y por partida: órdenes, cámara, aldeanos, edades, combates, exploración, murallas…
• 439 jugadores apartados (15 partidas cada uno): el modelo nunca los ve, y es con ellos con los que medimos su error.

Todos los minutos del artículo son minutos de juego (el reloj del juego, que corre a ×1,7).

2. Lo que separa los niveles

Antes de construir una IA, nos hicimos la pregunta más directa: ¿qué indicadores suben (o bajan) con el Elo? Para cada uno de los 334 indicadores, calculamos una correlación de rangos (llamada «de Spearman») sobre 21 081 jugadores-partidas.

Cómo leerla: se ordena a los jugadores según el indicador, luego según su Elo, y se mira si las dos clasificaciones se parecen. 0 significa ninguna relación, +1 significa que el indicador ordena a los jugadores exactamente como el Elo, −1 que los ordena al revés (es el caso de los tiempos de reacción o de las pausas: cuanto más bajo, mejor). Por encima de 0,5, es una relación muy fuerte para un juego tan variado como AoE2.

De los 334 indicadores, nos quedamos con 30 «grandes indicadores» comprensibles para un jugador, uno solo por familia (no tres variantes de los saltos de cámara), en los siete dominios del juego. Aquí está en versión consola:

Y el detalle, con lo que significa en concreto. En toda la tabla, «a 1 000» designa a los jugadores entre 1 000 y 1 199 Elo y «a 2 000» a los que están entre 2 000 y 2 199 (medianas, es decir, el jugador del medio de cada tramo).

Lo que cuenta esta clasificación

1. La velocidad lo aplasta todo. Las acciones útiles por minuto (sin el spam de clics) quedan en cabeza con +0,86: por sí solas, ordenan a los jugadores casi como el Elo. Y no es solo cuestión de dedos: la pausa más larga sin ninguna orden (−0,66) dice lo mismo. Un jugador de 1 000 «desconecta» 34 segundos seguidos al menos una vez por partida; a 2 000, nunca más de 19.

2. La multitarea es la verdadera firma del nivel. Idas y vueltas entre la base y el frente (+0,74), zonas gestionadas a la vez (+0,73), saltos de cámara (+0,77): los buenos jugadores no solo son más rápidos, están en todas partes a la vez. Un 2 000 da órdenes en 2,3 zonas distintas cada 30 segundos; un 1 000 en 1,7, a menudo su base y un solo sitio más. Por eso sacamos la multitarea de «Mapa y visión» para convertirla en un dominio propio, «Multitarea»: zonas gestionadas a la vez, idas y vueltas base / frente (+0,74), producción durante los combates (+0,43). Hasta entonces, un buen scouting ocultaba una multitarea débil.

3. El mapa se lee pronto. Antes de los 6 minutos, el explorador de un jugador de 2 000 ha visitado 18 zonas, frente a 6 a 1 000. Y durante los 10 primeros minutos, su cámara pasa nueve veces más tiempo en la base rival.

4. La economía cuenta, pero menos de lo que se cree. El TC inactivo se divide por dos entre 1 000 y 2 000 (9,3 % frente a 4,0 %), pero su correlación sigue siendo modesta (−0,39): al mismo nivel, las diferencias entre jugadores son enormes, algunos 1 000 lo tienen muy bien rodado y algunos 2 000 dejan dormir su TC. Los recursos que duermen en el banco separan mejor los niveles (−0,55).

5. Las grandes sorpresas.

• Aldeanos a los 15 minutos: solo +0,20. 30 aldeanos a 1 000, 31 a 2 000. La explicación es mecánica: un TC produce como mucho un aldeano cada 25 segundos y el paso a Feudal lo bloquea más de dos minutos. A los 15 minutos, casi todo el mundo está pegado al mismo techo, alrededor de 31 a 33. Además, esta cifra se reconstruye a partir de las órdenes (el replay no contiene el estado del juego), así que hay que leerla como una estimación.
• Llegar a Castillos no dice nada (+0,01). 20,6 minutos a 1 000, 20,9 a 2 000. El timing de edad que todo el mundo vigila es uno de los peores indicadores de nivel. Ojo con un límite: solo contamos las partidas en las que el jugador llega.

• El clic sobre un objetivo baja con el nivel (−0,44). A primera vista es contraintuitivo: uno esperaría que los buenos jugadores apuntaran mejor. En realidad, hacen otra cosa además: retiradas, reagrupamientos, desplazamientos. El clic sobre un objetivo pasa a ser minoritario.

En todos estos gráficos, cada punto es un jugador en una partida (60 elegidos al azar por tramo de 200 de Elo), la línea sigue al jugador mediano de cada tramo y la zona clara contiene la mitad central de los jugadores. Pasa el ratón por encima para leer los valores.

Correlación no significa receta. Spamear la patrulla no te hará ganar 500 Elo. Estos indicadores son huellas del nivel: muestran lo que hacen los buenos jugadores, no necesariamente por qué ganan.

La historia de la cámara

Al principio del proyecto, con un primer lote pequeño de 591 jugadores de los que teníamos la cámara (casi todos entre 1 000 y 2 000), los saltos de cámara por minuto al principio de la partida salían con +0,40. Fue la primera señal fuerte, y el punto de partida de toda una familia de indicadores de multitarea: zonas gestionadas a la vez, idas y vueltas base / frente, producción durante los combates, zonas exploradas.

Hoy, con 11 735 jugadores-partida de 600 a 2 800 Elo, este mismo indicador sube a +0,77, y sus hermanos pequeños le siguen: idas y vueltas base / frente +0,74, zonas gestionadas a la vez +0,73, zonas exploradas antes de los 6 min +0,69, producción durante los combates +0,43.

Sinceramente, buena parte de este salto viene de la escala: una correlación sube mecánicamente cuando se comparan jugadores de 600 a 2 800 en vez de 1 000 a 2 000. Lo que la cámara aportó de verdad es una idea: medir no cuánto haces clic, sino dónde.

3. La IA que adivina tu Elo

Una correlación mira un indicador a la vez. Para estimar un Elo, hay que combinarlos todos. Usamos LightGBM, un modelo de árboles de decisión muy usado para este tipo de tabla de números: aprende reglas del tipo «si las acciones útiles superan 30 y la cámara sale a menudo de la base, entonces más bien 1 800».

Dos decisiones importantes:

• Jugador aislado. El modelo no ve nada del rival: ni su Elo, ni su juego, ni el resultado de la partida. Solo lo que tú hiciste. Es imprescindible para detectar un smurf: juega contra rivales de su falso nivel y gana, y lo último que queremos es que el modelo base su estimación en eso.
• Validación por jugador. Todas las partidas de un mismo jugador se quedan del mismo lado (entrenamiento o test). Si no, el modelo reconocería al jugador en lugar de estimar su nivel.

Ponderando como la verdadera escalera de 1v1 clasificatorio (donde hay muchos más jugadores a 1 200 que a 2 600), el error medio es de:

• 121 Elo en una sola partida (alrededor del 12 %);
• 102 Elo con 5 partidas (alrededor del 10 %).

Estas dos medias vienen del mismo modelo, medido sobre una mitad de los jugadores seguidos nunca usada para ajustar el modelo. Con los 439 jugadores seguidos, el mismo cálculo da 117 y 101: la diferencia se debe a la muestra, no al modelo.

La tabla por nivel dice lo esencial, incluido lo que molesta. El sesgo es la estimación menos el Elo real en una partida: si es negativo, el modelo subestima.

Dos cosas saltan a la vista. Abajo de la escalera, el modelo sobrestima un poco a los de 600 a 799 (+68): como cualquier modelo de este tipo, tira de los extremos hacia el centro de la escalera. Y por encima de 2 000, la tendencia se invierte claramente.

La cima sigue siendo un muro. Desde 2 200, el modelo subestima (−127), luego en 245 Elo entre 2 400 y 2 599 y en 326 Elo por encima. Y mirar 5 partidas en lugar de una casi no cambia nada (329 frente a 325 en lo alto de la escalera): no es ruido, es un techo. Nuestros indicadores simplemente ya no separan a la élite. Un 2 400 y un 2 700 tienen los dos 40 acciones útiles por minuto, exploran igual y actúan en dos o tres zonas a la vez. Lo que los separa (leer el juego rival, tomar decisiones en el momento justo, ejecutar los combates decisivos) todavía no se ve en nuestras cifras.

4. ¿Y en equipo?

El mismo trabajo se rehízo con 7 381 replays de partidas clasificatorias en equipo (2v2, 3v3 y 4v4), es decir, 44 113 jugadores-partida. Siempre el mismo principio del jugador aislado: el modelo solo mira lo que hace el jugador, ni sus aliados, ni sus rivales, ni el resultado.

• 118 Elo de error en una partida (10,1 %): 114 en 2v2, 112 en 3v3, 124 en 4v4.
• 100 Elo a partir de 3 partidas.
• El modelo de 1v1 aplicado tal cual a las partidas en equipo lo hace mucho peor: 192 Elo, subestimando a los jugadores. El juego en equipo tiene sus propias referencias, hacía falta un modelo aparte.
• Control antifugas: separando los datos por partida (para que dos compañeros de una misma partida nunca acaben uno en el entrenamiento y el otro en el test), el error se queda en 116. Así que el modelo no hace trampa reconociendo la partida.
• Y el indicador n.º 1 en equipo es el mismo que en 1v1: las acciones útiles por minuto.

5. Todo lo que no sirvió para nada

Es la parte que nunca se cuenta, y sin embargo llevó tanto tiempo como todo lo demás. Cada una de estas ideas parecía excelente. Ninguna movió el error más de 4 Elo, lo cual es ruido:

• el tipo de mapa (abierto, cerrado, agua): 174 → 173;
• el Elo «estabilizado» (corregir el Elo de las cuentas recientes);
• el valor invertido y recolectado, 46 indicadores más: 117 → 117;
• los paquetes Sync en bruto del replay;
• una red neuronal que lee la secuencia completa de órdenes: 192, frente a 188 de LightGBM;
• quitar los reenvíos del motor (órdenes que el juego reenvía por sí solo).

¿Y si añadimos partidas? La curva de aprendizaje responde: cada vez que duplicamos los datos, el error baja 5 a 7 Elo. Pero por encima de 2 400 ya no se mueve en absoluto. Más replays no van a resolver el problema de la cima.

El mapa: vimos algo y fuimos más a fondo

Había motivos para creerlo. Según el mapa, el error del modelo casi se duplica: unos 190 Elo en Scandinavia, 230 en Arabia, más de 310 en Hideout y Fortress. Y en Discord la idea volvía una y otra vez: Arabia y Arena no se juegan igual. Así que llevamos esta prueba mucho más lejos que las demás: un modelo por mapa, y luego 10 000 partidas de Arabia descargadas a propósito para llegar a 60 000 partidas de entrenamiento. Siempre con jugadores que el modelo nunca había visto.

Y no es cuestión de cantidad. Entrenamos los dos con exactamente el mismo número de partidas, de 2 500 a 60 000: el modelo de todos los mapas gana siempre, y la diferencia se estabiliza en unos 8 Elo en lugar de cerrarse.

¿Por qué? Lo que delata un nivel (acciones útiles, economía, micro) se repite de un mapa a otro. Un modelo que ha visto todos los mapas ha visto más jugadores y más situaciones, y aprende mejor lo que de verdad importa. Darle simplemente el nombre del mapa al modelo tampoco cambia nada. La diferencia de error entre mapas venía sobre todo de quién juega esos mapas, y a qué nivel, no de los mapas en sí.

La civilización: misma señal, mismo veredicto

Aquí también había una señal. Según la civ jugada, el error del modelo va de unos 220 Elo (birmanos) a más de 380 (mapuches). Y la idea tiene sentido: algunas civs distorsionan los indicadores, los hunos no necesitan casas, los chinos empiezan con más aldeanos. Así que le dimos al modelo la civ del jugador y luego también la del rival.

Incluso es un poco peor. El modelo no necesita que le digan la civ: ya la lee en las órdenes del jugador. Y con 56 civs, cada una solo tiene unos cientos de partidas, así que el modelo acaba aprendiendo ruido propio de cada civ. Civ por civ, las diferencias van de −28 a +26 Elo y se compensan: azar, no un efecto real.

6. ¿Quién va a ganar? La partida minuto a minuto

Como extra, entrenamos un segundo modelo con 12 793 partidas, que mira el estado de los dos jugadores en cada minuto de juego (ejército, eco, tecnologías, edad…) y deduce una probabilidad de victoria. Suficiente para detectar remontadas, ventajas desperdiciadas y el momento en que la partida se decide.

Algunas cifras salidas de este modelo (solo el estado de la partida, sin el Elo):

• un jugador que cae por debajo del 25 % de probabilidades durante dos minutos seguidos acaba ganando igualmente una de cada seis veces (17,6 %);
• aproximadamente el 11 % de las partidas viven una auténtica remontada de este tipo;
• en estas partidas, el bajón suele llegar hacia el minuto 29 (mediana), y duran bastante más (49 minutos de mediana, frente a 38).

7. El test de la «estrategia»: ¿existe un talento invisible?

Es la pregunta que generó debate en el Discord. La hipótesis: algunos jugadores tienen un Elo mucho más alto de lo que su juego medido haría prever. Tendrían un talento que nuestros indicadores no ven, llamémoslo «estrategia», que les haría ganar partidas que su juego no dejaba prever. La hipótesis contraria: esa diferencia es sobre todo ruido.

Para zanjarlo sin hacer trampa, los criterios de éxito se escribieron antes de lanzar el más mínimo cálculo. Luego partimos al azar las partidas de cada jugador en dos mitades (200 veces) para ver si lo que medimos en una mitad se repite en la otra.

Los resultados son claros:

• La diferencia «Elo real menos Elo estimado» es un rasgo muy estable del jugador: 0,87 de correlación entre las dos mitades de sus partidas. Si el modelo te subestima en tus partidas del lunes, también te subestima en las del jueves.
• Pero «ganar más allá del estado medido de la partida» no es un rasgo (0,08), y «perder yendo por delante» tampoco (0,03).
• Y la diferencia no predice el sobrerrendimiento (−0,007). Los jugadores subestimados no ganan más partidas «perdidas de antemano» que los demás.
• La composición del ejército y las tecnologías sí forman un estilo estable (0,35), pero no mejoran ni la predicción del ganador (+0,1 %) ni la estimación del Elo.

Y la contraprueba más reveladora: el 20 % de jugadores más sobrestimados, aquellos cuyo juego medido está por encima de su Elo, ganan el 59 % de sus partidas y van por delante a los tres quintos de la partida (0,55 de probabilidad de victoria según el estado medido). No están «sobrevalorados»: están subiendo, y su Elo todavía no ha alcanzado a su juego.

Veredicto: la diferencia entre tu juego y tu Elo es bien real y bien tuya, pero no es un poder misterioso para darles la vuelta a las partidas. Lo más probable es que sea una mezcla de lo que aún no medimos (la calidad de los combates decisivos, por ejemplo) y de un Elo que va por detrás o por delante del nivel.

8. Tu huella de juego

Último experimento, casi inquietante: le mostramos al modelo 6 partidas, una de las cuales no es del jugador. Encuentra la intrusa el 99 % del tiempo (el azar daría un 17 %). Lo que más delata a un jugador son sus hábitos de interfaz: sus atajos de teclado, su forma de seleccionar, de llamar a sus grupos. Sin ellos, el modelo sigue reconociendo a la intrusa el 78 % del tiempo.

Tu estilo de juego es una firma. Para detectar un smurf o una cuenta compartida, es una muy buena noticia.

9. Lo que nos quedamos

• Tu replay dice tu nivel con unos 100 de Elo de margen en 5 partidas, sin saber nada de tu rival ni del resultado. En equipo también: 100 de Elo a partir de 3 partidas.
• Lo que marca el nivel es la velocidad útil y la multitarea, mucho más que el timing de las edades o el número de aldeanos a los 15 minutos.
• La élite sigue siendo un misterio para las cifras: por encima de 2 400, lo que marca la diferencia todavía no se lee en los comandos.
• El «talento invisible» no pasó la prueba: la diferencia entre tu juego y tu Elo es estable, pero no te hace ganar las partidas perdidas.

¿Y ahora qué? El siguiente paso: entender qué pasa en la cima, donde nuestros 335 indicadores ya no bastan.

10. Cómo estima el modelo tu Elo, en claro

Hay una pregunta que se repite: «¿por qué mi economía está en 2 100 si mi Elo estimado es solo 1 550?». Para responderla hay que ver cómo trabaja el modelo. Y no es una tabla con casillas que marcar.

No hay baremo

Nadie escribió una regla del tipo «30 aldeanos a los 15 minutos = 1 500 Elo». El modelo aprendió solo, con 57 450 jugadores-partidas de 1v1 clasificatorio de los que conocía el Elo. En cada partida lee tus 335 indicadores: tus órdenes, tu cámara, tus aldeanos, tus combates, tu exploración… Nunca el resultado de la partida, nunca a tu rival.

900 pequeños árboles de preguntas

El modelo es un bosque de 900 árboles de decisión. Cada árbol hace unas cuantas preguntas seguidas sobre tus indicadores y luego suma o resta unos pocos puntos de Elo. Así es un árbol:

Tu estimación es la suma de esas 900 pequeñas correcciones. Así que nada es todo o nada: una debilidad cuesta unos puntos en decenas de árboles, una fortaleza recupera puntos en otros, y el mismo indicador no pesa igual según el resto de tu juego. Hacer 30 aldeanos a los 15 minutos no dice lo mismo si además das 35 acciones útiles por minuto o solo 15.

El modelo hace esto con cada una de tus 10 últimas partidas y luego saca la media: una partida mala no decide sola.

Las barras por área: siete opiniones separadas

Las barras de tu página no salen del mismo cálculo. Para cada área (economía, macro, micro…), un modelo aparte solo mira los indicadores de esa área y responde a una sola pregunta: «si solo miráramos tu economía, ¿qué Elo te daríamos?». La barra compara esa respuesta con un jugador típico de tu Elo.

Esas siete opiniones no pesan igual en la estimación final. Lo medimos con 414 jugadores:

La micro y la velocidad suman el 70 % del resultado. Lo militar y la multitarea pesan casi cero, y no porque no cuenten en la partida: lo que miden ya se ve en las otras áreas (una buena multitarea ya se nota en tu velocidad y tu macro), y el modelo no lo cuenta dos veces.

Un ejemplo real, en detalle: el perfil «boomer»

Un jugador de 1 455 Elo analizado en la web. En su página: economía al nivel de un jugador de 2 136, macro en 2 106, pero micro en 1 372, y una estimación de 1 566. Abrimos el capó para ver de dónde sale cada número.

Partida a partida

De una partida a otra, la estimación va de 1 315 a 1 817, mientras que su Elo real solo se mueve de 1 361 a 1 439. Su mejor partida (37 minutos en Arabia con mongoles) parece la de un jugador de 1 800; su derrota de 55 minutos con japoneses, la de uno de 1 300. Por eso sacamos la media: 1 566. Y no es casualidad que ganara 6 de 7 partidas: su Elo sube, y el modelo ve a un jugador que todavía no ha terminado de subir.

Lo que sube su economía

Cada modelo de área parte de la nota media de todos los jugadores, y luego cada indicador suma o resta puntos. Estos son los que más pesan en su nota de economía, comparados con los jugadores de su nivel (de 1 350 a 1 550 Elo):

El hilo conductor: gasta todo lo que recolecta. Entre los minutos 20 y 30 guarda de media 657 recursos en reserva, mientras que los jugadores de su nivel dejan 1 000 parados. Súmale aldeanos casi nunca inactivos, ciervos cazados pronto y el oro empezado 5 minutos antes que los demás: es la economía de un jugador mucho más alto. Solo una línea juega en su contra: tiene algo menos de aldeanos constructores que la media, y el modelo aprendió que a este nivel construir más va con un Elo más alto.

Lo que sube su macro

Su apertura es rápida y limpia: Feudal dos minutos antes que los jugadores de su nivel, primera unidad militar dos minutos antes, el doble de ejército a los 15 minutos. Pero mira la primera línea: sus acciones de macro están justo en la media, y aun así es el indicador que más le suma. Eso es exactamente lo que significa «sin baremo»: el modelo no lee ese número solo. Con una Feudal tan rápida y tanta producción, el mismo ritmo de 9,8 acciones por minuto describe a un jugador eficiente, que saca más con los mismos clics.

Lo que hunde su micro

Combate tanto como los demás (incluso un poco más), pero controla menos sus unidades: ninguna patrulla, casi la mitad de órdenes encadenadas. Y la misma trampa que en la macro: su intensidad de micro está algo por encima de la media, pero le resta puntos, porque viene con pocas órdenes finas. El modelo ve combates sufridos más que dirigidos. Y no es una mala racha: su nota de micro es baja en sus 7 partidas, sin excepción.

Cómo se combinan las siete opiniones

Su economía y su macro aportan casi 200 puntos; su micro, que pesa más que las dos juntas, le quita 121. Quedan +98: es el «Potencial» que muestra su página, y su nivel de referencia (1 468) + 98 da los 1 566 estimados.

Lo que significa para él

No es una contradicción, es un perfil: su juego de construcción es el de un jugador de 2 100, su juego de combate el de uno de 1 300. Su página le da además una pista concreta: cuando el rival llega a su base, tarda 25 segundos en reaccionar, frente a 11 para los jugadores de su nivel, y le pasó en 6 de 7 partidas. Patrullar, encadenar órdenes, reaccionar antes a las incursiones: ahí están sus próximos puntos de Elo, no en su economía.

Método, para los curiosos

• Correlaciones: Spearman entre cada indicador y el Elo del jugador antes de la partida, una fila por jugador y por partida de 1v1 clasificatorio, partidas de menos de 8 minutos excluidas, sobre el conjunto completo (21 081 jugadores-partida, 12 670 partidas, 8 589 jugadores). Controles: mismo cálculo con una sola fila por jugador, y con muestreos en los que cada tramo de 200 Elo pesa lo mismo; la clasificación cambia poco (la mayor diferencia afecta a los cambios de formación: +0,67, y +0,48 con una sola fila por jugador). Los indicadores de cámara solo cubren al jugador que grabó el replay (11 735 jugadores-partida).
• Medianas: por tramos de 200 Elo, de 600 a 2 800.
• Modelo: LightGBM, jugador aislado, validación por jugador (GroupKFold), test con 439 jugadores nunca vistos. Errores por tramo: runs/v4b-eval.log; media ponderada como la escala real: runs/calib-multi.log (mismo modelo, juego v4, mitad de los jugadores seguidos no usada para el ajuste).
• Scripts: article/stats.py (correlaciones), article/export_page_data.py (datos de los gráficos).