TopoGPT-2 es un modelo de lenguaje de 25M de parámetros que implementa el marco Grokkit HPU-Core para estudiar la adquisición del lenguaje como un fenómeno de materia condensada. A diferencia de las arquitecturas tradicionales, este modelo está optimizado para alcanzar el estado de Aislante Topológico, donde las invariantes gramaticales y narrativas están protegidas por una brecha espectral (spectral gap).
Este proyecto cree en la premisa de que el "grokking" no es un artefacto estadístico, sino una cristalización de operadores. En lugar de memorizar un corpus, TopoGPT-2 mapea las reglas sintácticas del dataset Tiny Stories en un manifold geométrico, permitiendo una coherencia estructural superior con un número mínimo de parámetros.
El entrenamiento se monitoriza mediante variables de estado físico:
-
$\alpha$ (Purity Index): Grado de orden cristalino en los pesos. -
$\delta$ (Discretization Margin): Nivel de solidificación de la fase funcional. -
$\kappa$ (Gradient Covariance): Medida de la coherencia macroscópica del flujo de gradiente. -
$\hbar = 0.012$ : Constante de Incertidumbre del Aprendizaje que define el límite de optimización.
| Metric | Value | Status |
|---|---|---|
| Phase State | [TOPOLOGICAL_INSULATOR] |
Stable |
| Val Loss | 1.7773 | Best achieved |
| Winding Number | 138 | Strong Convergence |
| Berry Phase | 865.51 | High Geometric Curvature |
| 14.6 | Cooling in progress |
Gracias al Teorema de Invarianza Topológica, este "setup" permite:
- Escalamiento Zero-Shot: Expandir el espacio de pesos (ej. de 25M a 250M) sin pérdida de información, preservando el message passing original.
- Fusión de Nodos: Superposición de modelos mediante interferencia constructiva de sus Hamiltonianos.
- Resistencia al Olvido Catastrófico: Protección de los "chunks" aprendidos mediante el aumento del radio del Toro topológico.
# Clonar el framework
git clone [https://github.com/grisuno/TopoGPT2.git](https://github.com/grisuno/TopoGPT2.git)
# Ejecutar entrenamiento con monitoreo espectral
python app.py --epochs 10 --prospect --probe-seeds 50 @software{grisun0_grokkit_2026,
author = {grisun0},
title = {Grokkit: A Geometric Framework for Zero-Shot Structural Transfer of Spectral Operators},
year = {2026},
doi = {10.5281/zenodo.18072859},
url = {[https://doi.org/10.5281/zenodo.18072859](https://doi.org/10.5281/zenodo.18072859)}
}
https://huggingface.co/grisun0/TopoGPT2/blob/main/model.safetensors
