Clicked Gallery
¿Qué es la cuantización?
Subrayado en un documento técnico real. Explicado por Clicked.
Usado en una frase
Engineering Notes · AI Systems
The 4-bit quantization cut memory use enough to run the model on a single consumer GPU.
El lector subrayó una palabra. Apareció este popup:
Explicado en tres niveles
●○○
Overview
La cuantización encoge un modelo de IA guardando sus números con menos precisión. Cada número ocupa menos memoria, así que el modelo funciona en hardware más pequeño y barato. Bien hecha, la calidad apenas baja.
●●○
Detail
Un modelo son miles de millones de números, llamados pesos, guardados normalmente a 16 bits cada uno. La cuantización los recodifica a 8 o 4 bits, de modo que un modelo de 70.000 millones de pesos baja de unos 140 gigabytes a unos 35 con 4 bits. La versión completa no cabe ni en una GPU de centro de datos, mientras que la encogida entra en una sola tarjeta gráfica de consumo de gama alta. El truco funciona porque los pesos se agrupan en rangos estrechos, así que una escala gruesa bien elegida pierde poco: las puntuaciones en pruebas suelen bajar unos pocos puntos porcentuales a 8 bits y siguen siendo utilizables a 4. Por debajo la cosa se pone fea, y las versiones de 2 bits suelen ser notablemente peores. La velocidad también suele mejorar: lo lento al ejecutar un modelo es traer todos esos números de la memoria, y números más pequeños significan menos que traer. Esta es la razón principal de que exista la IA local, permitiendo ejecutar los modelos punteros de ayer en hardware de videojuegos.
●●●
Analogy
Encoger una foto para enviarla. El archivo original es enorme; guardarlo con menor calidad lo deja en una décima parte del tamaño, y en la pantalla del móvil nadie nota nada. Si haces zoom suficiente encontrarás los borrones, pero para el uso diario la imagen cumple su función.
Las explicaciones de IA pueden contener errores · No es asesoramiento profesional
Los mismos datos, otro rollo — Modo jerga 😎
●○○
Overview
La cuantización es poner al modelo a dieta: mismo cerebro, números guardados con menos esmero. La mitad o un cuarto de la memoria, y casi ni se entera. 😎
●●○
Detail
Un modelo no es más que miles de millones de números, y los de serie queman 16 bits por número. Recodifícalo a 4 bits y un modelo de 70B baja de unos 140 GB a unos 35, que es la línea entre no caber en una GPU de centro de datos y correr en tu equipo de juegos. Los números se apiñan en rangos estrechos de todas formas, así que el redondeo grueso cuesta sorprendentemente poco: unos puntos porcentuales en las pruebas a 8 bits, todavía sólido a 4. Fuerza hasta 2 bits y las ruedas empiezan a tambalearse. Extra: normalmente corre más rápido, porque lo lento es traer los números, no hacer las cuentas. Este único truco es básicamente la razón de que la IA local sea un hobby y no una fantasía. 😎
●●●
Analogy
Los MP3. Nadie guarda los discos como archivos crudos de estudio; te quedas con una décima parte de los datos y tus auriculares no notan la diferencia. Los audiófilos juran que oyen la pérdida, las pruebas a ciegas dicen que apenas, y mientras tanto la discoteca entera cabe en tu bolsillo.
Las explicaciones de IA pueden contener errores · No es asesoramiento profesional
Definición formal — El mismo término, explicado de la forma habitual
La cuantización mapea los parámetros del modelo desde representaciones de coma flotante de mayor precisión a formatos de menor anchura de bits, reduciendo la huella de memoria y los requisitos de ancho de banda en inferencia. La cuantización posterior al entrenamiento y el entrenamiento consciente de la cuantización intercambian coste de implementación por retención de precisión, con una degradación generalmente modesta a 8 bits y cada vez más significativa por debajo de 4.
Clicked explica cualquier cosa que subrayes — justo donde estás leyendo.
Instala Clicked — pruébalo gratis50 Explicaciones gratis · Sin tarjeta de crédito
Más de la galería
Cómo leer de verdad un artículo científico
Ojea con método, rompe el muro de jerga y conserva lo aprendido — una sesión, bien hecha.
¿Qué es el descenso de gradiente estocástico (SGD)?
Millones de diales, una puntuación de error — cómo aprenden los modelos, pasito a pasito.
¿Qué es la retropropagación (backpropagation)?
Cómo un error final se convierte en un ajuste preciso para millones de parámetros — Buscar objetivo a escala.
¿Qué es la deuda técnica?
Atajos y sistemas envejecidos que facturan al futuro — principal, interés y pago.