Con el avance de la tecnología, los transistores se han ido haciendo cada vez más pequeños. Según la Ley de Moore, el número de transistores en los circuitos integrados se duplica aproximadamente cada 2 años.
Este crecimiento exponencial ha permitido el desarrollo exponencial de la tecnología informática. Sin embargo, la reducción del tamaño de los transistores tiene un límite; pronto alcanzaremos un umbral por debajo del cual los transistores no podrán funcionar.
Además, el avance de la IA ha hecho que la necesidad de aumentar la capacidad de cálculo sea más crítica que nunca.
La cuestión fundamental es que la naturaleza es estocástica (impredecible). Y no me refiero sólo a los efectos de la mecánica cuántica. Al diseñar un circuito hay que tener en cuenta las influencias ambientales, el ruido térmico y otros factores perturbadores. En el caso de un transistor, la expectativa es que funcione de forma determinista (predecible).
Si ejecuto un algoritmo 100 veces seguidas, debo obtener siempre el mismo resultado. En la actualidad, los transistores son lo bastante grandes como para que estos factores no interfieran en su funcionamiento, pero a medida que se reduzca su tamaño, estas cuestiones serán cada vez más relevantes.
Entonces, ¿qué dirección puede tomar la tecnología a partir de ahora? La respuesta «habitual»: los ordenadores cuánticos.
De hecho, con los ordenadores cuánticos nos encontramos con el mismo problema: la necesidad de eliminar los efectos ambientales y el ruido térmico. Por eso los ordenadores cuánticos deben refrigerarse a temperaturas cercanas al cero absoluto. Estas condiciones extremas impiden que los procesadores cuánticos sustituyan a las CPU actuales.
Pero, ¿cuál podría ser la solución? Parece que para avanzar debemos abandonar nuestros ordenadores deterministas y abrazar la naturaleza estocástica del mundo. Esta idea no es nueva. Tiene varios miles de millones de años.
Los vídeos educativos suelen describir el funcionamiento de las células como pequeñas fábricas, donde todo funciona con la precisión de un reloj. Las enzimas, como diminutos robots, cortan el ADN, al que se adhieren los aminoácidos, dando lugar a la producción de proteínas. Estas proteínas se entrelazan perfectamente y, durante la división celular, se separan de la célula vieja para formar una nueva. Sin embargo, se trata de un modelo muy simplificado.
En realidad, las partículas se mueven al azar y, cuando se juntan los componentes adecuados, se unen. Mientras que las estructuras creadas por el hombre se rigen por normas estrictas, aquí los procesos se forman espontáneamente bajo la influencia imperiosa de las leyes físicas y químicas.
Por supuesto, a vista de pájaro, puede parecer que el sistema funciona con la precisión de un mecanismo de relojería.
Un ejemplo muy sencillo es cuando mezclamos agua fría con agua caliente. Sería imposible seguir el movimiento aleatorio de cada partícula. Algunas partículas se mueven más rápido, mientras que otras lo hacen más despacio. De vez en cuando, las partículas chocan e intercambian energía. El sistema es totalmente caótico y requiere una inmensa capacidad de cálculo para simularlo.
A pesar de ello, podemos predecir con exactitud que, tras un breve periodo, el agua alcanzará una temperatura uniforme. Se trata también de un sencillo sistema autoorganizado muy complejo a nivel de partículas, pero totalmente predecible gracias a las leyes de la física y las reglas de la estadística.
Del mismo modo, la división celular resulta predecible como resultado de complejos procesos químicos y movimientos aleatorios. Por supuesto, pueden producirse errores.
El ADN puede no copiarse correctamente, pueden producirse mutaciones u otros errores. Por eso el sistema es altamente redundante. Varios procesos destruirán la célula en caso de error (apoptosis), evitando así que las unidades defectuosas causen problemas (o sólo muy raramente, que es como pueden desarrollarse enfermedades como el cáncer).
El consumo energético de un transistor puede ser comparable al de una célula, aunque ésta sea órdenes de magnitud más compleja.
Imaginemos los complejos cálculos que podríamos realizar con un consumo tan bajo si los lleváramos a cabo de forma analógica, aprovechando las leyes de la naturaleza.
En biología, el ruido térmico no sólo no es un problema, sino que es necesario. Por debajo de ciertas temperaturas, los sistemas biológicos son incapaces de funcionar. Es el movimiento aleatorio inducido por el calor lo que los hace funcionar.
El fundamento de la informática termodinámica es similar.
En lugar de intentar eliminar la naturaleza estocástica de los procesos físicos, la utilizamos. Pero, ¿qué se puede hacer con un ordenador cuyo funcionamiento no es determinista?
De hecho, en el campo del aprendizaje automático, hay muchos componentes aleatorios.
Por ejemplo, en el caso de una red neuronal, los pesos iniciales se inicializan aleatoriamente. La capa de abandono, que elimina el sobreajuste, también descarta entradas aleatoriamente.
Pero a un nivel superior, por ejemplo, los modelos de difusión también utilizan ruido aleatorio para su funcionamiento.
En el caso de Midjourney,
por ejemplo, el modelo se entrenó para generar imágenes a partir de ruido aleatorio, teniendo en cuenta las instrucciones dadas.
En este caso, se añade un poco de ruido a la imagen en cada paso hasta que toda la imagen se convierte en ruido.
A continuación, la red neuronal se entrena para invertir este proceso, es decir, para generar una imagen a partir de ruido basándose en el texto dado. Si el sistema se entrena con suficientes imágenes y texto, será capaz de generar imágenes a partir de ruido aleatorio basado en texto.
Así funciona Midjourney.
En los sistemas actuales, eliminamos el ruido térmico aleatorio para obtener transistores deterministas y, a continuación, sobre estos transistores deterministas, simulamos la aleatoriedad, necesaria para el funcionamiento de las redes neuronales.
En lugar de la simulación, ¿por qué no aprovechar la aleatoriedad de la naturaleza? La idea es similar a la de cualquier ordenador analógico. En lugar de simular digitalmente un proceso determinado, deberíamos aprovechar las oportunidades que nos brinda la naturaleza y ejecutarlo de forma analógica.
El circuito de Extropic funciona de forma analógica. El estado inicial es completamente aleatorio, ruido térmico distribuido normalmente. Mediante la programación del circuito, este ruido puede modificarse dentro de cada componente. En lugar de transistores, se utilizan pesos analógicos, que son ruidosos, pero cuyo resultado puede determinarse mediante el análisis estadístico de la salida. Los chicos llaman a esto computación probabilística.
Estos circuitos analógicos son mucho más rápidos y consumen mucha menos energía, y como el ruido térmico no sólo no perturba sino que es un componente esencial del funcionamiento, no requieren las condiciones especiales que necesitan los ordenadores cuánticos. Los chips pueden fabricarse con la tecnología de producción existente, por lo que podrían entrar en el mercado comercial en pocos años.
Como hemos visto, la tecnología de Extropic es muy prometedora. Sin embargo, lo que personalmente despertó mi interés es que es biológicamente más plausible. Por supuesto, no creo que las neuronas de las redes neuronales artificiales tengan nada que ver con las neuronas del cerebro humano.
Son dos sistemas muy diferentes. Sin embargo, el cerebro humano no aprende mediante el descenso gradiente. El aprendizaje biológico es algo totalmente distinto, y el azar desempeña sin duda un papel importante en él.
Como ya he dicho, en la biología y la naturaleza todo funciona de forma aleatoria. Lo que vemos como determinista a alto nivel es sólo lo que estadísticamente destaca entre muchos sucesos aleatorios.
Así es como, por ejemplo, muchos seres vivos (incluidos nosotros, los humanos) surgieron de una evolución completamente aleatoria y, sin embargo, están construidos con una precisión casi ingenieril. Sospecho que el cerebro humano funciona de forma similar a la evolución.
Una multitud de acontecimientos aleatorios dentro de un sistema adecuadamente dirigido, que desde fuera percibimos como un pensamiento coherente. Por eso me intrigaban tanto los algoritmos genéticos, y ahora veo el mismo principio en el chip de Extropic.
Si deseas aprender más acerca de inteligencia artificial, te dejamos el video.