Intenté correr profundamente localmente en mi computadora portátil: aquí así es como fue

By DiarioTiempo

Ejecutar un modelo de IA sin una conexión a Internet suena brillante, pero generalmente requiere un hardware potente y costoso. Sin embargo, ese no es siempre el caso: el modelo R1 de Deepseek es una opción útil para dispositivos de menor potencia, y también es sorprendentemente fácil de instalar.

¿Qué significa ejecutar un chatbot de IA local de IA?

Cuando usa chatbots de IA en línea como ChatGP, sus solicitudes se procesan en los servidores de OpenAI, lo que significa que su dispositivo no está haciendo el trabajo pesado. Necesita una conexión constante a Internet para comunicarse con los chatbots AI, y nunca tendrá el control total de sus datos. Los modelos de idiomas grandes que impulsan los chatbots de IA, como ChatGPT, Gemini, Claude, etc., son extremadamente exigentes de ejecutar ya que confían en las GPU con muchas VRAM. Es por eso que la mayoría de los modelos de IA están basados ​​en la nube.

Un chatbot de IA local se instala directamente en su dispositivo, como cualquier otro software. Eso significa que no necesita una conexión constante a Internet para usar el chatbot Ai y puede despedir una solicitud en cualquier momento. Deepseek-R1 es un LLM local que se puede instalar en muchos dispositivos. Su modelo 7B destilado (siete mil millones de parámetros) es una versión más pequeña y optimizada que funciona bien en el hardware de rango medio, lo que me permite generar respuestas de IA sin procesamiento en la nube. En términos simples, esto significa respuestas más rápidas, mejor privacidad y control total sobre mis datos.

Cómo instalé Deepseek-R1 en mi computadora portátil

Ejecutar Deepseek-R1 en su dispositivo es bastante simple, pero tenga en cuenta que está utilizando una versión menos potente que el chatbot de AI basado en la web de Deepseek. El chatbot de IA de Deepseek usa alrededor de 671 mil millones de parámetros, mientras que Deepseek-R1 tiene alrededor de 7 mil millones.

Puede descargar y usar Deepseek-R1 en su computadora siguiendo estos pasos:

  1. Vaya al sitio web de Ollama y descargue la última versión. Luego, instálelo en su dispositivo como cualquier otra aplicación.

  2. Abra el terminal y escriba el siguiente comando:

            ollama run deepseek-r1:7b

Esto descargará el modelo 7B Deepseek-R1 a su computadora, lo que le permitirá ingresar consultas en el terminal y recibir respuestas. Si experimenta problemas de rendimiento o se bloquea, intente usar un modelo menos exigente reemplazando 7b con 1.5b en el comando anterior.

Si bien el modelo funciona perfectamente bien en la terminal, si desea una interfaz de usuario con todas las funciones con formato de texto adecuado como ChatGPT, también puede usar una aplicación como Chatbox.

Correr Deepseek localmente no es perfecto, pero funciona

Como se mencionó anteriormente, las respuestas no serán tan buenas (¡o tan rápidas!) Como las del chatbot de IA en línea de Deepseek, ya que utiliza un modelo más potente y procesa todo en la nube. Pero veamos qué tan bien funcionan los modelos más pequeños.

Resolver problemas matemáticos

Para probar el rendimiento del modelo de parámetros 7B, le di una ecuación y le pedí que resuelva su integral. Estaba bastante contento con lo bien que funcionó, especialmente porque los modelos básicos a menudo luchan con las matemáticas.

Ahora, admitiré que esta no es la pregunta más complicada, pero esa es exactamente la razón por la cual ejecutar un LLM localmente es tan útil. Se trata de tener algo fácilmente disponible para manejar consultas simples en el acto en lugar de confiar en la nube para todo.

Código de depuración

Uno de los mejores usos que he encontrado para ejecutar Deepseek-R1 localmente es cómo ayuda con mis proyectos de IA. Es especialmente útil porque a menudo codeo los vuelos en los que no tengo una conexión a Internet, y confío mucho en LLMS para la depuración. Para probar qué tan bien funciona, le di este código con un error tonto agregado deliberadamente.

        X = np.array([1, 2, 3, 4, 5]).reshape(-1, 1) 
y = np.array([2, 4, 6, 8, 10])

model = LinearRegression()
model.fit(X, y)

new_X = np.array([6, 7, 8])
prediction = model.predict(new_X)

Manejó el código sin esfuerzo, pero recuerde que estaba ejecutando esto en un M1 MacBook Air con solo 8 GB de memoria unificada. (La memoria unificada se comparte en la CPU, la GPU y otras partes del SOC).

Con un IDE abierto y varias pestañas de navegador en ejecución, el rendimiento de mi MacBook recibió un gran éxito: tuve que forzar todo para que responda nuevamente. Si tiene 16 GB de RAM o incluso una GPU de nivel medio, es probable que no se encuentre con estos problemas.

También lo probé con bases de código más grandes, pero se atascó en un bucle de pensamiento, por lo que no confiaría en él para reemplazar completamente modelos más potentes. Dicho esto, todavía es útil para generar rápidamente fragmentos de código menor.

Resolver rompecabezas

También tenía curiosidad por ver qué tan bien el modelo maneja los rompecabezas y el razonamiento lógico, así que lo probé con el problema de Monty Hall, que resolvió fácilmente, pero realmente comencé a apreciar Deepseek por otra razón.

Como se muestra en la captura de pantalla, no solo le da la respuesta, sino que le guía a través de todo el proceso de pensamiento, explicando cómo llegó a la solución. Esto aclara que es razonamiento a través del problema en lugar de simplemente recordar una respuesta memorizada de sus datos de entrenamiento.

Trabajo de investigación

Uno de los mayores inconvenientes de ejecutar un LLM localmente es su corte de conocimiento obsoleto. Dado que no puede acceder a Internet, encontrar información confiable en eventos recientes puede ser un desafío. Esta limitación fue evidente en mis pruebas, pero empeoró aún más cuando solicité una breve descripción del iPhone original, generó una respuesta que fue inexacta e involuntariamente hilarante.

El primer iPhone obviamente no se lanzó con iOS 5, ni llegó después del inexistente «iPhone 3.» Casi todo mal. Lo probé con algunas otras preguntas básicas, pero las inexactitudes continuaron.

Después de que Deepseek sufrió una violación de datos, se sintió tranquilizador saber que puedo ejecutar este modelo localmente sin preocuparme de que mis datos estén expuestos. Si bien no es perfecto, tener un asistente de IA fuera de línea es una gran ventaja. Me encantaría ver más modelos como este integrados en dispositivos de consumo como los teléfonos inteligentes, especialmente después de mi decepción con Apple Intelligence.

Anterior

Siguiente