Mistral 7B Instruct cuantizado
Perfecto. Te explico cómo puedes usar Mistral 7B Instruct cuantizado (Q4) en tu computadora local (Core i5, 16 GB de RAM) usando Python y la biblioteca llama-cpp-python . Este modelo es excelente para generar resúmenes estructurados como actas de audiencia judicial. ✅ Requisitos Python 3.9+ Modelo cuantizado de Mistral 7B Instruct (formato GGUF, Q4 o Q5) Bibliotecas : llama-cpp-python , requests (opcional) 🔹 Paso 1: Instalar dependencias bash pip install llama-cpp-python Si usas Windows y tienes problemas con dependencias, instala con: bash pip install llama-cpp-python --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu 🔹 Paso 2: Descargar el modelo Ve a TheBloke/Mistral-7B-Instruct-v0.1-GGUF y descarga el archivo: ✅ mistral-7b-instruct-v0.1.Q4_K_M.gguf (versión ligera que funciona en CPU) Guárdalo en una carpeta, por ejemplo: bash Copiar Editar ./modelos/mistral-7b-instruct-v0.1.Q4_K_M.gguf 🔹 Paso 3: Script en Python para ge...