Una de estas innovaciones es MindSearch, una alternativa de código abierto a SearchGPT y Perplexity. Compitiendo con ChatGPT, que puede conectarse a Internet, y Perplexity, especializado en buscadores de IA, MindSearch superó a estos productos de dos estrellas en cuanto a profundidad, amplitud y precisión.
Incluso puede recopilar e integrar más de 300 páginas de información relevante en menos de 3 minutos, una tarea que a los expertos humanos les llevaría unas 3 horas completar.
Pondré un ejemplo sencillo:
¿Qué es LangChain?
Si echas un vistazo a la forma en que MindSearch genera los resultados, verás que emplea un enfoque basado en grafos. Cuando envío una consulta, el agente la descompone en múltiples subpreguntas atómicas. Cada subpregunta se representa como un nodo en un grafo acíclico dirigido. LangChain es el punto de partida, y el nodo final representa la respuesta final.
Si tu quieres aprender más acerc a de LangChain, recuerda que tenemos el curso
El grafo se construye dinámicamente a medida que el agente procesa la consulta del usuario y los resultados de las búsquedas en la web. A medida que se recupera nueva información, el agente añade nuevos nodos y aristas al grafo.
Este grafo facilita la gestión del contexto entre distintos agentes. Al mantener una estructura clara de relaciones entre subpreguntas, el agente utiliza el grafo para agregar y sintetizar información. Esto ayuda a combinar los datos recuperados en una respuesta coherente y completa a la consulta original.
En esta guía paso a paso, vamos a cubrir lo que es MindSearch, lo que hace MindSearch único, por qué MindSearch es mucho mejor que ChatGPT-Web y Perplexity AI, y cómo instalar MindSearch localmente.
¿Qué es MindSearch?
MindSearch es un marco de búsqueda de IA de código abierto lanzado por el equipo conjunto de I+D del Laboratorio de Inteligencia Artificial de Shanghai, que combina capacidades de recopilación y organización de información a gran escala.
Utilizando el modelo de diálogo InternLM2.5 7B, MindSearch puede recopilar información efectiva de más de 300 páginas web en 3 minutos, completando una tarea que normalmente lleva a los humanos 3 horas. Utiliza un marco multiagente para simular el pensamiento humano, planificando primero y buscando después, lo que mejora la precisión y exhaustividad de la información.
El proyecto es de código abierto y los usuarios pueden probarlo e implantarlo localmente de forma gratuita.
¿Qué hace que MindSearch sea único?
Consta de dos componentes principales: WebPlanner y WebSearcher.
WebPlanner
Descompone la pregunta del usuario en tareas de búsqueda parciales y determina el siguiente paso en función de los resultados de la búsqueda. Este proceso se representa mediante una estructura gráfica.
WebSearcher
Realiza una búsqueda jerárquica de información para recopilar información relevante.
La característica exclusiva de MindSearch es que puede descomponer eficazmente preguntas complejas y extraer con eficiencia información relevante de un gran número de páginas web. Su diseño multiagente le permite explorar y sintetizar información en paralelo a partir de más de 300 páginas web en menos de tres minutos, una escala que a un experto humano le llevaría aproximadamente tres horas realizar una tarea cognitiva similar.
¿Cómo venció MindSearch a ChatGPT y Perplexity.ai?
La respuesta empieza por su nombre. La principal competitividad de MindSearch reside en el uso de un marco multiagente para simular los procesos de pensamiento humano.
La respuesta empieza por su nombre. La principal ventaja de MindSearch es que utiliza un marco multiagente para simular los procesos del pensamiento humano.
En la práctica, MindSearch ha demostrado un rendimiento impresionante. Puede recopilar e integrar rápidamente información valiosa de páginas web masivas en muy poco tiempo.
Por ejemplo, ante una tarea de búsqueda compleja, puede recopilar e integrar cientos de páginas de contenido relevante en sólo unos minutos, mientras que los expertos humanos pueden tardar horas en completar la misma tarea.
En las pruebas comparativas ChatGPT-web y Perplexity, MindSearch obtuvo unos resultados excepcionales.
Por ejemplo, ante una pregunta como «¿Qué tirador es el más fuerte en la temporada actual de King of Glory?», realiza un análisis lógico en profundidad, como analizar las características de la temporada actual, los indicadores para medir la fuerza de los tiradores, etc., y luego combina la información de todas las partes para dar una respuesta completa y precisa, en lugar de limitarse a resumir las respuestas en línea existentes.
Instalar MindSearch localmente
Paso 1: Instalación de dependencias
- Abra su terminal o símbolo del sistema. Aquí es donde escribirá todos los comandos para la instalación.
- Clone el repositorio MindSearch desde GitHub. Esto descarga todos los archivos necesarios en su ordenador. Introduzca el siguiente comando:
git clone https://github.com/InternLM/MindSearch- Navegue hasta el directorio MindSearch. Después de la clonación, debe desplazarse al directorio creado:
cd MindSearch
Instale los paquetes Python necesarios. El repositorio incluye un archivo llamado requirements.txt que lista todos los paquetes Python necesarios. Instálelos usando:
pip install -r requirements.txt
Paso 2: Configurar MindSearch API
Comprenda la estructura de comandos. Va a ejecutar un módulo Python que inicia la API MindSearch. El comando tiene varias opciones:
--lang enestablece el idioma del modelo en inglés. Puede cambiarenporcnpara el chino.--model_formatespecifica el formato del modelo. Utiliceinternlm_serverpara el modelo InternLM2.5-7b-chat optimizado para chino ogpt4para utilizar GPT4.
Inicie el servidor FastAPI. Utilice el siguiente comando, ajustando los parámetros según sea necesario para su configuración:
Modelo de código abierto
python -m mindsearch.app --lang en --model_format internlm_server
GPT-4o
Si quieres usar GPT4, tienes que modificar el archivo modelo en el proyecto que maneja las configuraciones del modelo API. luego Reemplaza 'TU CLAVE OPENAI API' con la clave API real de OpenAI.
gpt4 = dict(type=GPTAPI,
model_type='gpt-4-turbo',
key=os.environ.get('OPENAI_API_KEY', 'YOUR OPENAI API KEY'))
Si ha configurado GPT-4 en el archivo de configuración, asegúrese de que el comando para iniciar el servidor apunta al formato de modelo correcto.
python -m mindsearch.app --lang en --model_format gpt4
Paso 3: Configurar MindSearch Frontend
Ejecutar la interfaz Gradio
Asegúrate de que estás en el directorio raíz del proyecto MindSearch donde se encuentra el script de Gradio y utiliza el siguiente comando en el terminal para iniciar la interfaz de Gradio.
python frontend/mindsearch_gradio.pyEjecutar la aplicación Streamlit:
Utilice el siguiente comando para ejecutar la aplicación Streamlit. Streamlit abrirá automáticamente la aplicación web en su navegador web predeterminado
streamlit run frontend/mindsearch_streamlit.pyConclusión
MindSearch ofrece una solución sencilla pero potente a la compleja tarea de recuperar e integrar información. Su marco multiagente, que combina las capacidades cognitivas de los LLM con el amplio acceso a datos de los motores de búsqueda, lo distingue de las soluciones existentes.
Al descomponer las consultas, gestionar el contexto y utilizar la recuperación jerárquica, MindSearch mejora significativamente la precisión y la recuperación de la información web obtenida.
Gracias a su capacidad para procesar eficazmente un gran número de páginas web en poco tiempo, MindSearch proporciona a los usuarios la información precisa y oportuna que necesitan para tomar decisiones con conocimiento de causa.