{"id":36159,"date":"2023-11-16T12:00:02","date_gmt":"2023-11-16T11:00:02","guid":{"rendered":"https:\/\/www.hiberus.com\/crecemos-contigo\/?p=36159"},"modified":"2023-11-29T12:11:23","modified_gmt":"2023-11-29T11:11:23","slug":"ask-your-web-pages-otro-enfoque-rag-utilizando-modelos-de-codigo-abierto","status":"publish","type":"post","link":"https:\/\/www.hiberus.com\/crecemos-contigo\/ask-your-web-pages-otro-enfoque-rag-utilizando-modelos-de-codigo-abierto\/","title":{"rendered":"Ask your web pages: retrieval-augmented generation utilizando modelos de c\u00f3digo abierto"},"content":{"rendered":"

\u00bfC\u00f3mo se puede aumentar el conocimiento de los LLM<\/strong> con datos con los que no han sido entrenados? La Retrieval-Augmented Generation (RAG)<\/strong><\/span>\u00a0es el camino a seguir. En este blog explicaremos qu\u00e9 significa RAG<\/strong> y, por supuesto, c\u00f3mo funciona.<\/p>\n

Digamos que tienes tu propio conjunto de datos, por ejemplo, documentos de texto de tu empresa. \u00bfC\u00f3mo puedes hacer que\u00a0ChatGPT<\/strong><\/a>\u00a0y otros LLM los conozcan y respondan a tus preguntas?<\/p>\n

Aqu\u00ed la respuesta: no te preocupes, se puede hacer f\u00e1cilmente en los siguientes cuatro pasos:<\/p>\n

    \n
  1. Embedding:<\/strong> incrusta tus documentos con un modelo de incrustaci\u00f3n como\u00a0text-embedding-ada-002<\/strong>\u00a0de OpenAI o\u00a0S-BERT<\/strong>. Incrustar un documento significa transformar sus frases, palabras o trozos de las palabras en un vector de n\u00fameros. La idea es que las frases que son similares entre s\u00ed deben estar cerca en t\u00e9rminos de distancia entre sus vectores y las frases que son diferentes deben estar m\u00e1s lejos.<\/li>\n
  2. Vector Store:<\/strong> una vez que tienes una lista de n\u00fameros, puedes\u00a0almacenarlos<\/strong>\u00a0en un\u00a0almac\u00e9n vectorial<\/strong>\u00a0como\u00a0ChromaDB<\/strong>,\u00a0FAISS<\/strong>, o\u00a0Pinecone<\/strong>. Un almac\u00e9n vectorial es como una base de datos, pero, como su nombre indica,\u00a0indexa<\/strong>\u00a0y\u00a0almacena<\/strong>\u00a0incrustaciones vectoriales para su\u00a0r\u00e1pida recuperaci\u00f3n<\/strong>\u00a0y la\u00a0b\u00fasqueda de similitudes<\/strong>.<\/li>\n
  3. Consulta:<\/strong> ahora que tu documento est\u00e1 incrustado y almacenado, cuando hagas una pregunta espec\u00edfica a un LLM, este incrustar\u00e1 tu consulta y encontrar\u00e1 en el almac\u00e9n de vectores las frases que m\u00e1s se acerquen a tu pregunta en t\u00e9rminos de semejanza de coseno<\/strong>, por ejemplo.<\/li>\n
  4. Respuesta a la pregunta:<\/strong> una vez encontradas las frases m\u00e1s parecidas, se suman en la consulta y \u00a1listo! Ahora, los LLM son capaces de responder a preguntas concretas sobre datos con los que no han sido entrenados,\u00a0sin necesidad de reentrenamiento<\/strong>\u00a0o\u00a0fine-tuning<\/strong>. \u00bfNo es genial?<\/li>\n<\/ol>\n

    Pushing Boundaries<\/strong><\/span><\/h2>\n

    En mi \u00faltima entrada de blog titulada\u00a0Ask Your Own Data<\/strong><\/a>, aumentamos el conocimiento de\u00a0ChatGPT<\/strong>, desplegado en\u00a0Azure<\/strong>, utilizando\u00a0datos privados<\/strong> para hacerlo m\u00e1s factible. En otras palabras, implementamos una aplicaci\u00f3n RAG<\/strong> en la que se emplearon dos modelos comerciales de Azure OpenAI, en nuestro caso, el modelo\u00a0ada-embeddings-001<\/strong>\u00a0para embeddings y\u00a0GPT-3.5 Turbo<\/strong>, que genera respuestas basadas en preguntas o consultas del usuario y contexto relevante. Este contexto relevante consiste en documentos recuperados a partir de un paso de b\u00fasqueda mediante b\u00fasqueda sem\u00e1ntica.<\/p>\n

    Una desafortunada realidad es que este servicio no es gratuito. En otras palabras, se cobra por cada token generado por el modelo, que es esencialmente uno de los inconvenientes de los modelos comerciales y de c\u00f3digo cerrado. Lo ideal ser\u00eda que la IA fuera de c\u00f3digo abierto y se democratizara, como ha se\u00f1alado por\u00a0Clem Delangue<\/strong>, CEO de Hugging Face:\u00a0Es incre\u00edblemente dif\u00edcil empezar sin modelos y conjuntos de datos abiertos<\/em><\/strong>.<\/p>\n

    Pero calma, a\u00fan no lo hemos dicho todo; \u00a1abrochaos los cinturones! Ahora nos embarcaremos en un viaje de codificaci\u00f3n de alta velocidad para demostrar c\u00f3mo puedes construir un sistema RAG<\/strong> completamente\u00a0libre<\/strong>\u00a0utilizando modelos\u00a0de c\u00f3digo abierto<\/strong>\u00a0alojados en el\u00a0Hugging Face<\/strong>\u00a0Model Hub y codificar cada componente en su siguiente arquitectura:<\/p>\n

    \"\"<\/p>\n

    Instalaciones<\/h2>\n

    Estas l\u00edneas de c\u00f3digo est\u00e1n instalando varias\u00a0librer\u00edas Python<\/strong>\u00a0y\u00a0paquetes<\/strong>\u00a0usando el gestor de paquetes\u00a0pip<\/strong>, junto con la bandera\u00a0–quiet<\/strong>\u00a0la cual se usa para reducir la cantidad de salida mostrada durante el proceso de instalaci\u00f3n, haci\u00e9ndolo menos ruidoso.<\/p>\n

    \"\"<\/p>\n

    Importaciones<\/h2>\n

    En el siguiente script, importamos una amplia gama de\u00a0bibliotecas<\/strong>\u00a0y\u00a0m\u00f3dulos<\/strong>\u00a0para tareas avanzadas de procesamiento del lenguaje natural y generaci\u00f3n de texto. Esencialmente, estamos configurando un entorno para trabajar con modelos de lenguaje, incluyendo modelos Hugging Face<\/strong>, as\u00ed como diversas herramientas y utilidades para el manejo y procesamiento de datos de texto.<\/p>\n

    Importamos principalmente\u00a0PyTorch<\/strong>\u00a0para capacidades de aprendizaje profundo y Gradio<\/strong> para construir interfaces interactivas de modelos ML. Adem\u00e1s, importamos m\u00f3dulos de la biblioteca\u00a0LangChain<\/strong>, que incluye plantillas para crear prompts, varios modelos de cadena para la comprensi\u00f3n y generaci\u00f3n de lenguaje, text embeddings y cargadores de documentos. Nuestro c\u00f3digo tambi\u00e9n integra la potente biblioteca\u00a0Transformers<\/strong>, que permite el uso sin problemas de\u00a0los modelos de \u00faltima generaci\u00f3n de Hugging Face<\/strong>\u00a0para una amplia gama de aplicaciones de PLN<\/strong>.<\/p>\n

    \"\"<\/p>\n

    LLM Base<\/h2>\n

    Mistral-7b\u00a0desarrollado por\u00a0Mistral AI<\/strong>\u00a0est\u00e1 arrasando en el panorama de los LLM de c\u00f3digo abierto. Este nuevo LLM de c\u00f3digo abierto supera a LLaMA-2 en muchas pruebas comparativas, como ilustra la siguiente imagen extra\u00edda de su documento:<\/p>\n

    \"\"<\/p>\n

    Fuente: Cornell University<\/p>\n

    El siguiente fragmento de c\u00f3digo se configura un\u00a0proceso de generaci\u00f3n de texto<\/strong>\u00a0utilizando un LLM base,\u00a0Mistral-7b<\/strong>\u00a0desarrollado por\u00a0Mistral AI<\/strong>, instruye al modelo de lenguaje preentrenado, lo configura con ajustes de\u00a0cuantizaci\u00f3n<\/strong>,\u00a0tokenizaci\u00f3n<\/strong>\u00a0y\u00a0par\u00e1metros de generaci\u00f3n<\/strong>, y crea un proceso que puede utilizarse para generar texto basado en el LLM\u00a0Mistral-7b<\/strong>\u00a0y las configuraciones. Vamos a desglosar lo que sucede:<\/p>\n