{"id":41190,"date":"2024-03-22T09:00:13","date_gmt":"2024-03-22T08:00:13","guid":{"rendered":"https:\/\/www.hiberus.com\/crecemos-contigo\/?p=41190"},"modified":"2024-12-23T14:08:51","modified_gmt":"2024-12-23T13:08:51","slug":"como-construir-un-chatbot-rag-serverless","status":"publish","type":"post","link":"https:\/\/www.hiberus.com\/crecemos-contigo\/como-construir-un-chatbot-rag-serverless\/","title":{"rendered":"C\u00f3mo construir un chatbot RAG serverless de alta precisi\u00f3n con Amazon Kendra y Bedrock en AWS"},"content":{"rendered":"

\u00bfC\u00f3mo podemos ense\u00f1ar a los\u00a0Large Language Models (LLMs)<\/strong>\u00a0a ser precisos, correctos y m\u00e1s confiables? El\u00a0Retrieval-Augmented Generation<\/a> (RAG)<\/strong>\u00a0es un enfoque para incluir informaci\u00f3n adicional en el prompt. Sin embargo, construir un prototipo de una aplicaci\u00f3n RAG es pan comido, pero hacer que sea\u00a0preciso<\/strong>,\u00a0transparente<\/strong>,\u00a0seguro<\/strong>\u00a0y\u00a0production ready<\/strong>, manteniendo el control total sobre los\u00a0datos propietarios<\/strong>, es un verdadero desaf\u00edo.<\/p>\n

En esta publicaci\u00f3n de blog, demostramos c\u00f3mo construir chatbot RAG serverless<\/strong> de extremo a extremo en AWS y te guiamos en c\u00f3mo ampliar el conocimiento de un LLM con tus propios datos. El siguiente paso ser\u00e1 implementar nuestra soluci\u00f3n RAG con una arquitectura serverless<\/strong>, a diferencia de una arquitectura server-based donde generalmente debes realizar mucho trabajo m\u00e1s all\u00e1 de construir la aplicaci\u00f3n para implementarla y mantenerla, como poner en marcha m\u00e1quinas e instalar dependencias. Luego hay a\u00fan m\u00e1s trabajo con el mantenimiento continuo de ese sistema, como agregar parches de seguridad, actualizar dependencias, y as\u00ed sucesivamente.<\/p>\n

Al comenzar con una arquitectura serverless, puedes ahorrarte mucho tiempo y esfuerzo a medida que iteras en tu canalizaci\u00f3n RAG. Utilizaremos\u00a0Amazon Bedrock<\/strong>, que proporciona acceso a una variedad diversa de foundational models (FMs), y\u00a0Amazon Kendra<\/strong>\u00a0conectado a una fuente de datos \u2014 espec\u00edficamente, un\u00a0S3 bucket<\/strong>\u00a0que almacena nuestros datos privados. Todos estos servicios est\u00e1n conectados a un flujo de trabajo que impulsa a nuestro LLM a trav\u00e9s de un AWS Lambda para ejecutarse autom\u00e1ticamente cada vez que un usuario env\u00eda una nueva consulta, ahorrando esfuerzos y reduciendo costos. Finalmente, la funci\u00f3n AWS Lambda implementada ser\u00e1\u00a0invoked<\/strong>\u00a0y luego\u00a0triggered<\/strong>\u00a0a trav\u00e9s de una aplicaci\u00f3n web\u00a0Streamlit<\/strong> cada vez que un usuario env\u00ede una nueva pregunta.<\/p>\n

\"c\u00f3mo<\/p>\n

C\u00f3mo construir un chatbot RAG serverless<\/h2>\n

Setup<\/h3>\n

Antes de comenzar, instalemos todas las bibliotecas y paquetes necesarios:\u00a0langchain_core<\/span>\u00a0<\/strong>contiene las abstracciones b\u00e1sicas que alimentan el resto del ecosistema de LangChain. langchain_community<\/span> <\/strong>contiene integraciones de terceros que implementan las interfaces base definidas en LangChain Core, haci\u00e9ndolas listas para usar en cualquier aplicaci\u00f3n de LangChain. Finalmente, instalaremos\u00a0openai<\/span>\u00a0<\/strong>y el paquete\u00a0langchain_openai<\/span><\/strong>, que incluye las integraciones de LangChain para OpenAI a trav\u00e9s de su SDK de\u00a0openai<\/span>. Es sorprendente ver c\u00f3mo LangChain ha evolucionado desde mi \u00faltima publicaci\u00f3n en el blog. Anteriormente, pod\u00edas hacer f\u00e1cilmente todas estas cosas usando solo el paquete\u00a0langchain<\/span> <\/strong>para todo tipo de chains, agents y estrategias de recuperaci\u00f3n que componen la arquitectura cognitiva de una aplicaci\u00f3n. \u00a1LangChain est\u00e1 avanzando a toda velocidad!<\/p>\n

\"\"<\/p>\n

El siguiente fragmento de c\u00f3digo ayudar\u00e1 en la carga de configuraci\u00f3n desde un archivo JSON y en la obtenci\u00f3n de credenciales confidenciales de Azure OpenAI mediante la funci\u00f3n\u00a0load_config()<\/span><\/strong>. Ten en cuenta que no utilizaremos modelos de OpenAI en este contexto. Sin embargo, nuestro objetivo es demostrar c\u00f3mo puedes integrarlos como una alternativa a los FMs accesibles a trav\u00e9s de Amazon Bedrock.<\/p>\n

\"\"<\/p>\n

Retriever<\/h3>\n

Para que el\u00a0generador<\/strong>\u00a0o el\u00a0LLM base<\/strong>\u00a0puedan generar respuestas, necesitan acceso a la consulta original del usuario y a documentos relevantes. El recuperador juega un papel crucial en los RAG pipelines, ya que es responsable de recuperar estos documentos relevantes. De hecho, es importante recordar el principio de\u00a0Garbage In Garbage Out<\/em><\/strong>, lo que significa que si la tasa de recuperaci\u00f3n del recuperador es baja, es probable que pase documentos irrelevantes al LLM, resultando en respuestas de baja calidad. Por lo tanto, la selecci\u00f3n del recuperador, ya sea un\u00a0cloud search service<\/strong>\u00a0o una\u00a0vector database<\/strong>\u00a0con el\u00a0modelo de embedding<\/strong>\u00a0correcto, debe hacerse cuidadosamente, considerando muchos factores.<\/p>\n

El\u00a0coraz\u00f3n de los chatbots RAG radica en la b\u00fasqueda sem\u00e1ntica<\/strong>. Por esta raz\u00f3n, elegimos trabajar con\u00a0Amazon Kendra<\/strong>, un servicio de b\u00fasqueda inteligente que utiliza procesamiento de lenguaje natural y algoritmos avanzados de aprendizaje autom\u00e1tico para devolver documentos relevantes a preguntas de b\u00fasqueda desde tus datos. Indexa tus documentos directamente o desde tu repositorio de documentos de terceros. Puedes usar Amazon Kendra para crear un \u00edndice actualizable de documentos de varios tipos. Sin embargo, una desventaja de Kendra es su\u00a0costo relativamente alto<\/strong>. Pero el costo no deber\u00eda ser una barrera si observamos sus impresionantes ventajas y capacidades:<\/p>\n