Los investigadores de Google DeepMind han desarrollado BlockRank, un nuevo método para clasificar y recuperar información de manera más eficiente en modelos de lenguaje grandes (LLMs).
- BlockRank se detalla en un nuevo artículo de investigación, Clasificación In-Contexto Escalable con Modelos Generativos.
- BlockRank está diseñado para resolver un desafío llamado Clasificación In-Contexto (ICR), o el proceso de hacer que un modelo lea una consulta y múltiples documentos a la vez para decidir cuáles son los más relevantes.
- Hasta donde sabemos, BlockRank no está siendo utilizado por Google (por ejemplo, Búsqueda, Gemini, Modo AI, Resúmenes AI) en este momento – pero podría ser utilizado en algún momento en el futuro.
Qué cambia BlockRank. ICR es costoso y lento. Los modelos utilizan un proceso llamado “atención”, donde cada palabra se compara consigo misma y con cada otra palabra. Clasificar cientos de documentos a la vez se vuelve exponencialmente más difícil para los LLMs.
Cómo funciona BlockRank. BlockRank reestructura la forma en que un LLM “presta atención” al texto. En lugar de que cada documento preste atención a todos los demás, cada uno se centra solo en sí mismo y en las instrucciones compartidas.
- La sección de consulta del modelo tiene acceso a todos los documentos, lo que le permite compararlos y decidir cuál responde mejor a la pregunta.
- Esto transforma el costo de atención del modelo de cuadrático (muy lento) a lineal (mucho más rápido).
Por los números. En experimentos utilizando Mistral-7B, el equipo de Google encontró que BlockRank:
- Corría 4.7× más rápido que los modelos estándar ajustados cuando clasificaba 100 documentos.
- Escalaba suavemente a 500 documentos (alrededor de 100,000 tokens) en aproximadamente un segundo.
- Igualaba o superaba a los principales clasificados por lista como RankZephyr y FIRST en benchmarks como MSMARCO, Preguntas Naturales (NQ) y BEIR.
Por qué nos importa. BlockRank podría cambiar la forma en que funcionan los futuros sistemas de recuperación y clasificación impulsados por IA para recompensar la intención del usuario, la claridad y la relevancia. Eso significa (en teoría) que el contenido claro y enfocado que se alinea con el motivo por el cual una persona está buscando (no solo lo que escribe) debería ganar cada vez más.
Qué sigue. Los investigadores de Google/DeepMind están continuando redefiniendo lo que significa “clasificar” información en la era de la IA generativa. El futuro de la búsqueda avanza rápidamente – y es fascinante ver cómo evoluciona en tiempo real.
Search Engine Land es propiedad de Semrush. Seguimos comprometidos a proporcionar una cobertura de alta calidad de los temas de marketing. A menos que se indique lo contrario, el contenido de esta página fue escrito por un empleado o un contratista pago de Semrush Inc.