Компания Perplexity запустила новый поисковый API, специально разработанный для ИИ-систем. Сервис обрабатывает 200 миллионов запросов ежедневно и показывает медианную задержку всего 358 мс, что на 150 мс быстрее ближайшего конкурента. Индекс системы содержит информацию о более чем 200 миллиардах уникальных URL-адресов.
Создание поискового API для ИИ оказалось сложнее, чем ожидалось. Когда Perplexity только начинала работу в конце 2022 года, команда пыталась использовать существующие решения, но столкнулась с неподъемными ценами — один из лидирующих провайдеров запрашивал $200 за тысячу запросов. Главная проблема заключалась в том, что устаревшие API были созданы для людей, а не для ИИ-моделей, которые требуют точного и компактного контекста.
Инфраструктура Perplexity впечатляет масштабами: флот краулеров и индексация включают десятки тысяч процессоров и сотни терабайт оперативной памяти. Система использует многоуровневое хранилище с более чем 400 петабайт в горячем хранилище. Такая мощность позволяет обрабатывать десятки тысяч операций индексации в секунду, поддерживая актуальность данных в реальном времени.
В тестах на производительность Perplexity Search API продемонстрировал лучшие результаты как по скорости, так и по качеству. 95-й перцентиль задержки остается ниже 800 мс, что критически важно для пользовательского опыта в эпоху больших языковых моделей. API превосходит конкурентов на всех тестовых бенчмарках, включая SimpleQA, FRAMES, BrowseComp и HLE.
Система использует гибридный подход к поиску, сочетая лексический и семантический поиск через многоэтапный пайплайн ранжирования. Особенность архитектуры — способность работать не только с документами целиком, но и с отдельными секциями, что особенно важно для ИИ-моделей с ограниченным контекстным окном. Самообучающийся модуль понимания контента динамически адаптирует правила парсинга для разных типов веб-сайтов.
Источник новости и обложки: research.perplexity.ai