vLLM

Быстрый сервер для запуска моделей в продакшене

Что это

Открытый движок инференса с высокой пропускной способностью: поднимаете OpenAI-совместимый API для открытых моделей на своих GPU.

Главный хаб открытых моделей

001

Сотни тысяч моделей и датасетов, демо-приложения Spaces и библиотеки для обучения. Точка старта для любой работы с open source.

codingFreemium

Открытый разбор документов от IBM

002

Читает PDF, Word и презентации и отдаёт их структурой: заголовки, таблицы, картинки — пригодно для подачи в модель.

researchБесплатно

Разбор документов для поиска по базе

003

Превращает PDF и сканы в размеченные куски с сохранением таблиц и структуры — то, от чего зависит качество поиска по документам.

researchFreemium