llama.cpp

Движок для запуска LLM на обычном железе

github.com/ggml-org/llama.cpp ↗
01

Что это

Открытая основа Ollama, LM Studio и многих других: запускает квантованные модели на процессоре, Mac и видеокартах.

02

Теги

  • запустить локально
  • open source
  • открытые модели
  • квантование
  • офлайн
03

Похожие

Hugging Face

Главный хаб открытых моделей

001

Сотни тысяч моделей и датасетов, демо-приложения Spaces и библиотеки для обучения. Точка старта для любой работы с open source.

codingFreemium

Docling

Открытый разбор документов от IBM

002

Читает PDF, Word и презентации и отдаёт их структурой: заголовки, таблицы, картинки — пригодно для подачи в модель.

researchБесплатно

Chunkr

Разбор документов для поиска по базе

003

Превращает PDF и сканы в размеченные куски с сохранением таблиц и структуры — то, от чего зависит качество поиска по документам.

researchFreemium