Приветствую всех.
Вынужден просить о помощи, какая то маленькая проблема отделяет меня от вселенского величия. Я шел к успеху...
Настроил планов - хотел установить на ноут ии, а точнее поисково-аналитическую систему, для тех кто не в теме - я тоже не в теме, а значит экспертно буду вам всё объяснять - обычно это отдельные вещи, одно может обыскать сотню книг а другое может адекватно общатся. Вот мне захотелось чтобы оно искало не как гпт по нескольким сайтам, а по нескольким десяткам или сотням и могло обрабатывать информацию хотя бы на уровне гпт 3.5. То есть делать то на что надо десятки людей.
Я объяснил задачу чату, он вывел план:
1. Подготовка системы
Установка драйверов NVIDIA и CUDA – необходимо для работы с видеокартой и ускорения вычислений.
Установка Python через Miniconda – создаёт изолированную среду, чтобы не конфликтовать с системными библиотеками.
2. Установка AI-движка (LM Studio)
Загрузка и установка LM Studio – это интерфейс для локального запуска языковых моделей.
Настройка модели – скачивание подходящей модели и включение сервера для взаимодействия.
Переключение работы на GPU – настройка параметров, чтобы нейросеть использовала видеокарту вместо процессора.
3. Сбор данных
Установка поисковика SearxNG – поисковая система с API, позволяющая находить нужную информацию в интернете.
Настройка парсера данных – программа для автоматического сбора текста с веб-сайтов, книг, PDF.
4. Обработка текстов
Извлечение текста из разных форматов – поддержка PDF, EPUB, DOCX для анализа книг и статей.
Предварительная обработка текста – очистка данных от лишних символов, разделение на предложения и слова.
Использование NLP (обработки естественного языка) – поиск имен, дат, мест, событий в тексте.
5. Анализ данных
Сравнение исторических данных – сопоставление вымышленных персонажей с реальными людьми и событиями.
Выявление тенденций – анализ, какие темы или стили наиболее часто встречаются в текстах.
6. Визуализация информации
Построение графиков – отображение связей между персонажами, событиями, тенденциями.
Географическая привязка – создание карт с местами, упомянутыми в текстах.
7. Оптимизация и тестирование
Настройка параметров производительности – баланс между качеством анализа и скоростью работы системы.
Проверка корректности работы – тестирование результатов на известных данных.
По началу всё шло хорошо, через жепу но хорошо - драйвера установил, дальше пошел не по плану, у меня была предустановленна LM Studio и я решил поставить туда модель ии по мощнее - Mistral 70b, но мой ноут сдулся, я не понимал это настройки кривые или дров не хватает, чат говорил что 0.2-0.3 токена это очень мало.
Мощность ноута - i9 14900, rtx 4090 и 64 gb ram.
Поставил Mistral 3b - всё заработало 70-80 токенов в сек.
Пытался ставить Mistral 30b снова таже фигня - 0.2-0.3 в сек, настройки глобально не меняли картину.
Самое веселое началось когда я пытался установить пайтон - скачал и установил миниконду, надо было прогнать проверку, потом:
- оказывается нехватает build tools
ещё минут 30
- нехватает Cmake
ещё час
- не хватает Git
Я сидел с ноутом и на тв 4 консоли вызваны, нужно поочередно в каждую чтото записывать.
Примерно так выглядит список того что я делал:
Установил Miniconda
Создал виртуальное окружение ai_env
Установил Git conda install -c conda-forge git
Установил CMake pip install cmake
Установил Visual Studio Build Tools (MSVC, CMake, Windows SDK)
Проверил, что cl.exe доступен (where cl)
Проверил cmake --version
Попробовал установить pip install llama-cpp-python — ошибка
Попробовал pip install --prefer-binary llama-cpp-python — ошибка
Пробовал CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python — ошибка
Запустил установку в x64 Native Tools Command Prompt — ошибка
Удалил build (rmdir /s /q build)
Клонировал репозиторий git clone https://github.com/abetlen/llama-cpp-python.git
Обновил submodules git submodule update --init --recursive
Перешел в папку, пересоздал build
Запустил cmake .. -G "Visual Studio 17 2022" -A x64 -DLLAMA_CUBLAS=on — ошибка vendor/llama.cpp отсутствует
Удалил build, скачал llama.cpp вручную git submodule update --init --recursive
Повторил cmake — ошибка Cannot specify include directories
Пробовал cmake --build . --config Release — ошибка MSB1009: файл проекта не существует
Проверил CMakeError.log и CMakeOutput.log
Ошибки с vendor/llama.cpp и llava_shared
Отключил CUDA CMAKE_ARGS="-DLLAMA_CUBLAS=off" pip install --no-cache-dir llama-cpp-python — ошибка
Полностью очистил build, пересобрал через MSBuild cmake --build . --config Release — ошибка CMake build failed
Ошибка остается, необходимо либо попробовать другой способ установки (pip install llama-cpp-python --prefer-binary), либо смотреть другие логи
Building wheel for llama-cpp-python (pyproject.toml) - эта фигня постоянно ошибки выдавала, и как я только не пытался её исправить. Потом вроде пропало, ошибка выскакивала в конце распаковки "pip install llama-cpp-python langchain" и там уже ничего не помогало:
*** CMake build failed
[end of output]
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for llama-cpp-python
Failed to build llama-cpp-python
ERROR: Failed to build installable wheels for some pyproject.toml based projects (llama-cpp-python)
Я не программист, я вообще не понимаю что происходит, у меня от программистов только распивание лате или американо с лекёром Амаретто из стильной чашки - то есть я программист только на половину?
Вопросы:
1) Почему установка пайтона довела меня до слёз, этож простая задача, я не программист, но установка пайтона точно простая задача - на которую я потратил больше шести часов и слился.
2) Может моё понимание поисково-аналитических систем (ну или deep search системы) не верное и туда есть путь по проще а не то что чат написал.
3) А вытянет ли ноут перекопать например десяток профильных форумов, собрать информацию, обработать и дать мне готовый ответ на пару страниц. Или это прям для серверных станций?
4) как настроить требовательные модели в lm studio, 0.3 токена в сек как то не очень.
Такой запрос появился потому что я понимаю что не какой open ai не будет тратить на меня много ресурсов, а тут есть ноут который хорошо подходит для этой задачи - поставил и через пол часа (да хоть через 2 часа) узнал что хотел, вместо недели поиска.
P.s.
Хотя я тут давно, но это мой первый пост, и я заценил ритуал посвящения в заднепроходцев, когда при активации не мне отправляли смс, а я отправлял - то есть активация ака через жепу.
Отличный комментарий!