Локальный чатбот для NSFW ролплея и не только на базе Ollama
Что это:
Это маленькое Python приложение, написанное Клодом, позволяющее использовать локальные Ollama модели для ролплея и написания историй. Вы можете создать своего героя, настроить ему внешность и характер, создать ему собеседника, сценарий и локацию - дальше модель возьмет отыгрыш на себя, и Вы можете поговорить с любимой вайфу Иосифом Виссарионовичем. В создании я вдохновлялся модом Mantella\Skyrimnet но без Скайрима.
Кому это надо:
В первую очередь - всяким извращенцам, которые хотят играть в виртуальный секс с Луной из Отеля Хазбин разносторонним личностям, которые хотят изучить возможности современных языковых моделей, но цензура онлайн версий их угнетает.
Системные требования:
Так как модели запускаются локально - требуется хорошая видеокарта. Причем тут больше важен объем видеопамяти, чем производительность. Я тестировал всё на RTX 3080 10GB, но думаю всё что 3060+ с моими моделями справится без проблем. Если Ваша видеокарта хуже - можно подобрать модель слабее, но это плохо отразится на её интеллекте. Если у Вас RTX 5090 - Вы можете не ограничивать себя моими моделями-примерами, и скачать себе гораздо более умные и приятные в общении модели. Онлайн модели не поддерживаются - идея была сделать все локально и бесплатно.
В остальном - моя программа весит 30Мб, но также требуется установка Ollama + одной или нескольких локальных языковых моделей. Вес моих моделей-примеров - 6...10 Гб.Так что на весь эксперимент требуется минимум 10Гб места.
Скриншот Интерфейса
Основные фичи
- Настройка характера, внешности, стиля речи персонажа
- Аватарка, галерея и png эмотиконы персонажей ("эмотикон" в моей интерпретации это прозрачная кошкодевочка на скрине - примеры не прилагаю, убрать фон с любой картинки легко можно онлайн на разных сайтах)
- Динамическая память персонажей (бета версия)
- Возможность сохранять диалог
- Возможность экспортить диалог в документ
- Возможность работы с английскими моделями и интерфейсом (толком не тестировалась)
- Возможность менять модели на лету в процессе диалога
- Базовая защита от зацикливания и повторных реплик для слабых моделей
- Гибкая настройка параметров модели как в Скайримнет (температура, штрафы и т.д. - подробности в настройках)
- Защита от переполнения контекста и умное кеширование памяти в диалоге
___________________________________________________________________________________________________
УСТАНОВКА
После успешной установки Вы увидите что-то такое:
2) Скачать модель - для этого при запущенной Ollama надо открыть команднуй строчку и выполнить команду - например
ollama pull hf.co/mradermacher/Huihui-Ministral-3-8B-Reasoning-2512-abliterated-GGUF:Q8_0
Мои тестовые модели, которые более всего понравились в работе с русским текстом:
а) HUIHUI MINISTRAL 3 8B REASONING ABLITERATED (рекомендую для NSFW) вес: 9,5 ГБ
ollama pull hf.co/mradermacher/Huihui-Ministral-3-8B-Reasoning-2512-abliterated-GGUF:Q8_0
Более лёгкие варианты этой же модели для более слабых видеокарт (меняется только тег после двоеточия):
:Q3_K_S вес: 4,3 ГБ
:Q2_K вес: 3,8 ГБ
___________________________________________________________________________________________________
б) SAIGA (Llama-3 8B, русскоязычная, умеренная цензура) вес: 8,5 ГБ
ollama pull hf.co/IlyaGusev/saiga_llama3_8b_gguf:Q8_0
___________________________________________________________________________________________________
в) VIKHR-NEMO 12B (Mistral-Nemo, русскоязычный тюн, злая цензура) вес: 7,5 ГБ
ollama pull hf.co/QuantFactory/Vikhr-Nemo-12B-Instruct-R-21-09-24-GGUF:Q4_K_M
___________________________________________________________________________________________________
3) После установки модели проверить ее можно командой Ollama list:
Удаление (пример):
ollama rm hf.co/mradermacher/Huihui-Ministral-3-8B-Reasoning-2512-abliterated-GGUF:Q8_0
ollama rm hf.co/IlyaGusev/saiga_llama3_8b_gguf:Q8_0
ollama rm hf.co/QuantFactory/Vikhr-Nemo-12B-Instruct-R-21-09-24-GGUF:Q4_K_M
___________________________________________________________________________________________________
4) (ОПЦИОНАЛЬНО) В принципе, потестить скачанные модели можно в самом интерфейсе Ollama - там есть раздел чат. В нем можно выбрать модель и общаться с ней как с любой нейронкой. Для тестирования новых моделей - рекомендую именно там их и проверять.
6) Запустить эксе файл (оллама должна уже работать). Дальше программа сама увидит олламу, поймет какие в ней есть модели, и можно приступать к тестам. Возможно, Вам потребуется обновить\установить последнюю версию Python с официального сайта, но по идее - она уже вшита в эксешник.
___________________________________________________________________________________________________
ДОПОЛНИТЕЛЬНО
1) Если кто-то рискнет попробовать это запустить - расскажите пожалуйста о впечатлениях и поделитесь скринами - я не мог провести большое тестирование.
2) Если нужно - выложу проект на гитхаб, но пока мне лень.
3) В программу встроена довольно обширная справка, поэтому детально расписывать где брать модели, как что настраивать и какие настройки за что отвечают - я не буду - там всё есть в разделах FAQ и Помощь.
4) Не бойтесь эксперименировать и скачивать новые модели - иногда это дает потрясающий результат.
5) Если Вы нашли хорошую модель, которая работает лучше моих примеров - поделитесь пожалуйста.
6) Если Вы нашли баг, что-то не работает или идет не так - пишите, будем разбираться.
7) Новые фичи приветствуются
... следующим сисадмином станешь ты