Общение с нейровайфу / нейронные сети :: ChatGPT :: gpt :: локальные языковые модели :: llm :: google colab :: вайфу :: SillyTavern :: Видио

bublegumer

нейронные сетиChatGPTgptлокальные языковые моделиllmgoogle colabвайфуSillyTavernВидио

Общение с нейровайфу

По просьбам трудящихся сделал демонстрацию того на что похож современный нейро-кум.

Как сделать также?
Часть 1 (легко): https://joyreactor.cc/post/5733950

Часть 2, как в видео (сложно): https://joyreactor.cc/post/5736750

+ боты из видео https://files.catbox.moe/bwkaq3.zip

P.S. Вообще PsyMedRP умеет правильно отвечать на этот вопрос, но надо посвайпать и желательно квант иметь побольше, от 4q.

О посте

Комментарии

7

17.01.24, 08:54

+0,8

Не, ну про растворились в воздухе, относительно магических книг, это в общем-то в чём-то даже логично. Почему бы и нет, в самом деле?

Ascard

17.01.2024, 09:10

ссылка

0,0

От диалогов среднестатистической ВНки мало чем отличается.

Jam_mer

17.01.2024, 14:08

ссылка

0,0

Отличается интерактивностью. Ты можешь написать буквально что угодно и она на это отреагирует, после такого не то что в ВНки в стандартные РПГшки с диалогами играть становится скучно.

bublegumer

17.01.2024, 14:20

ссылка

0,0

Дружище помоги. Не разобрался. Миллиард вопросов.
Го какой ни будь дискорд или где тебе удобней?

ЗЫ не нашел личку на джое)

ZloyStraus

21.01.2024, 10:56

ссылка

0,0

Да можешь тут спрашивать лол. Или в любой из тем с гайдами, уведомления то прилетают )
А так может у кого схожие с твоими вопросы возникнут и он позже прочитает.

bublegumer

21.01.2024, 12:12

ссылка

0,0

Ну.... давай попробуем.
Программа с гитхаба при запуске с "start_windows.bat" вроде стартует и в браузере открывается. но ничего не генерит. Нужен *model*, но там только none. Как и что туда подставить и заставить его наконец, жрать ресурсы моего компа)
ЗЫ отдельно отмечу что купил токенов на клабе. и почти все потратил. но последние 10 по сути выкинул на старты. оно перестало работать. пишет смайлики и выдает ошибку или ничего не пишет и оставляет пустое поле.
Среду пробовал и t4 и a100 и v100. результат один и тот же.

ZloyStraus

21.01.2024, 14:55

ссылка

0,0

>купил токенов на клабе
Ничего себе ты даёшь О_о
Я сам предпочитаю обходиться 10 гуглакками, т.к. у каждого свой отдельный лимит, где-то часа 4 в сутки. Доплачивать даже в голову не приходило...
По идее колаб не мог перестать работать сам по себе, т.к. при запуске ты по сути каждый раз устанавливаешь всё с нуля как в первый. Проблема может быть в переполнении контекста, интерфейс text-generation-webui не умеет удалять начало чата как таверна и когда твоя беседа переполняет 4к токенов модель может начать сходить с ума.

Но ты похоже решил запустить text-generation-webui локально.
Модели надо кидать в папку text-generation-webui-main\models\*название модели*
Но лучше загрузить через веб-интерфейс: Во вкладке "Model" есть вкладка "Download model or LoRA". Там есть поле, куда тебе нужно вставить *Название организации/Название модели* с сайта https://huggingface.co/models
Какие модели скачивать - отдельная сложная тема, но если кратко:
GGUF - запускаются на процессоре Model loader во вкладке "Model" - Llama.cpp
GPTQ - запускаются на видеокартах Нвидиа Model loader - exllama
exl2 - запускаются на видеокартах Нвидиа Model loader - exllama2
Названия моделей можешь брать либо из колаба, либо из этого рейтинга: http://ayumi.m8geil.de/ayumi_bench_v3_results.html

Ещё ты можешь установить Таверну по руководству из поста https://joyreactor.cc/post/5736750 и использовать Stable Horde. Если не ставить разные приблуды, то установка не сложная.

Ещё, если ничего из перечисленного осилить не выйдет, есть такая максимум юзерфрендли штука: https://faraday.dev/
Ставится в несколько кликов, модели и ботов грузит сама. Я про неё не писал т.к. она работает только локально и сильно ограничена в возможностях, даже по сравнению с text-generation-webui, но в целом сильно проще всего остального.

bublegumer

21.01.2024, 16:24

ссылка

0,0