А есть что-то уровня Claude Opus 4.7? У меня друг интересуется))
нет )
Будешь уровня Пентагона то и Клод Опус 4.7 станет локальным
Kimi 2.6 1T, но есть нюанс
>Running the 1-trillion parameter Kimi K2.6 locally requires massive hardware due to its sheer scale. Total memory (VRAM + RAM) of at least 250GB to 600GB+ is necessary, alongside up to 610GB of disk space, depending on the quantization level.
уважаемо
уважаемо
Ну в принципе самое дорогостоящее тут 250 vram можно смело в 10 млн уложится если сильно заморочится, то и в 7-8 не такие уж и большие деньги
Максимум же 24 вроде бывает
Есть уже и на 80 и даже 110, но это профессиональные под ИИ. китайские умельцы 4090 допилили до 48 гигов, ну и в серверной сборке на 2-4 процессора можно зараз впихнуть 8-16 видеокарт. Охлаждать и питать все это заебешься но вцелом если денег дохуя то можно собрать сервак с 512 ядрами цпу, 1760 врам, 8 тб рам, ну и ssd в рейд сколько потребуется.Уместится это все в 4U сервер, жрать электричество как не в себя ну и им можно будет отапливать небольшой дом
нужно ещё не забывать про качество и скорость генерации, как только приблизится даже близко к тому что продают крупные компании счет за електричество привысит стоимость токенов в несколько раз. (крупные компании максимально оптимизуруют производительность и предположительно на сегодня продают токены себе в минус или в ноль.)
Говорят щас локальные ллмки получше стали
Можно Кэпа?
когда юзаешь ИИ но лимит кончается на пол дороги ...

Совсем неотличима от человека. Также гостит заказчика в дедлайн)
Нейронка тебе даёт за твою денюжку не просто возможность генерировать сколько влезет кода по твоим запросам на условный месяц, а возможность генерировать столько на сколько у тебя хватит выделенных тебе токенов. Во второй половине видоса токены закончились (на текущий 5 часовой интервал) и chatGPT отбирает у школьника возможность вайб кодить дальше.
Теперь понятно, спасибо.
Cloud показал что будет в ближайшее время, нейронка будет делать задачи быстро но дорого. И цена будет только расти пока не улучшится ситуация с рынком энергии и комплектующих
Чтобы написать коммент, необходимо залогиниться