Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №125 /llama/
Аноним
27/04/25 Вск 21:17:25
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1171574 (OP)
>>1159889 (OP)
Пропущено 512 постов, 53 с картинками.
Не будут. Это никто не купит. И да, многопроц системы всегда сосали.
>>1184583 (OP)
ПЕРЕКАТ
>>1184583 (OP)
ПЕРЕКАТ
>>1184583 (OP)
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла Gemini 2.5 Flash - https://deepmind.google/technologies/gemini/flash/
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1171574 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1181241 (OP)
Пропущено 1674 постов, 201 с картинками.
Google AI Studio Candidate text empty {сandidates: [ { finishReason: 'OTHER', index: 0 } ]
Google AI Studio Candidate text empty {сandidates: [ { finishReason: 'OTHER', index: 0 } ]
Да что блять происходит - они фильтр обновили что-ли?
Пропущено 14 постов, 8 с картинками.
https://www.udio.com/
Вышла версия 1.5 Allegro, по функционалу то же, что и 1.5, только в два раза быстрее. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая) при условии ежедневного захода на сайт - 100 кредитов даются в месяц, и еще 10 кредитов даются ежедневно. Также можно фармить кредиты, выполняя специальные задания по оцениванию качества рандомных треков, это дает не больше 10 дополнительных кредитов в день. Для большего числа кредитов и более продвинутых фич типа инпэйнтинга или генерации с загруженного аудио нужно платить. Появилась возможность генерировать треки по 2 минуты 11 секунд, не больше 3 длинных треков (по 2 версии на каждый трек) в день на бесплатном тарифе.
♫ Suno ♫
https://app.suno.ai/ генерация на сайте
https://suno.ai/discord генерация на официальном discord-сервере
https://rentry.co/suno_tips советы по использованию
Лимиты: 10 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов
♫ Riffusion ♫
https://www.riffusion.com/
Новинка, по качеству звука на уровне Суно или чуть выше. Пока БЕСПЛАТЕН и безлимитен, но халява скоро закончится. Может в русский, среднее понимание промпта, стили очень общие. Плюс в том, что скорость генерации очень высокая.
https://www.riffusion.com/docs
Инструкция по применению, тегам и прочему на английском.
Локальные модели:
Китайский YuE
https://github.com/multimodal-art-projection/YuE
Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно.
Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промпта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания:
https://sonauto.ai/
https://www.beatoven.ai/
https://stableaudio.com/
https://www.loudly.com/music/ai-music-generator
______________
Напомню мега-сайт для сочинения аутентичных англоязычных текстов для ИИ-музыки в стиле известных групп и артистов от Пинк Флойда до Эминема. Зайти можно только через Дискорд.
https://codyai.cc/
Прошлый тред
>>1042037 (OP)
Пропущено 490 постов, 220 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла Gemini 2.5 Flash - https://deepmind.google/technologies/gemini/flash/
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1171574 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1178620 (OP)
Пропущено 1484 постов, 182 с картинками.
Я теперь знаю, что это скрины тян. Буду фапать на них, представляя как о на там мусолит фасолинку.
Прошлый тред: >>1169524 (OP) https://arhivach.hk/thread/1167237/
Схожие тематические треды
• SD-тред (не аниме): >>1167140 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 540 постов, 236 с картинками.
Накладывает свой отпечаток
https://www.youtube.com/watch?v=8djnfFx_E0Y
>>1180914
Это если решишь сам делать на голых торчах, в большинстве эта фича с первых релизов.
Понял, сяп
А есть ли разница между браузерной и локальной версией трейнера?
Где лучше тренить
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла Gemini 2.5 Flash - https://deepmind.google/technologies/gemini/flash/
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1171574 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1176278 (OP)
Пропущено 1617 постов, 156 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №124 /llama/
Аноним
23/04/25 Срд 16:26:24
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1159889 (OP)
>>1149538 (OP)
Пропущено 492 постов, 63 с картинками.
>Анон выше кинул ссылку с джейлбрейком ломающим любые модели одним промптом.
О, Немотрон новый попробовать надо, а то он никому не нужен для тюнов, а модель вроде умная.
>Зато какую свинью всем подложили эти пидарасы, лишнее внимание к теме
Это да. Белые, бля, хакеры.
Мнения?
1. Hailuo Minimax
https://hailuoai.video/
2. Kling
https://klingai.com/
3. Sora от OpenAi
https://openai.com/sora/
4. Luma Dream Machine
https://lumalabs.ai/
5. Vidu
https://www.vidu.com/create
6. Pixverse
https://app.pixverse.ai/
7. Pika
https://pika.art/try
8. Runway Gen. 3
https://runwayml.com/
9. Wan от Alibaba
https://wan.video/
Сайты, где можно попробовать генерации на разных моделях
https://pollo.ai/
https://www.florafauna.ai/
https://nim.video/
Коллекция ИИ-видео:
https://www.reddit.com/r/aivideo/
Локальные модели
1. Hunyuan от Tencent.
https://hunyuanvideoai.com/
https://github.com/Tencent/HunyuanVideo
2. Wan от Alibaba
https://github.com/Wan-Video/Wan2.1
Локальный UI
https://github.com/comfyanonymous/ComfyUI
Установка локальных моделей
Hunyuan Video: https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/
Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/
Альтернативные ноды ComfyUI
Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper
Wan 2.1: https://github.com/kijai/ComfyUI-WanVideoWrapper
Квантованные чекпоинты
Hunyuan Video (GGUF): https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main
Wan 2.1 (GGUF): https://huggingface.co/city96/Wan2.1-I2V-14B-480P-gguf/tree/main
Wan 2.1 (NF4): https://civitai.com/models/1299436?modelVersionId=1466629
Где брать готовые LoRA
https://civitai.com/models
Hunyuan Video: https://civitai.com/search/models?baseModel=Hunyuan%20Video&sortBy=models_v9
Wan 2.1: https://civitai.com/search/models?baseModel=Wan%20Video&sortBy=models_v9
Обучение LoRA
https://github.com/tdrussell/diffusion-pipe
Предыдущий тред
>>1082918 (OP)
Пропущено 508 постов, 148 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла Gemini 2.5 Flash - https://deepmind.google/technologies/gemini/flash/
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1171574 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1173984 (OP)
Пропущено 1597 постов, 179 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла Gemini 2.5 Flash - https://deepmind.google/technologies/gemini/flash/
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1159889 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1171361 (OP)
Пропущено 1491 постов, 180 с картинками.
Прошлые треды: https://arhivach.hk/?tags=16252
Пропущено 498 постов, 124 с картинками.
Прошлый тред: >>1163459 (OP) https://arhivach.hk/thread/1165822/
Схожие тематические треды
• SD-тред (не аниме): >>1167140 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 544 постов, 176 с картинками.
Одна девочка уже надкусила яблоко, а ее потом из рая выгнали. ПОДУМОЙ
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла Gemini 2.5 Flash - https://deepmind.google/technologies/gemini/flash/
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1159889 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1169032 (OP)
Пропущено 1625 постов, 209 с картинками.
подскажи, пожалуйста как regex сделать, не вижу его на странице
Я студентка матфакультета, специализируюсь на прикладной математике и работаю в data science. В посл
Аноним
# OP
16/04/25 Срд 16:16:03
№
Ответ
Хайп вокруг генеративок не утихает, но архитектуры генеративных моделей имеют пока что не исправимые недостатки. Поэтому я начала смотреть в сторону менее популярных, но, возможно, более значимых в будущем направлений.
Как думаете какие виды искуственного интеллекта смогут заменить превычные нам за эти 4 года трансформеро зависимые llm?
Пропущено 7 постов, 3 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №123 /llama/
Аноним
17/04/25 Чтв 17:13:21
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1149538 (OP)
>>1142778 (OP)
Пропущено 532 постов, 59 с картинками.
>>1171574 (OP)
ПЕРЕКАТ
>>1171574 (OP)
ПЕРЕКАТ
>>1171574 (OP)
Но у аблитерации и так совсем нет цензуры зачем ещё и лоботомировать её?
в таверне есть "имена как стоп строки", оно в промт дописывает стоп строку и на этапе ответа модель сама прерывается ещё на этапе выдачи токенов.
Ну и безжоп есть в мануалах в шапке треда. Качаешь расширение и скрипты, она сделают тебе кРаСиВо.
Аноны, у меня обратная проблема. Выглядит как эта тотчь в точь https://github.com/SillyTavern/SillyTavern/issues/260
Какая настройка может давать такой эффект?
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла Gemini 2.5 Flash - https://deepmind.google/technologies/gemini/flash/
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1159889 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1166946 (OP)
Пропущено 1506 постов, 189 с картинками.
Прошлый тред: >>1152597 (OP) https://arhivach.hk/thread/1164005/
Схожие тематические треды
• SD-тред (не аниме): >>1145307 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 517 постов, 187 с картинками.
>карту мира
Хорош, уважаю, понимает в теме.
>>1169391
Хорошая, но на ночь много пить не стоит. Даже воды
Может уж лучше в гугл колабе генерить на чем хочешь без ваших этих токенов, 2.5 часа в день если не хватает, делаешь второй гугл акк
Аноны, милые, помогите допилить вот эту фейк-апишку https://github.com/mem0ai/grok3-api под глупую т
Аноним
# OP
21/04/25 Пнд 19:00:04
№
Ответ
Я поковырялся, из коробки даже базовые запросы не работают пока что. Я не красноглазик, так что мб мой косяк.
Я хз вообще это может так работать
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1159889 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>>>1164388 (OP)
Пропущено 1590 постов, 169 с картинками.
> Настрой КоТ на основе внешнего рандома (например рандомвордс), чтобы задать нужный уровень рандомности и вписываемости ее в сцену
да это все в теории, может в каких-то форматах где один ход всегда примерно одинаковый. а если темп меняется, и я хочу просто поговорить с чаром в какой-то момент например, то что это будет с этим рандомом сам понимаешь. краз
Да вроде и на 100к норм работала. Я как раз сумарайз делал ужав эти 100к в 8к. И мне кажеться она теперь на этот сумарайз сильно отвлекаеться игноря остальное.