Еще можно использовать как офлайн переводчик или объяснялку без интернета, помощника по учебе и изучения чего либо.
Для профессионалов это вообще оогромная область, от исследования как это работает до разного рода кастомизаций и применений.Доступных LLM OSS* офлайн, которые можно скачать к себе на компьютер, огромное количество, вот некоторыеOSS - Open Source SoftwareOpenAI (создатели ChatGPT)gpt-oss:120b - 61 gb -не потянул мой компуктер, на запустилgpt-oss:20b - 12gb- свой локальный мини чатгпт, мне показалось одна из лучших моделей но я пока мало экспереминтировалQwen3 (Alibaba, китайский амазон у которого свои облака типа aws и тд)qwen3-coder:30b - 18gb -в рейтингах лучшая для офлайн кодинга на 23 ноября 2025 годаqwen3:32b - 20gb -более универсальнаяGemma3 (Google, локальная версия gemini)gemma3:27b - 17gb -лучшая модель из иностранных для русского языкаНадо много памяти!
Гигабайты означают не только место на диске, а еще место в оперативной памяти, напримеру меня MacBook Pro M1 Max 2021 с 64GB, но он не сможет тянуть gpt-oss:120b, запустить удалось, так как памяти хватает, но эффективность нулевая, все залагало и работать с этим невозможн, так как нужна же память еще для самой системы, для фоновых процессов для разных операций и тд, это даже не впритык а overмного.Нат текущий день есть две популярные тулы для экспериментов с LLM* офлайн, этоLLM - large language model1️⃣Ollama(от бывших инженеров докер и гитхаб),начиналась как терминальная тула (CLI), сейчас есть UI близкий к chatgpt - Рекомендую программистам. Каталог моделейhttps://ollama.com/library/установить chatgpt например просто командой и потом в UI Ollama можно общаться с привычными папками и создание окон чата или в терминале
ollama run gpt-oss:20b2️⃣LM Studioсразу начиналась как UI user friendly тула для работы с LLM офлайн,Рекомендую НЕ программистам,которые просто хотят использовать как ChatGPT (просто для общения с моделью), модели можно скачать через UI.Если просто пообщатьсято просто ставите любой инструмент Ollama/LM Studio и там в UI можно выбрать любую модельку которая вам понравится и подходит по ресурсам вашего компьютераусловно gemma3:1b (1ГБ)заработает на большинстве современных компьютеров без проблем (но сильно будет заметна разница по умности с облачными, скорее подойдет чисто для тестов),а вот gpt-oss:20b будет супер уже, но надо чтобы у вас было либо в оперативке либо в видеокарте 20gb, реально локальный офлайн чатгпт (июня 2024 года).Для кодингаМожно либо генерировать код прям в LM Studio/Ollama, либо перейти в IDE, например VSCode и в окне огента выбрать Manage Models, там выбрать провайдера Ollama и там уже будут доступны модели которые вы скачали, и можно как обычно работать в агентском моде.Есть и другие способы запуска, в том числе через Claude (подробнее тут)Только для кодинга в настройках Ollama/LM Studio надо увеличить контекстное окно, по дефолту в обоих 4k, для кодинга лучше выкрутить на максимум до 256kСвою идеальную модель для кодинга, общения или чего то другогоможно найти только экспериментируя) возможно сайтОбнимающее Лицоhttps://huggingface.co, в этом может помочь, это как гитхаб для ИИ-моделей, датасетов и других инструментов.
—Офлайн заметно слабее своих облачных собратьев, плюс очень требователен к железу(затоможно погреться зимой от компьютера, а то с облачным стоит тихонечко себе).🔥- Поставь огонек если это полезно и если нужнонаписать еще пост как можно использовать офлайн ИИ ассистента в повседневных задачах)#ai|@andreyposnov