Лучшие онлайн (оффлайн) модели LLM, которые вы можете попробовать прямо сейчас

Благодаря увеличению доступности мощных моделей LLM на таких платформах, как HuggingFace, а также развитию доступных систем искусственного интеллекта, таких как H2O, Text Gen и GPT4All, теперь вы можете загружать и запускать модели LLM прямо на своем компьютере. Это означает, что вам больше не нужно подключение к Интернету для гибкого и безопасного доступа к возможностям ИИ. Если вы хотите опробовать ИИ локально, вот девять лучших офлайн-моделей LLM, которые вы можете попробовать прямо сейчас, чтобы получить выгоду от скорости и безопасности обработки, а также от защиты от просмотра вашей информации различными поставщиками.

1. Гермес 2 Про GPTQ

Hermes 2 Pro — это усовершенствованная языковая модель, доработанная Nous Research. Он использует обновленную, чистую версию набора данных OpenHermes 2.5, а также недавно представленный набор данных для вызова функций и режима JSON, разработанный внутри компании. Эта модель основана на архитектуре Mistral 7B и обучена на 1000000 4 XNUMX инструкций/чате с качеством GPT-XNUMX или выше, что в основном представляет собой синтетические данные.

Hermes 2 Pro на Mistral 7B — это новая флагманская модель Hermes 7B, которая обеспечивает улучшенную производительность в различных тестах, включая AGIEval, BigBench Reasoning, GPT4All и TruthfulQA. Его расширенные возможности делают его подходящим для широкого спектра задач обработки естественного языка (NLP), таких как генерация кода, создание контента и разработка приложений для чата с искусственным интеллектом.

Скачать: Hermes 2 Pro GPTQ через Обнимая лицо

2. Зефир 7Б Бета

Zephyr — это серия языковых моделей, предназначенных для работы в качестве полезных помощников. Zephyr-7B-Beta — вторая модель в серии, которая была доработана на основе Mistral-7B-v0.1 с использованием оптимизации прямых предпочтений (DPO) на основе общедоступных синтетических наборов данных.

Удалив встроенное выравнивание наборов обучающих данных, Zephyr-7B-Beta демонстрирует улучшенную производительность в таких тестах, как MT-Bench, что повышает его полезность в различных задачах. Однако эта модификация может создать проблемный текст при запросе определенными способами.

Скачать: Zephyr 7B Beta через Обнимая лицо

3. Сокол инструктирует GPTQ

Эта квантовая версия Falcon основана на архитектуре только декодера более высокого разрешения сырой модели Falcon-7b от TII. Базовая модель Falcon была обучена с использованием 1.5 триллионов токенов, полученных через общедоступный Интернет. Falcon Instruct — модель декодирования только инструкций, лицензированная по лицензии Apache 2, и идеально подходит для малых предприятий, которым нужна модель для языкового перевода и ввода данных.

Однако эта версия Falcon не идеальна для тонкой настройки и предназначена только для вывода. Если вы хотите точно настроить Falcon, вам придется использовать необработанную модель, для чего может потребоваться доступ к обучающему оборудованию корпоративного уровня, такому как NVIDIA DGX или ускорители искусственного интеллекта AMD Instinct.

Скачать: Falcon-7B-Instruct через Обнимая лицо

4. GPT4ALL-J Отличный

GPT4All-J Groovy — это модель только для декодера, настроенная Nomic AI и лицензируемая под Apache 2.0. GPT4ALL-J Groovy основан на исходной модели GPT-J, которая, как известно, отлично генерирует текст из подсказок. GPT4ALL -J Groovy настроен как шаблон чата, который отлично подходит для приложений быстрого и творческого создания текста. Это делает GPT4All-J Groovy идеальным для создателей контента, который помогает им в написании и творчестве, будь то поэзия, музыка или рассказы.

К сожалению, базовая модель GPT-J была обучена только на английском наборе данных, а это означает, что даже эта точно настроенная модель GPT4ALL-J может общаться и генерировать текст только на английском языке.

Скачать: GPT4ALL-J Groovy через Обнимая лицо

5. Инструкция по DeepSeek Coder V2

DeepSeek Coder V2 — это усовершенствованная языковая модель, расширяющая возможности программирования и математических рассуждений. Он поддерживает широкий спектр языков программирования и обеспечивает расширенную длину контекста, что делает его универсальным инструментом для разработчиков.

По сравнению со своим предшественником, DeepSeek Coder V2 демонстрирует значительный прогресс в задачах, связанных с программированием, рассуждениями и общими возможностями. Он расширяет поддержку языков программирования с 86 до 338 и увеличивает длину контекста с 16 КБ до 128 КБ символов. В эталонных оценках он превосходит такие модели, как ГПТ-4 Турбо و Клод 3 Опус И Gemini 1.5 Pro в тестах по программированию и математике.

Скачать: Инструкция по DeepSeek Coder V2 через Обнимая лицо

6. Микстрал-8х7Б

Mixtral-8x7B — это редкая модель Mix of Expert (MoE), разработанная Mistral AI. В нем участвуют восемь экспертов для каждого MLP с общим числом 45 миллиардов параметров. Однако во время вывода для каждого кода активируются только два эксперта, что делает его вычислительно эффективным и сопоставимым по скорости и стоимости с плотной моделью из 12 миллиардов параметров.

Mixtral поддерживает длину контекста в 32 тыс. токенов и превосходит Llama 2 70B в большинстве тестов, достигая производительности GPT-3.5 или превосходя ее. Он владеет несколькими языками, включая английский, французский, немецкий, испанский и итальянский, что делает его универсальным выбором для различных задач обработки естественного языка.

Скачать: Mixtral-8x7B через Обнимая лицо

7. Волшебница Викунья без цензуры-GPTQ

Wizard-Vicuna GPTQ — это квантованная версия Wizard-Vicuna, основанная на лама. В отличие от большинства моделей LLM, выпущенных для широкой публики, Wizard-Vicuna представляет собой неконтролируемую модель с удаленным контролем. Это означает, что данная модель не соответствует тем же стандартам безопасности и этики, что и большинство моделей.

Хотя это может создать проблему при управлении ИИ, наличие неконтролируемой модели LLM также раскрывает лучшие стороны модели, позволяя ей отвечать без каких-либо ограничений. Это также позволяет пользователям добавлять собственные настройки того, как ИИ будет действовать или реагировать на конкретную подсказку.

Скачать: Wizard-Vicuna-30B-Uncensored-GPTQ через Обнимая лицо

8. Орка Мини-GPTQ

Вы хотите познакомиться с моделью, обученной уникальному методу обучения? Orca Mini — это неофициальная модель реализации Microsoft Orca Research Papers. Он был обучен с использованием метода обучения «учитель-ученик», при котором набор данных был полон объяснений, а не просто подсказок и ответов. Теоретически такая настройка должна привести к тому, что ученик станет более умным, поскольку модель сможет понять проблему, а не просто искать пары ввода-вывода, как это делают типичные модели LLM.

Имея всего три миллиарда параметров, Orca Mini GPTQ легко запустить даже на менее мощных системах. Однако эту форму не следует использовать в каких-либо профессиональных целях, поскольку она генерирует ложную информацию, а также предвзятые и оскорбительные ответы. Эту модель следует использовать для изучения и экспериментирования с косаткой и ее способами.

Скачать: Orca Mini-GPTQ через Обнимая лицо

9. Лама 2 13B Чат GPTQ

Llama 2 является преемником оригинальной Llama LLM, предлагая улучшенную производительность и универсальность. Вариант 13B Chat GPTQ идеально настроен для приложений искусственного интеллекта, предназначенных для диалога на английском языке, оптимизированного для разговора.

Llama 2 предназначен для коммерческого и исследовательского использования. Условия лицензии позволяют компаниям с числом пользователей менее 700 миллионов использовать его без дополнительной платы. Эта модель идеально подходит для организаций, которым требуется мощное решение для чат-ботов, не требующее небольшого дополнительного обучения.

Скачать: Llama 2 13B Chat GPTQ через Обнимая лицо

Некоторые из вышеперечисленных моделей имеют несколько версий по параметрам. В целом версии с более высокими параметрами дают лучшие результаты, но требуют более мощного оборудования, тогда как версии с более низкими параметрами дают результаты более низкого качества, но могут работать на менее мощном оборудовании. Если вы не уверены, что ваш компьютер сможет запустить данную модель, сначала попробуйте версию с наименьшими параметрами, а затем продолжайте до тех пор, пока не почувствуете, что падение производительности уже недопустимо. Теперь вы можете просмотреть Стоит ли использовать местную модель LLM? Преимущества, недостатки и лучшие практики.