приватный и домашний AI
Apr. 22nd, 2024 11:35 amAI модель Llama 3 Instruct 8B (выпущена Meta) легко устанавливается на компьютер с виндой, достаточно оперативной памяти в 8GB. После чего можно хоть отключить Интернет, и общаться с ней приватным образом, чтоб о ваших запросах никто не знал. Бесплатно. Более того, можно дозагрузить в нее ваши собственные документы и файлы с жесткого диска, и она будет учитывать сведения из них.
Инструкция:
1) Устанавливаете на винду GPT4All, это оболочка и интерфейс общения с моделями (чатбот). Своих мозгов у него нет. Есть под винду и мак.
2) Запускаете GPT4ALL. Выбираете из доступных для загрузки моделей Llama 3 Instruct 8B ("Discover and Download Models")
3) Файл весит 4.34 Gb, поэтому идете размяться/перекусить, пока он грузится (это самая длинная часть процесса установки).
4) После окончания загрузки идете в пункт "Choose a Model" и подключаете "Llama 3 Instruct".
5) Дальше чатитесь внизу как обычно. Интернет можно выключить.
Результаты будут точно такие же, как при обращении к той же модели Llama 3 Instruct 8B через серверы Grok или чатбот Фейсбука. Только медленнее отвечает, конечно.
Если хотите загрузить в модель собственные документы: Settings-> LocalDocs -> создать Collection. Для загрузки локальных документов понадобится поставить еще небольшую модель Bert. (Часть с собственным набором документов я не опробовал, ничего сказать не могу).
(использована инструкция Jeremy Nguyen).
Инструкция:
1) Устанавливаете на винду GPT4All, это оболочка и интерфейс общения с моделями (чатбот). Своих мозгов у него нет. Есть под винду и мак.
2) Запускаете GPT4ALL. Выбираете из доступных для загрузки моделей Llama 3 Instruct 8B ("Discover and Download Models")
3) Файл весит 4.34 Gb, поэтому идете размяться/перекусить, пока он грузится (это самая длинная часть процесса установки).
4) После окончания загрузки идете в пункт "Choose a Model" и подключаете "Llama 3 Instruct".
5) Дальше чатитесь внизу как обычно. Интернет можно выключить.
Результаты будут точно такие же, как при обращении к той же модели Llama 3 Instruct 8B через серверы Grok или чатбот Фейсбука. Только медленнее отвечает, конечно.
Если хотите загрузить в модель собственные документы: Settings-> LocalDocs -> создать Collection. Для загрузки локальных документов понадобится поставить еще небольшую модель Bert. (Часть с собственным набором документов я не опробовал, ничего сказать не могу).
(использована инструкция Jeremy Nguyen).