Локальная нейросеть на Windows Server 2003 в домашних условиях

[EgorKuzevanov]

Реально ли в домашних условиях поднять на Windows Server 2003 Standard SP2 VL (x86) без One Core API локальную нейросеть, которая может быть обучена на файлах в любых популярных форматах сегодняшнего дня? Если да, то какой специально предназначенный для этого софт мне для этого нужен?

[.::. Typucm .::.]

Если конфигурация железа внезапно не изменилась, то эту тему можете не рассматривать вовсе. Без видеокарты на 4-8гб в этом деле делать нечего, только интернет-сервисы доступны.

Например, то что интернетовский дипсик делает мне за 10-15 минут за 2-3 захода на 1 тему, локальный его угрызок с 12гб видеопамяти пыжит в разы ощутимо дольше и с бОльшим количеством ошибок.

Аналогичные поиски:
- Можно ли на обычный компьютер Intel i7-10750H 2.60GHz 8,00 ГБ установить нейросеть, в которую загрузить набор своих документов (несколько тысяч страниц в Word и Pdf), чтобы нейросеть отвечала мне, используя данные из этой учебной базы? Другие данные использовать не нужно, даже вредно, нужны ответы именно по загруженным материалам. Но сообразительность и чистота языка от нейросети нужны. Также хотелось бы время от времени пополнять учебную базу.
Что из этого реально? Куда смотреть?
- Почитайте про RAG, GPTs и векторные базы данных. Но вообще конфиг для локальной LLM слишком слабый. Работать-то будет (скажем, ollama), но медленно, очень медленно. (я так понимаю, вывод ответа будет несколько слов или даже знаков в минуту).

Чисто технически - можно попробовать помудохаться с ollama, если её возможно собрать под win2003.
https://github.com/ollama/ollama

[Luntyk]

Есть нейросеть для Windows 98, на XP/Server2003 тоже должна работать. Но её нужно собрать из исходников.
https://github.com/exo-explore/llama98.c