Точно това направих и за моя изненада резултатите се оказаха страхотни. Няма облак, няма API ключове, нищо не напуска компютъра и, а преди да се усетите, това просто ще замени приложенията, за които иначе бихте плащали.

Как всъщност работи локалното AI индексиране

Да позволите на локалния си LLM достъп до вашите файлове не е толкова обезсърчително, колкото звучи.

Предоставянето на достъп на локален изкуствен интелект до вашите файлове може да звучи плашещо, но всъщност е по-просто, отколкото навярно си мислите. Използвах подхода RAG (Retrieval-Augmented Generation). Вместо да прехвърля целия документ в контекстния прозорец на моделите, което е бавно, скъпо откъм токени и бързо достига предела, RAG може да разбие файловете ви на по-малки фрагменти и да ги преобразува във векторни въплъщения, които се съхраняват в локална база данни.

Когато зададете въпрос на изкуствения интелект, системата извлича само най-подходящите части и ги изпраща на модела. Файловете ви никога не отиват никъде навън; моделът прочита само фрагментите, които са му необходими.

Използвах няколко инструмента, за да постигна това. Функцията LocalDocs на GPT4All ви позволява да я насочите към дадена папка и тя автоматично започва да индексира файловете. За всичко по-сложно можете да използвате AnythingLLM, който обработва PDF, Word, TXT и CSV файлове и ви позволява да изграждате отделни работни пространства за различни проекти.

И двата инструмента работят изцяло офлайн, като единственото изискване е моделът (и компютърът) ви да са достатъчно производителни. В крайна сметка използвах 3B квантована версия на LLaMA 3 на Ollama, която е повече от достатъчна за задачите, които имах предвид, но не се притеснявайте да опитате с 8B или 13B модел, ако разполагате с необходимите хардуерни възможности. Управлението на файловете също е един от по-интересните начини за използване на локален LLM с MCP инструменти.

Най-накрая се отказах от приложението си за PDF чат (и то не ми липсва)

По какъв начин моят локален LLM се справя по-добре с разхвърляните документи.

Тези от нас, които ежедневно работят с тонове PDF файлове, са запознати с AskYourPDF. Това е прост инструмент, който ви позволява да качвате документ, да задавате въпроси за него и да получавате резюмета или цитати. Работи добре, но всеки път, когато го използвате с файл, той се изпраща на техните сървъри, а безплатното ниво е добро, но ще ви трябва поне планът Premium за $11,99 на месец, ако планирате да вършите сериозна работа.

Моята замяна? Просто сложете папката си с PDF файлове в LocalDocs на GPT4All, изчакайте процесът на интегриране да приключи и започнете да задавате въпроси. Резултатите не са съвършени, но е отлична възможност за извличане на конкретни данни, обобщаване на раздели или задаване на конкретни въпроси за съдържанието на документа.

За по-сложни запитвания можете да използвате AnythingLLM, където можете да вграждате документите веднъж и да задавате въпроси в различни сесии. Освен това, тъй като няма качване, изчакване на сървър и вземане на решения за това какво ми е позволено да изпращам на сървър на трета страна, работният ми процес се ускори изключително много.

Търсенето на въпроси и отговори в програмата Notion AI вече е отживелица за мен

Задаване на по-сложни въпроси за всичките ви файлове.

Вси месец си плащах абонамента за Notion Plus, но това вече е в миналото. Вече преминах от Notion към AFFiNE, а след като моите локални LLM могат да търсят в бележките ми, функцията за въпроси и отговори на Notion AI – тази, при която задавате въпрос, а тя претърсва цялото ви работно пространство, за да му отговори – е ненужна за мен.

Виждате ли, локалният RAG прави точно това, само че без абонаментна такса. Reor е локално приложение за водене на бележки с отворен код, което използва Ollama под капака и автоматично съединява свързаните бележки с помощта на векторно сходство. Просто го насочих към хранилището си с бележки AFFiNE, които се съхраняват в Markdown формат, и преди да се усетя, имах семантично търсене, автоматично свързване на свързани бележки и вграден чат интерфейс, който ви позволява да задавате въпроси в цялата си база знания. Всичко това се изпълнява локално, всички вписвания се съхраняват на диска и никога нищо никъде не се качва.

Търсенето на файлове стана много по-мощно

Традиционните инструменти за търсене дори не се доближават до локалните LLM.

Използвам три различни приложения за търсене в Windows, за да намирам файлове на компютър, който често може да бъде натоварен през работните дни на седмицата. Ако използвате нещо като X1 Search, приложение за търсене на десктоп за професионални потребители, което индексира локалните файлове, пощата, прикачените файлове и хранилището в облака, така че да можете да третирате компютъра си като свой личен Google, този абонамент ще се окаже съвсем безполезен.

След като имате локален LLM с RAG backend, насочен към основните ви работни папки, този абонамент вече няма смисъл. Можете да вграждате документи, код, бележки и експорти в локално векторно хранилище, да поставите чат интерфейс отгоре и да задавате въпроси на разбираем език. Можете да намирате файлове въз основа на съдържанието в тях и да получавате както отговори, така и пътища до файловете. Разбира се, ще имате много по-хубав потребителски интерфейс с приложения като X1 Search или дори безплатни алтернативи като Fluent Search или Command Palette, но вашият локален LLM ще може да прави много повече от конкуренцията.

Цената на използването на локален AI

Тя не е толкова висока, колкото навярно си мислите.

Освен време и търпение при настройката, не е необходимо да правите никакви разходи. Това важи, ако разполагате с компютър, който може да работи с приличен AI модел. Не ви е необходим и хардуер от най-висок клас, за да стартирате AI модели; ако сте на система от среден клас с 16 GB RAM и графичен процесор с около 6 GB VRAM, един 7B или 13B квантуван модел посредством Ollama, като LLaMA 3, Mistral или Qwen, може да много добре да свърши работата. Ако знаете какво означава TOPS, наличието на компютър с 45 TOPS също помага.

Това, което не се налага да правите, е да плащате месечна такса, да сключвате договор за данни с непозната компания или да се притеснявате какво се случва с файловете ви, след като сте ги качили на чужд сървър. Локалният изкуствен интелект преди време изискваше технически познания и скъп хардуер, но това вече е в миналото. Има тонове приложения, които можете да използвате, за да се възползвате от предимствата на локалния AI на вашата машина, и има задачи, които вашият локален LLM може да изпълнява също толкова добре, колкото и всеки облачен модел.

Спрете да плащате за изкуствен интелект, след като можете да имате локален AI, който да управлявате самостоятелно

Оказва се, че файловете ми са по-умни от приложенията, които ги четат

Нищо от това не е противопоставяне срещу AI или на SaaS. Разбира се, има както чудесни услуги, така и софтуер за AI, като и двата си заслужават абонаментните такси, които събират. Но когато един платен инструмент просто хоства AI модел в облака и чете вашите файлове, има смисъл да възпроизведете тази функционалност на локалната си машина.

AI моделите могат спокойно да работят на вашия хардуер, файловете ви могат да си останат на вашия диск, а тези абонаменти могат да бъдат анулирани. Необходими са само някои дребни стъпки, за да се настроят тези услуги, а за много работни процеси ползите от удобството и поверителността си заслужават усилията.