Как да накараме LLM да вършат работа: уроците на Луис Серано

Луис Серано представя чрез видеоразбор практичния профил на големите езикови модели (large language models – LLM) и обяснява къде са надеждни, къде грешат и как да намалим халюцинациите с добри инструкции, извличане на факти и софтуерни агенти. Фокусът е върху реалната употреба: от резюмиране и структуриране на информация до рисковете, когато моделът „звучи“ убедително, но не проверява истинност.

Ключова теза на Луис Серано е LLM следват инструкции отлично, но не „знаят“ истина по подразбиране. Те предсказват следващата дума според вероятностите, а не проверяват факти от база данни, затова човешки контрол и надеждни източници остават критично важни. Във всекидневни задачи – резюме, извличане на ключови точки, преформатиране – това „говорене по инструкции“ работи изненадващо добре. При открито създаване „от нулата“ рискът от халюцинации расте.

„Знаем, че големите езикови модели халюцинират. Те говорят уверено дори когато не са сигурни и това убеждава слушателя. Моделът не пази лична база знания, до която да сверява твърденията – той просто прогнозира следващата дума в контекст. Затова не бива да очакваме истинност по подразбиране“ – казва Луис Серано. 

Инструкциите (preamble) и ясните критерии за качество са половината решение. Когато опишем задачата прецизно – вход, изход, формат, ограничения, аудитория, тон, примери и нежелани грешки – намаляваме вероятността моделът да „пълни“ текста с уверени, но неточни твърдения. Този подход работи особено добре за „служебни“ задачи – разчистване на текст, нормализация на термини, пренареждане по шаблон. „Изненадващо за мнозина е, че халюцинациите са естествен резултат от начина на обучение. Моделът предсказва, не проверява. Дай му лош или непълен контекст – ще получиш убедителни, но погрешни изречения и изводи. Когато добавим ясни инструкции и критерии за проверка, качеството се подобрява осезаемо“.

Силни и слаби страни: защо шегите са трудни, а поезията – възможна?

Серано обяснява, че дълго се е чудил защо моделите се провалят в шегите, но се справят с поезията, докато не чува ключова идея от Джефри Хинтън по време на панел. „Смешната история е, че именно Джефри Хинтън го спомена на една панелна дискусия – и това най-сетне отговори на въпроса ми.“ След това Серано преминава към разграничението между разпознаване и създаване: когато задачата е рамкирана (като „множествен избор“), моделът разпознава и подрежда вероятни варианти, но при свободно творчество („есе“) рискът от халюцинации и плоски решения нараства. „Шегите са трудни за моделите. Остроумието и културните алюзии рядко се подреждат като шаблон в данните. Поезията обаче позволява имитация на ритъм, метрика и звучене. Когато опишеш жанра, дължината на стиха и примери за стил, моделът често постига убедителен резултат“. Остроумието в шегите изисква нов, неочакван обрат и културен контекст, които не се извличат лесно статистически. В този смисъл идеята на Хинтън служи като рамка за мислене: LLM-ите са силни, когато задачата е добре структурирана и контекстуализирана, и по-слаби, когато се търси оригинална изненада.

Шегите са трудни за LLM. Остроумието изисква неочакван обрат, културен контекст и „чувство за тайминг“, които не се извличат лесно статистически. Когато моделът опитва да „измисли смешка“, често получаваме плоска или предвидима игра на думи. Обратно, поезията се поддава на имитация: ако зададем жанр, ритъм, метрика или стил на подражание, моделът може да създаде приличен текст, защото следва структурни и звукови шаблони.

„Помислете за тестовете: множественият избор изисква разпознаване, а есето – създаване. Моделите са по-силни, когато задачата е да разпознаят и подредят, отколкото когато трябва да измислят изцяло нова идея и да я обосноват. Това не означава, че не могат да пишат – означава, че им трябва по-добра рамка и примери“  – обобщава Луис Серано. Разликата „разпознаване срещу създаване“ обяснява много. Серано сравнява LLM с изпити: задачите с избираем отговор проверяват разпознаване на правилния вариант, докато есето изисква създаване на идея и нейното развитие. Моделите се справят по-добре там, където има варианти и рамка (разпознаване, подреждане, дописване), отколкото при напълно свободно творчество.

Как да намалим халюцинациите: инструкции, RAG и агенти

Извличане на факти в контекста (Retrieval-Augmented Generation – RAG) сваля риска. Вместо моделът да „изобретява“ отговори, подаваме му свежи, надеждни източници – документи, бази, репозитории – и му казваме да стъпва само на тях. Така „говоренето“ се превръща в аргументирано резюмиране, цитиране и синтез. В резултат намаляваме халюцинациите и повишаваме проследимостта на фактите.

„Най-добрите резултати идват, когато му дадем добър контекст – не просто инструкция, а и релевантни документи. Retrieval-Augmented Generation означава да вкараме проверена информация в прозореца на модела. Тогава отговорите стават по-полезни, а грешките – по-малко“.

Софтуерните агенти добавят проверка и разпадане на задачата. Агентът разписва стъпки: планиране → събиране на факти → чернова → проверка → финализиране. Всяка стъпка може да бъде валидирана от инструмент – търсене, код, таблица, проверка за противоречия. Това превръща модела от „красноречив говорител“ в оркестратор на процес, който събира и валидира междинни резултати. „Агентите са следващата крачка – казва Луис Серано. – Раздели задачата на подзадачи, използвай инструменти за проверка и събирай междинните резултати. Сам по себе си моделът може да е посредствен програмист, но като оркестратор на инструменти често е изненадващо ефективен. Така намаляваме празното говорене и натрупваме проверени факти“.

Практически съвети:

1) Дефинирайте цел, формат, забрани, тон, критерии;

2) Настройте процеса по извличане на факти в контекста (RAG) към надеждни източници;

3) Изградете агентни работни потоци с междинни проверки;

4) Въвеждайте човешки контрол при обобщения, преводи и правни/медицински теми;

5) Дръжте история на решенията (логове) за проследимост.

Резултатът е по-малко халюцинации, по-добра консистентност и реална бизнес полза.