Нови формати подготвят документите за ерата на изкуствения интелект
Светът на документите се променя по-бавно от света на изкуствения интелект. Докато моделите стават все по-способни, бизнесът продължава да живее в познати формати – текстови файлове, оформени документи, презентации. Именно тук се появяват нови софтуерни решения, които обещават да направят документите „по-разбираеми“ за машините.
Две от тях вече привличат внимание: инструмент с отворен код, който подготвя документи за работа с изкуствен интелект (Docling*), и нов стандарт, който цели да се превърне в общ език за готови за изкуствен интелект документи (DocLang**). Те идват от среда на големи технологични компании и отворени общности, но реалният въпрос е друг: какво означават за хората, които всеки ден редактират, коригират и странират текстове? И могат ли да облекчат работата на редактори, преводачи и издатели, или остават по-скоро инфраструктура за бъдещи системи?
В продължение на десетилетия форматите за текст и документи са създавани за хора, а не за машини. Те са удобни за четене, печат и визуално оформление, но не и за алгоритми. Един поглед към произволен ръкопис, доклад или книга показва защо: заглавия, подзаглавия, бележки под линия, таблици, включени изображения, различни стилове, сложни структури на абзаци. Човекът лесно различава кое е заглавие, кое е цитат, кое е таблица с данни и кое е бележка на автора.
За една система, обучена да работи с текст, това не е естествено. Тя получава „плоска“ последователност от думи и символи и трябва да „отгатва“ структурата. Това усложнява задачите за резюмиране, проверка на фактите, корекция, извличане на данни. Тук се появяват нови решения, които се опитват да поставят ред между света на оформените документи и света на езиковите модели. Едното е инструмент, който конвертира класически документи в структурирано представяне. Другото – нов, предложен стандарт за това как да изглежда един документ, когато трябва да бъде „смилаем“ за изкуствен интелект.
Подготовка на документите за изкуствения интелект
Първият участник в тази промяна е софтуер, публикуван като проект с отворен код. Неговата задача е по-скромна и по-конкретна: да „извади“ съдържанието от разнообразни документи – текстови, презентации, електронни таблици, уеб страници – и да го превърне в ясно структурирана форма за по-нататъшна обработка. Разработчиците му го позиционират като междинен слой: между „суровия“ файл, създаден за хора, и системите, които анализират или редактират текста. Той разпознава основните елементи на документа – абзаци, заглавия, таблици, раздели, списъци – и ги подрежда в унифицирано вътрешно представяне.
Оттам може да генерира изчистен текст или структурирани данни, подходящи за подаване към модел за изкуствен интелект. Практически това означава следното: ако редактор или издател получи документ, който е хаотичен, с непоследователно форматиране, с вмъкнати елементи и наследени стилове, инструментът може да помогне да се извлече „чист“ текстов слой плюс основната логическа структура. Така нататък системите работят не с „пач от стилове“, а с подреден документ. Това е полезно особено при вход, който идва от най-различни източници: текстове, минали през преводи, конвертирани формати, обединени файлове. Там, където класическите библиотеки за четене на документи или простото „копирай и постави“ оставят каша от знаци, такъв инструмент може да донесе ред.
Втората стъпка в тази посока е по-амбициозна: предложение за общ стандарт, който да опише документи на ниво, подходящо за изкуствен интелект. Идеята му е да бъде не просто конвертор, а „език“, в който всеки документ да може да бъде представен по един и същи начин – независимо дали идва от текстов файл, страници за печат, презентация или електронна таблица. Според участниците в инициативата този формат трябва да съчетава две неща: смисъл и геометрия. Тоест не само „какво казва документът“, но и „как е подреден“. Към това се добавят и метаданни – кой е авторът, какви права има върху текста, може ли съдържанието да се използва за обучение на модели, има ли ограничения по поверителност.
На теория това има логика: ако различни системи работят с един и същ тип представяне, документът се превръща в „общ обект“. Един агент може да го резюмира, друг да проверява фактите, трети да предлага редакторски предложения, четвърти да следи за правата и ограниченията. Реалността към момента е по-скромна. Стандартът е в ранна фаза. Създадена е работна група, спецификацията се развива и се търси консенсус между участващите компании и организации. Технологичната визия е ясна, но масово внедряване още няма.
Реалните ползи и ограничения за редактори и издатели
От гледна точка на редактор, коректор или издател ключовият въпрос не е „колко красиво е измислена спецификацията“, а „какво реално ми спестява като труд“. На първо място, трябва да се подчертае очевидното: нито подобен инструментарий, нито нов формат ще премахнат нуждата от човешка верификация. Най-добрият сценарий е инструментът да подготви текста, а човекът да вземе финалните решения. Реална полза може да има при предварително почистване на текстове преди редакция – премахване на паразитни символи, нормализиране на структурата, разделяне на абзаци и създаване на „чист“ текстов пласт, удобен за автоматична проверка и страниране.
При авторски текстове внедряването на нови формати трябва да се преценява много внимателно. От една страна, автоматизираната обработка може да изчисти груби дефекти, но от друга, всяко преобразуване носи риск от нежелани промени. В практиката много редактори използват възможностите за сравнение в текстовите процесори, за да видят коя дума е заменена и къде е добавен текст. Тази човешка проверка е последната защита срещу редки, но сериозни грешки от страна на софтуера. За издатели и редактори е по-добре да имат прозрачен процес: инструментът да направи своя обработка, да остави ясни следи, а после човекът да види точно промяната.
В дългосрочен план унифицирането на документните представяния има смисъл. Ако един текст минава през няколко системи с изкуствен интелект, по-добре е всички да използват една и съща „карта“ на документа. Това улеснява интеграциите и прави процесите по-прозрачни. За хората, които се занимават с езикова редакция, реалната полза ще дойде тогава, когато се появят стабилни инструменти и доказани работни процеси, които се вписват между автор, редактор и процесите при предпечатната дейност.
Днешните опити за „универсален език за документи“ са сигнал за движение към по-структурирани, машинно четими представяния. Настоящето остава такова – автор пише, човек редактира, човек финализира. Новите решения могат да улеснят част от пътя, но не могат да заменят преценката на човека.
* Docling. Това е безплатен софтуерен инструмент със свободен достъп, създаден от изследователския център на технологичната компания „Интернешънъл Бизнес Машинс“ в Цюрих. Той е предоставен за обществено ползване чрез отворен лиценз от Масачузетския технологичен институт. Целта му е само една: да вземе даден документ в неговия оригинален вид и да го преработи в ясно подредена форма, която компютрите могат лесно да разчетат. Този софтуер не е програма за писане на текст, нито представлява изкуствен интелект сам по себе си. Той служи единствено като подготвителна стъпка – обработва документите и ги привежда в подходящ вид, преди те да бъдат подадени към същинските системи с изкуствен интелект.
** DocLang. Това е нов, свободно достъпен стандарт за създаване и съхранение на документи. Той е предложен и подкрепен от широко обединение на водещи технологични компании и световни фондации, които се занимават с развитието на безплатен софтуер и отворени данни. Основната му цел е да се превърне в универсален език за документите, подобен на невидимия код, който подрежда всяка страница в интернет. Докато традиционните текстови файлове са направени така, че да бъдат четени удобно от хора, този нов формат е изграден изцяло за нуждите на изкуствения интелект. Той запазва не само самите думи, но и тяхното точно разположение на страницата, както и логическата им връзка – кое е заглавие, кое е таблица и кое е списък. Докланг не е софтуерна програма, а предварително договорен начин на записване. Той гарантира, че различните компютърни системи ще разбират документите еднакво, пълноценно и без да губят важна информация.
