Преди да се появи ChatGPT на OpenAI и да привлече вниманието на света със способността си да създава впечатляващи разказчета, един малък стартъп, наречен Latitude, радва потребителите със своята игра AI Dungeon, която им позволява да използват изкуствен интелект, за да създават фантастични истории, базирани на написаното от тях. Но докато AI Dungeon става по-популярна, главният изпълнителен директор на Latitude Ник Уолтън вижда, че разходите за поддържане на базираната на текст ролева игра започват да растат.
Ситуацията се усложнява, когато Уолтън открива, че търговци на съдържание използват AI Dungeon, за да генерират промоционални текстове – възможност за употреба, която неговият екип никога не е предвиждала, но която добавя разходи към сметката за изкуствен интелект на компанията. В пика през 2021 г. Уолтън изчислява, че Latitude е харчила близо 200 хил. долара месечно за т.нар. генеративен изкуствен интелект на OpenAI и за Amazon Web Services, за да може да отговори на милионите потребителски заявки, които се налага да обработва всеки ден.
Вижте какво разказва ChatGPT, попитан с въпроси за:
- произведението на древногръцкия философ Платон „Държавата“
- или за творбата на китайския военен стратег и философ Сун Дзъ „Изкуството на войната“.
„Шегувахме се, че имаме човешки служители и имаме служители с изкуствен интелект, като сме похарчили приблизително еднакво за всеки от тях“, коментира Уолтън. „Ние харчим стотици хиляди долари на месец за изкуствен интелект , а не сме голям стартъп, така че това е огромна цена“.
До края на 2021 г. Latitude преминава от използването на софтуера на OpenAI към по-евтин, но също способен езиков софтуер, предлаган от стартъпа AI21 Labs, споделя Уолтън, добавяйки, че стартиращата компания е включила и модели с отворен код и безплатни езикови модели в своята услуга, за да намали разходите. Сметките за генеративен изкуствен интелект на Latutide са спаднали до под 100 хил. долара на месец, казва Уолтън, а стартъпът таксува играчите чрез месечен абонамент за по-развитите функции с изкуствен интелект, за да се опита да подобри баланса си.
Скъпите сметки на Latitude за изкуствен интелект подчетават една неприятна истина, която стои зад скорошния бум на технологиите за генеративен изкуствен интелект: разходите за разработване и поддържане на софтуера могат да бъдат изключително високи, както за фирмите, които стоят зад основните технологии (обикновено наричани големи езици или базови модели), така и за тези, които използват изкуствен интелект за захранване на собствения си софтуер.
Високата цена на машинното обучение е неприятна реалност в индустрията, докато рисковите инвеститори се оглеждат за компании, които потенциално биха могли да струват трилиони, а големи играчи като Microsoft, Meta и Google използват значителния си капитал, за да си спечелят лидерство в технология, което по-малките конкуренти не могат да наваксат.
Но ако маржът за приложения с изкуствен интелект е перманентно по-малък от предишните маржове на софтуера като услуга поради високата цена на изчисленията, това може да попари настоящия бум. Високите разходи за обучение и работата на големите езикови модели е структурната цена, която различава случващото се от предишните изчислителни бумове. Дори когато софтуерът е изграден или обучен, той все още изисква огромна изчислителна мощ, за да поддържа големите езикови модели, защото те правят милиарди изчисления всеки път, когато върнат отговор на дадена заявка. За сравнение, обслужването на уеб приложения или страници изисква много по-малко изчисления.
Тези изчисления също така изискват специализиран хардуер. Въпреки че традиционните компютърни процесори могат да управляват модели за машинно обучение, те са бавни. Повечето обучения и отговори на заявки сега се случват на графични процесори (GPU), които първоначално бяха предназначени за 3D игри, но се превърнаха в стандарт за приложенията с изкуствен интелект, защото могат да правят много изчисления едновременно, пише investor.bg.
Nvidia произвежда повечето графични процесори за индустрията с изкуствен интелект, а нейният основен чип за работа в центрове за данни струва 10 хил. долара. Учените, които изграждат тези модели, често се шегуват, че „топят графични процесори“. Анализатори и представители на технологичната индустрия изчисляват, че ключовият процес по обучение на голям езиков модел като GPT-3 на OpenAI може да струва повече от 4 млн. долара. По-развитите модели биха могли да струват повече, споделя Роуън Къран, анализатор във Forrester, фокусиран в изкуствения интелект и машинното обучение. Най-големият модел на Meta – LLaMA, който беше пуснат през февруари 2023 г., ползва 2048 графични процесора A100 на Nvidia за обучение на 1,4 трлн. токена (750 думи са около 1000 токена), което отнема около 21 дни, каза компанията, когато го представи. Нужни са били 1 млн. GPU часа за обучение. При специалните цени на Amazon Web Services това би струвало над 2,4 млн. долара. А при 65 млрд. параметъра, той е по-малък от сегашните GPT модели на OpenAI, като ChatGPT-3, който има 175 млрд. параметъра.
Клемент Деланг, главен изпълнителен директор на стартъпа за изкуствен интелект Hugging Face, коментира, че процесът по обучване на големия езиков модел Bloom на компанията е отнел повече от два месеца и половина и е изисквал достъп до суперкомпютър, който е „нещо като еквивалентa на 500 GPU“. Организациите, които изграждат големи езикови модели, трябва да бъдат внимателни, когато наново обучават софтуера, (което помага да се подобрят неговите способности), тъй като това струва изключително много, казва той. „Важно е да осъзнаем, че тези модели не се обучават през цялото време, всеки ден например“, споделя Деланг, отбелязвайки, че това е причината модели като ChatGPT да нямат информация за последните събития. Познанията на ChatGPT спират до септември 2021 г.
„Всъщност в момента обучаваме втората версия на Bloom, а това ще струва около 10 млн. долара“, твърди Деланг. „Така че това е нещо, което не искаме да правим всяка седмица“.
Кой плаща за отговорите на потребителските заявки?
За да използват обучен модел за машинно обучение, за да правят прогнози или да генерират текст, инженерите залагат на процес на т.нар. „умозаключения“, който може да бъде много по-скъп от обучаването, защото може да се наложи да се изпълнява милиони пъти при популярен продукт.
За услуга, известна колкото ChatGPT, която инвестиционната фирма UBS изчисли, че е достигнала 100 млн. месечно активни потребители през януари 2023 г., Кюрън вярва, че на OpenAI може да ѝ струва 40 млн. долара, за да обработи милионите заявки, въведени от потребителите в софтуера през същия месец. Разходите скачат до небето, когато тези инструменти се ползват милиарди пъти на ден. Финансови анализатори изчисляват, че чатботът Bing AI на Microsoft, който се захранва от модела ChatGPT на OpenAI, се нуждае от инфраструктура за поне 4 млрд. долара, за да отговори на всички потребители на Bing. В случая на Latitude например, макар че стартъпът не е трябвало да плаща, за да обучи езиковия модел на OpenAI, до който има достъп, все пак трябва да отчете разходите си за отговорите на заявки, споделя говорител на компанията.
За да посеят семената на сегашния бум в изкуствения интелект, рисковите инвеститори и технологичните гиганти инвестират милиарди долари в стартиращи компании, които се специализират в технологиите за генеративен изкуствен интелект. Microsoft например вложи цели 10 млрд. долара в OpenAI. Подразделението за рисков капитал на Salesforce – Salesforce Ventures, наскоро създаде фонд за 250 млн. долара, който подкрепя стартъпи за генеративен изкуствен интелект.
Както инвеститорът Семил Шах от компаниите за рисков капитал Haystack и Lightspeed Venture Partners написа в Twitter: „Парите за рисков капитал се пренасочиха от субсидиране на вашите пътувания с такси и доставки на бурито към LLM-и и генеративни изчисления от изкуствен интелект“.
Много предприемачи виждат рискове в разчитането на потенциално субсидирани модели изкуствен интелект, които те не контролират и едва плащат на база потребител. „Когато говоря с приятелите си в сферата на изкуствения интелект по време на стартъп конференции, им казвам това: Не разчитайте само на OpenAI, ChatGPT или други големи езикови модели“, коментира Суман Кануганти, основател на чатбота personal.ai, който сега е в бета версия. „Защото бизнесът се променя, а всички те са собственост на големи технологични компании. Ако те спрат достъпа, сте загубени“.
Компании като фирмата за корпоративни технологии Conversica проучват как могат да използват технологията през облачната услуга Azure на Microsoft при в момента намалената ѝ цена. Въпреки че главният изпълнителен директор на Conversica Джим Каскаде отказва да коментира колко плаща стартъпът, той признава, че субсидираните разходи са добре дошли, тъй като компанията изследва как езиковите моделите могат да се използват ефективно.
„Ако те наистина се опитват да достигнат рентабилност, щяха да таксуват много повече“, казва той.
Как това може да се промени?
Не е ясно дали изчисленията с изкуствен интелект ще останат скъпи с развитието на индустрията. Компаниите, които създават базовите модели, производителите на полупроводници и стартъпите, виждат бизнес възможности в намаляването на цените за работа със софтуер с изкуствен интелект. Nvidia, която държи около 95% от пазара на чипове с изкуствен интелект, продължава да разработва по-мощни версии, предназначени специално за машинно обучение, но подобренията в общата мощност на чиповете в индустрията се забавиха през последните години. И все пак главният изпълнителен директор на Nvidia Йенсен Хуанг вярва, че до 10 години изкуственият интелект ще бъде „милион пъти“ по-ефективен не само заради подобренияра в чиповете, но и заради софтуера и други компютърни части.
www.infoz.bg
