AI asistent, ktorý príležitostne odpovedá na otázky zákazníkov, má iné potreby než služba spracúvajúca požiadavky celý deň. Správna voľba začína pri úlohe, očakávanom dopyte a tom, kto sa bude o technológiu starať – nie pri najväčšom GPU.
GPU je výkonný čip používaný na vykonávanie mnohých úloh AI. Model AI je softvér, ktorý tieto úlohy vykonáva. API je rozhranie, ktoré umožňuje vašej aplikácii využívať službu AI bez toho, aby ste samotný model prevádzkovali.
Čo si vlastne vyberáte?
Pri spravovanom AI API získate prístup k službe pripravenej na použitie. Pri zdieľaných alebo dedikovaných GPU si prenajímate výpočtovú kapacitu a možno budete musieť sami spravovať softvér AI.
Služba API môže fungovať na zdieľanom alebo dedikovanom hardvéri. Kľúčové otázky znejú, kto službu prevádzkuje a akú kapacitu vaša záťaž vyžaduje.
Obrázok 1. Dve odlišné rozhodnutia: služba AI, ktorú používate, a kapacita GPU, ktorá sa za ňou nachádza.
Tri spôsoby, ako začať
Možnosť 1: Používajte AI ako službu
Spravované API umožňuje vášmu tímu pripojiť aplikáciu k podporovanému modelu. Poskytovateľ model prevádzkuje; vy zodpovedáte za aplikáciu, prístupové oprávnenia a overenie, či sú jej odpovede dostatočne kvalitné.
To môže vyhovovať nepredvídateľnému alebo nerovnomernému dopytu. Pred záväzkom si overte limity používania, časy odozvy počas špičky a to, čo sa stane, keď poskytovateľ zmení model. Zistite tiež, kam požiadavky smerujú, kto k nim má prístup a ako dlho sa údaje uchovávajú.
Možnosť 2: Zdieľajte kapacitu GPU
Zdieľané služby GPU môžu prideľovať zdroje rôznymi spôsobmi vrátane rozdelenia hardvéru alebo zdieľania času. Tieto prístupy ponúkajú rôznu úroveň izolácie a predvídateľnosti výkonu. Opýtajte sa poskytovateľa, aké zdroje sú pridelené vašej záťaži a ako môžu ostatní používatelia ovplyvniť výkon.
Zdieľanie môže fungovať rôznymi spôsobmi. Niektoré služby poskytujú hardvérovo oddelenú časť, iné zdieľajú čas spracovania. Tieto možnosti neposkytujú rovnakú úroveň ochrany ani výkonu. Dokumentácia spoločnosti NVIDIA tieto prístupy rozlišuje.
Opýtajte sa, koľko pamäte a výpočtovej kapacity získate, či môžu ostatní zákazníci ovplyvniť vašu prácu a kto udržiava softvér AI. Samotné označenie „zdieľané“ vám odpoveď neposkytne.
Možnosť 3: Vyhraďte GPU pre svoj tím
Dedikované GPU vyhradzuje celý čip pre vašu prácu, hoci nie nevyhnutne celý server. Oplatí sa o ňom uvažovať pri stabilnom dopyte, väčších modeloch alebo aplikáciách, ktoré potrebujú špeciálne nakonfigurované prostredie AI.
Stále budete potrebovať niekoho, kto nainštaluje, aktualizuje, monitoruje a obnoví softvér, pokiaľ tieto služby nie sú zahrnuté. Dedikované GPU automaticky neznamená vyššiu rýchlosť, lepšie zabezpečenie ani súlad s právnymi predpismi. Otestujte kompletnú službu vrátane toho, čo sa stane pri zlyhaní.
Porovnanie možností na prvý pohľad
Pri nižšie uvedených možnostiach GPU predpokladajte, že váš tím prevádzkuje softvér AI, pokiaľ si nekúpite samostatnú spravovanú službu.
Overte, čo úloha skutočne potrebuje
Začnite užitočnými odpoveďami, nie technickými špecifikáciami. Vyskúšajte skutočné úlohy a rozhodnite, aká kvalita je prijateľná, ako dlho môžu ľudia čakať a koľko ľudí môže službu používať naraz.
Dôležitá je aj pamäť. Model, ktorý sa zmestí na GPU pri jednej krátkej požiadavke, môže potrebovať viac pamäte pri dlhých dokumentoch alebo viacerých súčasných používateľoch. Požiadajte svoj technický tím alebo poskytovateľa o kontrolu celej záťaže.
Načasovanie mení rozhodnutie. Nočné spracovanie môže čakať v rade; zákazník čakajúci na okamžitú odpoveď zvyčajne nie. Testujte obdobia špičky aj pokojnou ukážku.
Úprava alebo trénovanie modelu môže vyžadovať iné zdroje než jeho samotné používanie. Pred prenájmom kapacity na tento účel si overte realizovateľnosť, kompatibilitu softvéru a licencie modelu.
Porovnajte celkové náklady
Porovnávajte možnosti, ktoré prinášajú podobne užitočné výsledky. Lacnejší systém nie je úsporou, ak zamestnanci musia opravovať jeho odpovede alebo zákazníci odchádzajú, pretože je pomalý.
Pozerajte sa ďalej než na cenu v titulku:
- API: poplatky za používanie, prípadné nástroje alebo doplnkové služby, opakované požiadavky a práca na vytvorení a údržbe vašej aplikácie.
- GPU: prenajatá kapacita, podporné výpočtové zdroje a úložisko, sieťové poplatky, údržba softvéru a čas zamestnancov – vrátane záložnej kapacity, ak je potrebná.
Zvážte, koľko kapacity zostáva nevyužitej. Stabilná záťaž môže odôvodniť rezervované GPU; príležitostné špičky nemusia. Neexistuje jediná úroveň prevádzky, pri ktorej sa dedikovaný hardvér stane lacnejším pre každú organizáciu.
Tri príklady z každodennej praxe
Ide o ilustračné situácie, nie o príbehy zákazníkov ani prisľúbené výsledky.
1. Asistent pre zákaznícku podporu s nepredvídateľným dopytom. Začnite vyhodnotením API, ak dostupný model poskytuje kvalitné odpovede a spĺňa vaše požiadavky na údaje. Overte, či zvládne obdobia špičky bez dlhého čakania.
2. Triedenie dokumentov každú noc. Malá, predvídateľná úloha používa model vhodný pre vaše podnikanie a môže počkať do rána. Zdieľaná kapacita GPU môže vyhovovať za predpokladu, že má dostatok pamäte a dokončí spracovanie načas.
3. Služba AI používaná počas celého dňa. Váš vlastný model spracúva stabilný prúd požiadaviek a používatelia očakávajú rýchle odpovede. Otestujte dedikovanú kapacitu, ale pred záväzkom potvrďte zlepšenie aj prevádzkové náklady.
Obrázok 2. Ide o východiskové body pre skúšobnú prevádzku, nie pevné pravidlá. Požiadavky na údaje a zodpovednosti za softvér sú dôležité v každom prípade.
Päť otázok pred výberom
Čo musí AI robiť dobre?
Definujte užitočné výsledky a prijateľné časy čakania.
Aká bude vyťaženosť?
Zahrňte špičky, pokojné obdobia a situácie, keď príde viac používateľov naraz.
Kto sa bude starať o prevádzku?
Dohodnite zodpovednosť za aktualizácie, bezpečnosť, monitorovanie a obnovu.
Kam poputujú údaje?
Overte spracovanie, protokoly, úložisko, uchovávanie a poskytovateľov zálohovania. Samotný prístupový bod v EÚ nedokazuje, že každá časť služby zostáva v EÚ; skontrolujte aj zmluvy.
Čo ukáže realistická skúšobná prevádzka?
Porovnajte kvalitu odpovedí, časy čakania a celkové náklady na dokončenie úlohy.
Prediskutujte svoju záťaž AI so spoločnosťou CloudSigma
Platforma CloudSigma opisuje GPU passthrough – priamy prístup virtuálneho počítača ku GPU – a GPU slices. Konfiguráciu a spôsob zdieľania slice je potrebné potvrdiť pre vybrané nasadenie. Dostupné možnosti závisia od lokality, hardvéru a podmienok služby. Pred výberom si potvrďte, kto prevádzkuje softvér AI.
CloudSigma AI Mission Control je samostatná vrstva prístupu a dohľadu pre podporované spravované služby AI a vybrané priame pripojenia k poskytovateľom. CloudSigma AI Mission Control poskytuje vrstvu prístupu a dohľadu pre podporované spravované služby AI a vybrané priame pripojenia k poskytovateľom. Podporuje pravidlá riadiace prístup k modelom, dodávateľom a regiónom a sleduje používanie podľa projektov. Pripojenie GPU kapacity vlastnenej zákazníkom je samostatný proces asistovaného onboardingu s architektonickou, modelovo-obslužnou, bezpečnostnou a prevádzkovou kontrolou – nejde o automatické samoobslužné nastavenie.
Ste pripravení vyhodnotiť možnosti nasadenia AI? Spojte sa so spoločnosťou CloudSigma a porozprávajte sa o svojej záťaži, očakávanom dopyte, požiadavkách na model a potrebách týkajúcich sa umiestnenia údajov. Spoločne môžete identifikovať vhodné možnosti a dohodnúť ďalšie kroky vyhodnotenia.
Comments
No comments yet. Be the first.