GPU hosting a AI inference v SAE: Výkon, data, licence a smlouvy se zákazníky

Čtyři provozní modely pokrývají většinu GPU hostingových společností a každý z nich přenáší na společnost jinou kombinaci rizika spojeného s aktivy a rizika spojeného s daty.

Vlastnictví GPU a prodej rezervovaného výpočetního výkonu nebo výkonu na vyžádání vkládá do rozvahy velké aktivum. Věřitelé a pronajímatelé se zeptají, jaké smlouvy podporují vytížení. Leasing hardwaru a další prodej vyhrazené kapacity přesouvá riziko aktiva na pronajímatele, ale společnost zůstává zavázána k leasingovým splátkám bez ohledu na to, zda zákazníci přijdou. Hostování hardwaru ve vlastnictví zákazníka ve spravovaném zařízení je nejblíže službě kolokace: karty vlastní zákazník, vy poskytujete prostor, napájení, chlazení a vzdálenou asistenci. Prodej spravované inference znamená, že společnost si ponechává hardware a prodává výsledek, například obsloužené tokeny nebo hostované modely.

Skupina často začíná prvním modelem a později přidá čtvrtý. Tím se mění to, co společnost dělá se zákaznickými daty, a zaslouží si to samostatné posouzení smluv, bezpečnostních závazků a pojištění, nikoli tiché doplnění do existujícího přehledu služeb.

Na umístění hardwaru záleží stejně jako na tom, kdo jej vlastní. Společnost, která si pronajímá rackový prostor v datovém centru třetí strany, závisí na přídělu energie tohoto zařízení a plán poskytovatele GPU cloudu a výpočetního výkonu pro AI by měl uvádět zařízení, smluvní příkon a dobu trvání. Kdo plánuje vlastní haly, měl by si nejprve přečíst průvodce o společnosti provozující datové centrum pro AI, protože výstavba je jiný projekt než hostování.

Spolkový dekret-zákon č. 45 z roku 2021 nabyl účinnosti 2. ledna 2022. Vztahuje se na zpracování osobních údajů elektronickými systémy, zcela nebo zčásti, uvnitř SAE i mimo ni. Zakazuje zpracování bez souhlasu vlastníka údajů s výhradou výjimek, přiznává osobám právo na opravu a na omezení nebo zastavení zpracování a stanoví požadavky na přeshraniční předávání a sdílení. Datový úřad SAE, zřízený podle Spolkového dekretu-zákona č. 44 z roku 2021, je federálním regulátorem údajů.

U podnikání založeného na samotné kapacitě data zákazníka obvykle zůstávají uvnitř jeho vlastního prostředí a povinnosti hostitele se týkají hlavně bezpečnosti a přístupu. U inferenční služby se situace mění. Zákazníci odesílají prompty, které mohou obsahovat informace o zaměstnancích, pacientech nebo klientech, a služba část z nich ukládá nebo zaznamenává. Hostitel pak obvykle jedná jako zpracovatel. Podle článku 8 zákona zpracovatel pracuje podle pokynů správce, vymaže data po skončení doby zpracování nebo při předání a vede záznam o tom, co zpracovává, který musí na požádání poskytnout regulátorovi. Podle článku 9 informuje správce o porušení zabezpečení, jakmile se o něm dozví. Smlouva musí uvádět, kdo rozhoduje o účelu zpracování, jak dlouho se uchovávají záznamy, zda jsou prompty využívány k čemukoli jinému a kde se servery nacházejí. Zákazník v regulovaném odvětví na vás tytéž otázky přenese dál.

Free zones mohou změnit, jaké právo se uplatní. Federální zákon se nevztahuje na společnosti a podniky ve free zones, které mají vlastní právní úpravu ochrany osobních údajů. Vládní stránka o ochraně údajů uvádí mezi souvisejícími zákony Data Protection Law Dubai International Financial Centre, DIFC Law No. 5 of 2020. Pokud jsou vaši zákazníci ve finančním centru, očekávejte, že se budou ptát, jak do něj vaše služba zapadá.

Zveřejněná působnost TDRA zahrnuje udělování licencí poskytovatelům služeb vytvářejících důvěru a kvalifikovaným poskytovatelům služeb vytvářejících důvěru, vydávání bezdrátových povolení a registraci a schvalování telekomunikačního zařízení, včetně registrace výrobců a dodavatelů telekomunikačního zařízení a vydávání povolení k celnímu propuštění telekomunikačních zařízení. Na svých veřejných stránkách TDRA prezentuje svůj vlastní cloud jako službu pro federální subjekty. Pro soukromé poskytovatele cloudu nabízí její stránka Cloud Service Provider dobrovolný informační formulář podávaný přes přihlášení UAE Pass, nikoli licenci.

Zbývá tedy otázka, kterou by zakladatel měl vyřešit písemně, a nikoli předpokládat. Dotýká se nějaká část produktu toho, co TDRA licencuje, například síťového zařízení, které dovážíte, nebo služby, která přenáší provoz pro jiné? Služba TDRA pro registraci zařízení je omezena na společnosti registrované jako dodavatelé telekomunikačního zařízení a třídí zařízení do tří úrovní rizika. Čistá výpočetní služba prodávaná přes stávající operátory zjevně pod nic z toho nespadá, ale odpověď závisí na skutečné architektuře. Požádejte TDRA nebo svého poradce, aby pro váš návrh potvrdili, a odpověď uschovejte pro svou banku a pojistitele.

Servery s pokročilými akcelerátory přicházejí přes dodavatele, kteří mohou stanovit podmínky týkající se konečného použití a toho, kdo si kapacitu smí pronajmout. Některé z těchto podmínek pocházejí od výrobce nebo distributora a některé z právních předpisů země, z níž hardware odešel. Hostitel ve UAE, který pronajímá kapacitu dalším osobám, může zjistit, že je povinen tyto podmínky předat dál.

Praktickým úkolem je přečíst si dodavatelskou smlouvu dříve, než podepíšete smlouvy se zákazníky. Pokud dodavatel omezuje koncové uživatele nebo lokality, zabudujte do vlastních podmínek krok prověřování zákazníků a právo na ukončení smlouvy. Prodat kapacitu, kterou možná nesmíte danému zákazníkovi poskytnout, je horší výsledek než zákazníka hned na začátku odmítnout.

Stejná logika prověřování pomáhá i v případě zneužití. Hostitel, který nedokáže říci, co jeho zákazníci provozují, je ve špatné pozici, pokud se ukáže, že určitá úloha je protiprávní.

Rezervovaná kapacita, ceny on-demand a ceny ve stylu spot každá přesouvají riziko jinak. Rezervované smlouvy vám dávají jistotu příjmů a ukládají vám povinnost dodat karty, které jste slíbili. Ceny on-demand nechávají karty nevyužité, když nikdo nenakupuje. Pokud prodáte závazný počet GPU dříve, než je zásilka odbavena, jste vystaveni zpoždění a smlouva by měla stanovit, co dlužíte, pokud zařízení dorazí pozdě.

Úrovně služeb musí odpovídat realitě. Slíbená dostupnost je jen tak dobrá, jako napájení a chlazení, které za ní stojí. Kredity za výpadek by měly být omezeny stropem a navázány na smlouvu o provozovně, abyste neplatili víc, než dokážete získat zpět.

Koncentrace zákazníků je obchodní riziko, které se nejčastěji přehlíží. Jeden velký odběratel, který odebírá většinu kapacity, činí společnost závislou na jediném obnovení. Věřitelé a investoři se na to zeptají a vaše prognóza by měla ukázat, co se stane, pokud tento zákazník odejde.

Banky budou chtít jasný obraz toků: kam směřují platby za hardware, kdo jsou zákazníci, v jakých zemích sídlí a jak se peníze vracejí. Hostingová společnost s velkými nákupy zařízení ze zahraničí a příjmy od mnoha zahraničních zákazníků bude čelit podrobným otázkám. Připravte dodavatelské smlouvy, smlouvu o provozovně, cenový model a politiku přijímání zákazníků jako jeden balík. Jak Velarozone funguje spočívá v sestavení tohoto balíku kolem provozního modelu dříve, než je vybrána entita, aby příběh pro banku, investora i pronajímatele byl tentýž.

Co se týče volby entity, svobodná zóna i pevninská varianty mohou tuto činnost hostit. Volba může změnit, jaké právo na ochranu údajů se uplatní, protože federální zákon vylučuje společnosti ve free zones, jejichž zóna má vlastní právní úpravu osobních údajů. Průvodce free zone versus mainland pokrývá srovnání a správná odpověď vychází z vašeho zařízení a vašich zákazníků.