IT poradna

[pavproch]

AI bude možno mít i lokálně, tfuj, brrrr. Ale dám to sem pro ty, cosateho sfinstva nebojí.....

[abgx1]

AI si vedel mat vzdy lokalne... Akurat na to aby bola pouzitelna, cize dost rychla a inteligentna tak to chce hardware v 5cifernych sumach.


Pre predstavu, u znameho bezi model ktory je inteligentny asi ako chatGPT z pred dvoch rokov, je o nieco pomalsi a HW je:


Xeon Platinum 8592+
320GB ram(model vyuziva okolo 150-180)
8x intel b580 grafika...

Nevraviac o tom ze to zerie cez 2kW energie a huci ako pokazeny vysavac.


Tuto len osekali tak ze pojde aj na 3k€ PC, samozrejme bude o to hlupejsia.

[mattonecz]

no takze k nicemu. ale je to jen otazka casu samozrejme. ale to neni moc v zajmu openai ani anthropicu ktery potrebujou prodavat tokeny

[abgx1]

Neni to k nicomu lebo lokalna AI vykona aj prikazy ktore ti cloudova odmietne, moze ti generovat 24/7, mozes si ju prisposobit k svojmu obrazu atd.


Ale pokial viem tak cez ten HW momentalne nejde vlak. Potrebujes cely model nahrat do rychlej rychlej pamate, cize do Vram grafickej karty... inak to bude priserne pomale, akoze jedno slovo za niekolko minut pomale. Takze naroky na pamat su vpodstate rovnake ci to pouziva jeden clovek alebo tisice.


Preto je vyhodnejsie jeden 200k€ server rozdelit medzi tisice ludi ako to hostovat lokalne.