Ako radite u VFX-u i želite podići svoje generativne radne procese sa slikama na viši nivo, ComfyUI je neophodan. Njegov pristup zasnovan na čvorovima, modularnost i snaga koju FLUX dodaje Zbog toga je idealno okruženje za istraživanje svega, od visokokvalitetnog prikaza teksta u obliku slike (text2img) do složenih cjevovoda s obukom za ControlNet, IP-Adapter ili LoRA. ComfyUI za VFX: Objašnjenje instalacije i FLUX tokova rada.
U ovom vodiču ćete, na organizovan način, pronaći sve što vam je potrebno: šta je workflow u ComfyUI-ju, kako ga sačuvati i dijeliti, kako instalirati FLUX korak po korak, koji vam je hardver potreban i jasno objašnjenje najčešće korištenih workflow-ova (Txt2Img, Img2Img, Inpainting, LoRA, ControlNet, NF4, IPAdapter i latentno skaliranje). Također ćete vidjeti alternative poput FP8, NF4 ili GGUF za smanjenje VRAM-a.Resursi za korištenje Fluxa u oblaku i instalacija ComfyUI-ja optimizirana za Windows s praktičnim savjetima.
Šta je tok rada u ComfyUI-ju?
Tok rada je vizuelni prikaz procesa generisanja koji gradite spajanjem čvorova. Možete to zamisliti kao ploču s dijelovima tipa Lego.Svaki čvor obavlja funkciju (učitavanje modela, kodiranje teksta, uzorkovanje, dekodiranje itd.), a veze opisuju put kojim se informacije kreću dok se ne dobije konačna slika.
Ekosistem je ogroman: fotografije, video, audio, pa čak i 3D Oni koegzistiraju zahvaljujući zajednici otvorenog koda. Nedostatak je što postoji krivulja učenja, jer je važno razumjeti šta svaka komponenta radi i kako ih efikasno kombinovati kako bi se izbjegli uska grla ili nedosljedni rezultati.
Za brzi početak, najbolje je pogledati službene i osnovne tokove (text2img i img2img), a zatim prijeći na složenije čvorove. Dokumentacija zajednice i službeni primjeri ComfyUI-ja Često se ažuriraju, tako da je lako nastaviti ili pregledati tokove rada koji se mijenjaju s novim verzijama.
Jedan važan detalj: ComfyUI može ugraditi tijek rada u samu konačnu sliku (PNG) kao metapodatke. Ovo vam omogućava da podijelite samo sliku i preuzmete cijeli grafikon. prevlačenjem nazad na interfejs.
Kako učiti i napredovati s radnim procesima
Moj savjet je da počnete s jednostavnim primjerima objavljenim u resursima wiki tipa i galerijama zajednice. Logičan slijed je: Txt2Img, Img2Img, a zatim ControlNet ili LoRA.Kako budete razumjeli ulaze, izlaze i kako planeri utiču na uzorkovanje, postat će prirodno uključiti vodeće čvorove, maske i dodatne uslove.
Ako želite vidjeti različite topologije, postoje repozitoriji javnih tokova i stranica s reproducibilnim primjerima gdje možete preuzeti slike s metapodacima ili .json datotekama. Dobra je praksa uvesti, pokrenuti kakvo jeste, a zatim iterirati kroz parametre razumjeti utjecaj svakog bloka bez razbijanja cjeline.
Na cloud platformama ćete također pronaći unaprijed konfigurirana okruženja za pokretanje cjevovoda bez suočavanja s lokalnim ovisnostima. Prednost je što prethodno učitavaju teške čvorove i modeleMeđutim, preporučljivo je provjeriti dostupne verzije i VRAM kako biste bili sigurni da rezultati ispunjavaju očekivanja.
Spremanje, uvoz i izvoz radnih procesa u ComfyUI-ju
ComfyUI podržava dvije glavne metode spremanja: slika s metapodacima (PNG) ili JSON datoteka grafa. Prvi je najpogodniji za dijeljenje na forumima; drugi vam daje eksplicitnu kontrolu nad datotekom, što je korisno za verzioniranje.
Za uvoz, jednostavno prevucite PNG ili Json datoteku na interfejs ili koristite prečicu Ctrl (Command) + O. Za izvoz, možete sačuvati generiranu sliku ili koristiti meni Izvoz za JSON.Budite oprezni ako komprimirate ili prenosite slike: neke metode kompresije i određeni kanali uklanjaju metapodatke, što bi moglo uzrokovati gubitak ugrađenog tijeka rada.
Zbog stalne evolucije ComfyUI-ja, Ne rade sve starije JSON datoteke u novijim verzijama.Ako nešto pođe po zlu, otvorite tok, zamijenite zastarjele čvorove ili ponovo instalirajte zavisnosti s njihovim kompatibilnim verzijama; korištenje ComfyUI-Managera znatno ubrzava otkrivanje i rješavanje problema s nedostajućim komponentama.
FLUX u ComfyUI-ju: šta je to i zašto je važno
FLUX.1 je porodica modela kompanije Black Forest Labs fokusirana na visokokvalitetnu konverziju teksta u sliku. Njegova hibridna arhitektura sa približno 12 milijardi parametara Optimizovan je za brzo pridržavanje, rukovanje složenim scenama i generisanje čitljivog teksta unutar slike, zadatak u kojem drugi modeli često pogriješe.
Još jedna prednost: njegova svestranost. Od fotorealizma do umjetničkih stilovaFLUX.1 se ističe svojom vizualnom konzistentnošću i detaljima, uključujući i renderiranje ruku, što je klasična slaba tačka generativne grafike. Nije iznenađujuće da se poredi s rješenjima poput Stable Diffusion ili Midjourney, gdje se ističe po jednostavnosti korištenja i kvaliteti.
Kompaniju Black Forest Labs osnovao je Robin Rombach, ključna figura koja je radila u srži Stability AI-a. Ako želite pogledati iz prve ruke, njegova službena web stranica je na blackforestlabs.ai.
FLUX.1 se distribuira u tri varijante: Pro, Dev i SchnellPro nudi najviši kvalitet za profesionalna okruženja; Dev je dizajniran za nekomercijalnu upotrebu s odličnim balansom; Schnell se fokusira na brzinu i lakoću korištenja, te je otvorenog koda pod Apache 2.0 licencom.
Hardverski zahtjevi prema FLUX verziji
Za FLUX.1 Pro, preporučuje se Grafička kartica tipa NVIDIA RTX 4090 sa 24 GB VRAM-a32 GB RAM-a i brzi SSD. Koristi FP16 kako bi se izbjeglo out-of-boxing (isključivanje iz kutije), a najbolje je koristiti tekstualni koder u FP16 za maksimalni kvalitet.
U FLUX.1 Dev-u, a RTX 3080/3090 sa 16 GB VRAM-a Dobro radi sa 16 GB RAM-a i oko 25 GB prostora na disku. Podržava FP16, pa čak i FP8 u nekim slučajevima, ovisno o vašoj grafičkoj kartici.
Za FLUX.1 Brzo, RTX 3060/4060 sa 12 GB VRAM-a 8 GB RAM-a i 15 GB prostora za pohranu podataka su dovoljni. Dizajniran je za brzinu, žrtvujući dio prostora u performansama u odnosu na Pro/Dev verzije.
Ako vam nedostaje pamćenja, zajednica nudi alternative poput FP8, NF4 ili GGUF-a. Oni znatno smanjuju potrebnu VRAM memoriju., s konfiguracijama od 6 do 12 GB, ovisno o protoku.
Instaliranje FLUX-a na ComfyUI: osnovni koraci
Prije svega, obavezno koristite Najnovija verzija ComfyUI-jaFLUX integracije zahtijevaju čvorove i funkcije koje se često ažuriraju.
Preuzmite tekstualne i CLIP enkodere: clip_l.safetensors i jednu od T5 XXL datoteka, ili t5xxl_fp16.safetensors (ako imate puno VRAM/RAM memorije) ili t5xxl_fp8_e4m3fn.safetensors (ako imate ograničeniji budžet). Stavite ih u mapu ComfyUI/models/clip/. Ako ste koristili SD3 Medium, moguće je da već imate ove datoteke..
VAE: preuzimanje ae.safensors i premjestite ga u ComfyUI/models/vae/. Preimenujte ga u flux_ae.safetensors ako želite da ga lakše pronađete. Ovaj VAE poboljšava konačno dekodiranje i to je ključno za kvalitet.
UNET: birajte između flux1-dev.safetensors ili flux1-schnell.safetensors prema vašem sjećanju i postavite ga u ComfyUI/models/unet/. S ovim imate osnovu za pokretanje FLUX tokova. lokalni.
Praktični vodič za FLUX radne procese u ComfyUI-ju
Txt2Img sa FLUX-om
Počnite s učitavanjem komponenti: UNETLoader, DualCLIPLoader i VAELoaderČvor CLIPTextEncode kodira vaš prompt; EmptyLatentImage kreira početnu latentnu sliku; BasicGuider vodi proces kombinirajući uvjetnu logiku s FLUX-ovim UNET-om.
Odaberite uzorkovač sa KSamplerSelectGenerira šum pomoću RandomNoise-a i definira sigma rampu pomoću BasicScheduler-a. SamplerCustomAdvanced objedinjuje sve: šum, vodič, sampler, sigme i latentne signale. Konačno, VAEDecode pretvara latentni signal u sliku. a pomoću opcije SaveImage spremate rezultat.
Img2Img sa FLUX-om
Cjevovod dodaje početnu sliku: UčitajSliku + RazmjeraSlike Veličina se podešava, a VAEEncode je postavlja na latentno. Upit je kodiran pomoću CLIPTextEncode, a njegova jačina se podešava pomoću FluxGuidance. ModelSamplingFlux kontrolira razmak i dimenzijeKSamplerSelect, RandomNoise i BasicScheduler obrađuju uzorkovanje. SamplerCustomAdvanced spaja uslov sa ulaznim latentnim, a VAEDecode proizvodi izlaz.
LoRA sa FLUX-om
Da biste poboljšali stil ili karakteristike, dodajte LoraLoaderModelOnly zajedno sa UNETLoader, DualCLIPLoader i VAELoader. Nakon kodiranja teksta i primjene FluxGuidance, kreirate latentnu sliku pomoću EmptyLatentImage, definirate uzorkovanje pomoću ModelSamplingFlux i pokrećete SamplerCustomAdvanced. Sa VAEDecode-om dobijate sliku koja je već pod utjecajem LoRA-e.Tipičan primjer: realism_lora.safetensors na flux1-dev.
ControlNet sa FLUX-om
Dva vrlo korisna slučaja za VFX: dubina i lukavi rubovi. Za dubinu, prethodno obradite sa MiDaS-DepthMapPreprocessorUčitajte dubinsku ControlNet funkciju i primijenite je pomoću ApplyFluxControlNet. Koristite XlabsSampler za generiranje uvjetnog latentnog valnog oblika, a zatim VAEDecode generiše sliku.
Za Cannyja, koristite CannyEdgePreprocesor, učitajte Canny ControlNet i ponovite shemu: ApplyFluxControlNet → XlabsSampler → VAEDecode. Ova dodatna kontrola pruža preciznost nad oblikom i kompozicijom..
Utiskivanje FLUX-om
Učitajte UNET, VAE i CLIP i pripremite pozitivne i negativne upute. LoadAndResizeImage prikazuje sliku i maskuPrijelaz je izglađen pomoću ImpactGaussianBlurMask. InpaintModelConditioning kombinira uvjetovanje, sliku i masku. Nakon konfiguriranja samplera, šuma i sigma vrijednosti, SamplerCustomAdvanced rekonstruira maskirano područje. VAEDecode dosljedno integrira zakrpu sa ostalima.
FLUX NF4
Sa NF4 kvantizacijom, memorija se smanjuje. Učitajte komponente sa Kontrolni punjač NF4 i definira visinu/širinu s primitivnim čvorovima. ModelSamplingFlux postavlja parametre; EmptySD3LatentImage kreira latentnu sliku; BasicScheduler i RandomNoise organiziraju uklanjanje šuma. SamplerCustomAdvanced generira latentni signal, a VAEDecode ga prevodi u sliku.Za skaliranje, UltimateSDUpscale, zajedno sa UpscaleModelLoader-om i dodatnim pozitivnim promptom, čini svu razliku.
IP adapter sa FLUX-om
Kada želite uvjetovati pomoću referentne slike, koristite UčitajFluxIPAdpater i PrimijeniFluxIPAdpater zajedno sa clip_vision_l.safetensors. Skalirajte referentnu sliku pomoću ImageScale-a, pripremite prompt-ove i pokrenite XlabsSampler. Sa VAEDecode-om ćete vidjeti izlaz pod utjecajem estetike ili karakteristika sa slike vodiča.
LoRA trener za FLUX
Za direktno treniranje LoRA u ComfyUI-ju, tijek rada uključuje: FluxTrainModelSelect, OptimizerConfig i TrainDatasetGeneralConfigInitFluxLoRATraining se inicijalizira, FluxTrainLoop izvršava korake, a FluxTrainValidate generira periodične validacije.
Sa VisualizeLoss-om pratite gubitak; ImageBatchMulti i ImageConcatFromBatch Oni grupišu validacije; FluxTrainSave sprema kontrolne tačke, a FluxTrainEnd zatvara proces. Ako želite, prenesite rezultat na Hugging Face pomoću UploadToHuggingFace i podijelite ga.
Flux Latent Upscaler
Za detaljno skaliranje, definirajte veličinu pomoću SDXLEmptyLatentSizePicker+ i povezuje LatentUpscale i LatentCrop. Sa maskama kreiranim pomoću SolidMask i FeatherMask, LatentCompositeMasked miješa skalirani latent sa originalom. InjectLatentNoise+ poboljšava detalje prije VAEDecode-aA dorada pomoću ImageSmartSharpen+ dovršava proces. Čvorovi za izračunavanje poput SimpleMath+ pomažu u poravnavanju proporcija.
Alternativne verzije: FP8, NF4 i GGUF za smanjenje VRAM-a
Ako vam nedostaju resursi, imate opcije. Kontrolne tačke FP8 sa Comfy.org i od autora poput Kijaija. omogućava vam korištenje FLUX-a s jednom datotekom u ComfyUI/models/checkpoints/. Preporučuje se preimenovanje ili odvajanje u mape kako bi se razlikovale dev i schnell varijante.
Sa NF4 (bitsandbytes), instalirajte dodatak ComfyUI_bitsandbytes_NF4 i koristiti flux1-dev-bnb-nf4-v2 u modelima/kontrolnim tačkama. Ova verzija poboljšava detalje u poređenju sa prvom iteracijom.
City96-ova GGUF kvantizacija, zajedno s dodatkom ComfyUI-GGUFjoš više snižava ljestvicu: Preuzmite model FLUX GGUF, enkoder t5-v1_1-xxl-encoder-ggufDatoteke `clip_l.safetensors` i `ae.safetensors` treba smjestiti u odgovarajuće mape. Postoje praktični slučajevi korištenja sa 6 GB VRAM-a.
Korištenje FLUX.1 u oblaku i drugim resursima
Ako ne želite ništa instalirati, možete isprobati FLUX u Hugging Face Spaces: FLUX.1-razvoj y FLUX.1-brzina. Takođe u Replikacija, Mystic.ai o fal.ai. Ovo su korisne opcije za validaciju upita i konfiguracija prije preuzimanja lokalnih modela.
Za inspiraciju i gotove radne procese, pogledajte Zvanični primjeri ComfyUI-ja i galerije radnih procesa poput OpenArt. Imajte na umu da mnoge slike sadrže metapodatketako da ih možete prevući u ComfyUI da biste preuzeli grafikon.
Više materijala: kolekcije LoRA za FLUX como RealizamLora ili kompilacije u XLabs-AIControlNet za FLUX kao kolekcija y unija; IP adapter en XLabs-AIZa treniranje LoRA sa niskim VRAM-om, pokušajte fluxgym ili trenera replika iz Ostrisa; Postoji DreamBooth vodič za FLUX.1 developere. u repozitoriju difuzora.
Instalirajte ComfyUI na Windows 11 sa solidnim performansama
Ako želite čistu instalaciju, ovo je provjeren način. Radi odlično sa NVIDIA karticama serije 40/50. i pomaže vam da izbjegnete tipične greške.
1) Instalirajte NVIDIA aplikaciju i Studio drajver sa nvidia.com. Ponovo pokrenite. 2) CUDA Toolkit iz developer.nvidia.com (opciono, ali korisno za izbjegavanje upozorenja s Tritonom ako ne koristite venv). 3) ffmpeg Iz BtbN repozitorija, dodajte C:\ffmpeg\bin u putanju. 4) Git za Windows sa git-scm.com5) Python 3.12 x64 iz python.org, sa py pokretačem za sve korisnike i dodavanjem u varijable okruženja.
5.5) Ako odaberete venv, kreirajte ga sa python -m venv CUVenv i aktivirajte ga pomoću CUVenv\Scripts\activate.bat. Odatle pokrenite sve relevantne pip ili git naredbe unutar venv-a. Vaš skript za pokretanje može aktivirati okruženje i pokrenuti ComfyUI. u jednom potezu.
6) Klonirajte ComfyUI sa git klon https://github.com/comfyanonymous/ComfyUI.git D:\CU7) Idite na D:\CU i pokrenite pip install -r requirements.txt. 8) Ako pip upozori na skripte izvan putanje (Path), dodajte putanju Python skripti u sistemske varijable i ponovo pokrenite sistem. 9) Instalirajte PyTorch CUDA 12.8 Instalirajte torch koristeći `pip install torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128`. Ako nešto ne izgleda kako treba, deinstalirajte torch i ponovo ga instalirajte koristeći istu naredbu.
9 bis) Pokrenite ComfyUI sa python main.py i otvorite 127.0.0.1:8188. 10) Instalirajte Triton za Windows sa pip install -U triton-windows. 11) Ubrzajte pažnju sa Sage Attention 2.2: Preuzmite kompatibilni kotač CU128/Torch2.8 za CP312, instalirajte ga pomoću pip-a i pokrenite ComfyUI sa zastavom –use-sage-attention.
12) Instalirajte ComfyUI-Manager: u ComfyUI/custom_nodes pokrenite git klon https://github.com/ltdrdata/ComfyUI-Manager comfyui-manager13) Napravite boot .bat datoteku sa sljedećim linijama: cd D:\CU i python main.py –use-sage-attention. Prilikom pokretanja, Manageru će trebati malo vremena prvi put.Provjerite da li se kartica Upravitelj pojavljuje u interfejsu.
14) Postavite predloške u odgovarajuće mape (checkpoints, clip, unet, vae) i otvorite svoje tokove. Ako radni tok donosi vlastiti Sage čvor, možete ga izostaviti ako već počinjete sa zastavomSavjeti: Izbjegavajte otvaranje programa koji intenzivno koriste resurse, konfigurirajte virtualnu memoriju sustava Windows ako vam ponestaje memorije i provjerite rasprave o performansama u ComfyUI repozitoriju. Ako dobijete upozorenja o memoriji, razmislite o korištenju FP8 varijante s jednom datotekom.
Ako više volite priručnik koji možete preuzeti, koristan PDF dokument možete pronaći na Ova veza. Neki vodiči su revidirani kako bi se pojednostavila instalacija i predložio VenvKada koristite venv, ne zaboravite uvijek pokretati pip i git unutar okruženja.
Savjeti za korištenje, kompatibilnost i najbolje prakse
Uvezite tokove prevlačenjem PNG-ova s metapodacima ili JSON-om i provjerite verzije čvorova pomoću Managera. Prilikom dijeljenja slika izbjegavajte kompresiju koja briše metapodatke.Ako JSON ne radi u novoj verziji, zamijenite zastarjele čvorove ili instalirajte kompatibilne verzije.
Da bi se radilo s više FLUX LoRA uređaja, postoje izvještaji o visokoj potrošnji energije u nedavnim verzijama ComfyUI-ja; Testirajte GGUF ili određene učitavače Da biste minimizirali VRAM. U ControlNet-u, počnite s depth ili Cannyjem kako biste uspostavili stabilnu platformu za kompoziting.
Prilikom implementacije u oblaku, provjerite VRAM i redove čekanja za izvršavanje. Lokalno, brz SSD i ažurirani drajveri čine svu razliku.Dokumentujte svoj proces po sekcijama: učitavanje modela, kondicioniranje, uzorkovanje, dekodiranje i naknadna obrada. Ovo će olakšati otklanjanje grešaka kada nešto pokvari.
Sa svim gore navedenim, sada možete izgraditi zaista robustan VFX proces pomoću ComfyUI-ja: Razumijete li šta je tok rada i kako ga sačuvati bez gubitka metapodataka?Možete instalirati FLUX i njegove varijante (Dev, Schnell i FP8, NF4, GGUF opcije), znate kako pokrenuti ključne radne procese svakodnevne prakse (Txt2Img, Img2Img, Inpainting, ControlNet, LoRA, IPAdapter i Upscale) i imate optimiziranu Windows instalaciju sa Triton, Sage Attention i ComfyUI-Manager kako biste sistem održali stabilnim i brzim.