Freelance 3D [UPDATE]

By 28/09/2015Actualités, Blog

Suite à un thread lancé par lancé par Zules sur le forum, je crois qu’il est grand temps que je mette à jour mon précédent article Freelance 3D qui avait pour but de répondre aux questions qu’on me pose la plupart du temps sur le materiel et l’organisation d’une activité de freelance 3D.

Pour reprendre les choses dans le meme ordre et aussi y ajouté quelques nouveautés voici les thèmes abordés : workstation / renderfarm / stockage / backup / gestion.

Workstation 3D

Je persiste et signe : impossible de faire de beau rendus avec un pc de m%*¨#! En tant que freelance/artiste/étudiant/amateur, la première chose à considérer c’est un pc suffisamment puissant pour travailler efficacement. Pas moyen de faire de concession la-dessus, avoir une machine qui tiens la route c’est juste le minimum syndical. Evidemment ca reste un investissement financier et quand on débute c’est pas franchement évident mais pour le coup avoir un pc qui rame rendra vos journées insupportable et bridera considérablement votre progression ainsi que la qualité de vos rendus.

Mis à part l’update materiel, avec les nouveautés sorties depuis mon précédent article, le seule chose qui change vraiment sur cette config c’est le travail sur un RAID plutôt qu’un HDD simple. La raison est toute bête: les performances pour un investissement très faible. D’ailleurs si vous travaillez en ce moment sur un disque simple vous pouvez simplement upgradez votre config en achetant un nouveau HDD identique à l’actuel et configurer votre RAID. Pour vraiment bénéficier d’un gain de perf faites attention de bien utiliser un RAID Hardware (vérifiez votre carte mère) plutôt qu’un RAID Software géré par Windows ou autres softs du genre. Utilisez de préférence un RAID 0 et pensez à faire des sauvegardes constantes (en temps réel ou toutes les X minutes) parce qu’un RAID reste fragile et quand ca casse ben… y’a plus rien ^^

J’ai fait la config chez Materiel.net et je me suis servi de CPU Benchmark et GPU Benchmark pour choisir. En gros i7 et un kit de RAM en DDR4 avec une carte mère qui facilitera l’overclock, une carte graphique polyvalente et un classique SDD pour le système et RAID  (2x2To soit 4To en RAID0) pour bosser à l’aise sur des prods gourmandes. Vous pouvez aussi rajoutez un HDD pour stocker votre bibliothèque d’assets en interne.

Produits Quantité Prix TTC
  Intel Core i7 5930K 1 639,95 €
  MSI X99S SLI PLUS 1 249,95 €
  Corsair Vengeance LPX Black DDR4 4 x 8 Go 2133 MHz CAS 13 1 268,99 €
  Samsung Serie 850 Pro – 256 Go 1 149,89 €
  Western Digital WD Red Pro – 2 To 2 316,58 €
  Fractal Design Define R5 Black 1 109,90 €
  Corsair CS850M Series Modulaire – 850W 1 149,99 €
  Thermalright MACHO Rev.B 1 52,99 €
  Asus GeForce GTX 970 STRIX OC – 4 Go 1 409,99 €
  Total TTC – hors montage & livraison 2348,23 €
  Total HT 1878.58 €

Moins: changez les disques de votre RAID (ou carrément passez sur un HDD simple genre Caviar Black) – passez à 16Go de RAM – changez le CPU.
Plus: changez le proc pour un i7 5960X – passez à 64Go de RAM – prenez une Quadro et surtout pensez à ajuster votre alimentation en fonction.

Pour répondre ce qui est d’une station portable perso je suis contre. Les perfs ne seraient pas au rendez-vous et pour le prix je préfère investir dans les nodes, ca ne correspond pas non plus à mon mode de travail. Ma connexion internet le permets, mais j’ai préféré prendre un MacBook Pro 13′ et bosser avec TeamViewer les nuits de charrette directement sur ma station. Après si vous avez de vrais déplacement à effectuer mon conseil resterait le même: prenez un Mac, installez Windows dessus et faites en sorte d’avoir une vrai config réseau pour pouvoir lancer vos rendus à distance et pas flinguer votre portable.

J’en profite d’ailleurs pour remercier Stéphane de Nvidia qui a eu la gentillesse de me faire parvenir une Quadro K6000 pour remplacer ma GTX 690 et franchement, moi qui était un peu sceptique à la Quadro je dois reconnaitre que c’est le jour et la nuit! Les perfs dans le viewport de 3dsMax sont juste hallucinante, dans AE et PS aussi d’ailleurs, et ca m’a aussi et surtout permis d’aller au bout d’une prod pour GE Healthcare avec l’agence Ledouze, la 690 arrivant à peine à bouger dans cette scène un poil gourmande ^^

Pensez également à un onduleur pour protéger votre station. Un guide onduleur pour vous aider à choisir, perso j’ai ca pour ma station.

RenderFarm

Passons maintenant aux choses sérieuses, la renderfarm! Franchement quand on débute le premier truc qu’on a hate de faire c’est monter un petit cluster pour calculer en réseau 🙂 Eh ben non seulement c’est pas compliqué à mettre en place mais en plus les configs sont franchement pas cher vu qu’on mets juste ce qu’il faut dedans. D’ailleurs vous pouvez commencez avec une seule, ca peux suffire. Il y a quelques années j’avais deux stations quasi identiques, ca me permettait de lancer les rendus en meme temps que je continuais de bosser tranquille, franchement c’est pas du luxe! Une bonne config de RN ca peux se résumer à un CPU efficace et pas cher avec de la ram et un ssd et basta! Voici une config proche de mes nodes, certaines pièces n’étant plus dispo, à ajuster selon votre budget. Au cas je précise qu’une version K est indispensable pour overclocker votre CPU et qu’avec les cartes mères actuelles un bouton à activer sur la carte et ca fait tout tout seul 😉

  Produits Quantité Prix TTC
  Intel Core i7 4790K 1 369,95 €
  MSI H81M-P33 1 47,99 €
  Crucial Ballistix Sport DDR3 2 x 8 Go 1600 MHz CAS9 1 93,95 €
  Kingston SSDNow V300 – 60 Go 1 49,49 €
  Corsair CX430 Bronze – 430W 1 52,99 €
  Thermalright MACHO 120 Rev.A 1 42,95 €
  Fractal Design Core 1300 1 55,99 €
  Total TTC – hors montage & livraison 1 713,31 €
  Total HT 1 570,48 €

Et pour mettre tout ce beau monde en réseau pensez à prendre un switch Gigabit Ethernet capable d’encaisser tout le trafic réseau que ca va engendrer (par exemple) ainsi que des cables (au moins Cat 5E) et n’oubliez pas de protéger vos petits avec une prise parafoudre. D’ailleurs pensez aussi à tester vos débits sur vos machines/disques pour vous assurer que votre réseau est performant, par exemple avec Lan Speed Test.

Le monitoring est aussi une partie importante dans une renderfarm. Vous devez vous assurer du bon fonctionnement de vos machines ainsi que des températures CPU pendant les rendus. Refamo est une solution pratique mais, meme si je m’en sers depuis des années, je dois reconnaitre que le soft est aussi merveilleux qu’instable voire carrément pleins de bugs. Le support est inexistant et les updates pas forcément bénéfiques… perso j’ai pas trouver mieux donc j’arrive pas à m’en passer mais si vous avez autre chose je suis preneur 😀

Pour ce qui est de faire un setup avec/complet sur un cluster de serveurs en ligne, avec par exemple AWS, Google Compute, et autres providers d’instances cloud je prépare depuis plusieurs mois un article complet sur le sujet avec un retour d’experience sur une bonne partie des providers ainsi qu’un ‘truc’ assez énorme sur le sujet!

Stockage & Orchestration

Deux écoles la, le NAS ou le PC pas cher. Chacun a ses avantages et inconvénients, ca dépends premièrement de l’utilisation que vous allez en faire. Faites en sorte d’isoler votre station des rendus pour ne pas qu’elle soit sollicité par vos nodes. Un PC permets de faire ca facilement et comme ca il fait aussi l’orchestration avec Backburner et ca vous permets d’ajouter/enlever votre station des cycles de calcul sans embêter vos nodes. Ca permets aussi de totalement isoler vos machines, cad que si une node ou votre station plante, les rendus continuent sans problème puisque les dossiers partagés et l’orchestration sont fait par une machine qui ne lancera pas de rendu et aura donc beaucoup moins de chances de planter.

L’autre intérêt d’utiliser un PC c’est le rendu à distance. Admettons que vous soyez en déplacement sur votre portable ou une station qu’on vous prete mais que vous souhaitiez pouvoir utiliser vos nodes pour lancer vos rendus. Rien de plus simple, synchroniser vos dossiers de travail avec BTSync par exemple (d’autres solutions plus bas) et lancez vos rendus directement depuis 3dsMax avec Submit Network Rendering en pointant sur l’ip de votre Box internet. Une simple redirection de ports (NAT/PAT) et voila! La ou c’est plus compliqué c’est avec le DR de VRay, vous devez spécifier un port différent par node sur votre routeur pour que chaque machine soit accessible depuis l’exterieur. L’autre point clé c’est la vitesse de votre connexion et nous ne sommes pas tous logé à la meme enseigne. Bon allez ok! J’me la pète un peu la, surtout que j’ai pareil à la maison et au bureau ^^

speedtest

Après ca veux pas forcément dire que les disques doivent etre dans cette machine d’orchestration. Ca peux aussi etre un vieux pc/portable/netbook, un NUC ou un NAS qui supporte la virtualisation et qui ne fait que backburner et un NAS qui gérera de son côté les disques partagés et encaissera le trafic réseau. D’ailleurs un Win Pro ne peux partager que 20 accès simultané sur un dossier réseau donc c’est aussi à anticiper selon le nombre de machine qui composeront votre renderfarm.

  Produits Quantité Prix TTC
  Intel Core i3 6100 1 127,99 €
  MSI B150M PRO-DH 1 79,99 €
  Crucial Ballistix Sport DDR4 2 x 4 Go 2400 MHz CAS 16 1 64,90 €
  Corsair CX430M Bronze Modulaire – 430W 1 57,95 €
  Fractal Design Define Mini – Noir 1 109,99 €
  Sandisk SSD Plus – 120 Go 1 60,89 €
  Total TTC – hors montage & livraison 501,70 €
  Total HT 401,36 €

Reste à choisir vos disques durs, il y a plusieurs stratégies à choisir selon votre utilisation. Si vous voulez faire du backup choisissez un HDD qui consomme peu, WD Green par exemple, il sera moins rapide qu’un disque standard mais consommera moins d’électricité et si votre PC reste allumé 24/7 sur l’année ca fear une réel différence. Pour ce qui est des disques de travail si vous utilisez un RAID préférez les WD Red Pro. En plus d’un firmware différent des modèles standard de la gamme Red, les versions Pro tournent à 7200 tours alors que les standards plafonnent à 5400. Si vous ne souhaitez pas faire de RAID et pensez travailler dessus privilégiez des disques rapides, WD Black ou RE ou meme des SSD. Et pour terminer sur le sujet un peu de lecture sur le blog de BackBlaze qui vous aidera surement à sélectionner un modèle.

Si vous souhaitez uniquement un partage de donnée robuste choisissez un NAS. Le NAS en question ce sera (évidemment?) un Synology avec un modèle performant avec une connexion réseau double, ne prenez surtout pas un premier prix mêmes avec de bon HDD les débits ne seraient pas au rendez-vous. Les deux ports réseaux permettent de faire une connexion Bond avec ou sans switch compatible Link Aggregator  et multiple la vitesse de la carte réseau en faisant du load balancing entre les deux cartes. L’autre chose à anticiper avec ces bestiaux c’est le nombre de disque dont vous aurez besoins dans le temps, il faut qu’il soit compatible avec les boitiers d’expansion de la marque. Deux modèles qui respectent tout ces points: DS715 et DS215+. Certains concurrents proposent des modèles qui permettent de faire de la virtualisation et donc d’installer une machine virtuel avec un Windows dessus et qui vous permets de faire tourner votre logiciel d’orchestration sans investir dans un PC annexe. Ceci dit ca doit etre gourmand niveau conso CPU et les perfs IO de vos HDD risquent de prendre un coup… a tester!

Enfin, pour optimiser tout ca, un petit script qui vous permettra de monter vos disques automatiquement à chaque démarrage. En fait quand vous montez des disques partagés sur Windows ils restent en cache pour le prochain démarrage. Quand la node redémarre elle utilisera alors les paramètres en cache pour se connecter mais de temps en temps les disques seront montés mais annoncé comme inaccessible par Windows. Le plus simple c’est donc de faire tourner ce petit .bat au démarrage de session comme ca vous etes sur que tout se passera bien à chaque démarrage 🙂 Evidemment à adapter:

@echo off
 set delay=10
 ping localhost -n %delay%
 net use Z: "\\Serveur\Dossier\"

Enregistrez ce fichier avec une extension .bat et ajoutez le à votre dossier de démarrage Windows (C:\Users\USERNAME\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup) ou créez une tache planifié pour le lancer à chaque démarrage de session.

Backup

Logiquement la sauvegarde doit etre une partie très importante de votre configuration. Il en faut deux et à jour constamment, le premier c’est le backup on-site: une copie en temps réel de vos données de travail. Si vous avez suivi mes conseils de config hardware, vous travaillez normalement sur des disques internes qui se dupliquent sur un PC/NAS pour que votre renderfarm puisse accéder aux donnés sans etre dépendant de votre WorkStation. Vous pouvez utiliser plusieurs solutions comme BTSync, BackupPc, Syncback, Syncthing, Cobian Backup ou Cloud Station si vous avez un Syno (attention à la taille des fichiers).

Pour le backup off-site cela dépends de la quantité de donnée et de votre vitesse réseau mais préférez une solution privé. Pensez à choisir un logiciel de synchro compatible avec on et off site. BTSync est vraiment bien parce qu’il détecte une machine sur votre réseau local pour accélérer les débits en fonction et reste compatible avec plein d’OS.  Par exemple un Syno à la maison qui se synchronise avec celui de votre bureau, un PC vers un serveur dédié, etc. Ce qui est sur c’est qu’il faut automatiser la chose pour que le backup soit fait sans que vous ayez à y penser. Et faites une tentative de récupération de fichiers pour vous assurer que votre solution de backup fonctionne parfaitement 😉

L’autre solution est un provider de cloud public. Par exemple Hubic qui propose un compte 10To à 50€ par an, Amazon propose une version illimité mais pas de logiciel de synchro natif. Vous pouvez d’ailleurs cumuler les comptes sur un meme pc en utilisant l’application NetDrive qui vous permets de monter votre espace de sauvegarde en disque réseau et de faire la synchro avec votre propre solution logicielle. Au passage mon compte Hubic est deja à 12,5To du coup j’ai plus d’invit mais n’hésitez pas à laisser des liens dans les commentaires pour parrainer vos confrères.

Gestion

C’est au moins aussi important que vos donnés de travail, la compta! Nettement moins glamour qu’un rig de 20To mais simplement indispensable vous devez utiliser un service de facturation qui vous aide à gérer facilement vos devis/factures.

Deja exit le document excel que vous recherchez péniblement à chaque facture… il existe des dizaines de services en ligne plus ou moins cher qui vous aide à gérer ca de manière intelligente. Avec l’envoie de mail automatisé, la gestion des retards de paiements etc. J’en ai testé plein avant de tomber en adoration de MaTPE, qui existe aussi en version auto-entrepreneur, et… MDA! C’est (heureusement) plus mon cas depuis quelques années mais ceux qui y sont comprendront, la paperasse et cette chère maison des artistes c’est quelque chose…

Et ce qui est pratique avec MaTPE et MonAE c’est que l’outil est constamment mis à jour et vous guide quand de nouvelle lois sortent pour vous éviter de faire de la m… Vous pouvez aussi synchroniser votre compte avec Google Drive et donc avoir un accès direct depuis votre explorateur a tout vos devis, factures etc.

 

Voila pour cette version à jour, j’espère sincèrement que ca vous aidera a faire des choix sur votre infra. N’hésitez pas à partagez votre setup et si vous avez besoin de conseils sur vos configs lancez un sujet sur le forum, ce sera avec plaisir 🙂

Illustration: Joey Camacho

Join the discussion 16 Comments

  • Zules dit :

    Merci pour ce bel article Matt !

  • Gaetan dit :

    Merci Matt, l’article m’avais déjà servi à ajuster mes décisions sur l’achat de ma workstation et de mes renderfarms, cette mise à jour est très intéressante.

  • Matt dit :

    Merci messieurs 🙂

  • Aumont Tanguy dit :

    Merci encore pour cet article,
    de très bonnes base pour commencer.
    Par contre il y a un point très (voir le +) important sur lequel tu ne donnes aucunes d’explications:
    lorsque tu dis : »C’est (heureusement) plus mon cas depuis quelques années » en parlant de la MDA.
    C’est à mon avis un point très important que personne (à ce que j’ai pu voir) ne creuse, aussi barbant soit il.
    Plus de la moitié des jeunes entrepreneurs se plantent car personnes ne leur ouvre les yeux sur ce point.
    Pourquoi à tes yeux est il préférable de ne plus être à la maison des artistes? Personnellement je trouve que ce statut est le meilleur pour nous. Peut être que je passe à côté de quelque chose.

  • Matt dit :

    Hyper mauvaise expérience perso, déjà ca correspondait pas 100% à mon activité. Mais surtout des frais et des charges avec tellement de décalage… Le pré-compte aussi, va expliquer à un client qu’il doit te faire deux chèques… La retraite et l’assurance maladie qui font que tu dois souscrire en plus à une caisse annexe pour cotisé correctement et être réellement couvert sans en être clairement informé par la MDA etc… bref plein de trucs aujourd’hui j’ai une ‘vrai’ société et franchement c’est easy et les charges ne sont plus si différente. Faut demander à votre comptable pour qu’il calcule tout ca mais a priori pour quelqu’un qui démarre une activité j’irais plutôt sur une AE ou une EIRL.

  • Captain dit :

    Merci pour cet article,
    C’est toujours agréable de lire un post fait par un amoureux du hard.
    Pour les paranos comme moi, j’ajoute une petit ligne sur la partie backup.
    Selon votre config, le NAS sert à la redondance des données mais pas vraiment à la sauvegarde (mon cas),
    Faire une backup sur disque externe que l’on stocke dans une autre maison/lieu toutes les semaines/jours.
    (même chose que le paragraphe off-site, mais pour les vrai parano lol),
    Bon ok; ça fait des triples backups et des disques durs en plus, mais c’est mal : )
    Et petite astuce pour les gros bordéliques (comme moi lol) :
    Servez vous d’un petit logiciel qui  » catalogue  » tout ce qui se trouve sur vos disques dur/DVD/BR.
    Une simple recherche dans ce même logiciel permet de savoir ou se trouve (quel DD) tel ou tel fichier qui date de x période.
    Vraiment utile : )

  • Ben LUCAS dit :

    Grande merci à toi Matt, très bonne idée de mettre à jour un des articles les plus utiles de ton blog 😉

    Pour l’envoi et la gestion des rendus tu utilises tout « simplement » Backburner ?

  • Ben LUCAS dit :

    Par ailleurs pour rajouter à ton article, j’aime utiliser un logiciel de source control comme Perforce :
    – Toutes les données sont stockées ailleurs que sur la workstation, mais la synchronisation est aisée sur tous les postes
    – Possibilité de donner accès à certains fichiers pour travail partagé avec d’autres personnes, tout en empèchant les différentes personnes de se marcher sur les pieds
    – Garde un historique de chaque version de chaque fichier

    Suis je le seul à utiliser un source control en tant que freelance ? Est ce un peu overkill selon vous ?

  • Matt dit :

    Hello,
    Oui Backburner couple avec Refamo (qui est de moins en mois fiable mais je trouve pas de successeur) . Preforce est réputé pour les grosses prods, perso je bosse solo (sur mon réseau) et BTSync marche bien pour la collab et le versionning sur de petites équipes.
    Le luxe c’est d’avoir un backburner hébergé sur un dédié/vps comme ca tu peux travailler à distance et donner un accès à tes machines facilement.

  • tony77 dit :

    Hello,
    Super article , a votre avis vos mieux faire le raid software ou hardware via une carte Controller??

  • Matt dit :

    Forcément hardware – la plupart des CM le gèrent de nos jours 🙂 La partie soft intéressante c’est, si la CM supporte le RAID, de mettre un (vieux) SSD en cache via l’utilitaire Intel.

  • Tony77 dit :

    J ai acheté la CM MSI elle ne le gère pas je suis un peu deg ,donc je vais me rabattre sur une carte contrôler alors

  • Matt dit :

    Tu parles de la MSI X99S SLI PLUS ? C’est ma carte je te garantis qu’elle gere le RAID+SSD Cache ^^ Il faut brancher le disque sur les bon slots et l’activer via le BIOS pour avoir accès au menu via Ctrl+i au démarrage et lancer la création de ton RAID. Ensuite tu chopes le soft intel rapid et tu ajoutes un SSD pour gérer le cache.

  • tony77 dit :

    Non ce n ‘est pas cette MSI c est la B85M PRO , « Pc pour le stockage » avec un i3

  • Jacky dit :

    Mefiance quand même sur les Renderframe,
    si vous ne voulez pas retrouver tout ou partie de vos scenes 3D en vente sur certains sites de vente de modeles 3D..

  • vincent groetzinger dit :

    J’ai bien noté toutes les infos hardware et je suis sur le point de commander le matériel pour un montage très proche de celui proposé.
    Ma question concerne le software, est-ce quelqu’un pourrait m’indiquer de façon assez précise les soft à installer sur chaque machine (WS, Backup, RN) et les réglages réseau pour que tout cela fonctionne (j’ai des connaissances réseaux limité mais heureusement des amis compétant en la matière).

Leave a Reply