Servizi

Servizi di Fine-Tuning LLM e MLOps per Team AI in USA e UE

Effettuiamo il fine-tuning di modelli linguistici di grandi dimensioni per i team di prodotto che hanno superato il prompt engineering e il RAG. SFT, DPO, ORPO, LoRA e QLoRA su Llama 3.3, Qwen 2.5, Mistral, Phi-4 e modelli personalizzati OpenAI/Anthropic. Ogni ingaggio include un eval harness versionato, inferenza vLLM o TGI con quantizzazione INT4/INT8 e un loop MLOps che intercetta le regressioni prima degli utenti. I pilot durano 8–12 settimane. Fattibilità da 7.500 EUR, pilot completo da 38.000 EUR, retainer MLOps da 15.000 EUR/mese.

Servizi di fine-tuning LLM e MLOps per team AI aziendali

La maggior parte dei team AI non dovrebbe fare il fine-tuning. Il prompt engineering, gli output strutturati e la generazione aumentata da recupero risolvono l'80% dei casi in produzione al costo delle API frontier. Il restante 20% è dove il fine-tuning si guadagna il suo posto — cambiamenti comportamentali che nessun prompt può imporre, aderenza all'output strutturato superiore al 99%, latenza inferiore a 400 ms a p95 o una curva dei costi di inferenza che si spezza su larga scala. Aiutiamo i team a capire da quale parte di questa linea si trovano, per poi consegnare il modello più piccolo che soddisfa il bar di valutazione. Gli ingaggi iniziano con un memo di fattibilità scritto e un eval harness versionato; nulla viene addestrato finché entrambi non sono concordati per iscritto.

Cosa consegnamo in un ingaggio di fine-tuning LLM

Pipeline di curation e labelling dei dati

Costruzione del golden set, rubrica di etichettatura, tracciamento dell'accordo inter-annotatore, redazione PII con Presidio, generazione di dati sintetici con modelli frontier e deduplicazione. La pipeline di labelling risiede nel vostro cloud, non nel nostro.

Fine-tuning SFT, DPO, ORPO

Supervised fine-tuning per il cambiamento comportamentale, DPO e ORPO per l'allineamento delle preferenze senza un modello di ricompensa separato, e KTO quando i dati di preferenza sono asimmetrici. TRL, Unsloth e Axolotl sulle GPU cloud vostre o nostre.

Ottimizzazione dei costi LoRA / QLoRA

Il fine-tuning parameter-efficient riduce la memoria GPU del 60–80% e permette di iterare le ablazioni su un singolo A100. Di default usiamo QLoRA 4-bit per il primo passaggio, il fine-tuning completo solo quando le ablazioni dimostrano che il miglioramento è reale.

Eval harness & test di regressione

Golden set versionato, LLM-as-judge con scoring a rubrica (Ragas, personalizzato), metriche per compito (F1, BLEU, ROUGE, exact match), probe avversariali per allucinazione, jailbreak, fuga di PII. Il CI blocca ogni merge che fa regredire il bar.

MLOps & addestramento continuo

Versionamento dei dati di addestramento con DVC o LakeFS, tracciamento degli esperimenti su Weights & Biases o MLflow, riaddestramenti pianificati attivati da metriche di drift e runbook di rollback. Tutto riproducibile, tutto nel vostro repository.

Serving dell'inferenza & quantizzazione

vLLM, TGI o TensorRT-LLM con batching continuo, quantizzazione INT8/INT4 (AWQ, GPTQ, FP8), decoding speculativo e prefix caching. Load test al traffico reale p95 prima del cutover, con dashboard di monitoraggio.

Stack che utilizziamo

PyTorch Hugging Face PEFT LoRA QLoRA DPO ORPO TRL Unsloth Axolotl vLLM TGI TensorRT-LLM Llama 3.3 Qwen 2.5 Mistral Phi-4 Modal Replicate RunPod MLflow Weights & Biases Ragas

Come funziona un ingaggio di fine-tuning LLM

  1. 01

    Fattibilità

    Settimane 1–2: memo scritto che risponde se il fine-tuning è lo strumento giusto, quale modello base si adatta al compito, miglioramento atteso della valutazione rispetto alla baseline RAG/prompt e proiezione dei costi totali su 12 mesi. Go/no-go prima di qualsiasi spesa GPU.

  2. 02

    Dati & valutazione

    Settimane 3–5: golden set di 200–1.000 esempi etichettati, rubrica di etichettatura, pipeline di redazione PII, eval harness collegato a W&B con baseline frontier. Nulla viene addestrato finché la suite di valutazione non risulta verde rispetto alla baseline.

  3. 03

    Addestramento & ablazioni

    Settimane 6–8: SFT, poi DPO o ORPO se esistono dati di preferenza. Prima LoRA/QLoRA, poi ablazioni su rank, learning rate e modello base. Ogni ciclo è riproducibile dal file di configurazione nel vostro repository.

  4. 04

    Serving & handover

    Settimane 9–12: deployment vLLM/TGI, quantizzazione, load test al traffico p95, canary rollout con runbook di rollback, dashboard di monitoraggio e handover agli ingegneri. Retainer MLOps opzionale per l'addestramento continuo.

Modelli di ingaggio

Analisi di fattibilità fine-tune

Memo scritto in due settimane: raccomandazione sul modello base, miglioramento atteso della valutazione vs baseline RAG/prompt, proiezione dei costi GPU, costo totale di proprietà su 12 mesi, decisione go/no-go. Il costo viene scalato dal pilot se si procede. 7.500 EUR fissi.

Pilot di fine-tuning

8–12 settimane. Un modello in produzione, eval harness completo, deployment inferenza vLLM/TGI nel vostro cloud, rollout load-tested, dashboard di monitoraggio e handover agli ingegneri. Include 30 giorni di supporto post-lancio. 38.000 EUR fissi.

Retainer MLOps

Addestramento continuo, espansione della valutazione, rilevamento del drift, aggiornamento mensile del modello, ottimizzazione dei costi con i vendor, on-call per gli incidenti di inferenza. Un MLE senior più supporto alla valutazione, minimo sei mesi. Da 15.000 EUR/mese.

Tutti i prezzi escludono il costo del calcolo GPU — lavoriamo sul vostro account cloud e voi pagate direttamente AWS/GCP/Azure. La spesa GPU tipica per un pilot è di 2.500–8.000 EUR.

Perché i team AI di USA e UE scelgono YuSMP per il fine-tuning

Conforme al GDPR · Pronto per ISO 27001 · SOC 2 Type II in corso · Compatibile HIPAA · CCPA riconosciuto

Prima la valutazione, non le sensazioni

Nessun ciclo di addestramento inizia finché l'eval harness non risulta verde rispetto alla vostra baseline frontier. Ogni rilascio include un report di regressione. Se il bar di valutazione scende, il merge viene bloccato — non negoziato.

MLE senior, non prompt engineer

Gli MLE nel vostro ingaggio hanno già portato modelli fine-tuned in produzione. Sanno quale rank LoRA scegliere, perché la loss DPO è divergita e come fare il debug di un throughput cliff vLLM — senza bisogno di thread su Twitter.

Il vostro cloud, i vostri pesi

L'addestramento gira nel vostro VPC, i pesi restano nel vostro S3/GCS, il codice vive nel vostro repository. Lavoriamo tramite ruoli IAM assunti. Nessun dato approda mai sui nostri laptop e voi possedete il modello risultante dal primo giorno.

Per i carichi di lavoro regolamentati firmiamo HIPAA BAA, eseguiamo solo su regioni HIPAA-eligible e ci integriamo con la vostra governance dei dati esistente — non in parallelo ad essa.

Cosa dicono i clienti

Un motore di decisione sui prestiti che impiega dieci volte meno tempo per approvare non avviene per caso. YuSMP ha costruito la pipeline di scoring, l’integrazione con i bureau del credito e un back-office che i nostri sottoscrittori apprezzano davvero. I tempi di approvazione sono passati da due giorni a meno di quattro ore.
Gregory Lawson, CTO, LoanFlowVedi il caso →

Domande frequenti

Quando conviene fare il fine-tuning di un LLM invece di usare un modello frontier con prompt engineering o RAG?

Tre segnali giustificano il fine-tuning. Primo, latenza o costi: un modello 7B fine-tuned su vLLM costa circa 1/40 di GPT-4o per lo stesso compito con latenza p95 inferiore a 400 ms. Secondo, comportamenti che non si ottengono tramite prompt: stile specifico di dominio, aderenza all'output strutturato superiore al 99% o pattern di rifiuto che i livelli di sicurezza frontier non consentono. Terzo, valore dei dati: disponete di 5.000+ coppie etichettate di alta qualità che nessun altro possiede. Se la risposta riguarda principalmente il recupero di conoscenza, meglio il RAG prima. Se si tratta di formattazione occasionale, meglio il prompt engineering prima. Il fine-tuning è la scelta giusta quando serve un cambiamento comportamentale su larga scala.

Eseguite il fine-tuning di modelli frontier come GPT-4 o solo di modelli open source?

Entrambi. Fine-tuning OpenAI (GPT-4o, GPT-4.1, GPT-4o-mini), Anthropic tramite modelli personalizzati Bedrock, tuning Google Gemini e l'intero stack open source: Llama 3.3, Qwen 2.5, Mistral, Phi-4, DeepSeek. La scelta è tecnica, non ideologica. I modelli chiusi offrono una consegna più rapida e zero infrastruttura. I modelli aperti offrono proprietà, inferenza più economica su larga scala e deployment on-premise quando la conformità lo richiede. Utilizziamo lo stesso eval harness su entrambi i percorsi e presentiamo per iscritto il trade-off costo per token, latenza e qualità prima che il cliente si impegni.

Cosa contiene il vostro eval harness e come prevenite le regressioni?

Ogni ingaggio include una suite di valutazione versionata: un golden set di 200-1.000 esempi etichettati curati con il cliente, LLM-as-judge automatizzato con scoring a rubrica (Ragas, rubriche personalizzate), metriche specifiche per compito (BLEU, ROUGE, exact match, F1, aderenza all'output strutturato) e probe avversariali per allucinazione, jailbreak e fuga di PII. Ogni ciclo di addestramento viene pubblicato su Weights & Biases con la tabella di valutazione completa. Il CI blocca qualsiasi merge che faccia regredire il golden set oltre la soglia concordata (in genere 2%). La suite di valutazione è vostra, versionata nel vostro repository e viene eseguita su baseline frontier ad ogni rilascio.

Come mantenete sotto controllo i costi di fine-tuning, soprattutto per la sperimentazione iterativa?

Prima di tutto i metodi parameter-efficient: LoRA e QLoRA riducono la memoria GPU del 60-80% e ci permettono di eseguire un SFT Llama 3.3 70B su un singolo nodo A100 80GB per meno di 300 EUR. Unsloth e Axolotl ci garantiscono un throughput di addestramento 2x rispetto a Hugging Face TRL standard. Di default usiamo QLoRA 4-bit per la prima sperimentazione, passando al fine-tuning completo solo quando le ablazioni dimostrano che sposta l'ago della bilancia della valutazione. Il costo dell'inferenza è controllato dalla quantizzazione INT8/INT4 (AWQ, GPTQ), dal batching continuo vLLM e dal decoding speculativo. Un tipico cliente passa da una spesa API frontier di 18.000 EUR/mese a 3.500 EUR/mese di inferenza self-hosted.

Come gestite la privacy dei dati quando inviamo i dati di addestramento al vostro team?

L'ingaggio inizia con un NDA reciproco e un DPA conforme al GDPR. I dati di addestramento risiedono nel vostro account cloud: lavoriamo tramite ruoli IAM assunti, non copiamo mai i dati su laptop e il cluster di addestramento gira nel vostro VPC (AWS SageMaker, GCP Vertex, Azure ML o il vostro Kubernetes). Per i dati regolamentati firmiamo HIPAA BAA ed eseguiamo solo su regioni HIPAA-eligible. Le pipeline di redazione PII (Presidio, regex personalizzata + NER) fanno parte della fase di curation dei dati. Siamo conformi al GDPR, pronti per ISO 27001, SOC 2 Type II in corso, capaci di HIPAA e conformi al CCPA.

Quanto dura un tipico pilot di fine-tuning dal kickoff alla produzione?

Otto-dodici settimane per il primo modello in produzione. Settimane 1-2: fattibilità e progettazione dell'eval harness. Settimane 3-5: curation dei dati, pipeline di etichettatura e costruzione del golden set. Settimane 6-8: cicli di addestramento SFT più DPO/ORPO, ablazioni e iterazione della valutazione. Settimane 9-10: serving dell'inferenza (vLLM o TGI), quantizzazione, load testing. Settimane 11-12: canary rollout, dashboard di monitoraggio, runbook e handover al vostro team. Successivamente si passa a un retainer (addestramento continuo, espansione della valutazione, risposta al drift) oppure si conclude l'ingaggio con la documentazione.

Avete un'idea di fine-tuning e avete bisogno prima di un memo di fattibilità scritto?

Prenota una chiamata di analisi

Richiedi una proposta

Condividete alcuni dettagli e un consulente senior risponderà entro un giorno lavorativo.

Preferite parlare direttamente? ☎ Call +374 44 871 811 ✉ sales@yusmpgroup.com