Skip to content
PodSubs
ShowsPeopleGuestsJobsNewsEvents
More
BlogPodCred
Menu
ShowsPeopleGuestsJobsNewsEventsBlogPodCredNetworksSign in
Join nowSign in
  • Shows
  • People
  • Jobs
  • News
  • More
    • Guests
    • Events
    • Blog
    • PodCred
    • Networks
    Join nowSign in

Avvocati e Mac: Compendium

Avvocati e Mac: Compendium artwork

88. Unsloth Studio per inferenza locale e non solo

Sep 7, 202636 minAudio
ShareXLinkedInFacebookWhatsAppEmail

Unsloth Studio riunisce modelli locali, RAG, MCP e API. Filippo lo prova su Mac con Qwen3.8 e Gemma 4. Link alle note: https://www.avvocati-e-mac.it/podcast/88

Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.

Transcript

From the show. Tap a time to play from there.

Speaker 2Benvenuto, benvenuta, io sono Filippo Strozzi e stai ascoltando Avvocati Mac Companion, un podcast in cui parlo delle mie esperienze quotidiane con la tecnologia, in particolare con quella Apple. Companion fa parte del network Runtime Radio, la Radio Geek. Questa è la puntata 88 nella quale ti parlerò di una mia recente scoperta a fine agosto di Unslot Studio. e di come può essere un interessante sostituto di Ollama e soprattutto uno strumento all- in- one per avvocati e professionisti. Ma prima, sigla!

Speaker 2Alcune comunicazioni di servizio. Come al solito registro i primi di settembre. Oggi è il 5 per il 7 di settembre, quindi sono sempre un po' in ritardo. Non ci sono ancora registrazioni su youtube in diretta diciamo che spero dopo l'inizio delle scuole non lo so perché il 27 poi ho un convegno a Ravenna quindi dovrò preparare anche il convegno a Ravenna insomma il periodo è un po' intenso cercherò di riprendere il filo dell'organizzazione più o meno ben

Speaker 2gestita di compagnia nel mentre però ti posso dire che non c'è più solo compagnia ma poi ascoltarmi o ascoltarci nel caso specifico, perché è ripartito con l'amico Roberto Marin il podcast A2 Podcast. A2 è su tematiche più generali, diciamo, e finalmente siamo riusciti a, speriamo, mettiamola così, trovare un format che andasse bene a tutti e due, che non fosse troppo pesante per le nostre attività personali e professionali,

Speaker 2e che spero interessi anche a chi ascolta quindi se vuoi ascoltare ovviamente i temi saranno più generalisti mettiamolo in questi termini ma appunto questo può essere un vantaggio diciamo qui continuerò a raccontarti delle mie peripezie informatiche nel mondo legale invece su O2 andremo più avanti ad ampio respiro quindi anche non solo per i legali detto questo alcune premesse prima di iniziare nella sostanza giovedì 3 settembre ho

Speaker 2ottenuto un webinar per gli iscritti alla Camera Civile di Ravenna ho chiesto dall'amica e collega Monica dal Presidente della Camera Civile di Ravenna di fare il punto sostanzialmente sull'inferenza locale proprio perché io da sempre o meglio da due annetti a questa parte ci gioco con più o meno risultati positivi e soprattutto proporre delle soluzioni relativamente semplici a basso costo per gli avvocati iscritti alla sua camera come

Speaker 2saprai se stai ascoltando questo podcast ho parlato delle mia fissa attuale che è Dwarfstar diciamo il progetto di Salvatore Sanfilippo che permette di far girare sul mio Mac Studio M1 Max DeepSeek 4 Flash ovviamente con dei compromessi ma questa soluzione non è per tutti la sto io sviluppando internamente per me più a livello di test di quello

Speaker 2che è possibile fare ma oggettivamente non credo che sia una soluzione per qualsiasi tipo di avvocato senza niente anche perché parte del lavoro che c'è dietro è quello proprio di cercare di sviluppare e di ottimizzare quello che si può fare con l'hardware che ho quindi nella sostanza la mia presentazione era è stato un quadro generale innanzitutto di cosa vuol dire e cosa serve per poter utilizzare l'intelligenza

Speaker 2artificiale in locale, oggi non ne parlerò ma parte della mia attività nei 3-4 giorni dove poi ho preparato il mio intervento è stata dedicata a esplorare strade alternative e da qui sostanzialmente nasce la puntata di oggi perché da una parte, tutta la parte sul webinar verrà pubblicata come articolo ovviamente generato utilizzando la trascrizione del mio intervento di un'oretta e mezza, due quasi, su Avvocati e Mac ma

Speaker 2la puntata di oggi invece si focalizzerà sull'applicazione stessa e perché la ritengo molto interessante per un pubblico generale. Come ti dicevo, nella sostanza ci sto giocando da una settimana, quindi ovviamente sono ancora agli inizi nell'utilizzo e nel test di cosa può fare questa applicazione, ma le scoperte che ho fatto fino ad ora sono talmente interessanti e talmente promettenti che te ne voglio parlare subito, poi più avanti, soprattutto se anche ci sarà interesse, non vedo perché non,

Speaker 2probabilmente scriverò degli articoli, ma casomai ne parlerò nuovamente nel podcast. Apre e chiudo una parentesi, ti segnalo che con il nuovo sito, se vuoi farmi domande sulla puntata del podcast o vuoi commentare la puntata del podcast, ti segnalo che ci sono i commenti anche nelle puntate del podcast, quindi puoi direttamente interagire con me appunto lasciando un commento. Come ho scoperto Anslot innanzitutto? Beh tutto è merito colpa diciamo

Speaker 2dell'amico Roberto Alma che mi ha sempre parlato molto bene di Anslot e di quello che stanno facendo. Devo dire la verità Anslot dal mio punto di vista è sempre stato abbastanza laterale perché Anslot nasce come framework open source per fare il E quindi era qualcosa che tendenzialmente era un livello eccessivo anche per il sottoscritto. Di fatto, grazie

Speaker 2ad Unslot, è possibile efficientare l'addestramento e soprattutto l'utilizzo di VRAM. Quindi una delle cose che erano molto interessanti, che anch'io ho testato con Ollama all'epoca, erano i modelli ottimizzati di Unslot. Aslot nasce nel 2023 da due fratelli, oggi di fatto è una realtà con grossi finanziamenti e ha sede a San Francisco. Come dicevo, una delle cose più interessanti, oltre ai fine tuning di Aslot, sono le quantizzazioni dei modelli

Speaker 2che hanno fatto, perché sostanzialmente non riducevano le capacità di pensiero e di intelligenza del modello, ma invece riuscivano a spremere e quindi a creare modelli più efficienti, meno pesanti, che riuscivano a gestire meglio la memoria a disposizione sui Mac o su altri computer. Un'altra cosa che devo premettere, e mi sembra giusto anche fare un piccolo punto parentesi,

Speaker 2è Ollama. Di fatto io ne ho parlato in tutte le salse, lo uso da tempo, però recentemente ho quasi smesso di utilizzarlo per vari motivi. Da una parte ovviamente con Dwarf Star sto dedicando maggiori attenzioni e effettivamente i risultati sono decisamente migliori con Dwarf Star. Non è solo questo, nella sostanza Ollama progressivamente e da una parte giustamente è andato in un ambito commerciale, Quindi se originariamente nasceva come

Speaker 2un progetto open source per semplificare la vita a chi voleva utilizzare l'intelligenza artificiale senza troppe complicazioni, anche se non era ancora per tutti, adesso sta diventando un rivenditore di intelligenza artificiale open, ma comunque sempre un rivenditore. Adesso i piani sono più o meno simili a quelli di OpenAI, Antropic e così via. Con modelli differenti ma nella sostanza poco cambia e devo dire la verità è diventato sempre

Speaker 2meno utile per i compiti che voglio svolgere io e qui appunto entra in gioco invece un slot studio desktop. Che cos'è Unslot Studio? Di fatto è un app wrapper o un servizio a riga di comando, è ancora in beta, ma ha delle funzioni molto interessanti e sostanzialmente te ne voglio parlare velocemente. Innanzitutto l'applicazione ti permette, meglio rispetto a Allama, che ha un suo repository di modelli ottimizzati per funzionare

Speaker 2su Allama, una ricerca e scaricamento di modelli da gameface quindi nella sostanza puoi accedere a qualsiasi modello anche onlama di fatto puoi scaricare modelli da gameface ma era un po' più complicato dovevi fare uno script apposta avevano dei nomi differenti insomma c'è tutta una serie di cose che non erano ottimizzati onlama ma anche Unslot ha una sua interfaccia grafica web sostanzialmente nell'applicazione desktop di fatto è un

Speaker 2wrapper e quindi vedi una pagina web se invece fai partire Unslot a riga di comando non hai neanche questo problema perché ti si apre direttamente nella finestra del browser la cosa molto interessante Ollama lo fa ma non così in dettaglio è la gestione avanzata dei parametri, in particolare del contesto, e per i modelli che ce l'hanno, diciamo, abilitare o disabilitare i parametri di vision e altri parametri.

Speaker 2Questo permette, sostanzialmente, poi lo vedremo in un punto successivo, di ottimizzare molto il modello che si sta utilizzando e quindi accettarlo. e disattivare quelle funzioni che invece possono o meno interessare. Anche qui, anche con Mollama, anche se lo ha fatto recentemente, Unslot utilizza sotto il cofano sostanzialmente Mollama C + + e e in particolare la Kiwi Cash.

Speaker 2Questo cosa serve? Ne ho parlato nelle puntate di podcast di Duovstar, ma il principio è il medesimo. Nella sostanza, man mano che la conversazione si amplia e a ogni turno di conversazione o a ogni turno di interlocuzione con un large language model, in pratica ogni volta viene rinviato, oltre alla domanda che gli fai direttamente, tutto il resto della conversazione. Questa amplia notevolmente nel progresso del tempo la

Speaker 2conversazione e siccome il prefile di fatto è il punto debole dei Mac e in generale dei PC consumer, mettiamola in questi termini, se non hai la QCash attiva non puoi ricalcolare il prefile. Quando il prefile diventa lungo ovviamente le risposte sono sempre più lente. Con la Kiwi Cash attiva invece il flusso di lavoro è molto più lineare e assomiglia, anche se ovviamente non si arriverà mai ai livelli dei modelli online, a quello che fanno i modelli online che effettivamente poi utilizzano la cash appunto per ridurre

Speaker 2drasticamente il consumo di token e così via. Altra funzione interessante, che di fatto ha anche Ollama, ma con i suoi modelli, qui invece lo puoi fare con qualunque tipologia di modello, la possibilità di utilizzare i modelli online, con ovviamente svariati provider, io attualmente ho visto che praticamente ci sono i maggiori provider, quindi OpenAI, Antropic e così via, io attualmente l'ho testato esclusivamente con OpenRouter, che io utilizzo appunto per avere modelli a consumo, diciamo, in particolare con DeepSeek 4 Flash perché

Speaker 2è un modello che costa decisamente poco non mi ricordo più quanto ma per milioni di token sono un po' bazzeccole diciamo ed è un modello che ormai inizio a conoscere molto bene e con cui diciamo c'è un buon rapporto qualità- prezzo mettiamolo in questi termini altra cosa che non credo abbia un lama devo dire la verità ma la sua interfaccia grafica non l'ho quasi mai usata e l'ho

Speaker 2usato pochissimo nell'ultimo periodo quindi forse potrebbe esserci, c'è la ricerca online ma soprattutto la ricerca avanzata all'interno dell'interfaccia e devo dire la verità ho fatto qualche test veloce Ma soprattutto la ricerca avanzata di fatto crea un sistema agentico, chiamiamolo così, dove appunto programma una ricerca sostanzialmente come già i modelli più avanzati, fa un piano di ricerca, va a fare le ricerche e strappola le informazioni. e ovviamente

Speaker 2ci mette molto tempo ma a fronte di quello tendenzialmente dà dei risultati più approfonditi e quindi la ricerca avanzata da quello che ho visto io ha fatto un bel lavoro nel mio caso specifico ho fatto un test che sembra banale ma banale non è nel senso che gli ho chiesto di trovare il numero di telefono del mio ufficio Ma siccome online ci sono differenti numeri di telefono nel mio ufficio, che nel tempo ho cambiato, mettiamola così,

Speaker 2il problema è andare a trovare il numero dell'ufficio che è presente sul mio sito internet, che però anche lì è in fondo sito internet, quindi non è così semplice, mettiamola così, da trovare. Devo dire la verità, con la ricerca avanzata è riuscito a farlo abbastanza bene. Ci ha messo il suo tempo ma ha fatto quello che doveva fare. Quindi sono abbastanza convinto che per essere out of the box così è un buon risultato e può diventare interessante per molte persone. Altra funzione molto carina. è l'archivio dei

Speaker 2prompt per il riuso quindi si ha la possibilità di salvare i prompt e diciamo io uso abitualmente le espansioni del testo ma per chi non fosse avvezza a questo tipo di automazione diciamo l'archivio dei prompt può diventare molto utile ha già integrato un sistema di RAG cioè Retrieval Augmented Generation quindi Indicizzazione dei Documenti e qui una cosa che io ho trovato veramente molto interessante è utile nel mondo legale, ma non solo, la possibilità di avere le

Speaker 2cartelle sincronizzate. Cosa significa tutto ciò? Nella sostanza, quando io dico una sincronizzazione a questa cartella, non solo indicizza tutti i documenti al momento dell'indicizzazione presenti in quella cartella, ma se io aggiungo o tolgo documenti in quella cartella, verranno indicizzati anche quei documenti. quindi diventa molto più trasparente come sistema, per l'uso per esempio in locale ovviamente, per una pratica diventa molto comodo perché mentre tu aggiungi i documenti nella pratica,

Speaker 2sotto la scocca la slot fa tutte le sue indicizzazioni, tendo a precisare che la RAG richiede comunque capacità computazionale, devono essere fatti una serie di operazioni di chunking che oggi non andremo a raccontare perché ne ho parlato altrove di come si fa la raga e così via ma sicuramente è molto utile perché appunto diventa trasparente da un certo punto di vista per l'utente finale e quindi anche per la persona che non è avvezza al funzionamento profondo

Speaker 2diciamo di questi sistemi è molto comodo La cosa però, devo dire la verità, che mi ha stupito di più, mi ha fatto scegliere originalmente l'uso di Unslot come opzione appunto da presentare al convegno della Camera Civile di Ravenna, è che internamente ha già la possibilità di collegare gli MCP, cioè i Model Context Protocol, a un modello locale. o non ovviamente quindi comunque è già nel pacchetto c'è la

Speaker 2gestione del Model Context Protocol non solo la gestione è sia di quelli online nel mio caso specifico io volevo far vedere anche la ricerca giuridica quindi utilizzare l'MCP di Boudalou proprio perché diciamo pur avendo un modello locale se non hai riferimenti normativi alla giurisprudenza diciamo lo studio o per la predisposizione di documenti di ricerca e così via diventa abbastanza in salita mettiamola in questi termini quindi avere

Speaker 2la possibilità di utilizzare questo strumento ovviamente dal mio punto di vista diventava una condizione per poter utilizzare in locale un sistema apre qui una parentesi ne ho parlato anche nel webinar ma lo ripeto giusto per sicurezza è ovvio che Bundaloo per esempio che è un MCP online vuol dire che comunque Tutta la parte di interrogazione del database di Budalò, quindi della giurisprudenza ed altro, viene fatto online.

Speaker 2Quindi c'è da fare, diciamo, pur lavorando in locale, mettiamola in questi termini, è importante ricordarsi e avere delle premure perché le ricerche che vengono fatte su Budalò in remoto devono non essere anonimizzate ma devono utilizzare comunque ricerca con parole chiave o comunque con frasi che non portano i nomi delle parti questo è un altro discorso ma fa parte comunque di un qualsiasi sistema se no dovresti avere

Speaker 2appunto tutto un database giurisprudenziale all'interno del tuo computer cosa che apre qui una parentesi in parte si può fare ma diciamo si può fare con raccolte proprie di giurisprudenza, che può essere utile ma che comunque non può neanche lontanamente paragonarsi a una banca dati giuridica professionale. L'altra cosa che mi interessava veramente tanto e che riesce a fare

Speaker 2è che può utilizzare anche le MCP locali attraverso il sistema del STDIO. Nella sostanza questo mi permette per esempio di di collegarli degli MCP che ho creato io direttamente in locale o che hanno creato altri sviluppatori uno tra tutti per esempio che può diventare molto comodo è l'MCP creatore di Working Copy e di Secure Shellfish che però nell'ultimo periodo il sito è down e quindi io ce l'ho,

Speaker 2l'ho scaricato ma credo che non sia più a disposizione di tutti che si chiama HyperContext HyperContext sostanzialmente ti permette di avere un MCP che si collega a calendario, mail e promemoria in locale sul tuo computer quindi diventa molto interessante perché a questo punto io posso collegare al Large Language Model locale la mia mail sostanzialmente quindi le caselle di posta elettronica o la casella di posta elettronica dipende quante caselle hai configurato su mail nonché il calendario e

Speaker 2i promemoria È molto interessante proprio per questo motivo, perché a questo punto, a condizione di avere un modello locale sufficientemente potente e capace, posso anche utilizzare il Large Language modello locali per la programmazione di attività per rispondere alle mail e così via ulteriore cosa che ho scoperto mentre iniziamo a spulciare tutte queste cose perché poi quando mi sono reso conto delle capacità di questo sistema ho deciso che era anche opportuno poi la puntata è nata proprio

Speaker 2da questo cioè da tutti gli approfondimenti che ho fatto fare ho fatto con l'ausilio dell'intelligenza artificiale su questo sistema c'è una cosa veramente interessante perché mi aveva stupito il fatto che anche con modelli relativamente piccoli e dopo ne parleremo i risultati non erano affatto male non erano eccezionali o non sempre eccezionali mettiamola così ma erano sicuramente migliori di tante altre soluzioni, io di test in locale ne ho fatti tanti, mettiamola così, con i tool e i

Speaker 2model context protocol. Di fatto i tool si differenziano parzialmente dai model context protocol perché l'MCP sostanzialmente espone delle chiamate, mettiamola così, che i tool possono utilizzare. I tool sono di vario genere, nel webinar per esempio gli ho chiesto che giorno era oggi, E mi ha risposto correttamente, cioè mi ha detto che era il 3 di settembre all'epoca, cosa che abitualmente un large language model sbaglia perché non ha accesso alla data del sistema operativo. Questi tool appunto

Speaker 2permettono di fare anche queste cose. Sostanzialmente ho scoperto comunque che tutto il sistema è retto da un sistema di self- healing e tool calling, cioè sostanzialmente Il problema che risolve è che i modelli di piccole dimensioni più adatte a girare ovviamente in un manare portatile, un server d'ufficio, spesso sbagliano la sintassi della chiamata dei tool, degli strumenti per poi appunto fare cose nel mondo reale. Questo ovviamente causa blocchi, rallentamenti,

Speaker 2risposte ovviamente errate. La soluzione che hanno implementato quelli di Unslot è doppia. ha due meccanismi uno che corregge innanzitutto la richiesta malformata al volo che si chiama autohealing nella sostanza te lo segnalo solo per capire come funziona tutto il sistema il large language model ha un sistema di fatto un generatore di testo i tool funzionano abitualmente creando delle chiamate json con dati strutturati e con informazioni specifiche

Speaker 2che devono essere passate al tool se però la formatazione di questa chiamata o se appunto i contenuti di queste chiamate non sono corretti il tool va in banana e non funziona non dà la risposta che ci si aspettava l'altro invece è un sistema dove sostanzialmente quando c'è un errore ritenta l'operazione se la prima correzione non basta e quindi non richiede sostanzialmente competenze tecniche quindi anche qui Sono

Speaker 2tutti strumenti che sono già out of the box con Unslot. Tra l'altro Unslot Studio è stato lanciato a inizio agosto, credo, quindi da pochissimo. Per cui già questo sistema è molto avanzato rispetto agli altri e quantomeno ad oggi promette molto bene. Ulteriormente, a chiusura, lo segnalo perché... anche qui ho fatto dei

Speaker 2test ed è stato utile come strumento, espone anche un server API apposito. Quindi io posso avere non solo, posso lavorare dentro un slot studio, ma con tutti questi sistemi aggiuntivi io posso esporre l'API ad altri strumenti nel caso specifico ho testato una versione beta locale di Budalo. Quindi anche qui Budalo, la parte online rimane online, ma l'applicazione

Speaker 2permette di avere tutto il sistema di RAG e così via e l'interfaccia di Budalo direttamente in locale e con ovviamente un modello locale. L'ultima scoperta che ho fatto in preparazione di questo webinar è sono i modelli che sono riuscito a fare girare e il risultato che sono riuscito a ottenere. Di fatto ho fatto i test con due modelli che mi hanno positivamente colpito per varie ragioni che

Speaker 2esamineremo assieme. Innanzitutto ho usato QEN 3.8 27B, cioè da 27 milioni di parametri. È una versione particolare perché ho dovuto usare una versione quantizzata. È un modello relativamente grosso, comunque 10 volte più piccolo di Psyc, ma comunque è un modello potente. Sono uscito addirittura grazie all'ottimizzazione di tutte

Speaker 2le informazioni a far girare sul mio Mac a 32 GB di RAM con 65.000 token di contesto. che inizia ad essere già un contesto molto interessante per il lavoro legale, perché, lo ripeto, per chi non fosse avvezzo, ma sostanzialmente non basta solo avere un modello che sappia ragionare bene, mettiamola così, che possa fare cose, quindi anche fare chiamate di tool

Speaker 2e così via, come è QEN 3.8, ma deve avere sufficientemente contesto per esempio poter esaminare i documenti che deve esaminare o, nel caso di una ricerca giuridica, ovviamente quando io vado a interrogare Budalò, Budalò cosa fa? Mi restituisce dei pezzi di sentenza o le massime di una sentenza. Tutte queste massime ovviamente vanno nel contesto E a fronte

Speaker 2di quel contesto, a fronte delle ricerche puntuali fatte nel database di Boudalot, viene restituita la risposta. Quindi la risposta è comunque legata a due fattori, mettiamola così, l'intelligenza che è in questi modi del modello, il contesto che il modello riesce a gestire e che gli viene passato dallo strumento e la capacità ovviamente di gestire questo strumento, perché se mi fa delle ricerche giurisprudenziali sbagliate, è ovvio che anche avendo nel contesto e anche avendo tutto il resto

Speaker 2mi darà delle risposte non corrette, imprecise e così via. L'altro modello che ho provato, che è un po' per tutti, mettiamola in questi termini, è Gemma 4 a 12B. Questa è in versione quantizzata a 4 bit. La cosa interessante è che qui il modello ovviamente non è intelligentissimo ed è forse... il vero problema di questo modello però i risultati sono che ho potuto utilizzare un contesto da 262.000

Speaker 2token che inizia a essere potenzialmente un intero fascicolo i tool funzionano bene perché ha fatto le chiamate ai tool correttamente il ragionamento invece no non ho avuto modo in questa settimana di fare dei test super approfonditi ma da quello che ho visto sul ragionamento giuridico ha lasciato abbastanza a desiderare quindi non è riuscito a fare ricerche abbastanza

Speaker 2approfondite in Budalù devo fare altri test per vedere soprattutto sul contenuto mettiamola così cioè su cosa riesce a fare e come riesce a funzionare con invece dei documenti sostanzialmente la cosa interessante è rispettivamente per QN3. 8 il modello sul mio Mac Studio M1 con 32 GB di RAM 400 GB al secondo di bandwidth e 24 GPU giusto per

Speaker 2darti un chiaro conto di come funziona la macchina viaggia intorno ai 9 token al secondo quindi riesce a generare 9 token al secondo e ovviamente ha dei tempi di pre- fill abbastanza lunghini Con Gemma 12b si riesce ad arrivare addirittura a 20 token al secondo, quindi è molto responsivo, meno preciso e quindi adesso probabilmente può essere utilizzato per

Speaker 2un'analisi documentale avanzata, mettiamola così, per avere molti documenti. A me sono un concesso che questa analisi venga fatta correttamente, mettiamola così, mentre Qent 3.8... devo dire la verità l'ho trovato molto performante mettiamola così e quindi sul ragionamento giuridico e su gestire determinati contesti secondo me appunto il grande difetto è che su una macchina come la mia diciamo

Speaker 2arrivare a 65 adesso vado a memoria ma credo di essere riuscito ad arrivare a 100 anche però tirando veramente proprio al massimo il Mac Studio una cosa che segnalo e che è un trucchetto che è risultato molto valido, è quello che tra le varie cose che ho fatto fare, che ho sperimentato, c'è stata quella di chiedere espressamente all'intelligenza artificiale ovviamente quella online, di ottimizzare i contesti di Unslot. Quindi,

Speaker 2nella sostanza, grazie al fatto che comunque gira sul computer l'intelligenza artificiale, io ho usato ovviamente credo Cluedo o Codex, non mi ricordo più quale dei due sul mio computer, Gli ho dato accesso ovviamente al server API e altre, gli ho fatto analizzare sostanzialmente Unslot ed è riuscito sostanzialmente a tirare fuori il massimo che poteva fare con una configurazione.

Speaker 2Il suggerimento che ti do quindi è anche di farti aiutare proprio per la tua macchina eventualmente per fare questo. Tendo a precisare, tutti questi ragionamenti li ho fatti pensando una macchina, un MacStudio Max recente, cioè una macchina intorno ai 3.000 euro che è stato il budget che mi ha dato Monica da proporre come computer sensato, come investimento non eccessivo ma dall'altra neanche un investimento inutile perché poi

Speaker 2non riesce a farci quasi niente se la macchina non è sufficientemente potente e quindi questa è l'idea di tutta la vicenda. Tirando le somme, Unslot Studio è uno strumento gratuito innanzitutto, quindi comunque è utile e lo puoi testare tranquillamente. Ha un'interfaccia grafica intuitiva e relativamente semplice comunque nei paradigmi di GPT e compagnia cantante, anche se appunto nel momento

Speaker 2in cui si è un minimo esperto o comunque si vuole andare a fare delle cose un po' particolari, ci sono gli strumenti per fare cosiddetto fine tuning non dei modelli ma appunto dell'utilizzo di questi strumenti c'è la possibilità di fare cose avanzate ha una gestione di tool MCP e flussi di lavoro EA avanzata che sicuramente diciamo non è da tutti e credo sia la chicca attuale di questo sistema ha anche la possibilità alle API e la

Speaker 2possibilità di utilizzare API esterne anche per chi il computer non ce l'ha cioè l'hardware non ce l'ha ma vuole avvantaggiarsi di questi strumenti e casomai se non vuole utilizzare se non vuole pagare il Dazio da Anthropic o da OpenAI con costi relativamente alti per esempio utilizzando OpenRouter e utilizzando DeepSeek 4 Flash si possono spendere veramente pochi centesimi per fare ricerche per far funzionare questo sistema ovviamente il

Speaker 2problema poi è un problema di anonimizzazione dei dati o anonimizzazione dei dati perché in questo caso ovviamente tutte le informazioni viaggiano online perché viaggiano comunque sui server di open router e così via quindi quello è il limite della vicenda ma sicuramente si possono utilizzare appunto strumenti Per esempio, per fare ricerche giuridiche con l'MCP di Budalò, senza dover avere un abbonamento da 22 euro al mese con Antropic

Speaker 2o CGPT, si può spendere 10-15 dollari, fare tanta roba, mettiamola in questi termini, utilizzando per esempio DeepSeek. Altra considerazione da fare, ovviamente, si può scegliere, ed è un vantaggio grosso, scegliere un modello di interesse, diciamo, perché per esempio OpenRoute ti dà la possibilità di accedere a tutti i modelli sostanzialmente quindi se vuoi un modello potente tipo Opus puoi avercelo per un'attività specifica ma casomai nella maggior parte dei

Speaker 2casi vuoi fare delle operazioni con DeepSeek e lo puoi fare attualmente è uno strumento molto flessibile se viene utilizzato in locale sicuramente è idoneo con i modelli locali e con l'hardware adatto sicuramente idoneo per fare tutto con l'intelligenza artificiale se lo si usa invece come strumento per accedere a modelli online anche qui bisogna avere le attenzioni necessarie

Speaker 2nel momento in cui vengono passati i dati però sostanzialmente il sistema funziona a chiave in mano l'installazione, io non ho provato l'installazione su su Windows ma un amico l'ha fatta perché glielo ho consigliato, e su Mac è veramente molto lineare, molto semplice perché proprio c'è il pacchetto di installazione, lo si trascina nelle applicazioni, fa poi un suo giro di installazione che ci mette qualche minuto, ma nella sostanza

Speaker 2è trasparente per l'utente. Bene, anche oggi siamo arrivati alla conclusione, come sempre se ti è piaciuto quel che hai ascoltato ti propongo di iscriverti alla mia newsletter ogni mese, invio negli ultimi due mesi, non l'ho fatto, ho mandato la newsletter a inizio settembre ma i mesi estivi sono stati complicati, interessanti e complicati comunque ogni mese ti invierò link ad articoli che ho trovato interessanti e ti avviserò di nuovi podcast, nuovi articoli, nuovi video su youtube l'unica cosa che non ti avviso ma che sto scrivendo abbastanza quindi lo segnalo

Speaker 2anche qui sappi che appunto ho un nuovo format che si chiama note sostanzialmente dove invece ti do dove scrivo di cose che sto facendo in quel momento piccole news legate ad articoli note e video su youtube e altre cose che mi sono capitate di lettura veloce e nell'ultimo periodo non so se andrò avanti sempre così ma comunque lo sto utilizzando molto perché è un modo rapido e veloce di scrivere di cose mettiamola così trovi le note

Speaker 2dell'episodio all'indirizzo https www. avvocati- e- mac. it slash podcast slash 88 che è il numero di questa puntata come sempre ci sentiamo alla prossima

Open the transcript file

Hosts and Guests

Nobody is credited on this episode yet.

Credit the people on this episode

Be the first to rate this episode

More episodes

All episodes
  1. 91. Ricerca giuridica avanzata con l’AI – parte 2

    Oct 19, 20261 hr 4 minAudio

    Dalla selezione delle sentenze agli MCP: Gemini Notebook, Comet, BuddaLaw e Normattiva per la ricerca giuridica, con verifica delle fonti. Note episodio: https://www.avvocati-e-mac.it/podcast/91

    Credit the people on this episode

  2. 90. Ricerca giuridica avanzata con l’AI – parte 1

    Oct 5, 20261 hr 9 minAudio

    Dal convegno di Ravenna del 25/09/26: come funzionano LLM e RAG, perché le risposte possono inventare fonti e come usare le banche dati giuridiche. Note dell’episodio: https://www.avvocati-e-mac.it/podcast/90

    Credit the people on this episode

  3. 89. Unsloth Studio ed un po’ di novità

    Sep 21, 202630 minAudio

    In questa puntate un po di aggiornamenti: Anonimator migliora scansioni e OCR; Unsloth Studio apre a Macuse, Gemma e Qwen per lavorare in locale con strumenti e dati legali. Note dell’episodio al link:...

    Credit the people on this episode

  4. 87. Il nuovo sito, ricerca legale aumentata e DwarfStar

    Aug 24, 202626 minAudio

    Oggi Filippo ti parla del nuovo sito in Hugo, ricerca aumentata con Comet e ItalgiureWeb, e le prossime novità per il lavoro legale. Trovi le note dell’episodio: https://www.avvocati-e-mac.it/podcast/87

    Credit the people on this episode

  5. 86. DS4 sul Mac Studio: inferenza locale e un’app per il lavoro legale

    Aug 10, 202638 minAudio

    Filippo prova DS4 sul Mac Studio da 32 GB e racconta l’idea di un’app locale per RAG, skill e documenti riservati dello studio legale. Link note episodio: https://avvocati-e-mac.it/podcast/86

    Credit the people on this episode