Filippo prova DS4 sul Mac Studio da 32 GB e racconta l’idea di un’app locale per RAG, skill e documenti riservati dello studio legale. Link note episodio: https://avvocati-e-mac.it/podcast/86
Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.
Transcript
From the show. Tap a time to play from there.
Speaker 2Benvenuto, benvenuta, io sono Filippo Strazzi e stai ascoltando Avvocati Mac Companion Companion è un podcast in cui ti parlo delle mie esperienze quotidiane con la tecnologia, in particolare con quella Apple Companion fa parte del network Runtime Radio, la Radio Geek Questa è la puntata 86 nella quale ti parlerò dei miei test con Dwarf Star di Salvatore Sanfilippo sul mio Mac Studio M1 Max con 32 GB di RAM e di una nuova app che sto sviluppando Ma prima, sigla!
Speaker 2Alcune comunicazioni di servizio. Questa puntata nasce da un esperimento che ho iniziato nel weekend e che mi ha positivamente stupito. Registro ai primi di agosto, ho anche un'altra puntata in cantiere, quindi salve imprevisti, dovrei riuscire a registrare le puntate di agosto prima della mia partenza per la montagna, nelle ultime due settimane di agosto. e quindi avere il mese completo, ma ovviamente lo scopriremo vivendo. Mi sono scordato di preparare
Speaker 2e spedire la newsletter di luglio, quindi ne farò una sostanzialmente doppia, spero, per agosto, e come sempre ancora sto registrando su YouTube, perché ovviamente questa registrazione la sto facendo a pezzi e bocconi, mentre sto facendo dell'altro sostanzialmente, quindi per ora non ci si riesce a organizzare tutto bene. Fatte queste dovute premesse, partiamo con un po' di storia per fare il recap della vicenda e introdurre l'argomento. Ho parlato varie volte sul podcast del progetto Dwarf Star o
Speaker 2DS4 di Salvatore Sanfilippo. Recap, intorno a maggio 2026 Antirez, che è appunto lo pseudonimo di Salvatore, ha iniziato lo sviluppo di DS4. Qual era l'idea di fondo di Salvatore? Invece di un sistema come Lama CCP o Lama, che carica sostanzialmente n modelli di Large Language Model Open, e quindi sono sistemi che per forza di cose non possono essere ottimizzati per ogni singolo modello, ragionare invece di creare un sistema...
Speaker 2ottimizzato per uno specifico modello ma appunto che funzioni bene e quindi sia sostanzialmente ottimizzato solo per uno specifico modello di Large Language Model. Nel caso specifico Salvatore ha creato DS4 per DeepSeek 4 Flash. La scelta di Salvatore nella sostanza è stata perché DS4 è da quello che dice lui è un ottimo modello e la versione flash è relativamente piccola ma potente per cui può girare seppur quantizzato su
Speaker 2un mac con 128 giga di ram in modo decente attualmente il repository di salvatore dice che come limite minimo per far girare il sistema dual star è è 96 GB. La cosa interessante è che per far girare questo sistema ha utilizzato delle caratteristiche peculiari di DeepSeek 4 Flash e quindi è riuscito a quantizzare a Q2, cioè veramente tanto, mettiamola in
Speaker 2questi termini, creando un modello GGUF da solo 87 GB. Ovviamente su 128 GB il modello ne occupa il resto diciamo può essere utilizzato per il sistema operativo e per l'eventuale finestra di contesto che peraltro DeepSeek deve riuscire ad arrivare forse a ha anche un milione di contesto. Le funzioni di S4 sono varie, non ho probabilmente neanche le capacità per
Speaker 2spiegarle tutte bene, ma quello che ci interessa di più, o almeno interessa di più per la mia vicenda, è la possibilità di fare il cosiddetto streaming degli esperti del modello da SSD. Questo in parole prove permette di caricare solo una parte del modello, appunto alcuni esperti, che sono appunto esperti di un contesto specifico, per svolgere appunto un determinato compito. Questo permette di non dover caricare l'intero modello in RAM. Ovviamente questo riduce le performance del modello stesso
Speaker 2perché ovviamente il modello viene caricato o scaricato parzialmente dalla RAM del Mac. Inoltre DeepSeek 4 Flash ha delle caratteristiche particolari che permettono, che ottimizzano l'hackery cache. Ogni volta che si dà un prompt a un large language model, questo viene convertito in un vettore numerico. Questo è il cosiddetto pre- fill. Nei Mac è il vero collo di bottiglia attualmente. La generazione infatti dei token è relativamente valida per essere hardware consumer.
Speaker 2Grazie appunto all'ottimizzazione della QVCache, questi vettori possono essere calcolati una volta e reinseriti sostanzialmente nella conversazione. Questo permette in pratica... di appunto velocizzare notevolmente le performance del modello quindi anche con contesti relativamente grossi diciamo ottimizzando la Kiwi Cash e tutto il resto si riescono a fare cose che abitualmente appunto non sarebbero possibili con hardware simile ora anche qui
Speaker 2se sei un ascoltatore da tempo del podcast sai della mia fissa con l'inferenza locale Pur avendo infatti sviluppato l'applicazione Anonymator per appunto anonimizzare i documenti sono convinto che per l'avvocatura la soluzione diciamo vera per l'utilizzo dell'idea generativa sia quella dell'inferenza locale. Il problema è che oggi per avere un Mac da 128 GB di RAM si deve spendere circa con anche l'aumento dei costi dell'hardware e i recenti aumenti
Speaker 2di Apple in conseguenza si spende circa 4.000 euro, cifra che appunto come ho detto già in altre puntate è giustificabile in parte ma sicuramente non per tutti. Io sostanzialmente appunto proprio perché sono interessato ma a un hardware che non poteva minimamente gestire Dwarf Star ho tenuto però monitorato da tempo le cosiddette issue del repository GitHub di DS4 di Salvatore.
Speaker 2e tantissima roba la semplicemente cancello dall'email, perché mi arriva un'email ogni volta che c'è un aggiornamento, un issue nuovo e così via, ma un utente, tale Giorgio Oppo, questo è il suo nickname, segnalava appunto di aver fatto un fork per fare funzionare DS4 su un Mac M1 Pro con 16 GB di RAM, e questo mi aveva fatto ben sperare. Tuttavia c'è tutta una serie di problemi, e così via, per cui non ci sono mai stato dietro più di tanto,
Speaker 2cioè non ho mai approfondito più di tanto. Tra l'altro, l'altra cosa particolare di questo fork è sostanzialmente che Oppo ha modificato il codice DS4 che sostanzialmente Salvatore Sanfilippo ha fatto sviluppare l'intelligenza artificiale in CEE, in Swift e più la cosa interessante però è che ha creato un'app in Swift per l'uso quotidiano di DS4 infatti DS4 sostanzialmente è un sistema a riga di comando e anche questo era
Speaker 2uno dei motivi per cui ritenevo abbastanza poco comodo tutta la gestione di DS4 non avevo l'hardware per farlo girare E due, lavorare totalmente a riga di comando non era comodissimo e comunque avrei dovuto creare una sovrastruttura. La cosa interessante appunto, che poi mi ha fatto partire, è proprio che Oppo aveva già fatto qualcosa e quindi presumibilmente poteva
Speaker 2funzionare anche sul mio Mac, visto che teoricamente lui era riuscito a farlo girare su un Mac con 16 GB di RAM. Ma quindi cosa sono riuscito a fare? Allora, nella sostanza nei giorni scorsi, mentre sto registrando il primo d'agosto credo, usando Codex per vedere se riusciva a compilare l'app Swift per il mio Mac Studio M1 Max con 32 GB di RAM. dopo qualche problema iniziale, ha funzionato e sono riuscito a far girare effettivamente sul mio Mac Studio di S4. E già,
Speaker 2questo era un grande risultato. Diciamo che originalmente ho detto, vabbè dai, era da un po' che non giocavo con Codex, proviamo a fare questo esperimento, mettiamola così. E la mia idea era di dedicarci un'oretta di tempo, diciamo del, credo, sabato pomeriggio che avevo. Inizialmente, quindi, ho tenuto... diciamo il risultato iniziale che funzionava e già questa è una gran cosa a questo punto ho iniziato a fare una serie di test per vedere fino a dove poteva spingersi DS4
Speaker 2sul mio Mac con il fork di Oppo il problema più grosso ovviamente è il contesto infatti su piccoli contesti DS4 funziona decisamente bene per ovviamente l'hardware di cui dispongo ovviamente Con grossi contesti però i tempi sono decisamente più lunghi, ma questo è tra virgolette normale perché sostanzialmente più il contesto è grosso, più raddoppiano i calcoli, anzi una legge
Speaker 2quadratica sostanzialmente, e questo è particolarmente importante nel perfil dove il Mac sostanzialmente è decisamente poco performante. Facendo fare poi i vari test, perché io non ho fatto niente, ovviamente ho fatto tutto codex, sono quindi arrivato alla conclusione che seppure utilizzabile diciamo di S4 sul mio Mac Studio può lavorare solo su compiti programmati potenzialmente utilizzando la mia idea di far lavorare il Mac Studio durante la notte in
Speaker 2cosiddetti task complessi che richiedono molto contesto giusto per darti un'idea con contesti da 192 migliaia di parametri il pre- fill, solo per calcolare il pre- fill, ci mette circa 60 minuti, che quindi oggettivamente non è comodissimo. Su però contesti più ridotti i tempi non sono brevi, ma non sono neanche biblici, mettiamola così, quindi un'interazione a chat è fattibile solo su contesti di
Speaker 2piccole dimensioni, che però tendenzialmente non sono quelli utili in un contesto legale, ma diciamo L'idea invece di far lavorare sostanzialmente, digerire le cose al Mac Studio durante la notte, quindi preprogrammando attività e poi svolgendole nel corso della notte per trovare poi il risultato al mattino. Questo era qualcosa di fattibile. e appunto questo mi ha dato poi il là diciamo a approfondire ulteriormente i test perché effettivamente era una cosa
Speaker 2di cui ti ho già parlato e di cui se possibile volevo fare appunto degli approfondimenti anche perché se mai e quando mai uscirà il nuovo Mac Studio e così via se sul serio ci sarà il taglio da 128 GB di RAM effettivamente tutta questa serie di test e esperimenti mi permetterà di valutare effettivamente se ha senso o meno, prescindendo dalla voglia di acquistare un Mac di questo genere, acquistare lo strumento con maggiore cognizione di causa. Mentre facevo
Speaker 2tutti questi test, mi è venuta l'idea, curiosità, anche di testare la cosiddetta versione vanilla di ADS4. Perché appunto, come ti raccontavo, Oppo era riuscito a fare tutte queste cose, ma con una versione custom, diciamo, riscritta diciamo sulla base di DS4 di Salvatore Sanfilippo ma appunto lui diceva che la versione di Salvatore non funzionava invece su Mac come il mio mettiamola in questi termini quindi ho detto vabbè
Speaker 2dai ci proviamo vediamo tanto se Codex era riuscito a far partire uno può provare a far partire anche l'altro e vedere se effettivamente funziona funzionava e ovviamente con mio stupore e con mia gioia soprattutto anche la versione vanilla di S4 funziona sul mio Mac Studio anzi grazie appunto all'ottimo lavoro di Salvatore funziona addirittura meglio di Oppo nella sostanza di quelle delle versioni suite di Oppo nella sostanza
Speaker 2c'è un incremento relativamente significativo diciamo a livello di generazione la versione Swift non viaggiava più di due token al secondo quindi comunque già pianino con la versione invece di Salvatore soprattutto per la parte iniziale di generazione perché poi progressivamente decade mettiamola in questi termini arrivava anche a tre token al secondo che sì, non è una cosa clamorosa ma sicuramente è un grosso miglioramento ho fatto un po'
Speaker 2di test ho fatto fare poi a dire la verità tutta una serie di benchmark sostanzialmente di quello che effettivamente si riesce a fare, di cosa si riesce a fare col mio Mac Studio e con DS4 di Salvatore. Devo dire la verità, sono molto soddisfatto perché appunto riesce a gestire sul Mac Studio con tutta una serie di trucchi che adesso vedremo, sostanzialmente riesce a gestire anche con testi decisamente grossi, cioè fino a direttura sono arrivato senza problemi diciamo,
Speaker 2fino a 192.000 token che iniziano ad essere una quantità di testo non indifferente mettiamola così e che tendenzialmente diciamo dai 30-60.000 token è il minimo sindacale mettiamola così per fare qualcosa in ambito legale 128 probabilmente è il livello giusto dal mio punto di vista 192 inizia già a essere tanta roba mettiamola in questi termini e diciamo quantomeno si possono con 192 a
Speaker 2prescindere dai tempi mettiamola così lunghissimi però diciamo si possono fare veramente cose già grandi mettiamola in questi termini attualmente mentre sto registrando sono alla fase di revisione integrale del repository per l'ottimizzazione nella sostanza appunto ho fatto tutti questi test ma mi sono fatto come al solito prendere la mano quindi ho iniziato a fare modifiche alla parte applicativo diciamo in Swift e non al motore di Oppo mi
Speaker 2sono reso conto che però c'erano più problemi che altro e ovviamente avevo fatto un po' di accrocchi perché poi era andato un po' tanto al braccio e avevo lasciato andare un po' allo sbaraglio Codex Quindi adesso sono in una fase di preparazione per il lavoro futuro, mettiamola così, perché devo ripulire tutta la cosiddetta code base e arrivare a una situazione stabile e ben strutturata per poi ragionare su eventuali sviluppi futuri di cui poi adesso ti parlo
Speaker 2perché poi l'idea di questa puntata è nata per ragionare su cosa stavo facendo e su che direzione volevo prendere ci sono due differenti necessità concomitanti da una parte l'ideazione test e verifica di funzionalità e comparazione dei risultati con differenti soluzioni dall'altro il lavoro vero e proprio cioè interfaccia e uso pratico i due funzionano assieme sostanzialmente cioè per
Speaker 2poter stabilire diciamo se questo sistema è funzionale cioè l'investimento poi futuro per avere una risposta in tempo semireale rispetto a questi sistemi di lavoro notturno è che i flussi di lavoro devono essere sufficientemente strutturati e ovviamente a me non interessa semplicemente ricevere una risposta dall'intelligenza artificiale ma mi interessa per esempio poter fare ricerche giuridiche potere far generare
Speaker 2del testo in base a documenti che gli ho dato e quindi questo richiede ovviamente molto lavoro da una parte quindi tempi lunghi di elaborazione ma anche dei flussi di lavoro strutturati e ben gestiti e ovviamente è nato prima l'uovo la gallina devo valutare e sto valutando sostanzialmente se ha più senso iniziare a creare dei flussi di lavoro anche strutturati e poi a ragionare sulle ottimizzazioni fare delle
Speaker 2cose basiche per poi vedere invece o ragionare se ottimizzare dove riuscire a ottimizzare tutto questo insomma è un processo abbastanza complicato che mi sta richiedendo e che mi richiede molto tempo ma appunto l'ho dovuto in parte fermare diciamo che le idee mi stanno venendo ma appunto prima di avere una codebase ben strutturata e ripulire dalle robe che non servono a niente perché sennò ho già appunto il progetto è comunque complesso se aggiungo complessità inutile cioè tutto
Speaker 2materiale che non serve diciamo è ovvio che l'intelligenza artificiale che già geniale non è crea ulteriori complicazioni quindi nella sostanza adesso devo stabilizzare le informazioni che il sistema e poi fare i test di inferenza e per cercare di ottimizzare e valutare i limiti che ci sono perché appunto come dicevo per esempio adesso non ho fatto dei veri test diciamo nel mondo legale ma ho semplicemente confermato la
Speaker 2mia teoria che questo sistema funziona e ovviamente anche se non funziona in presa diretta anche se appunto quando appena vorrò un attimo di tempo probabilmente farò anche un video dell'inferenza diciamo l'ho mandato a qualche amico, ma è proprio un video di un minuto neanche, giusto per far vedere come va la generazione del testo. Diciamo che devo mettere assieme tutte queste cose per vedere se effettivamente cosa funziona e se vale la pena approfondire ulteriormente, andare avanti nello
Speaker 2sviluppo di questa situazione. Quindi sono un po' in questa fase attualmente e mentre sto registrando sono ancora in una fase di limbo. E adesso vediamo la parte, chiamiamola così, più speculativa, cioè cosa sto pensando di fare. Allora, visto il quadro ho pensato di, appunto, provare a sviluppare una nuova app. Nella sostanza, la mia intenzione è usare la versione vanilla, perché il gusto vanilla assolutamente è quello base
Speaker 2su cui vengono fatti gli altri gusti di gelato, mettiamola in questi termini, quindi DS4 vanilla per me è semplicemente la versione base. Come serve per l'inferenza? Poi prende spunto dall'approccio di Oppo e dal suo lavoro in Swift per avere un'app e un'interfaccia per invece il server DS4 di Salvatore Sanfilippo. Tra altre cose questo mi permette anche di avere ulteriori benefici perché attualmente mi ero reso conto che analizzando la codebase di Oppo che e appunto avendo fatto
Speaker 2anche una riscrittura in Swift del motore diciamo DS4 funzioni che erano state implementate da Salvatore Sanfilippo non erano ancora entrate nella sua codebase quindi sostanzialmente in questa maniera fatto la mia applicazione si pone sopra gestisce semplicemente l'interfaccia grafica e diciamo tutta una serie di trucchi per far funzionare meglio il server DS4 di Salvatore Sanfilippo e ma ottengo
Speaker 2tutti i vantaggi dell'ultima release di Salvatore. Quali sono le mie idee attuali per l'applicazione? Allora, innanzitutto, non te la sto a fare complicata, diciamo, l'applicazione di Oppo già aveva dei modi di semplificare la vita alla persona. Io ho deciso di andare ancora più sul semplice, quindi nella sostanza... ho fatto implementare alla Codex un sistema di skill semplice, cioè praticamente ho fatto copiare il sistema di Cloud Desktop
Speaker 2con una cartella in cui salvare le skill installate, così da poter riciclare le mie skill legali che avevo già fatto e che ne ho parlato nelle puntate precedenti, che ovviamente però andranno poi ottimizzate per DS4. Apro e chiudo una breve parentesi, ovviamente... Qualunque skill creata per un modello di frontiera deve essere ripensata in parte per un modello meno intelligente e tra le altre cose DS4 Flash con
Speaker 2una quantizzazione decisamente importante per cui non ha al 100% tutti i parametri necessari. che dovrebbe avere. Proprio per implementare in maniera efficace il lavoro legale è integrato immediatamente l'MCP di Boudalou che permette sostanzialmente di recuperare giurisprudenza, norme e tant'altro e questo già funziona sostanzialmente quindi fa le ricerche senza troppi problemi e proprio per funzionare bene nel mondo
Speaker 2legale ho iniziato a implementare perché è in fase ancora di realizzazione un sistema di ottimizzazione dei documenti legali per consumare il minore numero di token possibile all'interno di S4. E questa diventa tra le mie concezioni di ottimizzazione. Nella sostanza, appunto, siccome più contesto do a DeepSeek 4 Flash, più ovviamente i tempi si allungano, da quello che ti ho raccontato prima,
Speaker 2è importante dare il maggior numero di informazioni pertinenti e il minor numero di token possibili a un'interazione con DS4 di modo che sostanzialmente si possa utilizzare poi la gestione corretta di tutto il sistema e del contesto e delle risorse del mio MacStudio. Quindi nella sostanza ho innanzitutto inserito un sistema di RAG interno ottimizzato. Ho deciso di un
Speaker 2sistema per estrapolare, di estrazione testo da PDF e docx. Nella sostanza attualmente il testo dei docx viene estrapolato attraverso Pandoc. e per ora invece il testo di PDF viene estrapolato con PDFKit, anche se sto valutando l'utilizzo di Docklin gestito dall'applicazione. Questo fa sì che da una parte appunto viene passato solo il testo ADS4, il testo chiamiamo così ottimizzato. Dall'altra
Speaker 2è possibile fare RAG su PDF e docx e questo ha un vantaggio perché tra le varie cose che ho voluto integrare sostanzialmente nel sistema è anche quello di quando va a fare l'estrapolazione delle informazioni ogni informazione dovrebbe perché tutta questa parte l'ho fatta iniziare a sviluppare ma non ho ancora avuto modo di testarla approfonditamente nel sistema dovrebbe darti anche la pagina di riferimento del pdf per esempio
Speaker 2o come notebook lm sostanzialmente i riferimenti da dove ha estrapolato quell'informazione e quindi il testo da cui è estrapolato quell'informazione quindi un sistema veloce di verifica ovviamente tutto all'interno di questo sistema tutto in lavoro locale quindi molto molto interessante almeno dal mio punto di vista Poi c'è da valutare e implementare un sistema, il sistema appunto di task cosiddetti notturni, che però non è ancora stato minimamente fatto,
Speaker 2diciamo è solo nella fase di programmazione barra strutturazione, per semplificare e ottimizzare il lavoro notturno. E un sistema anche di calcolo notturno, e questa secondo me è la cosa più interessante dal mio punto di vista, dei pre- fill. Nella sostanza, appunto, come ti raccontavo, DS4 di Salvatore Sanfilippo ha tra i trucchi, diciamo, a quello di poter recuperare i calcoli, diciamo, già svolti. Quindi, nella sostanza, per esempio, per le skill, per le informazioni dell'MCP,
Speaker 2sono tutte informazioni che devono essere calcolate, quindi inserite nel prefile cosiddetto, prima di poter fare qualsiasi altra cosa. Se io le faccio calcolare di notte, mettiamola così, a me e per esempio per le skill che poi si stabilizzano, salvo quei pezzi di prefile e strutturo tutto un sistema per cui posso ricostruire il prefile a pezzi, mettiamola così, teoricamente dovrei riuscire a ottimizzare l'inferenza di S4 anche con
Speaker 2pochissima RAM. Ovviamente non funzionerà in maniera super veloce. ma sicuramente mi darà la possibilità invece di fare tante cose anche perché per esempio anche qui i documenti fondamentali per esempio gli atti possono essere prima convertiti in test quindi compattati diciamo al minimo sindacale e poi ogni singolo documento per esempio di una pratica o i documenti più importanti chiamiamoli così possono essere già precalcolati e a questo punto
Speaker 2passati all'interno del sistema anche perché qui ho creato un'altra cosa che adesso è tutta da valutare, ma sostanzialmente il sistema lavora a pratiche, quindi anche qui tu inserisci la pratica A, mettiamola così, te la indicizza, quindi vettorializza tutto e così via, ma tra l'altro ti fa il pre- fill di tutti i vari documenti e sto ragionando anche, ti fa la sintesi dei documenti. siccome ovviamente lavorando tutto in locale questo è un ottimo risultato e a questo punto
Speaker 2quindi appunto DeepSeek ha già facendola durante la notte mettiamola in questi termini ha già la pappa pronta diciamo e quindi riesce a funzionare meglio a fronte di risorse ridotte sto anche ragionando di testare tecniche e risultati quindi per questo motivo che appunto poter provare le cose è importante per ottimizzare i flussi di lavoro vari, per esempio ho fatto tutta una serie di test veloci sulla skin per Boudadou perché la skill base è molto grossa, quindi occupa
Speaker 2un grosso contesto e invece una skill ottimizzata, quindi con il minor testo possibile ma con la maggior capacità di funzionare bene, mettiamola così, permette varie cose tra l'altro quello che ho raccontato nella puntata 81 cioè il discorso delle mail e dell'estrapolazione di informazioni dalle mail per svolgere attività e per creare dei report e così via inizia a diventare molto interessante anzi diciamo mentre sto registrando la puntata ho
Speaker 2tra le varie altre cose iniziato a inserire tutto questo flusso di lavoro con le varie ricerche che avevo già fatto e con una bozza di applicazione che poi avevo lasciato lì a morire nel dimenticatorio per vedere se riesco a fare tutta questa cosa perché effettivamente in questa maniera è molto interessante soprattutto siccome io archivio i file ML all'interno della pratica la possibilità anche di indicizzare questi file già archiviati e di creare sostanzialmente una sorta di racconto
Speaker 2della corrispondenza email diventa molto molto interessante e nella sostanza rientra pieno in questo progetto diciamo di applicazione per cui tutto quello che ti sto raccontando salve le cose che ho detto che già funzionano e che però non sempre ho testato ti danno un'idea di quello che anche con un hardware relativamente ridotto si potrebbe fare con DS4 che gira in locale ed è il motivo poi fondamentale per
Speaker 2cui mi sono imbarcato in questa avventura che come al solito non so che risultati porterà ma diciamo di cui ti parlo anche per farti capire che comunque insomma un hardware che comunque seppur carrozzato all'epoca ormai ha 4 anni potenzialmente con tutta una serie di vincoli e comunque di trucchi per cercare di ottimizzarlo può iniziare ad essere utile per il lavoro nel mondo legale è ovvio che hardware più
Speaker 2potente permetterebbe di fare tutto più o meno in maniera automatica molto più semplice ma devo dire la verità anche qui probabilmente tutta la parte di organizzazione del lavoro anche durante il periodo notturno credo sia utile consigliabile da inserire perché comunque permette poi di far funzionare meglio o di utilizzare meglio quest'hardware che se no tendenzialmente negli orari notturni non verrebbe mai utilizzato mi sembra giusto comunque ripetere i
Speaker 2limiti e fare un punto anche sui limiti di una soluzione simile innanzitutto una normale inferenza come dialogo in chat di fatto è praticamente impossibile appunto non ho ancora avuto modo di fare dei test veri ma da quello che ho nasato diciamo anche per una semplice ricerca giurisprudenziale i tempi sarebbero veramente non dico biblici ma comunque abbastanza lunghi da quello che ho ragionato io non meno di 15-20 minuti a ricerca quindi sicuramente fattibile ma diciamo per esempio
Speaker 2per la ricerca giurisprudenziale dove sostanzialmente non c'è un problema di riservatezza e di segreto sicuramente ha più senso far generare queste ricerche da Cloud Code per Plexity o quant'altro che lavorano in decine di secondi e non in 15-20 minuti. In più ovviamente ne posso fare una alla volta mentre con gli altri sistemi posso addirittura lavorare in parallelo quindi
Speaker 2fare n ricerche e quindi questo attualmente non ha molto senso. Ha molto più senso invece per quanto riguarda tutto il mondo dei documenti riservati teoricamente il sistema anche qui potrebbe essere fatto utilizzato come un sistema agentico diciamo a livello teorico è possibile probabilmente appunto con hardware idoneo è fattibile anche ma nella concretezza del mio hardware diciamo sarebbe super
Speaker 2lento o anche qui da svolgere in periodi notturni e probabilmente può rientrare tra uno sviluppo futuro quando avrò eventualmente indicizzato tutte le posizioni attive del mio ufficio e a questo punto, avendo nella maggior parte dei casi la notte libera, mettiamola così, ho ragionato di poter programmare dei task a lungo termine solo durante la notte potrebbe essere un qualcosa
Speaker 2di utile ma sicuramente non a breve l'altro limite enorme che va considerato è che funziona solo per un utente quindi un sistema del genere comunque allo stato attuale ma anche la versione diciamo di salvatore con 128 giga di ram funziona solo ed esclusivamente per un utente eventualmente diciamo appunto con un discorso di di programmazione dei task uno dopo l'altro ma comunque con rallentamenti significativi si potrebbe ragionare di
Speaker 2dire appunto l'utente A fa una domanda viene messa nella coda e progressivamente vengono date le risposte in base alla coda delle domande però credo che nella sostanza nel mondo legale non abbia molto senso mettiamola così In quest'ottica qua comunque richiede un modo di lavorare differente per le mie necessità diciamo e soprattutto nell'ottica di testare sicuramente appunto strutturare
Speaker 2un sistema di lavoro notturno è interessante dal mio punto di vista ma anche qui probabilmente non è per tutti e non so neanche addirittura se poi i risultati lo meriteranno nel senso che il problema grosso appunto è che tu fai partire o programmi un task per partire alla notte mettiamolo in questi termini il task va, fa e poi al mattino leggi il risultato e casomai non è il risultato che speravi o perché ci mancava qualcosa o
Speaker 2perché appunto come è tipico nell'arge language model il primo approccio non è quello corretto mettiamola così e quindi la tua domanda o il risultato va adeguato, e quindi sì, il sistema rischia di essere veramente molto dilatato nel tempo. La mia idea di fondo infatti è quella sostanzialmente innanzitutto di far fare riassunti e avere in estrema sintesi tutta una serie di materiale che poi possa rendere la vita
Speaker 2più semplice, o addirittura fare la famosa raga all'interno dei documenti, quindi mi ricordo che avevo letto da qualche parte che in una testimonianza si diceva quella cosa io faccio la RAG e trovo la pagina esatta del pdf quindi riesco a estrapolare l'informazione soprattutto su informazioni di grosso calibro o posso fare delle ricerche di grossa portata all'interno della documentazione di una documentazione grossa perché una volta che è indicizzata la documentazione io posso andare con la RAG a fare
Speaker 2tutte le ricerche del caso quindi secondo me su questo fronte diciamo è la soluzione migliore bene siamo arrivati in fondo diciamo tirando le solite somme sicuramente è un'interessantissima prova di concetto l'app Swift sopra il server DS4 permette di personalizzare senza reinventare la ruota e questo secondo me è molto interessante nel senso che appunto io adesso ho fatto questo ragionamento ovviamente in ambito legale perché è quello che
Speaker 2interessa a me ma volendo ovviamente utilizzando gli agenti per la codifica e quindi l'intelligenza artificiale per la codifica questo sistema si applica a n realtà e a n situazioni differenti ovvio che va ragionato il sistema è interessante avere appunto una potenziale app verticale per gli avvocati con da una parte potenza e diciamo calibrazione proprio per i workflow specifici degli avvocati senza però la complessità il lavoro che ho svolto fino adesso mi ha riconformato come lo sviluppo
Speaker 2di un'app è comunque sempre complessa e soprattutto è necessario pianificare il suo sviluppo lo studio attento di come funziona di quali sono i flussi di lavoro sono fondamentali sostanzialmente per poi ottenere un buon risultato l'esempio mio è che sono andato un po' alla spera in dio diciamo e ne ho pagato subito le conseguenze adesso ho realizzato tutto un percorso di pianificazione a lungo termine di rielaborazione del
Speaker 2sistema proprio per, anche ausiliato ovviamente dall'intelligenza artificiale proprio per creare una strada più lineare e sensata per lo sviluppo e la gestione di questa app come sempre se ti è piaciuto quello che hai ascoltato ti propongo di iscriverti al newsletter ogni mese questo mese no, ma ogni mese ti invio una mail con i link ad articoli che ho trovato interessanti, ti avviso dei nuovi podcast o di
Speaker 2nuovi articoli che ho pubblicato. Come sempre trovi le note dell'episodio all'indirizzo https: / / www. avvocatoi- e- mac. it slash podcast slash 86 che è il numero di questa puntata come sempre ci sentiamo alla prossima
Dalla selezione delle sentenze agli MCP: Gemini Notebook, Comet, BuddaLaw e Normattiva per la ricerca giuridica, con verifica delle fonti. Note episodio: https://www.avvocati-e-mac.it/podcast/91
Dal convegno di Ravenna del 25/09/26: come funzionano LLM e RAG, perché le risposte possono inventare fonti e come usare le banche dati giuridiche. Note dell’episodio: https://www.avvocati-e-mac.it/podcast/90
In questa puntate un po di aggiornamenti: Anonimator migliora scansioni e OCR; Unsloth Studio apre a Macuse, Gemma e Qwen per lavorare in locale con strumenti e dati legali. Note dell’episodio al link:...
Unsloth Studio riunisce modelli locali, RAG, MCP e API. Filippo lo prova su Mac con Qwen3.8 e Gemma 4. Link alle note: https://www.avvocati-e-mac.it/podcast/88
Oggi Filippo ti parla del nuovo sito in Hugo, ricerca aumentata con Comet e ItalgiureWeb, e le prossime novità per il lavoro legale. Trovi le note dell’episodio: https://www.avvocati-e-mac.it/podcast/87