Quando Meta ha rilasciato Llama 3, la community AI ha esultato. Non perché sia il modello più potente in assoluto, ma perché cambia l'economia dell'intelligenza artificiale.
Perché è importante
Llama 3 è completamente open source. Potete scaricarlo, eseguirlo sui vostri server, modificarlo, usarlo commercialmente. Niente API keys, niente costi variabili, niente dipendenza da provider esterni.
Per una startup, questo significa poter prototipare con AI senza preoccuparsi dei costi. Potete iterare velocemente, testare ipotesi, senza che ogni richiesta costi soldi.
Le performance reali
Nei nostri benchmark, Llama 3 70B si avvicina a GPT-4 sulla maggior parte dei task. Non lo supera, ma per molti use case la differenza non giustifica il costo delle API OpenAI.
Il modello 8B è interessante per deployment edge o on-device. Gira su hardware consumer con performance accettabili.
Come iniziare
Ollama è il modo più semplice per provare Llama 3 in locale. Un comando e avete un chatbot privato sul vostro portatile. Da lì potete esplorare integrazioni più complesse.