[NOTES] - Construindo meu próprio LLM

Tem muitos drafts aqui no blog que são só anotações e artigos que li ou fui investigar para fazer algumas coisas, esse nota tem mais de 10 meses parada e não dá para ficar sem postar. Ainda mais por conta da construção de conhecimentos que estou fazendo nesse assunto.

A ideia é essa mesmo, usar meus dados e informações para treinar com minhas informações criações. Talvez eu nem tenha computador para isso, mas vamos tentar.

Primeiro de tudo é conseguir uma forma de treinar, já vi que posso ter problemas por rodar em uma macbook intel com 1.5GB de GPU

https://medium.com/@manaspatil_28720/training-a-model-on-you-macos-6ab58f537abb

Resultado ao rodar o script anterior foi `MPS device not found`

Porém, estou acostumado com máquina lenta, vamos continuar.

O video do data bricks mostra algumas dicas interessantes sobre bancos e modelos para usar.

Vou seguir o vídeo onde estudar cada ponto citado começando pelos artigos e também indicações de softwares, como o ChromaDB

🔑 Getting Started | Chroma

Select a language

Chroma

Geração de texto

How to generate text: using different decoding methods for language generation with Transformers

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Modelo Dolly

GitHub - databrickslabs/dolly: Databricks’ Dolly, a large language model trained on the Databricks Machine Learning Platform

Databricks’ Dolly, a large language model trained on the Databricks Machine Learning Platform - GitHub - databrickslabs/dolly: Databricks’ Dolly, a large language model trained on the Databricks Ma...

GitHubdatabrickslabs

Outras consultas

https://blog.replit.com/llm-training