[NOTES] - Construindo meu próprio LLM

Tem muitos drafts aqui no blog que são só anotações e artigos que li ou fui investigar para fazer algumas coisas, esse nota tem mais de 10 meses parada e não dá para ficar sem postar. Ainda mais por conta da construção de conhecimentos que estou fazendo nesse assunto.

A ideia é essa mesmo, usar meus dados e informações para treinar com minhas informações criações. Talvez eu nem tenha computador para isso, mas vamos tentar.

Primeiro de tudo é conseguir uma forma de treinar, já vi que posso ter problemas por rodar em uma macbook intel com 1.5GB de GPU

https://medium.com/@manaspatil_28720/training-a-model-on-you-macos-6ab58f537abb

Resultado ao rodar o script anterior foi `MPS device not found`

Porém, estou acostumado com máquina lenta, vamos continuar.

O video do data bricks mostra algumas dicas interessantes sobre bancos e modelos para usar.

Vou seguir o vídeo onde estudar cada ponto citado começando pelos artigos e também indicações de softwares, como o ChromaDB

Geração de texto

Modelo Dolly

Outras consultas

https://blog.replit.com/llm-training