Vida com IA

Fala galera, nesse episódio do podcast eu falo sobre o novo modelo da OpenAI, O OpenAI o1, o modelo que pensa antes de responder. No episódio eu compartilho a minha opinião e a sensação depois dos primeiros contatos com o modelo. Link do grupo do wpp: ⁠⁠https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP⁠⁠ Instagram of the podcast: https://www.instagram.com/podcast.lifewithai Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse episódio eu falo sobre os diferentes tipos de IA. Eu não entro a fundo nos modelos, no episódio eu foco mais em explicar os diferentes tipos e quais problemas eles resolvem. Como tipos de IA eu falo sobre estatística, machine learning, reinforcement learning, deep learning e IA generativa. Link do grupo do wpp: ⁠⁠⁠https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP⁠⁠ Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, esse episódio não tem nada a ver com IA, nele eu falo sobre falas dicas de investimentos, que é um tema que eu gosto bastante. No espiódio eu falo dos diferentes tipos de investimento, renda fixa, variavel, exterior, previdencia, cripto... Importante falar que nada disso é recomendação de investimento! Link do grupo do wpp: ⁠⁠⁠https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP⁠⁠ Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, esse é o último episódio da serie sobre o paper do Llama3. Nele eu falo sobre a discussão que eles fizeram sobre análise de contaminação nos benchmarks, da parte de visão e audio. Eu espero que voces tenham gostado dessa serie de episódio sobre o paper, eu aprendi bastante! Link do grupo do wpp: ⁠⁠https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP⁠ Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai Llama 3 paper: https://scontent-cdg4-3.xx.fbcdn.net/v/t39.2365-6/452387774_1036916434819166_4173978747091533306_n.pdf?_nc_cat=104&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=t6egZJ8QdI4Q7kNvgEUMsBZ&_nc_ht=scontent-cdg4-3.xx&oh=00_AYBeifNn3pUDhDb136i_WQ_jpoYwLgNExZHcNvDV-N1rRA&oe=66A804CD

Fala galera, nesse episódio eu falo sobre o pre-treinamento e pós-treinamento do Llama 3. Link do grupo do wpp: ⁠⁠https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP⁠ Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai Llama 3 paper: https://scontent-cdg4-3.xx.fbcdn.net/v/t39.2365-6/452387774_1036916434819166_4173978747091533306_n.pdf?_nc_cat=104&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=t6egZJ8QdI4Q7kNvgEUMsBZ&_nc_ht=scontent-cdg4-3.xx&oh=00_AYBeifNn3pUDhDb136i_WQ_jpoYwLgNExZHcNvDV-N1rRA&oe=66A804CD

Fala galera, FINALMENTE saiu o paper do Llama 3! Eles lançaram o modelo de 405B e atualizaram os modelos de 8B e 70B. Nesse episódio eu dou um pouco a minha opinião sobre cenário em geral ao redor do modelo e o que isso representa. Nesse episódio eu dou uma visão geral do artigo, e nos próximos episódios eu vou mais a fundo nos detalhes tecnicos! Instagram of the podcast: https://www.instagram.com/podcast.lifewithai Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai Llama 3 paper: https://scontent-cdg4-3.xx.fbcdn.net/v/t39.2365-6/452387774_1036916434819166_4173978747091533306_n.pdf?_nc_cat=104&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=t6egZJ8QdI4Q7kNvgEUMsBZ&_nc_ht=scontent-cdg4-3.xx&oh=00_AYBeifNn3pUDhDb136i_WQ_jpoYwLgNExZHcNvDV-N1rRA&oe=66A804CD

Fala galera, nesse episódio eu falo sobre como escolher o melhor modelo de IA para o seu problema. Quais são os tradeoffs que voces tem que considerar na hora de escolher o modelo. Link do grupo do wpp: ⁠https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP⁠ Github Transformers tutorials do Niels Rogge: https://github.com/NielsRogge/Transformers-Tutorials Instagram of the podcast: https://www.instagram.com/podcast.lifewithai Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse episódio do podcast eu falo sobre o Stable Diffusion, um famoso algoritmo open source de geração de imagem. Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP Instagram of the podcast: https://www.instagram.com/podcast.lifewithai Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai Stable diffusion paper: ⁠⁠https://arxiv.org/pdf/2112.10752⁠⁠ Good Medium post about SD: ⁠https://medium.com/@steinsfu/stable-diffusion-clearly-explained-ed008044e07e#97f4⁠ Amazing YouTube videos explaining diffusion: ⁠https://www.youtube.com/watch?v=1CIpzeNxIhU⁠ Explaining stable diffusion with code: ⁠https://www.youtube.com/watch?v=-lz30by8-sU

Fala galera, nesse episódio eu falo sobre modelos de difusão, o algoritmo por trás de todos os modelos famosos de geração de imagem como o stable diffusion, dall-e e o midjourney. No episódio eu explico o processo de difusão e também alguns quesitos tecnicos relevantes pro problema, como o ruído branco e o processo de markov. Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP Video de gatinho no instagram: https://www.instagram.com/mpminds_?igsh=MTloM3VtdTA0eWEwZQ== Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai Blog post explicando diffusion: https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/ Diffusion paper: https://arxiv.org/pdf/2006.11239.pdf?ref=assemblyai.com 

Fala galera, nesse episódio eu falo sobre 3 modelos muito importantes que usam contrastive learning, CLIP, SigLIP e JinaCLIP. Eles são modelos de embedding de text-imagem que nos permitem de por exemplo faz retrieval em text e imagem ao mesmo tempo. Link do grupo do wpp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP CLIP paper: https://arxiv.org/pdf/2103.00020 SigLIP paper: https://arxiv.org/pdf/2303.15343 JinaCLIP paper: https://arxiv.org/pdf/2405.20204 Github of similarities and contrastive loss: https://github.com/filipelauar/projects/blob/main/similarities_and_contrastive_loss.ipynb Instagram of the podcast: https://www.instagram.com/podcast.lifewithai Linkedin of the podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse episódio eu falo sobre 2 conceitos tecnico muito importantes em Deep Learning, constrastive learning e similaridade de cosseno. Eles muito úteis pra treinar modelos de embedding ou fazer RAG. Link pro grupo do whatsapp: ⁠https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP Ótimo blog post sobre contrastive loss: https://lilianweng.github.io/posts/2021-05-31-contrastive/ SimCLR paper: https://arxiv.org/abs/2002.05709 Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse episódio do podcast eu falo sobre o dataset FineWeb, o melhor dataset open source de pre-treinamento existente até hoje. No episódio eu explico como eles fizeram a curadoria do dataset e um pouco dos resultados. Link pro grupo do whatsapp: https://chat.whatsapp.com/GNLhf8aCurbHQc9ayX5oCP Link do blog da huggingface: https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1 Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse episódio eu falo com o João Batista, Technical Product Manager da Stackspot AI. No episódio a gente falou bastante sobre o uso de LLMs como um copilot usando os próprios documentos da empresa para dar as respostas usando RAG. A gente falou tanto de aspectos técnicos como de produto, como qual métrica de similaridade pro RAG, quantos documentos usar, como mostrar a resposta e como metrificar a qualidade. Linkedin do Joao: https://www.linkedin.com/in/joaobatista-cordeironeto/ Linkedin da Stackspot AI: https://www.linkedin.com/company/stackspot/ Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse episódio eu falo de 2 papers, BitNet e 1.58 Transformers. Esses 2 papers da Microsoft apresentar uma nova receita de como treinar Transformers com apenas 1 bit, diminuindo muito o consumo de memória e energia, assim como o tempo de inferencia. BitNet paper: https://arxiv.org/pdf/2310.11453 1.58 bit paper: https://arxiv.org/pdf/2402.17764 Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Episódio extra falando sobre o lançamento do Llama 3!!!

Fala galera, continuando a serie de episódios sobre PEFT, nesse episoódio eu falo sobre tecnicas de otimização de inferência em LLMs. Eu falo de layer pruning, onde a gente corta algumas camadas consecutivas da rede sem perder quase nada de qualidade do modelo. Eu falo também sobre Mixture of Depths, uma tecnica semelhante ao Mixture of Experts, onde a gente usa um routing pra escolher quais tokens vão ser processados em qual camada da rede. Paper MoD: https://arxiv.org/pdf/2404.02258.pdf Paper layer pruning: https://arxiv.org/pdf/2403.17887v1.pdf Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, esse é um primeiro episódio de uma série de episódios sobre PEFT, Parameter Efficient Fine Tuning. Nele eu falo sobre LoRA e QLoRA, que são 2 métodos muito importantes e amplamente utilizados que possibilitam o treinamento de LLMs bem mais rápido com o uso de apenas 1 GPU sem perder perfomance. Video sobre QLoRA: https://www.youtube.com/watch?v=6l8GZDPbFn8 LoRA paper: https://arxiv.org/pdf/2106.09685.pdf QLoRA paper: https://arxiv.org/pdf/2305.14314.pdf Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse expiódio eu falo sobre Retrieval Aware Fine Tuning (RAFT), um paper que propos uma nova técnica que utiliza tanto domain specific fine tuning quanto RAG pra melhorar a capacidade de recuperação da informação dos LLMs. Nesse epiódio eu também falo sobre um outro paper que também tem o nome de RAFT, mas dessa vez Reward rAnking Fine Tuning, que propoe uma nova técnica para fazer RLHF mas sem os problemas de convergencia de Reinforcement Learning. Retrieval Aware Fine Tuning: https://arxiv.org/abs/2403.10131v1 Reward rAnking Fine Tuning: https://arxiv.org/pdf/2304.06767.pdf Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse episódio eu explico como a gente consegue escalar a janela de contexto de um LLM pra mais de 1 milhão de tokens usando Ring Attention. Além disso eu discuto se a abordagem usando RAG está morta com esses avanços na janela de contexto. Paper Lost in the Middle: https://arxiv.org/pdf/2307.03172.pdf Gemini technical report: https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf Paper Ring Attention: https://arxiv.org/pdf/2310.01889.pdf Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Fala galera, nesse episódio eu recebi o André, ele é AI expert na IBM e a gente falou bastante sobre como usar IA pra resolver diversos problemas na industria. Site da Brains: https://brains.dev/ Linkedin do Andre: https://www.linkedin.com/in/andrefelipelopes/ Linkedin da Brains: https://www.linkedin.com/company/brains-brazilian-ai-networks/ Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai