Neste post detalho sobre a arquitetura, fluxo e coleta de dados do projeto.
Resumo
Neste post detalho sobre a arquitetura, fluxo e coleta de dados do projeto.
A principal e única fonte de dados do Projeto é coletado via API da Twitch, através do Power Automate, em formato JSON.
Esses dados da Twitch são transformados para CSV e limpos em Python no Google Colab e os dados do IGDB são coletados via API do IGDB para serem tratados e limpos.
Após a limpeza, os dados são carregados no Power BI no qual foram criados métricas a partir desses dados e apresentados no Dashboard.
Isso pode ser resumido na imagem abaixo:
Já com relação ao fluxo de dados, pelo fato de utilizar tanto plataformas da Microsoft quanto do Google, a transferência de dados entre as plataformas é realizada manualmente. – Esse é um ponto principal de melhoria do projeto.
Para esse projeto, basicamente a coleta era realizada uma vez ao dia (por volta das 19:00 – horário que poderia ter um maior volume de audiência na plataforma) entre os meses de Maio, Junho, Julho e Agosto / 2025.
As tabelas Coletadas da API da Twitch são:
Top 100 Streams da Twitch: que contém os 100 Streams mais populares daquele momento. Aqui os Streams não se resumem à apenas jogos, pois a Twitch possui categorias de “Só na Conversa”, “Talkshows e Podcasts”, “In Real File (Vida Real)”, etc.
Top 100 Viewers da Twitch: que contém os 100 Streams com mais visualizações daquele momento, mas com um filtro de tags para “Português”. Esse filtro, já reduz uma parte para o público brasileiro porém, não exclusivamente.
A partir desses dois Bancos de Dados, que são construídos os outros Bancos de Dados, necessários para alimentar o dashboard do projeto.
No próximo Post explicarei sobre a consulta de dados na Twitch.
Até o próximo Post!
Oi, eu sou a Naomi, mas me chamam de Nana (Naná). ADORO tecnologia, matemática, estatística, análises e AMO jogar e fazer artesanato como hobbies. Sou formada em Engenharia e estou fazendo uma especialização em Business Intelligence. Criei este Blog como um espaço para compartilhar meus projetos, descobertas e aprendizados na área de dados. Seja bem-vindo (a) – e boa leitura!
Aqui compartilho minhas experiências, insights e pensamentos sobre meus projetos de Análise de Dados e BI. Espero que seja enriquecedor para você, assim como é para mim. Aproveite a leitura e se quiser, me siga para acompanhar cada postagem!
Blog NanaData – Copyright ® 2025 – Todos os Direitos Reservados.
© 2025 Created with Royal Elementor Addons