This is a Portuguese only page.

2021.2

Big Data and Astroinformatics:

Notebook 01 – Open and plot Catalog Fits Catalog

Notebook 02 – Pandas Operations

Notebook 03 – Image Operations

Notebook 04 – Least Square fit of hubble constant Dataset

Notebook 05 – Photometric redshifts with Dense Neural Network catalog

Notebook 06 – Photometric redshifts with Random forest

Notebook 07 – Convolutional Neural Networks

2021.2 Project Brainstorm document

Slides:
aula01_big_data – Introduction
aula02_big_data – Pandas and fits 01
aula03_big_data – Pandas and Image Processing
aula05_big_data – Image Processing
aula06_big_data- Image Processing and Segmentation
aula07_big_data – Segmentation
aula08_big_data – SExtractor
aula09 big data – Topcat e Aladin – data for the lecture
aula10_big_data- Basic Statistical Concepts
aula11_big_data – Maximum Likelihood Estimation
aula12 big data – Astronomical databases and queries
aula13_big_data – Maximum Likelihood, Least Squares, Logistic Regression
aula14_big_data – Machine Learning and Neural Networks
aula15_big_data – Machine Learning and Neural Networks II
aula16_big_data – Decision Trees and Random Forest

Exercises:
1. Create a new column from a fits catalog and save the new catalog

2. Estimate the limiting magnitude of the provided catalog. Use the relation beetween mag_err and S/N

3. Create your catalog using SExtractor (astromatic.net/software/sextractor/). The command should be:


sextractor file_name.fits -c config.sex -PARAMETERS_NAME sex.param -CATALOG_NAME  output.fits -CATALOG_TYPE FITS_1.0 -GAIN  8116  -PIXEL_SCALE 0.06 -SEEING_FWHM 0.1 -MAG_ZEROPOINT  25.6651  -PHOT_FLUXFRAC 0.682 -DEBLEND_MINCONT 0.0015 -DEBLEND_NTHRESH 32

The image file is here FF – HST-Image in f435 band (replace “file_name.fits”)
Then compare with catalogs from Molino et al. 2017 catalog for the given image is presented here
You have to create your sex.param file. Please refer to Source Extration documentation.

For the lecture on tuesday Set-28 please install:
Arianna Cortesi: http://www.star.bris.ac.uk/~mbt/topcat/
https://aladin.u-strasbg.fr/

4. Derive your Hubble constant from several datasets hubble_fit_data

5. Demonstrate that a OL Least Square fit is equivalent of having a Maximum Likehood of a gaussian variable with a Linear model
6. Demonstrate that The Maximum Likelihood Method for a Bernoulli variable with a linear model is equivalent to minimize the cross-entropy beetween predictions and measured variables.

7. Demonstrate that the minimum of cross-entropy is obtained when the two probabilities are equal.

2020.2

Deep Learning

Recomendado construir um repositório como GitHub/GitLab ou similares para postar as suas soluções. Tente construir soluções com python notebooks. As soluções das tarefas podem ser postadas em: https://github.com/CBomDeepLearningClass2020b

Projeto final de curso consistirá em um seminário de até 20 min (seguido de perguntas) sobre os desenvolvimentos realizados acompanhado de um notebook que deverá ser postado na organização CBomDeepLearningClass2020b.
Serão considerados como critério para o conceito:
-> Clareza do Notebook. Código didático, documentado com riqueza de explicações.
-> Domínio do tema. Qual é o diferencial do seu modelo com relação a outros possíveis modelos? Como e porque a arquitetura foi definida/considerada adequada?
-> Métricas escolhidas para avaliar o problema. O treinamento convergiu? Houve ovefitting? Quais as tentativas de remove-lo? Como sabemos que o modelo funciona e com que métrica?
-> Tratamento dos dados.

Limite para entrega dos notebooks (hard limit) 11/12/2020. Até lá todos devem ter apresentado.

Projetos propostos para 2020.b:

1- Nem tão few, nem tão Big. Qual é o limite de poucos dados que podemos treinar e convergir um conjunto de modelos de identificação de arcos gravitacionais (Imagens) ?

2- Qual é o limite de detecção de uma lente gravitacional (imagens)?

3 – Few shot learning utilizando para classificação de lentes gravitacionais (imagens).

4 – Desenvolvimento de um modelo para separação estrela/galáxia (tabular/imagens).

5 – Incerteza para regressão em lentes gravitacionais. (modelagem inversa em imagens).

6 – Detecção de Exoplanetas https://www.kaggle.com/keplersmachines/kepler-labelled-time-series-data
(sequencia).

7 – Classificação de tipos morfológicos de galáxia com Deep Learning https://www.kaggle.com/c/galaxy-zoo-the-galaxy-challenge/data
(imagens).

8 – Classificação de transientes com fotometria https://www.kaggle.com/c/PLAsTiCC-2018
(sequencia).

9 – Detecção de fraudes em cartão de crédito https://www.kaggle.com/mlg-ulb/creditcardfraud
(tabular).

10 – Detecção de Pneumonia https://www.kaggle.com/paultimothymooney/chest-xray-pneumonia
(imagens).

11 – Previsão de mortalidade por parada cardíaca https://www.kaggle.com/andrewmvd/heart-failure-clinical-data/
(tabular)

12 – Previsão da qualidade vinho : https://www.kaggle.com/uciml/red-wine-quality-cortez-et-al-2009/
(tabular).

13 – Classificação de batidas do coração https://www.kaggle.com/kinguistics/heartbeat-sounds
(audio).

14 – Análise de sentimentos via audio: https://www.kaggle.com/uwrfkaggler/ravdess-emotional-speech-audio
(audio).

15- Segmentação de CT para detecção de COVID-19
https://www.kaggle.com/andrewmvd/covid19-ct-scans
(Imagens/ Segmentação semântica).

Slides:
Lecture01
Lecture02
Lecture03
Lecture04
Lecture05
Lecture06
Lecture07
Lecture08
Lecture09
Lecture10
Lecture11
Lecture12
Lecture13
Lecture14

Tasks

Tarefa1 – Diagnóstico de diabetes
Dataset para diagnóstico

Tarefa 2- Primeira rede densa com MNIST

Tarefa 3 – Primeira rede CNN com MNIST

Tarefa 4 – Classificação em um mini-challenge: https://bitbucket.org/kognitalab/images_mini_challange/src/master/
Parte 2: Avalie seus resultados gerando uma curva ROC e calculando sua área.
Parte 3: Avalie a robustez do seu resultado redefinindo randomicamente os samples de treinamento e teste pelo menos 10-20 vezes e calculando o desvio padrão e a média da curva.
Parte 4: Avalie o overfitting da sua rede.
Parte 5: Adicione mais um bloco Conv+ReLu+Maxpool e refaça o passo 3. O resultado melhorou ou piorou? Você consegue obter alguma intuição desse resultado?

Tarefa 5 – Primeiro desafio no kaggle:
https://www.kaggle.com/c/titanic/overview/evaluation

Tarefa 6 – Faça você mesmo:

Objetivo: Sem ajuda do Keras ou tensorflow parta apenas do python e implemente e treine uma rede com poucas camadas “from the scratch”.
Use o exemplo em: https://machinelearningmastery.com/implement-backpropagation-algorithm-scratch-python/
Desafio: Implemente uma camada convolucional e faça um python notebook com utilizando o seu exemplo. Escolha o padding e o stride de sua preferência. Conselho: não vá deep, procure filtros pequenos e com 1 camada. Você percebe por que?
Parte 2: Compare o seu resultado com uma rede idêntica criada e treinada no keras/Tensorflow.

Tarefa 7 Regressão no kaggle:
https://www.kaggle.com/c/house-prices-advanced-regression-techniques
1. Construa um modelo com Random Forest
2. Construe um modelo com LightGBM
3. Faça um Ensemble

Tarefa 8
Aplique uma arquitetura que você utilizou no dataset da tarefa 04 (com as devidas adaptações) tipo resnet, resnext, Inception no dataset do Strong Lensing Challenge, Gere as ROCs e compare as 4 arquiteturas. Repita o processo utilizando uma outra função custo (e.g. RMSE) e avalie o overfitting em todos os casos. Quais são as redes mais sujeitas a overfitting? Porque? Quantos parâmetros existem para ser otimizados em CADA arquitetura?

Tarefa 9 – Time series com Deep Learning

1- Siga o tutorial em : https://aboveintelligent.com/time-series-analysis-using-recurrent-neural-networks-lstm-33817fa4c47a
2 – Siga o tutorial em : https://www.kaggle.com/amirrezaeian/time-series-data-analysis-using-lstm-tutorial
3 – Implemente uma rede recorrente (LSTM) para o challenge de classificação de chuvas https://www.kaggle.com/c/how-much-did-it-rain#description
Faça a sua própria implementação da solução vencedora: https://github.com/danzelmo/how-much-did-it-rain e compare com o desempenho da sua utilizando a métrica https://www.kaggle.com/c/how-much-did-it-rain#evaluation

Tarefa 10 – AE vs PCA

Demonstre que uma PCA equivale a AE com funções lineares em um escolha particular de loss function.

2019.2

Eletricidade Básica
Introdução a Metodologia Científica

Atenção: por motivo de força maior as aulas com o prof. Clécio só retornarão a partir do dia 4/10 (sexta feira).

Eletricidade Básica

Listas para P1:
Lista 1
Moysés Nussenzveig, Física Básica, vol III , 1 Ed.
Cap 2: 1,5,7,8,9
Cap 3: 2,6,9,13,16
Young e Freedman, Física III, 14 Ed.
Cap 21:
1,3,20,21,23,27,34,37,42,45,72,86,91.
Cap 22:
1,7,9,12,13,33,49,61,62.

Lista 2
Moyses vol III , 1 Ed.
Cap 4: 1,3,4,6,10
Cap 5: 2,4,9,10
Young e Freedman, Física III, 14 Ed.
Exercícios
Cap 23:
13, 14, 19,41, 46, 50, 59, 63, 66, 67, 81, 82, 83
Cap 24:
4, 12, 40, 45, 64, 66,67

Metodologia Científica

Material de apoio para P1 (Data a definir):
Apostila de Metodologia UFSM(Unidade 1 e 2)
Apostila Metodologia (Capes) (Unidade 1 e 2)

P2:

Temas para seminários, grupos de no máximo 4 pessoas – 20 min

Movimentos anticiência: A terra é plana
Movimentos anticiência: movimento anti-Vacinas
Teoria da Evolução x Design Inteligente
A partir do método científico, e de observações acessíveis e reproductíveis discuta o Heliocentrismo.
Alimentos transgênicos a luz da ciência, eles fazem mal?
Movimentos e sabedorias que se julgam ter respaldo científico a luz da ciência: Homeopatia
Movimentos e sabedorias que se julgam ter respaldo científico a luz da ciência: Cura Quântica
Aquecimento Global

Material complementar:

A Terra é Plana – Documentário.
Ponto de Mutação – Filme
O Nome da Rosa – Filme
Por que a filosofia é importante no ensino de ciência nas universidades? – Coluna Ilustríssima da Folha de SP
Não existem ciência exata (e vamos combinar que todas são humanas)
Why do I teach Plato to plumbers
Filosofia da ciência e Ensino de ciências: uma analogia – Alberto Villani

2019.1

Minicurso de Deep Learning: Introduction to Deep Learning in Astronomy de 11-14 de fevereiro no IAG-USP.

Eletricidade Básica
Introdução a Metodologia Científica

Eletricidade Básica

Atenção: por motivo de força maior as aulas de Eletricidade Básica só retornarão no dia 29/03 (sexta feira).

Atenção temos um monitor : GABRIEL MEDEIROS DA CUNHA atendendo de 13h10 as 14h50 (Terça-Feira) e de 15h50 as 16h30 (Quinta-Feira). Iniciando a partir de 19/03. Procurem por ele nas salas do bloco C.

Lista 1
Moysés Nussenzveig, Física Básica, vol III , 1 Ed.
Cap 2: 1,5,7,8,9
Cap 3: 2,6,9,13,16
Young e Freedman, Física III, 14 Ed.
Cap 21:
1,3,20,21,23,27,34,37,42,45,72,86,91.
Cap 22:
1,7,9,12,13,33,49,61,62.

Lista 3 (para T1)
Moyses vol III , 1 Ed.
Cap 6: 2,4,5,9
Cap 7. 1,3,4,5
Young e Freedman, Física III, 14 Ed.
Cap 25
Exercícios: 1, 2, 5 , 7,9,19,37
Cap 27
27, 34,35,39,42
Cap 28
27,40,43

Lista 4 (Para o T2)
Moyses vol III , 1 Ed.
Cap 8: 1,4,6,8,9,11
Cap 9: 4,5,7,8,10

Datas importantes (Atenção, atualizado dia 20/06):

26/06 – T2 da turma de mecânica.
27/06 – T2 de Produção
28/06 – P3 de Produção
03/07 – P3 de Mecânica
04/07 – PF de Produção
04/07 – PF de Mecânica

P3 e PF todo o conteúdo.

Metodologia Científica

Atenção, a data limite para entrega do trabalho final é dia 20/06.
Todos os trabalhos devem ser apresentados, impreterivelmente até dia 4/07

Temas para seminários, grupos de no máximo 4 pessoas – 20 min

2018.2

Deep Learning
Eletricidade Básica
Introdução a Metodologia Científica
Tim 4
Tim 2

Deep Learning

Tarefa1 (classificação): https://bitbucket.org/kognitalab/images_mini_challange/src/master/
Parte 2: Avalie seus resultados gerando uma curva ROC e calculando sua área.
Parte 3: Avalie a robustez do seu resultado redefinindo randomicamente os samples de treinamento e teste pelo menos 10-20 vezes e calculando o desvio padrão e a média da curva.
Parte 4: Avalie o overfitting da sua rede.
Parte 5: Adicione mais um bloco Conv+ReLu+Maxpool e refaça o passo 3. O resultado melhorou ou piorou? Você consegue obter alguma intuição desse resultado?

Tarefa2 (regressão):
Onde está o Wally (Where is Waldo)?
Objetivo: Dado um conjunto de imagens construir uma rede que contenha uma ocorrência que identifique onde ela se encontra, isto é, definir 4 parâmetros : xmin,ymin,xmax,ymax
Os dados estão disponíveis em /home/Dados/GeoSimula
Escolha entre imagens que contém fraturas ou que contém desmoronamentos e treine a sua rede. Avalie os seus resultados com um plot de completeza x distância ao centróide. Calcule a área dessa figura. Também produza alguns exemplos de imagens com os as caixas delimitadoras.
Agora, se você realmente quer encontrar o Wally entre em: findingwally.pythonanywhere.com/

Tarefa3 (Do it yourself!):
Faça você mesmo!
Objetivo: Sem ajuda do Keras ou tensorflow parta apenas do python e implemente e treine uma rede com poucas camadas “from the scratch”.
Use o exemplo em: https://machinelearningmastery.com/implement-backpropagation-algorithm-scratch-python/
Desafio: Implemente uma camada convolucional e faça um python notebook com utilizando o seu exemplo. Escolha o padding e o stride de sua prefêrencia. Conselho: não vá deep, procure filtros pequenos e com 1 camada. Você percebe por que?
Parte 2: Compare o seu resultado com uma rede idêntica criada e treinada no keras/Tensorflow.

Tarefa04
Aplique uma arquitura que você utilizou no dataset da tarefa01 (com as devidas adaptações) tipo resnet, resnext, Inception no dataset do Strong Lensing Challenge, Gere as ROCs e compare as 4 arquiteturas. Repita o processo utilizando uma outra função custo (e.g. RMSE) e avalie o overfitting em todos os casos. Quais são as redes mais sujeitas a overfitting? Porque? Quantos parâmetros existem para ser otimizados em CADA arquitetura?

Tarefa05 – Time series

Tarefa06 – AE vs PCA

Demonstre que uma PCA equivale a AE com funções lineares em um escolha particular de loss function.

Leitura:
Introduction to Convolutional Neural Networks -Wu
A Beginner’s Guide To Understanding Convolutional Neural Networks
The Deep Learning Book
Ferramentas (sugeridas):
Tensorflow,
Anaconda python 2.X ou 3.X
keras
jupyter

Leitura complementar: Planes don’t flap their wings: does AI work like a brain?
Datas importantes:

Limite para definição do seu projeto – 29/08
Entrega do resumo do trabalho – 26/09
Seminários com resultados preliminares – 24/10 e 31/10
Código atualizado no github -14/12
NT submetida – 14/12

O trabalho de final de curso deverá ser submetido (pelo menos) a revista Notas técnicas http://revistas.cbpf.br/index.php/nt/about/submissions#authorGuidelines

Eletricidade Básica (Eng. Produção)

Lista 1
Moyses vol III , 1 Ed.
Cap 2: 1,5,7,8,9
Cap 3: 2,6,9,13,16

Lista 2
Moyses vol III , 1 Ed.
Cap 4: 1,3,4,6,10
Cap 5: 2,4,9,10

P1 –> 14/09

Lista 3
Moyses vol III , 1 Ed.
Cap 6: 2,4,5,9
Cap 7. 1,3,4,5

Lista 4
Moyses vol III , 1 Ed.
Cap 8: 1,4,6,8,9,11

Lista 5
Moyses vol III , 1 Ed.
Cap 9: 4,5,7,8,10

Lista Extra – Desafio (vale 1,5 pt extra pra quem entregar no dia da P2 correta e legível)
Moyses vol III , 1 Ed.
Cap 10: 2, 4,8
Cap 12: 3,4

Atenção: Calendário alterado!
P2 –> 30/11
PR–> 7/12
PF–>14/12

Aviso: Não haverá aula nos dias 5/10 (sexta feira) e 26/10.
Não haverá aula dia 22/11
Peça a sua nota da P1 por e-mail.

Introdução a Metodologia Científica (Eng. Produção)

Material complementar:
Por que a filosofia é importante no ensino de ciência nas universidades? – Coluna Ilustríssima da Folha de SP
Não existem ciência exata (e vamos combinar que todas são humanas)
Why do I teach Plato to plumbers
Filosofia da ciência e Ensino de ciências: uma analogia – Alberto Villani

Temas sugeridos para os debates:

Caso Galileu e Giordano Bruno
Design inteligente x Teoria da Evolução
Terra Plana x Terra redonda
O homem foi a Lua?
Celular causa câncer?
Alimentos transgênicos fazem mal?
Vacinas causam mais doenças do que previvem
Regras:
Não poderão ser usados argumentos ou afirmações baseados em tecnologia inacessível (e.g. para o caso da terra redonda, imagens gerados por satélites) ou experimentos que não possam ser reproduzidos no contexto de sala de aula, exceto se baseado em resultados de papers (artigos) que passaram por processo de revisão por pares.
Todos os argumentos e afirmações devem possuir fontes e referencias ou serem facilmente demonstráveis.
As referências devem ser previamente informadas aos demais debatedores (2 semanas no mínimo) para que sejam os mesmos possam se preparar para refutar.
Todos os lados terão que apresentar um relatório com os seus argumentos e as conclusões.

Datas para os debates:
4/10 – Terra Plana x Terra redonda / O homem foi a Lua?
11/10 – Alimentos transgênicos fazem mal? / Design inteligente x Teoria da Evolução
18/10 – Vacinas causam mais doenças do que previvem / Celular causa câncer?

Tim2

lista01
lista02
lista03

Tim4

lista01
lista02 – Gravitação
Observação: Em alguns problemas dessa lista vocês poderão usar valores obtidos na internet de massa da terra, lua e distância da terra-sol por exemplo.

https://pt.wikipedia.org/wiki/Terra
https://pt.wikipedia.org/wiki/Lua

Aviso: Não haverá aula nos dias 5/10 (sexta feira) e 26/10 (sexta feira).

Prof. Clécio R. Bom

Teaching – Ensino

2021.2

Big Data and Astroinformatics:

Deep Learning

Tasks

Atenção: por motivo de força maior as aulas com o prof. Clécio só retornarão a partir do dia 4/10 (sexta feira).

Metodologia Científica

2019.1

Eletricidade Básica

Metodologia Científica

2018.2

Deep Learning

Eletricidade Básica (Eng. Produção)

Introdução a Metodologia Científica (Eng. Produção)

Tim2

Tim4

2021.2

Big Data and Astroinformatics:

Deep Learning

Tasks

Atenção: por motivo de força maior as aulas com o prof. Clécio só retornarão a partir do dia 4/10 (sexta feira).

Metodologia Científica

2019.1

Eletricidade Básica

Metodologia Científica

2018.2

Deep Learning

Eletricidade Básica (Eng. Produção)

Introdução a Metodologia Científica (Eng. Produção)

Tim2

Tim4

Share this:

Curtir isso: