https://repositorio.ufba.br/handle/ri/41595
Tipo: | Dissertação |
Título: | Transfer learning between deep neural networks using heterogeneous electrical biosignals. |
Título(s) alternativo(s): | Transferência de aprendizado entre redes neurais profundas utilizando biossinais elétricos heterogêneos. |
Autor(es): | Santos, Andréa Leão Jesus Menezes dos |
Primeiro Orientador: | Oliveira, Luciano Rebouças de |
metadata.dc.contributor.advisor-co1: | Barreto, Marcos Ennes |
metadata.dc.contributor.referee1: | Oliveira , Luciano Rebouças de |
metadata.dc.contributor.referee2: | Angelo, Michele Fúlvia |
metadata.dc.contributor.referee3: | Ribeiro, Vinicius Gadis |
Resumo: | The global health systems are currently unable to adequately meet the high demand for care for people with neurological disorders. This impacts the quality of treatment offered, leading to issues such as the prescription of improper medications, difficulty accessing treatment, late detection of diseases, and more. Neurological disorders include conditions such as dementia, epilepsy, Alzheimer's, Parkinson's, multiple sclerosis, and others. To improve the treatment of these diseases, devices for the acquisition of electrical biosignals have been developed to provide greater accuracy, patient comfort, and, in some cases, lower costs. Recognizing this scenario, we aimed to investigate the possibility of using transfer learning among artificial neural networks to address these problems. Additionally, we attempted to reduce the mathematical complexity of electrical biosignal data by transforming it from time domain to frequency domain, representing it as algebraic functions rather than sine functions. Based on these ideas, we explored the potential of transfer learning to enhance the predictive accuracy of a neural network model processing diverse electrical biosignals with non-identical features and label spaces in a frequency domain. We integrated similarity analysis between biosignals into our methodology to prevent negative transfer learning using the dynamic time warping (DTW) technique. We selected the long short-term memory (LSTM) neural network to develop the proposed architecture, and the public datasets used for the experiment were the TUEG EEG Corpora (electroencephalogram), ECG Heartbeat Categorization (electrocardiogram), and EMG Classify Gestures (electroneuromyography). Using the baseline outcomes as a reference, we selected the ECG as the source domain. Then, we calculated the similarity between the biosignals, trained the model with the features identified as having the lowest distance, and transferred the weights and bias to the EEG and EMG models to process their own dataset, named the target domain. In summary, we present two scenarios to experiment and explore the potential of an effective transfer learning application with heterogeneous electrical biosignals in the frequency domain, from ECG to EMG and ECG to EEG, respectively. We discovered a promising outcome in the first scenario when the source and target datasets were balanced, even with a small target dataset. In the second context, we observed a discreet decrease in performance, also referred to as negative transfer learning, when utilizing a balanced source domain with an imbalanced and robust target dataset. Although we encountered some limitations, such as the high computational cost of calculating the similarity between the biosignals and the preprocessing strategy applied, among others detailed in this work, our experiment demonstrated the potential for transferring learning between neural networks processing heterogeneous electric biosignal datasets. |
Abstract: | Os sistemas de saúde globais atualmente não conseguem atender adequadamente à alta demanda por cuidados de pessoas com distúrbios neurológicos. E essa lacuna impacta na qualidade do tratamento oferecido, ocasionando problemas como a prescrição de medicamentos inadequados, dificuldade de acesso ao tratamento, detecção tardia de doenças, entre outros. Os distúrbios neurológicos incluem condições como demência, epilepsia, Alzheimer, Parkinson, esclerose múltipla, entre outros. Para melhorar o tratamento dessas doenças, dispositivos têm sido desenvolvidos para a aquisição de biossinais elétricos visando obter biosinais com maior precisão, conforto ao paciente e, em alguns casos, custos mais baixos. Reconhecendo esse cenário, nosso objetivo foi investigar a possibilidade de usar a transferência de conhecimento entre redes neurais artificiais para abordar os problemas mencionados. Além disso, tentamos reduzir a complexidade matemática dos dados de biossinais elétricos, transformando-os do domínio do tempo para o domínio da frequência podendo assim representá-los através de funções algébricas em vez de funções senoidais. Com base nessas ideias, exploramos o potencial da transferência de conhecimento para melhorar a precisão preditiva de um modelo de rede neural que processa biossinais elétricos com características e rótulos não idênticos. Para evitar a transferência negativa, integramos a análise de similaridade entre biossinais em nossa metodologia usando a técnica de dynamic time warping (DTW). Selecionamos a rede neural long short-term memory (LSTM) para desenvolver a arquitetura proposta, e os conjuntos de dados públicos usados no experimento foram o TUEG EEG Corpora (eletroencefalograma), ECG Heartbeat Categorization (eletrocardiograma) e EMG Classify Gestures (eletromiografia para classificação de gestos). Usando os resultados dos modelos base como referência, selecionamos o ECG como domínio de origem. Em seguida, calculamos a similaridade entre os biossinais, treinamos o modelo com as características identificadas com a menor distância e transferimos os pesos e bias para os modelos EEG e EMG processarem seus próprios conjuntos de dados, chamados de domínio alvo. Em resumo, apresentamos dois cenários diferentes para experimentar e explorar o potencial de uma aplicação eficaz de aprendizado de transferência com biossinais elétricos heterogêneos no domínio de frequência, do ECG para o EMG e do ECG para o EEG, respectivamente. No primeiro cenário, descobrimos um resultado promissor quando os conjuntos de dados de origem e destino estavam equilibrados, mesmo com um conjunto de dados de destino pequeno. No segundo contexto, observamos uma diminuição discreta no desempenho, também referida como transferência de aprendizado negativa, ao utilizar um domínio de origem equilibrado com um conjunto de dados de destino desequilibrado e robusto. Embora tenhámos encontrado algumas limitações, como o alto custo computacional para calcular a similaridade entre os biossinais e a estratégia de pré-processamento aplicada, entre outras detalhadas neste trabalho, nosso experimento demonstrou o potencial para realização da transferência de aprendizado entre redes neurais que processam dados bioelétricos heregeneous. |
Palavras-chave: | Transfer learning Electrical biosignals Recurrent neural network (RNN) Computação |
CNPq: | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
Idioma: | eng |
País: | Brasil |
Editora / Evento / Instituição: | Universidade Federal da Bahia |
Sigla da Instituição: | UFBA |
metadata.dc.publisher.department: | Instituto de Computação - IC |
metadata.dc.publisher.program: | Programa de Pós-Graduação em Ciência da Computação (PGCOMP) |
Citação: | SANTOS, Andréa Leão Jesus Menezes dos. Transfer learning between deep neural networks using heterogeneous electrical biosignals. 2024. 102 f. Dissertação (Mestrado em Ciência da Computação) - Instituto de Computação, Universidade Federal da Bahia, Salvador (Bahia), 2024. |
Tipo de Acesso: | Acesso Aberto |
URI: | https://repositorio.ufba.br/handle/ri/41595 |
Data do documento: | 20-Out-2024 |
Aparece nas coleções: | Dissertação (PGCOMP) |
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Andrea_Leao-Dissertacao-Mestrado.pdf | Dissertation on transfer learning between recurrent neural network (RNN) | 2,57 MB | Adobe PDF | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.