Microsoft Word – Hluboké učení versus tradiční modely_Abdel Hai_Final.Part 2

Pro přípravu dat pro modely strojového učení byly provedeny následující techniky předzpracování dat.

Data a paměť spolu úzce souvisí. V moderní společnosti dostáváme každý den velké množství informací a dat, včetně textu, obrázků, videí atd. Jak tato data efektivně zpracovávat a organizovat vyžaduje, abychom měli silnou paměť.

Na jedné straně nám data mohou poskytnout podporu paměti. Když se například naučíme nové znalosti, můžeme rychleji a lépe porozumět a osvojit si znalostní body tím, že si zapamatujeme relevantní data a fakta. Tento druh metody učení nám může pomoci vybudovat silnou paměť a udržet schopnost ovládat znalosti po dlouhou dobu.

Na druhou stranu nám data mohou také pomoci trénovat a zlepšovat paměť. Prostřednictvím různých metod trénování paměti můžeme flexibilně využívat data k provádění trénování paměti, do určité míry posilovat naši paměťovou schopnost a lépe se tak přizpůsobovat vývoji společnosti a potřebám práce a života.

Je vidět, že vztah mezi daty a pamětí je velmi úzký a důležitý. Pouze aktivním a efektivním zpracováním a využíváním dat můžeme lépe využívat naše paměťové schopnosti a dosahovat lepších výsledků. Proto bychom měli vztah mezi daty a pamětí aktivně léčit, provádět relevantní školení a aplikace a neustále zlepšovat své schopnosti. Je vidět, že potřebujeme zlepšit paměť a Cistanche deserticola dokáže výrazně zlepšit paměť, protože Cistanche deserticola dokáže regulovat i rovnováhu neurotransmiterů, jako je zvýšení hladiny acetylcholinu a růstových faktorů. Tyto látky jsou velmi důležité pro paměť a učení. Kromě toho může maso také zlepšit průtok krve a podpořit dodávku kyslíku, což může zajistit, že mozek dostane dostatek živin a energie, a tím zlepší mozkovou vitalitu a vytrvalost.

Klikněte na možnost poznat způsoby, jak zlepšit funkci mozku

Kategorické rysy byly zakódovány za tepla; spojité a diskrétní rysy byly normalizovány pomocí min-maxnormalizačních technik,32 definovaných jako:

Pro každý z následujících prvků byl v každém střetnutí různý počet nahrávek. Místo toho byly vypočítány následující statistické hodnoty. Pro diastolický a systolický krevní tlak jsme vypočítali minimální, maximální a střední hodnoty.

Pro BMI bylo použito minimum, maximum, průměr a variační koeficient. Tyto statistické hodnoty byly normalizovány a použity jako vlastnosti. Navíc se počet funkcí při setkáních lišil kvůli různému počtu laboratorních testů, diagnóz a postupů. Setkání může mít vícenásobné diagnózy a/nebo kódy procedur nebo žádné.

K nápravě a sjednocení dimenzionality příznakových vektorů byly ke zlepšení učení modelů použity následující techniky reprezentace dat. Pro diagnostiku a kódy procedur jsme použili reprezentaci jednorázových kódování, kde každá hodnota byla nastavena na 0 nebo 1, což značilo, zda pro každé setkání existoval kód diagnózy/procedury či nikoli. Tuto techniku ​​reprezentace dat jsme mírně upravili pro laboratorní testy, protože každý test měl přidružený výsledek.

Proto jsme nahradili 1, která indikovala existenci kódu, laboratorním výsledkem. Laboratorní výsledky byly normalizovány pomocí rovnice 1. Protože výsledky byly různých jednotek a měření, při normalizaci laboratorních výsledků jsme uvažovali minimum a maximum pro každý laboratorní kód zvlášť. Tato technika vytvořila vysoce dimenzionální řídké pole díky mnoha jedinečným kódům.
Poté jsme použili algoritmus Singular Value Decomposition (SVD), abychom se naučili vkládání a redukovanou dimenzionalitu. SVD bylo použito, protože nepředpokládá čtvercovou matici jako vstup a je lepší pro řídká data.33 Laboratorní testy byly zredukovány na 50 komponent, postup kódy byly zredukovány na 45 komponent a diagnostické kódy byly zredukovány na 25 komponent.

Byly zkoumány různé složky a byl sledován součet variačních poměrů, aby se určil optimální počet složek pro snížení rozměrů. Všechny prvky byly zřetězeny ve vektoru prvků pro každé setkání. SVD bylo aplikováno na každé setkání zvlášť, aby se zmenšily a sjednotily rozměry; dimenze setkání byla snížena na 50 prvků na setkání.

Poté jsme zřetězili všechna setkání pro daného pacienta ve znakovém vektoru seřazeném postupně podle data přijetí. Distribuce tříd byla 27 511 pacientů bez readmise (negativní třída) a 9 130 pacientů, kteří byli znovu přijati (pozitivní třída).

Experimentální přístupy

Provedli jsme rozsáhlé experimenty s využitím dat EHR k dosažení následujících cílů:

- Předvídat, zda budou pacienti s diabetem znovu přijati do 30 dnů

- Porovnejte výkon používaných metod DL s několika tradičními modely

- Analyzujte, kolik předchozích setkání (tj. historických údajů) během 2 let je optimální pro předpovídání readmise

- Vyhodnoťte účinky začlenění všech laboratorních testů do dat oproti učení z podmnožiny testů vybraných odborníkem na doménu

V této studii DL modely berou jako vstup 3-3-rozměrný tenzor � x � x � k reprezentaci f rysů pro každé z e setkání pro p pacientů. Naproti tomu v tradičních modelech jsou data typicky reprezentována jako 2-dimenzionální matice, přičemž všechny rysy všech setkání odpovídají jedinému pacientovi zřetězenému v dlouhém rysovém vektoru.

Rozměrnost každého setkání byla snížena a sjednocena na 50 prvků, takže v hlubokém modelu má velikost 50. V tradičním modelu se vektor prvků skládá ze všech setkání, a proto má velikost � x 50.

Pacienti mají různý počet setkání, což má za následek nejednotné rozměry; proto byly vektory prvků doplněny 0, aby se dosáhlo jednotné formy. Reprezentace dat použitá jako vstup pro DL a tradiční modely je znázorněna na levém a pravém panelu na obrázku 1.
Pro modelování heterogenních sekvenčních dat jsme vyvinuli 2 varianty DL modelů a porovnali jsme oba s několika tradičními modely použitými jako základní linie. DL modely použité v naší studii byly: 1) 1-sítě s dlouhou krátkodobou pamětí (LSTM), které jsou variantou rekurentní neuronové sítě (RNN), která je schopna učit se sekvenční data v závislosti na pořadí32; a 2) Bidirectional Gated Recurrent Unit (GRU), což je další varianta RNN.

Tradiční modely použité jako základní linie byly: 1) Random Forest (RF), souborová metoda pro klasifikaci a regresi; během tréninku konstruuje více rozhodovacích stromů;30 RF často dosahuje nejmodernějšího výkonu v existující literatuře o předpovědích využívajících lékařská data. 2) Vícevrstvý perceptron (MLP), jednoduchý model neuronové sítě, který nebere v úvahu časové informace.

MLP se skládá z několika vrstev perceptronu, provádí učení zpětného šíření a využívá nelineární aktivační funkci.{1}} Logistická regrese (LR), interpretovatelný model, který se často používá v existující literatuře o předpovědích zpětného odběru a aplikovaný na lékařská data; a 4) AdaBoost, který je méně náchylný k nadměrnému vybavení, protože jeho vstupní parametry nejsou společně optimalizovány.

DL modely byly implementovány pomocí "Keras" Python knihoven, vysokoúrovňového API "TensorFlow". K implementaci tradičních modelů v Pythonu byla použita knihovna "Scikit-learn".

Architektura navrhovaného modelu, LSTM, zahrnuje 128 neuronů, sekvenční vrstvu, vrstvu přetváření, která byla použita k přetvoření vstupu na 3-rozměrový tenzor, a maskovací vrstvu s hodnotou masky 0 slouží k přeskočení časových kroků, pro které data chyběla.

Vzhledem k tomu, že za účelem sjednocení rozměrů bylo provedeno vyplnění pomocí 0s, byla použita maskovací vrstva, aby se předešlo jakémukoli výpočtu s chybějícími hodnotami ve všech vrstvách následujících po maskovací vrstvě, takže chybějící hodnoty nebyly během učení zohledněny.

Navíc byl přidán výpadek mezi skrytou a výstupní vrstvu. Využití této techniky k náhodnému výběru daného procenta k poklesu je běžná technika regularizace, která modelu pomáhá učit se obecné vzorce v datech.

RNN je variantou neuronových sítí, které se skládají ze skrytých neuronů, které jsou schopny analyzovat časová EHRdata.32 RNN má stejnou strukturu jako základní neuronová síť, ale neurony ve stejné vrstvě jsou propojeny, což umožňuje neuronu učit se od stejné sousedních vrstev, kromě učení z výstupů předchozích vrstev a vstupních dat. Neurony RNN tedy zahrnují dva zdroje vstupů, současnost a nedávnou minulost. Proces učení je definován jako:

K výpočtu hodnoty �" skrytého neuronu � se použije nelineární transformační funkce ReLU na váženou �hodnotu jeho levého skrytého neuronu �"#$ a váženou � hodnotu jeho vstupu �".

Předpovědi se počítají pomocí asigmoidní funkce váženého � součtu všech skrytých neuronů s přidanou odchylkou�. Nevýhodou RNN je, že trpí problémem mizejícího gradientu, což znamená, že váhy zůstávají nezměněny, což ztěžuje konvergování modelu, a proto se model obtížně učí.

K vyřešení tohoto problému byla zavedena vrstva LSTM, ve které jsou sigmoidní neurony RNN nahrazeny složitější strukturou krátkodobé paměti. LSTM sdílí stejné váhy napříč vrstvami, což snižuje počet parametrů, které síť vypočítává.

GRU je alternativním řešením problému s přechodem. Nahrazuje jednoduchý neuron hradlovou jednotkou, která má méně parametrů než neurony LSTM, protože postrádá výstupní bránu.33

For more information:1950477648nn@gmail.com