PREVENT Artificial Intelligence Theory (UVIGO) - SW

Artificiell intelligens - PREVENT-projekt}],

Teori

Start

Artificiell Intelligens Teori

FG

Genombrott inom AI

Bildklassificering

Maskinöversättning

Från och med 2015 kan datorer tränas att prestera bättre än människor vid bildklassificeringsuppgifter.

Från och med 2016 har vi uppnått nästintill mänsklig prestanda vid översättning mellan språk med hjälp av avancerade AI-tekniker.

"Je suis étudiant"

AI är den nya elektriciteten

"För ungefär 100 år sedan omvandlade elektricitet varje större industri. AI har utvecklats till den punkt där den har kraften att omvandla varje större sektor under de kommande åren."

- Andrew Ng, Stanford University

Definitioner

Artificiell Intelligens

Det bredaste begreppet

Maskininlärning

En delmängd av AI

Djupinlärning

En delmängd av ML

Artificiell Intelligens

Merriam-Webster Definition

Intel Definition

"Ett program som kan känna, resonera, agera och anpassa sig."

"Ett gren av datavetenskap som handlar om simulering av intelligent beteende i datorer."

Wikipedia Definition

"I vardag används termen 'artificiell intelligens' när en maskin efterliknar 'kognitiva' funktioner som människor förknippar med andra mänskliga sinnen, såsom 'lärande' och 'problemlösning'."

Maskininlärning

"Studien och konstruktionen av program som inte är uttryckligen programmerade, men lär sig mönster när de exponeras för mer data över tid."

Maskininlärning

Inmatningsdata

Stora datamängder matar programmet

Mönsterigenkänning

Programmet identifierar mönster utan explicit programmering

Lärande

Systemet förbättras med fler exempel

Klassificering

Tar beslut baserat på nya data

Dessa program lär sig genom att upprepade gånger se data, snarare än att vara explicit programmerade av människor.

Maskininlärningsterminologi

Funktioner

Egenskaper hos data (inmatningskolumner)

Mål

Kolumnen som ska förutsägas (utgång)

Detta exempel lär sig att klassificera en art utifrån en uppsättning mätfunktioner.

Två huvudtyper av maskininlärning

Övervakad inlärning

Oövervakad inlärning

Datamängd: Har en målkolumn

Datamängd: Har ingen målkolumn

Mål: Göra förutsägelser

Mål: Hitta struktur i data

Exempel: Bedrägeribekämpning

Exempel: Kundsegmentering

Maskininlärningsexempel

Bedrägeribekämpning

Viktiga funktioner

ML-algoritmer kan identifiera ovanlig aktivitet i finansiella transaktioner.

• Transaktionstid

• Transaktionsbelopp

• Transaktionsplats

• Köpskategori

Begränsningar för maskininlärning

Utmaning inom funktionsteknik

Djupinlärningslösning

För komplexa uppgifter som bildigenkänning är det svårt att definiera effektiva funktioner.

Djupinlärning övervinner denna begränsning genom att automatiskt lära sig de mest relevanta funktionerna från rådata.

Vilka funktioner skulle du använda för att skilja en katt från en hund?

Djupinlärning

"Maskininlärning som involverar användning av mycket komplicerade modeller kallade 'djupa neurala nätverk'."

Djupinlärningsmodeller bestämmer den bästa representationen av originaldata. I klassisk maskininlärning måste människor manuellt konstruera dessa funktioner.

Exempel på djupinlärning

Klassisk maskininlärning

Djupinlärning

Steg 1: Bestäm funktioner manuellt

Steg 1 och 2 kombineras till ett enda steg

Steg 2: Mata in dem i modellen

Det neurala nätverket extraherar automatiskt de relevanta funktionerna

AI:s historia

Tidiga algoritmer

1950-talet-1960-talet: AI:s grundläggande principer etableras

Första AI-vintern

Sen 1960-tal-1970-tal: Finansieringsnedskärningar efter begränsad framgång

Expertsystem

1980-talet: Regelbundenhetsbaserade system fick kommersiell framgång

Andra AI-vintern

Sen 1980-tal-1990-tal: Begränsad framgång ledde till minskat intresse

Maskininlärning

1990-talet-2000-talet: Statistiska metoder fick genomslag

Djupinlärning

2010-talet-nuvarande: Neurala nätverk revolutionerade fältet

1950-talet: Tidig AI

1950: Turingtestet

1956: Dartmouth-konferensen

Alan Turing utvecklade ett test för maskinintelligens

Artificiell intelligens accepterades som ett formellt akademiskt område

1957: Perceptron

1959: Maskininlärning

Frank Rosenblatt uppfann föregångaren till neurala nätverk

Arthur Samuels damprogram lärde sig av erfarenhet

Den Första "AI-vintern"

1966: ALPAC-rapporten

Kommittén utvärderade AI-tekniker för maskinöversättning och fann dålig avkastning på investeringen

1969: Perceptron-begränsningar

Marvin Minskys bok lyfte fram begränsningar hos neurala nätverk, vilket bromsade forskningen

1973: Lighthill-rapporten

Belyser AI:s misslyckande att leverera på löften, vilket ledde till finansieringsnedskärningar

Påverkan

Dessa rapporter ledde till betydande nedskärningar i statlig finansiering för AI-forskning

AI-boomen på 1980-talet

Expertssystem

System med programmerade regler som är utformade för att efterlikna mänskliga experter fick kommersiell användning

Mainframe-beräkning

Kördes på specialiserad hårdvara med språk som LISP

Kommersiell framgång

Två tredjedelar av Fortune 500-företagen använde expertssystem vid sin topp

Neuronnätets återupplivning

År 1986 möjliggjorde algoritmen "Backpropagation" träning av flerskiktade nätverk

En annan AI-vinter (slutet av 1980-talet – början av 1990-talet)

Teknologiintegration

Framstegen avstannade

Expertssystem blev funktioner i allmänna affärsapplikationer

Expertssystemens påverkan på affärsproblem planade ut

PC-revolutionen

Programvara flyttade från stordatorer till persondatorer

Minskande intresse

Skalningsproblem

Företagsentusiasmen för AI minskade avsevärt

Neurala nätverk kunde inte hantera stora problem

Sen 1990-talet till tidigt 2000-tal: Klassisk maskininlärning

SVM-algoritm

Praktiska tillämpningar

Integration

Support Vector Machine blev den ledande maskininlärningsmetoden

AI-lösningar lyckades inom taligenkänning, medicinsk diagnos och robotik

AI-algoritmer blev integrerade i större system över branscher

2006: Ökning av djupinlärning

2006

Geoffrey Hinton publicerar banbrytande artikel om oövervakad förträning för djupare neurala nätverk

2009

ImageNet-databasen med människomärkta bilder presenterades på CVPR-konferensen

2010

Första ImageNet-tävlingen lanseras med algoritmer som tävlar i visuella igenkänningsuppgifter

Omprofilering

Neurala nätverk ommärks som "djupinlärning" för att återspegla deras förnyade potential

Genombrott inom djupinlärning (2012 – Nutid)

2012

2013

2014

Djupinlärningsmodeller överträffar dramatiskt tidigare metoder i ImageNet-tävlingen

Djupinlärningsmodeller börjar förstå "begreppsmässig mening" av ord

Liknande genombrott uppstår inom språköversättningsuppgifter

Påverkan

Framsteg ledde till förbättringar inom webbsökning, dokumentsearch, sammanfattning och översättning

Genombrott inom djupinlärning (2012 – Nutid)

2014

Datorvisionsalgoritmer lär sig att beskriva foton med naturligt språk

2015

Google släpper TensorFlow, vilket gör djupinlärningsverktyg allmänt tillgängliga

2016

DeepMind's AlphaGo besegrar Go-mästaren Lee Se-dol, en milstolpsprestation

Påverkan

Dessa genombrott visade AI:s förmåga att bemästra uppgifter som tidigare ansågs kräva mänsklig intuition

Moderna AI (2012 – Nutid): Djupinlärningens påverkan

Självkörande bilar

Hälsovård

Kommunikation

Avancerad objektigenkänning möjliggör autonom navigation i komplexa miljöer

AI-system förbättrar diagnostisk noggrannhet inom olika medicinska specialiteter

Neurala översättningssystem närmar sig mänsklig nivå i många språkpar

Hur är denna AI-era annorlunda?

Snabbare datorer

Modern datorkraft, särskilt GPU:er, möjliggör komplex modellträning

Större datamängder

Internet-skala datainsamling ger stora träningsresurser

Avancerade neurala nätverk

Sofistikerade arkitekturer kan lära sig komplexa mönster autonomt

Tvärvetenskapliga resultat

AI-framsteg gynnar flera områden samtidigt

Andra moderna AI-faktorer

Open Source-ekosystem

Open Source-bibliotek

Öppna data

Stora märkta datamängder möjliggör träning av mer sofistikerade modeller

Python-baserade verktyg har demokratiserat tillgången till maskininlärning

Ledande ramverk för djupinlärning är fritt tillgängliga för forskare och utvecklare

Samarbetsforskning

Akademiskt och industriellt samarbete påskyndar framsteg

Transformativa förändringar inom sjukvården

Förbättrad diagnostik

Läkemedelsupptäckt

Patientvård

• AI-system analyserar medicinska bilder med expert-nivå precision

• AI påskyndar identifiering av potentiella terapeutiska föreningar

• Övervakningssystem upptäcker subtila förändringar i patientens tillstånd

• Tidig upptäckt av tillstånd förbättrar behandlingsresultat

• Minskar utvecklingstiden från år till månader

• Prediktiva algoritmer identifierar högriskpatienter

• Minskar diagnostiska fel och förbättrar patientvården

• Möjliggör personliga medicinska tillvägagångssätt

• Virtuella assistenter stödjer patienthantering

Transformativa förändringar inom finans

Algoritmisk handel

AI-system fattar snabba handelsbeslut baserade på marknadsmönster

Bedrägeribekämpning

ML-modeller identifierar misstänkta transaktioner med hög precision

Riskbedömning

AI utvärderar låneansökningar och investeringsmöjligheter

Personlig ekonomi

Chatbots och robo-rådgivare ger finansiell vägledning

Transformativa förändringar i regeringen

24/7

Medborgartjänster

AI-drivna system ger dygnet runt hjälp till medborgare

50%

Effektivitetsvinster

Processautomatisering minskar administrativa kostnader och tid

90%

Hotdetektion

AI-system identifierar säkerhetsrisker med hög precision

75%

Resursoptimering

Smart stadsapplikationer förbättrar urban resursförvaltning

Transformativa förändringar inom transport

Autonoma fordon

Logistikoptimering

Nödsituationer

Självkörande bilar använder AI för att navigera i komplexa miljöer säkert

AI-system hanterar flottor och optimerar leveransrutter

Droner och robotar hjälper till vid sök- och räddningsinsatser

Övervakad inlärning

Märkta data

Modellträning

Datamängd inkluderar inmatningsfunktioner och önskat utdata

Algoritmen lär sig mönster mellan inmatningar och utdata

Utvärdering

Förutsägelse

Prestanda bedöms på utelämnad testdata

Tränad modell tillämpas på ny, osedd data

Maskininlärning

Typ

Datamängd

Övervakad inlärning

Datapunkter har känt resultat

Oövervakad inlärning

Datapunkter har okänt resultat

Studiet och konstruktionen av program som lär sig genom att se data upprepade gånger, snarare än att vara explicit programmerade av människor.

Mål vs. Funktioner

Funktioner

Mål

Egenskaper hos data som används för förutsägelse (icke-mål kolumner)

Kolumn att förutsäga - resultatet vi är intresserade av

• Inmatningsvariabler som modellen använder

• Utdata variabel som modellen lär sig att förutsäga

• Vid krishantering: väderdata, befolkningstäthet, infrastrukturstatus

• Vid krishantering: översvämningsrisknivå, evakueringskrav, resursbehov

Exempel: Övervakad inlärningsproblem

Mål

Förutsäga om ett e-postmeddelande är skräppost eller inte

Data

Historiska e-postmeddelanden märkta som skräppost eller inte skräppost

Funktioner

E-posttext, ämne, skickad tid, avsändarinformation

Mål

Binär klassificering: skräppost eller inte skräppost

Exempel: Övervakad inlärningsproblem

Objektdetektering för nödsituationer

AI-system kan identifiera personer, fordon och skadade strukturer i katastrofzoner.

• Mål: Förutsäga positionen för omrissrutor runt objekt

• Data: Bilder med annoterade positioner för omrissrutor

• Funktioner: Bildpixlar och mönster

• Mål: Koordinater för objekts omrissrutor

Nödsituationhanteringsapplikationer

Katastrofdetektion

Riskprediktion

Resursallokering

AI kan snabbt analysera satellit- och drönarbilder för att identifiera katastrofpåverkan och allvarlighetsgrad

ML-modeller kan förutsäga katastrofbanor baserat på väder- och terrängdata

AI optimerar nödsituationens resursanvändning baserat på realtidsbedömning av behov

Formulera ett övervakningsinlärningsproblem

Samla märkt datamängd

Samla data med funktioner och mål-etiketter som är relevanta för ditt problem

Välj en modell

Välj algoritmen som passar bäst för din datatyp och ditt problem

Definiera utvärderingsmått

Bestäm hur du mäter prestanda baserat på dina specifika mål

Välj optimeringsmetod

Välj hur du hittar modellkonfigurationen som maximerar prestanda

Vilken modell?

Beslutsträd

Närmaste granne

Neuralt nätverk

Gör förutsägelser genom att ställa en serie ja/nej-frågor om funktioner

Gör förutsägelser baserat på likhet med träningsexempel

Gör förutsägelser med hjälp av sammankopplade lager av artificiella neuroner

Vilken modell?

När du väljer en modell för nödsituationer, överväg dessa viktiga faktorer. Problemets komplexitet och databehov väger ofta tyngre än andra faktorer på grund av den kritiska naturen av nödsituationer.

Utvärderingsmått

Noggrannhet

Medelkvadratiskt fel

Andra mått

Andel av korrekta förutsägelser

Genomsnittligt kvadratiskt avstånd mellan förutsägelser och faktiska värden

• Precision: Noggrannhet för positiva förutsägelser

Användbart när klasser är balanserade

• Recall: Förmåga att hitta alla positiva fall

Används för regressionsproblem

• F1-poäng: Harmoniskt medel av precision och recall

• AUC-ROC: Område under mottagarkurvan för operativ karaktäristik

Utvärderingsmått

Felaktigt mått kan vara vilseledande

Vid krishantering

Överväg att använda noggrannhet för spamdetektering med 99 % spam-e-post. En modell som förutspår "spam" för varje e-post skulle ha 99 % noggrannhet men missa viktiga legitima e-postmeddelanden.

Falska negativa (missar en nödsituation) är ofta mer kostsamma än falska positiva (falska alarm). Måtten bör återspegla denna asymmetriska kostnad.

Sammanhanget är viktigt

Välj mått som stämmer överens med den verkliga påverkan av förutsägelser. För evakueringsbeslut kan recall (hitta alla fall som kräver evakuering) vara viktigare än precision.

Utbildning

Utbildningsdata

Optimering

För nödhjälp

Datasatsen som används för att lära modellen mönster mellan funktioner och mål

Processen att konfigurera modellen för bästa prestanda

Modeller måste tränas på olika scenarier för att hantera katastrofers oförutsägbara natur

• Historiska nödsituationer med utfall

• Justerar modellens parametrar för att minimera fel

• Syntetiska katastrofscenarier

• Använder algoritmer som gradientnedstigning

• Data från simuleringar och övningar

• Kan kräva flera iterationer

Träning

Inmatningsdata

Etiketterade exempel matas in i modellen

Framåtpassering

Modellen genererar förutsägelser baserat på nuvarande konfiguration

Felberäkning

Skillnaden mellan förutsägelser och faktiska mål mäts

Bakåtpassering

Modellens parametrar justeras för att minska fel

Iteration

Processen upprepas tills prestandan slutar förbättras

Inferens

Nya data

Ossedda exempel tillhandahålls för den tränade modellen

Bearbetning

Modellen tillämpar inlärda mönster för att analysera data

Förutsägelse

Modellen genererar utdata baserat på sin träning

Beslut

Förutsägelser informerar om åtgärder för nödsituationer

Träning vs. Inferens

Aspekt

Träning

Inferens

Mål

Lär mönster från data

Tillämpa mönster på ny data

Inmatning

Märkt data (funktioner + mål)

Omärkt data (endast funktioner)

Utgång

Tränade modellparametrar

Förutsägelser

Beräkning

Krävande, kräver ofta GPU:er

Relativt lättviktigt

Implementering

Vanligtvis offline, under utveckling

I realtid, i produktion

Översikt över övervakad inlärning

Träningsfas

Inferensfas

Data med svar + Modell → Tränad modell

Nya data + Tränad modell → Förutsägelser

Utvärdering

Förfining

Jämför förutsägelser med faktiska resultat

Förbättra modellen baserat på prestanda

Det yttersta målet är att utveckla en modell som presterar bra på osedda data, vilket gör att den kan göra tillförlitliga förutsägelser i nya nödsituationer.

Exempel på krishantering

Skogsbrandprognos

Översvämningsriskbedömning

Skadebedömning

AI-modeller förutspår brandutbredning baserat på väder, vegetation och topografi

ML-algoritmer uppskattar översvämningssannolikhet med hjälp av nederbörd och terrängdata

Datorvisionsalgoritmer identifierar snabbt strukturella skador efter jordbävningar

Kurvpassning: Överanpassning vs. Underanpassning Exempel

Mål

Utmaning

Passa en kurva till datapunkterna för att modellera den underliggande relationen

Hitta rätt komplexitet för modellen för att fånga det sanna mönstret utan att passa till brus

Inom krishantering: modellera relationen mellan väderförhållanden och översvämningssvårigheter

Kurvjustering: Exempel på underanpassning

Kurvan är för enkel

Modellen misslyckas med att fånga viktiga mönster i data

Dålig träningsprestanda

Hög felprocent även på data som används för träning

Dålig testprestanda

Kan inte generalisera till nya situationer

Vid krishantering

En underanpassad modell kan missa kritiska varningssignaler för en förestående katastrof

Kurvpassning: Överanpassningsexempel

Kurvan är för komplex

Modellen fångar slumpmässigt brus istället för verkliga mönster

Utmärkt träningsresultat

Nästan perfekt anpassning till träningsdata

Dålig testprestanda

Kan inte generalisera till nya situationer

Vid krishantering

En överanpassad modell kan generera falska alarm eller missa verkliga nödsituationer i något annorlunda förhållanden

Kurvpassningsproblem

Utmaning

Risk

För krishantering

Oskattad data är inte tillgänglig under träning, vilket gör det svårt att utvärdera prestanda på nya scenarier

När man mäter prestanda endast på träningsdata tenderar modeller att överanpassa

Att hitta rätt balans är avgörande - modeller måste generalisera till nya katastrofscenarier samtidigt som de behåller känslighet för varningssignaler

Lösning: Dela data i två uppsättningar

Träningsuppsättning

Testuppsättning

Data som används för modellinlärning

Data som används för prestandautvärdering

• 70-80% av tillgänglig data

• 20-30% av tillgänglig data

• Används för att justera modellparametrar

• Simulerar osedda scenarier

• Modellen ser denna data under inlärning

• Modellen ser aldrig detta under träningen

Train-Test Split

Träningsfas

Modellviktjustering

Testfas

Prestandautvärdering

Modellen lär sig mönster från träningsdata

Tränad modell utvärderas på osedd testdata

Parametrar optimerade baserat på träningsprestanda

Testresultat uppskattar verklig prestanda

Denna metod simulerar hur modellen kommer att prestera i verkliga nödsituationer den inte har stött på tidigare.

Korsvalidering för nödsituationer

Dela data

Iterera

Träna på allt utom en del av datan, testa på den återstående delen

Dela datasetet i flera delar

Rotera

Medelvärde

Upprepa med annan del som testuppsättning

Beräkna prestanda över alla iterationer

Korsvalidering ger en mer robust prestanda uppskattning, särskilt viktigt för nödsituationsmodeller där data kan vara begränsad och variabiliteten hög.

Djupinlärning

"Maskininlärning som involverar användning av mycket komplicerade modeller kallade 'djupa neurala nätverk'."

Dessa sofistikerade modeller bestämmer automatiskt den bästa representationen av data, vilket eliminerar behovet av manuell funktionsteknik som traditionell maskininlärning kräver.

Skillnader mellan djupinlärning

Klassisk maskininlärning

Djupinlärning

Två distinkta steg:

Integrerad metod:

1. Människor bestämmer funktioner manuellt

• Funktionsextraktion och modellering kombinerat

1. Funktioner matas in i modellen

• Rådata bearbetas genom flera lager

• Varje lager lär sig alltmer abstrakta funktioner

Djupinlärningsproblemtyper

Bildanalys

• Klassificering av katastroftyper

• Objektidentifiering i drabbade områden

• Semantisk segmentering av skadekontroller

Naturlig språkbehandling

• Övervakning av sociala medier för nödsituationsrapporter

• Sentimentsanalys under kriser

• Automatiserad nödsituationskommunikation

Tidsserieanalys

• Vädermönsterprognoser

• Sensorövervakning

• Epidemispreadningsprognoser

Taligenkänning

• Nödsamtalsbehandling

• Röstaktiverade svarssystem

• Flerspråkigt kommunikationsstöd

Klassificering och Detektion

Objektigenkänning

Nödsituationer

Real-tidsbehandling

Lokalisera och identifiera specifika objekt i bilder eller videoramar

Identifierar offerer, skadade strukturer, blockerade vägar och räddningsfordon

Möjliggör snabb respons på utvecklande situationer

Semantisk segmentering

Pixelnivåklassificering

Etiketterar varje pixel i en bild, skapar detaljerade kartor över olika element

Vid nödhjälp:

• Precis bedömning av skador

• Noggrann kartläggning av översvämningsutbredning

• Detaljerad detektion av gränser för skogsbränder

• Identifiering av säkra zoner vs farliga områden

Naturlig Språk Objektåtervinning

Textstyrd Visuell Sökning

Nödsituationer

Resurshantering

System kan lokalisera objekt i bilder baserat på naturliga språkbeskrivningar

Möjliggör sök- och räddningsoperationer baserade på vittnesmål

Snabbt identifierar specifik infrastruktur eller resurser som behövs under responsen

Taligenkänning och Språköversättning

Tvåspråkig Kommunikation

Nödsamtalsbehandling

Röstkommandon

Handsfree drift av nödsystem via röstigenkänning

AI möjliggör effektiv kommunikation mellan räddningspersonal och drabbade oavsett språkbarriärer

Automatiserad transkription och analys av nödsamtal hjälper till att prioritera svar

Radio Kommunikation

Transkription i realtid av fält-radio kommunikation för samordningscentraler

Fullständigt anslutet nätverk

FG

Formulera verktyg för övervakad inlärning

Datainsamling

Samla funktioner och målvariabler som representerar problemet du löser.

Modellval

Välj en lämplig arkitektur baserat på din problemtyp.

Utvärderingsmått

Definiera hur du mäter prestanda och framgång.

Optimeringsmetod

Bestäm hur du hittar den optimala modellkonfigurationen.

Vilken modell?

Olika modeller representerar problem på unika sätt, var och en med olika fördelar för specifika scenarier.

Biologisk inspiration

Neuroner

Djupinlärningsmodeller hämtar inspiration från den mänskliga hjärnan och dess neurala struktur.

Den centrala komponenten i neurala nätverk är den artificiella neuronen, som bearbetar indata till meningsfulla utdata.

Neuronmekanik

Inmatningsfunktioner

X1, X2, X3 är numeriska inmatningar som representerar datakarakteristika.

Viktad summa

Varje inmatning multipliceras med en vikt (W1, W2, W3), och summeras sedan.

Utgångsvärde

Z = X1W1 + X2W2 + X3W3 är det viktade beräkningsresultatet.

Aktiveringsfunktioner

Syfte

Variation

Icke-linjäritet

Transformera den viktade summan till ett meningsfullt utdata-värde.

Flera funktioner finns, var och en med specifika matematiska egenskaper.

De flesta aktiveringsfunktioner införlivar icke-linjära egenskaper, vilket möjliggör komplex mönsterinlärning.

Perceptronmodellen

Historisk Betydelse

Linjär Separation

Enkel Arkitektur

En av de tidigaste neurala nätverksmodellerna, utvecklad på 1950-talet.

Kan endast lösa problem där klasser kan separeras med en rak linje.

Använder grundläggande aktiveringsfunktioner för att klassificera ingångar i binära kategorier.

Perceptronbegränsningar

Icke-linjära problem

XOR-problemet

AI-vinters katalysator

Perceptrons misslyckas när datapunkter inte kan separeras med en enda linje.

Ett berömt exempel där perceptrons misslyckas, vilket kräver flera beslutsgränser.

Denna begränsning bidrog till minskat intresse och finansiering för forskning om neurala nätverk.

Fullständigt anslutna nätverk

Utgångslager

Slutgiltiga förutsägelser

Dolda lager

Komplex funktionsextraktion

Ingångslager

Rådatafunktioner

Fullständigt anslutna nätverk organiserar neuroner i lager. Varje neuron är anslutet till varje neuron i intilliggande lager. Varje anslutning har en separat vikt. Denna struktur möjliggör lösning av komplexa, icke-linjära problem genom att omvandla data genom successiva lager.

Djupinlärningsarkitektur

Funktionell kompression

Inmatningsbearbetning

Varje lager sammanfattar viktig information

Rådata går in i nätverket

Relevansutvinning

Utdata Generering

Uppgiftspecifika mönster identifieras

Slutgiltiga förutsägelser framträder

Djupinlärning använder många lager, ofta minskar de i bredd. Moderna arkitekturer kan innehålla hundratals lager, var och en extraherar alltmer abstrakta funktioner från data.

Bygga ett heltäckande nätverk

Nätverksarkitektur

Definiera lager och neuroner

Aktiveringsfunktioner

Välj lämpliga funktioner

Utvärderingsmått

Välj prestandamått

Viktträning

Lär dig optimala parametrar

När du skapar ett neuralt nätverk måste du bestämma antalet lager, neuroner per lager och lämpliga aktiveringsfunktioner. Modellens vikter lärs automatiskt under träningen.

Utvärderingsmått

Regression

Klassificering

Fler-etikett

Medelkvadratiskt fel (MSE) mäter det genomsnittliga kvadrerade skillnaden mellan förutsägelser och faktiska värden.

Kategorisk kors-entropy mäter hur väl modellen förutspår klassprobabiliteter.

Binär kors-entropy utvärderar förutsägelseprecision när objekt kan tillhöra flera klasser.

Begränsningar för fullt anslutet nätverk

10^9+

Parameterantal

Stora nätverk kan innehålla miljarder vikter.

TB

Minneanvändning

Betydande RAM krävs för träning och inferens.

100x

Beräkning

Mycket mer beräkningskraft krävs än enklare modeller.

Låg

Funktionell detektion

Inte optimal för rumsliga mönster i bilder eller sekvenser.

CNN: Revolution inom visuell bearbetning

Konvolutionella neurala nätverk representerar en grundläggande förändring i hur datorer bearbetar visuell information. Inspirerade av biologiska visuella system har CNN:er förvandlat bildigenkänning, objektigenkänning och många andra visuella uppgifter.

Konvolutionella Neurala Nätverk

Lokala Anslutningar

Viktdelning

Varje neuron är endast ansluten till en liten region av föregående lager.

Samma uppsättning vikter gäller för hela inmatningen.

Rumsfunktioner

Resursseffektivitet

Utmärkt på att känna igen mönster oavsett position.

Kräver färre anslutningar än fullt anslutna nätverk.

Konvolutioner som funktionsdetektorer

Vertikal Linje Detektor Horisontell Linje Detektor

Hörn Detektor

Konvolutioner fungerar som lokala funktionsdetektorer som identifierar specifika mönster. Varje filter svarar på olika visuella element i inmatningsbilden.

Konvolutionsoperation

Filtrering

Skapande av funktionskarta

Konvolutionskärnan glider över inmatningsbilden och utför elementvis multiplikation och summering.

Resultatet är en ny bild som visar var specifika funktioner förekommer i den ursprungliga inmatningen.

CNN-arkitektur

Inmatningslager

Råbilddata går in i nätverket för bearbetning.

Konvolutionslager

Flera filter extraherar olika funktioner från inmatningen.

Poolingslager

Nedskalar funktionstillstånd för att minska dimensioner och beräkningsbelastning.

Fullständigt anslutna lager

Kombinera extraherade funktioner för slutlig klassificering eller regression.

Transfer Learning: Bygga på jättar

Transfer learning utnyttjar förtränade neurala nätverk för att lösa nya problem med begränsad data. Genom att återanvända kunskap från befintliga modeller kan vi uppnå utmärkta resultat mer effektivt.

Utmaningar med CNN-utveckling

Databehov

Att träna effektiva CNN:er kräver vanligtvis enorma datamängder med miljontals exempel.

Beräkningskrav

Modellträning kan ta dagar eller veckor, även med specialiserad GPU-hårdvara.

Hyperparameterjustering

Att hitta optimala nätverkskonfigurationer innebär omfattande experimenterande.

Expertisbarriär

Att bygga konkurrenskraftiga modeller från grunden kräver djup teknisk kunskap.

Principer för transferinlärning

Tidiga lagers egenskaper

Mellersta lagers egenskaper

Senare lagers specificitet

Initiala lager lär sig universella visuella egenskaper som kanter, hörn och texturer. Dessa tar längst tid att träna men tillämpas på de flesta bilduppgifter.

Mellersta lager kombinerar primära egenskaper till mer komplexa former och mönster. Dessa har måttlig uppgiftspecifikitet.

Slutlagren lär sig mycket uppgiftspecifika egenskaper. Dessa svarar snabbt på träning och är mest anpassningsbara till nya uppgifter.

Fördelar med transferinlärning

Minskade datakrav

Snabbare träning

Bättre prestanda

Finjustering tar timmar istället för veckor jämfört med att träna från början.

Förtränade nätverk behöver mycket mindre data för att anpassa sig till nya uppgifter.

Modeller byggda på etablerade arkitekturer uppnår ofta överlägsna resultat.

Portabilitet

Tränade vikter är enkelt att lagra och dela för distribution.

Implementering av Transfer Learning

Välj Grundmodell

Välj ett förtränat nätverk som ResNet, VGG eller EfficientNet.

Frys tidiga lager

Lås vikter i tidiga lager för att bevara generell funktionsdetektion.

Byt ut klassificeringslager

Lägg till nya lager specifika för din uppgift (t.ex. nödsituationdetektion).

Finjustera på måldata

Träna nya lager medan de frysta lagren hålls oförändrade.

os

Finjusteringsstrategier

Träningstid

Data som krävs

Prestanda

Diagrammet jämför olika finjusteringsmetoder på relativa skalor (1-10). Ta hänsyn till din tillgängliga data, beräkningsresurser och prestandakrav när du väljer en strategi. För nödsystem för detektering av system, ger "Senaste få lagren" ofta den bästa balansen.