Af Catharina Magdalena Merle Toft
Artiklen er en del af et universitetsspeciale fra 2011.7. Metodekritik
Der er stor uenighed om, hvorvidt kriterierne for reliabilitet
241 og validitet
242 kan overføres direkte fra kvantitativ forskning til kvalitativ forskning. Derfor vil der i følgende afsnit blive taget højde for forskellige evalueringsmuligheder af kvalitativ forskning.
I metodekritikken vil der bl.a. blive set nærmere på, hvorvidt forskningen i opgaven har været troværdig og relevant. Troværdighed er et kriterium for, hvor god kvalitativ undersøgelse er. Relevans skal vurderes ud fra emnets betydning indenfor sit område ellers dets bidrag til litteraturen på området.
243Vigtige elementer, når man laver metodekritik af en kvalitativ opgave er troværdigheden, hvor troværdige er resultaterne?; omsætteligheden, kan resultaterne overføres til andre sammenhænge?; pålideligheden, kan resultaterne forventes at gælde på andre tidspunkter? og bekræftelsen, har forskeren tilladt sine egne værdier at spille en rolle?
244 Årsagen til, at denne form for metodekritik er bedst anvendelig på en konstruktivistisk inspireret opgave, er, at den, i modsætning til reliabiliteten og validiteten, ikke tager en social virkelighed for givet. Den er med andre ord kritisk overfor den realistiske opfattelse, at der er absolutte sandheder om den sociale verden som kan afsløres.
7.1. Troværdighed
Troværdigheden af undersøgelsens resultater dækker over at sikre, at forskning er udført i henhold til god metodepraksis.
245 I den sammenhæng vurderes nærværende opgave som troværdig, da det er problemformuleringen, der har guidet teorivalg, metodevalg, den empiriske afgrænsning og analysen heraf ud fra et analysedesign, der er redegjort for under metodeafsnittet.
7.2. Pålidelighed
Pålideligheden er tilsvarende reliabiliteten i den kvantitative forskning. I kvalitativ forskning indebærer det at sikre fuldstændige registreringer af alle faser i forskningsprocessen – lige fra problemformulering til nedskrivning af resultaterne.
246 Registreringer er også sikret i denne sammenhæng, hvor alle analysedokumenter er vedlagt som bilag.
7.3. Bekræftelse
Bekræftelse handler om at sikre, selvom fuldstændig objektivitet er umulig i social forskning, at undersøgelsens resultater ikke er påvirket af personlige værdier eller teoretiske tilbøjeligheder.
247Med et uddybende metodeafsnit og analysens elementer vedhæftet enten i analysen eller bilag, er det forsøgt at sikre en vis grad af gennemsigtighed i opgaven.
248 Opgavens validitet, ift. kvalitativ forskning nærmere beskrevet:
undersøges det, der var målet?249, vurderes at være høj indenfor problemformuleringens rammer, og der er således blevet svaret på, om klima er forsøgt sikkerhedsliggjort i UNFCCC-regi, og opgavens analyse har vist hvordan. Ligeledes er det blevet diskuteret, hvilke politiske konsekvenser en sådan sikkerhedsliggørelse af klimadebatten kan medføre for forhandlingerne på klimaområdet.
7.4. Relevans
Specialet er i høj grad relevant, da klimadebatten fortsætter med at være et højtaktuelt emne, og COP17 senere på året vil blive afholdt i Durban i Sydafrika. Her vil drøftelserne på en afbalanceret måde forsøge at fremme gennemførelsen af konventionen, Kyoto-Protokollen, Bali Action Plan og Cancun Agreements.
250Opgavens relevans ift. teorien er forsøgt sikret ved med hjælp af diskurs- og talehandlingsanalysen at anvende Københavnerskolens teoriapparat på en empirisk case. Derudover har diskussionen bidraget med nogle aspekter til teorien.
7.5. Konstruktivismens indflydelse
I teori- og metodeafsnittet blev det tydeliggjort, hvad en konstruktivistisk og interpretivistisk baggrund betyder for opgaven.
Selvom denne opgave har haft en interpretativ tilgang, har debatten etableret i UNFCCC-regi været rettere objektivistisk, hvor klimadebatten har været omtalt som et problem, der eksisterer derude. Dette er tilfældet, da det er UNFCCC, en social konstrueret enhed, der forsøger at konstruere en sikkerhedsdebat på et naturvidenskabeligt område som klimaet, hvor referencepunkterne kan måles, såsom vind- og vejrforhold, nedbør, temperaturer etc.
At nærværende opgave har taget udgangspunkt i konstruktivismen som ontologisk position har dog også en konsekvens for opgaven selv, idet det medfører, at opgavens egne resultater også er sociale konstruktioner.
Bryman formulerer denne sammenhæng på følgende måde:
”[The] researcher always presents a specific version of social reality, rather than one that can be regarded as definitive. Knowledge is viewed ad indeterminate.”251
7.6. Fravalg
Som nævnt i afsnittet
Bekræftelse, er social forskning optimal, når det er objektivt. Det er dog sjældent tilfældet, og der er mange ting, der har indflydelse på, hvorledes sociale forskning bliver udført.
252 Der er i metodeafsnittet ikke taget højde for mine egne værdier, praktiske overvejelser og valg i forbindelse med opgaven. Det er dog klart et valg i første omgang at beskæftige sig med FN og her udelukkende at se på UNFCCCs afgørende dokumenter fra COPerne, istedet for at se på det lobbyarbejde, der løbende sker i FN. Derudover har det været et valg at analysere rapporterne fra COPerne. Det kan i bagklogskabens lys siges, at det havde været mere relevant at se nærmere på nogle udvalgte aktørers fulde taler, fremfor resumeerne heraf i rapporterne, da det er de samme aktører, der hovedsageligt øver forsøg på sikkerhedsliggørelse under hver COP. Disse aktører er dog først blevet identificeret i løbet af analysen. Der har heller ikke været konsistens i måden, hvorpå rapporterne igennem årene er blevet udformet. De seneste rapporter indledes således med en oversigt over, hvilke beslutninger, der er blevet taget. Samtidig er det ikke konsistent, hvorvidt der under COPen har været en ministersession eller lignende, der har tendens til at løfte sikkerhedsliggørelsesniveauet.
I et casestudie tillægges den eksterne validitet og generaliseringen stor vægt.
253 Det er kendetegnende for opgaven, at resultaterne ikke kan generaliseres til andre organisationer udenfor UNFCCC, da analysen alene har fremfundet resultater, der gælder indenfor UNFCCC. Dette er et af standardkritikpunkterne vedrørende casestudier.
Det er sandsynligt, at nogle af de sikkerhedsliggørende aktører vedr. klimadebatten er at finde andre steder i FN, eftersom der i UNFCCC også sidder mange aktører, der ikke har lige stor interesse i en sikkerhedsliggørelse. Forskerne i IPCC, der leverer det videnskabelige beslutningsgrundlag til UNFCCC, yder muligvis, jf.
diskursteorien, hvor et redskab i skabelsen af en diskurs kan være at producere information, en højere grad af sikkerhedsliggørelse i deres materiale. Dette har blot ikke været genstandsfelt for specialet.
For at vurdere et casestudie er det relevant at vurdere kvaliteten af det teoretiske ræsonnement. Hvor godt understøtter data teorien? Og er den teoretiske analyse skarp nok?
254 Det er denne kvalitet, der kaldes den interne validitet – er der en god sammenhæng mellem observationerne og de teoretiske ideer?
255 Eftersom det har været muligt at finde elementer i rapporterne, som er nødvendige for en sikkerhedsliggørelse af klima og som tilsvarer teorien, vurderes det, at der er god sammenhæng mellem observationerne og teorien.
Ekstern reliabilitet – kan undersøgelsen genskabes ved anvendelsen af samme metode? Dette er svært i tilfælde med eksempelvis interviews, da informanter kan skifte mening over tid eller formulere sig på anden vis.
256 Eftersom denne opgave dog tager udgangspunkt i tekstanalyse, vil det være muligt at genskabe undersøgelsen, da dokumenterne ikke vil forandres over tid.
7.7. Analysestrategiens fordele og ulemper
Anvendelsen af diskurs- og talehandlingsanalyse har vist sig brugbar ift. analysedelen, eftersom de to forskellige tilgange har kunnet anvendes på forskellige dele i analysen. Talehandlingsanalysen har været brugbar i forbindelse med aktørernes udtalelser, hvorimod diskursanalysen har vist sig anvendelig ift. de tagne beslutninger. Jf. afsnittet om diskursteori, giver det god mening, da en diskurs ikke etableres af et individ men skabes i sociale strukturer, såsom magtforhold.
Talehandlingsanalysen har gjort det muligt at kategorisere graden af sikkerhedsliggørelse, hvorimod diskursanalysen ikke sætter specifikke ord på, hvorvidt der sker en advarsel, påstand eller anmodning. Talehandlingsanalysen har dog den ulempe, at det ikke er muligt at undersøge forsøg på sikkerhedsliggørelse eller etableringen af andre diskurser, med mindre de indeholder de i kasserne udspecificerede dele. Pga. fokus på påstande, advarsler og anmodninger, der har et sigte på at undersøge sikkerhedsliggørelse, er der ikke blevet taget højde for de positive udtalelser, som konferencen har medbragt, som primært har omhandlet aftaler.
Diskursanalysen har den fordel, at den kan indeholde elementer fra hele rapporten, idet diskursen kan etableres gennem hele dokumentet. Derimod kræver talehandlingsanalysen et begrænset tekstafsnit, eksempelvis en tale, indenfor hvilkens rammer talehandlingen giver mening.