De eerste paragraaf beschrijft TAM en wat de voor- en nadelen van de methode zijn. De tweede paragraaf gaat dieper in op de drie keuzes die bij het toepassen van TAM gemaakt moeten worden.
Hardop denken methodes worden bijvoorbeeld gebruikt door cognitieve wetenschappers die lees- of schrijfprocessen bestuderen (zie voor een overzicht [18]). De methode wordt ook ingezet bij kennisvergaring voor gebruik door computers. Een menselijke expert verbaliseert zijn kennis over een onderwerp. De zo verworven kennis kan bijvoorbeeld bewerkt worden tot een database voor gebruik in Kunstmatige Intelligentie toepassingen. Een derde toepassing van de methode is bij onderzoek naar problem solving. Door proefpersonen te laten verbaliseren tijdens het oplossen van een probleem kunnen de diverse manieren waarop mensen problemen oplossen bestudeerd worden.
In het kader van dit onderzoek is vooral de eerste toepassing van belang. Veel onderzoek naar bijvoorbeeld tekstbegrip (text comprehension) of de waardering voor literatuur gebruikt op de één of andere manier TAM. De proefpersoon wordt bij dat type onderzoek gevraagd om te verbaliseren wat hij of zij tijdens het lezen van de tekst 'denkt'. De sessie wordt op tape opgenomen en later uitgewerkt, wat uiteindelijk resulteert in een protocol dat verder geanalyseerd kan worden. Zo kan gevolgd worden welke informatie er tijdens het lezen in het korte-termijngeheugen van de lezer zit. Om een metafoor te gebruiken: 'tam is useful to comprehension researchers because it shines a spotlight on the center stage of comprehension: the most accessible information in working memory' [19, p. 344]. De volgende alinea's bespreken de voor- en nadelen van hardop denken als onderzoeksmethode.
Uit de complexiteit van de data vloeit één van de meest gehoorde kritiekpunten op de methode voort. Het is moeilijk om kwantitatieve data te verkrijgen die nodig zijn voor empirisch onderzoek. TAM zou daarom alleen geschikt zijn voor kwalitatief onderzoek, waarbij de interpretatie van een protocol sterk afhankelijk is van de onderzoeker. Om TAM geschikt te maken voor empirisch onderzoek worden de uitingen in een protocol vaak gecategoriseerd, uitgaande van het principe dat 'measurement is the classification of data into a number of distinct categories and classes' [20, p. 562]. De frequenties waarmee elke gehanteerde categorie voorkomt zijn wél geschikt voor verdere statistische analyse. Deze methode maakt TAM geschikt voor empirisch onderzoek.
Toch blijft de complexiteit van de verzamelde data een probleem. Vaak ontstaan er problemen bij het classificeren van een uiting door de inherente ambiguiteit van taal. Een tweede probleem is dat de interne structuur van een protocol niet altijd duidelijk wordt door het tellen van frequenties. Dat een categorie een hoge frequentie heeft wil nog niet zeggen dat die categorie typerend is voor een mentaal proces. Niet alle gebruikte categorieën hoeven gelijkwaardig aan elkaar te zijn. Zie voor een uitgebreide bespreking van dit bezwaar [19, p. 345]. Dit nadeel gaat bij het hier besproken onderzoek niet op. Zelfs al zouden de gebruikte categorieën niet aan elkaar gelijkwaardig zijn, in eerste instantie gaat het erom of de metafoor wel of niet becommentariëerd is.
Een ander nadeel van de methode is de lage mate van controle die de onderzoeker over de data heeft. De onderzoeker is sterk afhankelijk van de proefpersoon om bruikbare data te produceren, veel meer dan bijvoorbeeld bij vragenlijsten met gesloten vragen of clozetoetsen [20]. De lage mate van controle komt bijvoorbeeld tot uiting in de lengte van de resulterende protocollen. De lengte van protocollen van proefpersonen verschilt sterk [19], zelfs als de groep proefpersonen gecontroleerd is op geslacht en leesvaardigheid of andere variabelen.
Deze problemen kunnen verminderd worden door de analyse van de verkregen data te beperken tot één aspect van het leesproces tegelijkertijd [20]. Zo'n aspect kan bijvoorbeeld metafoorherkenning zijn. Daarnaast worden in de volgende paragraaf een aantal keuzes beschreven die de onderzoeker kan maken om de reacties van de proefpersoon beter te controleren. Dit zal de betrouwbaarheid van de verkregen data vergroten, zonder het spontane, persoonlijke karakter van de data te veel aan te tasten.
Ondanks deze nadelen is TAM een geschikte methode voor empirisch onderzoek naar spontane metafoorherkenning. Het onderzoek heeft een duidelijk omschreven doel, waarbij de data in duidelijk onderscheidbare categorieën is onder te verdelen. Daardoor komen een aantal van de bovenstaande nadelen te vervallen. De volgende paragraaf beschrijft een aantal keuzes die bij het formuleren van een hardop denken experiment gemaakt moeten worden.
Deze keuzes bepalen mede hoeveel controle de onderzoeker over het experiment heeft. Meer controle leidt tot betere data. Door het maken van deze drie keuzes ontstaat de uiteindelijk vorm van de hardop denken methode. De keuzes worden hieronder kort beschreven.
Elke variant van TAM is een mix van de drie bovenstaande keuzen. In het volgende hoofdstuk wordt een drietal pilotstudies beschreven die allemaal varianten van TAM gebruiken. Na deze drie pilotstudies is gekozen voor de uiteindelijke vorm.
Bij elk gesprek was een proefleider aanwezig om waar nodig reacties te stimuleren of om verduidelijking te vragen. De gesprekken vonden bij de proefpersonen thuis plaats. Tussen de drie teksten door werd er drie à vijf minuten gepauzeerd. Alle gesprekken werden op tape opgenomen voor latere uitwerking.
Ook de verwerking van de data was voor de drie pilotstudies gelijk. Elk opgenomen gesprek werd uitgetypt tot een protocol. Dat protocol werd geanalyseerd op de aanwezigheid van commentaar over de metaforen.
De sessie met proefpersoon 1 kon door technische problemen met de taperecorder niet worden uitgewerkt. Ondanks deze problemen werd meteen duidelijk dat dit geen geschikte methode was voor onderzoek naar spontane metafoorverwerking. De proefpersonen noemden weinig tot geen metaforen. Er werd veel meer ingegaan op de inhoud van de tekst. Het protocol van proefpersoon 2 bewees de stelling van Larsen en Seilman dat "thinking aloud protocols obtained during normal continuous reading contain little more than the text itself" [22, p. 414]. Zelfs de keuze om de tekst zin voor zin aan te bieden had bij die proefpersoon weinig effect.
Uit de resultaten van deze studie blijkt dat proefpersonen met instructie veel bruikbare opmerkingen over metaforen maakten. De proefpersonen kunnen zich concentreren op één aspect van de tekst. Daardoor neemt de hoeveelheid data toe, terwijl die gegevens ook echt betrekking hebben op metaforen. Deze methode zou bruikbaar zijn voor onderzoek naar metafoorverwerking, omdat af en toe duidelijk de cognitieve processen die de lezer gebruikt om een metafoor te verwerken zichtbaar worden.
Duidelijk is dat hiermee geen spontane herkenning van metaforen onderzocht wordt, zodat deze vorm van hardop denken afvalt voor het definitieve onderzoek. De conclusie is dat enige vorm van sturing van de proefpersonen nodig is om spontane oordelen over metaforen uit te lokken.
Ook bleek dat de gesprekken met proefpersonen te lang duurden, waardoor lezers klaagden over vermoeidheid en concentratieverlies. Daarnaast duurde het uitwerken van de opgenomen gesprekken erg lang, wat bij het uiteindelijke onderzoek, met minimaal 18 proefpersonen, problemen zou geven.
De volgende pilotstudie testte een andere manier om sturing aan de lezers te geven, namelijk door proefpersonen met de plus-en-minmethode over de tekst te laten oordelen.
De plus-en-min methode of ook wel de Content Response Code, wordt meestal gebruikt voor het pretesten van schriftelijk voorlichtingsmateriaal, zoals folders, brieven of illustraties [23]. De resultaten van de methode worden gebruikt om de tekst of illustratie te herzien.
De plus-en-minmethode vraagt aan de proefpersonen om de tekst te lezen. Tijdens het lezen zetten de proefpersonen plussen of minnen bij de stukken die ze goed of slecht vinden. Wat goed of slecht is, wordt zeer globaal omschreven als iets wat belangrijk of onbelangrijk wordt gevonden, waar men het wel of niet mee eens is, iets wat duidelijk of onduidelijk is. Na afloop wordt de gehele tekst met de proefpersonen doorgesproken. Zo wordt duidelijk wat de lezer precies bedoelde met een plus of min.
Bij deze voorstudie is gekozen om de proefpersoon al tijdens het lezen van de tekst zijn of haar oordeel te laten verbaliseren. Gehoopt werd om zo niet alleen spontane metafoorherkenning te toetsen, maar ook processen die bij metafoorverwerking spelen boven water te krijgen. Verder is de instructie die de proefpersonen vooraf kregen aangepast. In die instructie stonden voorbeelden van oordelen, zoals duidelijke of onduidelijke informatie. Hieraan zijn de categorieën mooi of lelijk geformuleerd en mooie of lelijke stijl toegevoegd, om naast oordelen over de inhoud ook commentaar over de vorm van de tekst uit te lokken.
De drie teksten werden geroteerd aan de proefpersonen aangeboden, om effecten van vermoeidheid of verveling op één specifieke tekst tegen te gaan. In tabel 3 staan de leestijden voor de drie proefpersonen.
De totale afnameduur was in vergelijking met voorstudie 2 minder. De proefpersonen klaagden niet over vermoeidheid. De afgenomen duur is ook te herleiden op het aanbieden van de gehele tekst, en niet zin voor zin zoals in de voorgaande twee studies. Proefpersonen konden meer in hun eigen tempo lezen en oordelen.
De resultaten waren bemoedigend. Metaforen werden regelmatig beoordeeld, op hun informatiewaarde of esthetische kwaliteiten. De plus-en-min methode bleek genoeg sturing te geven aan de proefpersonen om goede data te verzamelen.
Een nadeel van de methode zoals toegepast is dat proefpersonen aangaven dat ze door het formuleren van hun oordelen en het eventueel doorvragen van de proefleider de 'draad' van de tekst kwijt waren. Ze gaven aan moeilijkheden te hebben met de extra taken tijdens het lezen. Om dit probleem op te lossen zetten de lezers in het uiteindelijke onderzoek alleen plussen of minnen bij tekstdelen die ze positief of negatief beoordeelden. Pas na het lezen van de tekst werd per merkteken naar commentaar gevraagd.
De ervaringen opgedaan bij de drie voorstudies leidden tot het uiteindelijke onderzoek. Dit onderzoek wordt in het volgende hoofdstuk beschreven.