多模態(tài)話語(yǔ)分析綜合框架

《多模態(tài)話語(yǔ)分析綜合框架》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、多模態(tài)話語(yǔ)理論與現(xiàn)代媒體技術(shù)在外語(yǔ)教學(xué)中的應(yīng)用11.0引言話語(yǔ)分析轉(zhuǎn)入多模態(tài)話語(yǔ)分析階段:人類的實(shí)際交際過(guò)程：聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)并用伴語(yǔ)言特征：音響度、聲調(diào)、語(yǔ)調(diào)、音速等;身體特征:如手勢(shì)、身勢(shì)、面部表情、動(dòng)作、移動(dòng)等非身體特征：PPT、音響設(shè)備、網(wǎng)絡(luò)、實(shí)驗(yàn)室、周圍的環(huán)境因素等。首先，根據(jù)系統(tǒng)功能語(yǔ)言學(xué)理論嘗試建立一個(gè)多模態(tài)話語(yǔ)分析的綜合框架；然后，探討不同的模態(tài)及其之間的關(guān)系；第三，探討實(shí)現(xiàn)模態(tài)的不同媒體系統(tǒng)；最后，探討如何在外語(yǔ)教學(xué)中選擇模態(tài)和媒體。2多模態(tài)話語(yǔ)：運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際

2、的現(xiàn)象。這種現(xiàn)象司空見(jiàn)慣，自古有之，如詩(shī)歌配上圖畫，說(shuō)話時(shí)打手勢(shì)做鬼臉，使用不同口氣和腔調(diào)等。系統(tǒng)功能語(yǔ)言學(xué)是最適合于研究多模態(tài)話語(yǔ)的理論模式，其主要原因有以下三個(gè)方面：（1）系統(tǒng)功能語(yǔ)言學(xué)不僅關(guān)心語(yǔ)言內(nèi)部的運(yùn)作機(jī)制，同時(shí)還研究語(yǔ)言外的環(huán)境和動(dòng)因；（2）系統(tǒng)功能語(yǔ)言學(xué)把話語(yǔ)的意義和功能放在首要位置上；（3）意義的實(shí)現(xiàn)是以多模態(tài)形式進(jìn)行的，語(yǔ)言只是這些形式中最有效的一種。32.0多模態(tài)話語(yǔ)分析的理論基礎(chǔ)系統(tǒng)功能語(yǔ)言學(xué)理論本身不需要做任何改動(dòng)就可以直接作為其理論框架。這個(gè)框架主要由五個(gè)層面的系統(tǒng)和選擇的基本因素和條件組成(Martin,1992)。這五個(gè)

3、層面分別是：（1）文化層面，意識(shí)形態(tài)、體裁；（2）語(yǔ)境層面，話語(yǔ)范圍、話語(yǔ)基調(diào)和話語(yǔ)方式（3）意義層面，概念意義、人際意義和謀篇意義；（4）形式層面，詞匯語(yǔ)法系統(tǒng)，視覺(jué)語(yǔ)法系統(tǒng)，聽(tīng)覺(jué)語(yǔ)法系統(tǒng)，觸覺(jué)語(yǔ)法系統(tǒng)等（5）媒體層面，語(yǔ)言的和非語(yǔ)言43.0多模態(tài)話語(yǔ)綜合框架初探如上所述，系統(tǒng)功能語(yǔ)言學(xué)為多模態(tài)話語(yǔ)分析提供了一個(gè)相對(duì)現(xiàn)成的理論框架。這就是說(shuō)，在語(yǔ)境和交際層面和話語(yǔ)意義層面，單模態(tài)的語(yǔ)言交際和多模態(tài)話語(yǔ)交際并沒(méi)有什么區(qū)別。李姆（Lim,2004）在研究圖畫與語(yǔ)言形成的多模態(tài)話語(yǔ)時(shí)提供了如下的框架。在這個(gè)框架中，語(yǔ)言和圖畫作為交際模態(tài)共有意識(shí)形態(tài)、體裁

4、、語(yǔ)域和話語(yǔ)意義四個(gè)層面。在內(nèi)容層面，圖畫具有視覺(jué)語(yǔ)法，而語(yǔ)言則有詞匯語(yǔ)法；在表達(dá)層面，語(yǔ)言由印刷符號(hào)體現(xiàn)；圖形由圖形符號(hào)體現(xiàn)。在這里最主要的研究領(lǐng)域是把兩者在內(nèi)容層面和表達(dá)層面整合為一體，特別是在內(nèi)容層面研究的任務(wù)最重。56這個(gè)框架是對(duì)語(yǔ)言與圖像所形成的多模態(tài)話語(yǔ)的分析框架，還不是一個(gè)對(duì)所有模態(tài)都適用的框架。但其基本思路是正確的：第一，他的層次的思想是正確的第二，不同的模態(tài)涉及由不同的媒體來(lái)體現(xiàn)第三，不同的模態(tài)需要整合在一起據(jù)此，我們根據(jù)韓禮德的系統(tǒng)功能語(yǔ)言學(xué)理論，和我們以上研究的結(jié)果，提出了如下的理論框架（見(jiàn)圖二）。78這個(gè)框架分為四個(gè)層面：文化

5、層面、情景層面、內(nèi)容層面和表達(dá)層面。文化層面是使多模態(tài)交際成為可能的關(guān)鍵層面。意識(shí)形態(tài)；體裁。語(yǔ)境層面：話語(yǔ)范圍、話語(yǔ)基調(diào)、話語(yǔ)方式；實(shí)現(xiàn)所選擇的體裁。話語(yǔ)意義層面，概念意義、人際意義和謀篇意義。形式層面：視覺(jué)語(yǔ)法、聽(tīng)覺(jué)語(yǔ)法、觸覺(jué)語(yǔ)法等。94.0多模態(tài)話語(yǔ)的形式及其關(guān)系4.1多模態(tài)話語(yǔ)的形式媒體只有通過(guò)形式層面的組織和模式化才具有直接表達(dá)意義的能力。形式對(duì)媒介進(jìn)行組織有兩種手段：一是直接賦予某個(gè)媒介符號(hào)某種意義。由這種符號(hào)組成的符號(hào)系統(tǒng)通常沒(méi)有能產(chǎn)性、沒(méi)有任意性；二是把一定的媒介符號(hào)進(jìn)行組合，然后賦予這種組合一定的意義，這就是語(yǔ)法的作用。由這種符號(hào)和

6、符號(hào)組成規(guī)則形成的符號(hào)系統(tǒng)具有任意性、能產(chǎn)性、雙分性，由三個(gè)層次的代碼組成（媒介、形式（詞匯語(yǔ)法）和意義）。語(yǔ)言屬于這一類。語(yǔ)言：詞匯—語(yǔ)法圖像：圖符—圖形語(yǔ)法音響：音符—聲響語(yǔ)法接觸：實(shí)體--感觸語(yǔ)法104.2多模態(tài)話語(yǔ)形式之間的關(guān)系運(yùn)用多模態(tài)的理由：一種模態(tài)不足以表達(dá)清楚交際者的意義，從而利用另一者來(lái)強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同，達(dá)到更加充分，或者盡量充分表達(dá)意義，讓聽(tīng)話者理解話語(yǔ)的目的。關(guān)系：互補(bǔ)vs非互補(bǔ)互補(bǔ)：強(qiáng)化（突出、主次、擴(kuò)充）vs非強(qiáng)化（交叉、聯(lián)合、協(xié)調(diào)）非互補(bǔ)：交疊（冗余、排斥、抵消）vs內(nèi)包（部分、具體）vs語(yǔ)境交互（獨(dú)立vs依賴）11

7、125.0多模態(tài)話語(yǔ)的媒體系統(tǒng)從多模態(tài)話語(yǔ)的角度，我們可以把媒體分為語(yǔ)言媒體和非語(yǔ)言媒體；3.1語(yǔ)言媒體傳統(tǒng)媒體：主要兩種，聲波傳導(dǎo)的聲音符號(hào)和由筆、毛刷等生成的書寫符號(hào)。其他媒體：隨著信息技術(shù)的不斷發(fā)展，其他技術(shù)開(kāi)始用于語(yǔ)言信息的傳播，如計(jì)算機(jī)文字輸入，計(jì)算機(jī)語(yǔ)音識(shí)別等，但最后的傳播媒體仍然是聲音或者字符。伴隨語(yǔ)言的媒體形式：音響，聲音的大小，音調(diào)，聲音的頻率，口音，口氣等，以及字體形狀、大小、空間的布局等。133.2非語(yǔ)言媒體交際者肢體動(dòng)作和交際者在意義表達(dá)中所使用的其他非語(yǔ)言手段，如工具、環(huán)境等。1.交際者肢體的動(dòng)作可以分為三個(gè)類別：一、由頭部

8、的移動(dòng)形成的動(dòng)作二、由手臂和腿形成的媒體符號(hào)三、軀干的動(dòng)作，如移動(dòng)、比劃、模擬等。2.非肢體媒體：工具和環(huán)境