Виклад основного матеріалу

Модальність — це функціонально-семантична категорія, що виражає відношення висловлювання до реальності, а також суб'єктивну кваліфікацію того, що повідомляється [4, с. 303]. Швейцарський учений Ш. Баллі вважає, що «модальність — це душа твердження; як і думка, твердження є результатом активної діяльності мовця» [1, с. 44].

Уперше теорію мультимодальності представили Гюнтер Кресс і Тео ван Ліувен у своїй спільній роботі «Мультимодальний дискурс» у 2001 році. Вони визначають мультимодальність як тісну взаємодію двох або більше різних семіотичних систем у тексті [11, с. 15]. Учені також пояснюють мультимодальний текст як такий, що включає в себе різні семіотичні системи для отримання детальнішої інформації [13, с. 56].

Гюнтер Кресс і Тео ван Ліувен презентують твердження, що невербальні компоненти є мультимодальними. Мультимодальність як візуалізація сприймається як фактор, що привертає увагу лінгвістів до природи, походження, структури і складових компонентів засобів, які формують сучасний текст [12, с. 27]. Лінгвісти Ю.А. Сорокін і Е. Ф. Тарасов визначають мультимодальний текст як такий, фактура якого складається з двох чи більше негомогенних частин, а саме: вербальної (мовної) та невербальної (інші знакові системи). Мультимодальні тексти — це семіотичні об'єднання, які охоплюють знакову систему мови (усна, письмова чи друкована форми) і будь-яку іншу знакову систему (фотографії, малюнки, танці чи музика) [6, с. 181].

Семіотичні системи сприймаються за допомогою органів чуття (слуху, зору, дотику, смаку, нюху). Оскільки семіотичні системи можуть переплітатися, то вони можуть сприйматися різними способами. Однак мультимодальність тексту сприймається за допомогою зору людини [3]. Семіотичні системи виконують три основні функції: 1) створення інтер;

комунікації між людьми (interpersonal); 2) формування понять (ideational function); 3) структурування й організацію тексту (textual) [14, с. 26]. Оскільки ці функції притаманні всім семантичним системам, вони притаманні також і мультимодальному тексту.

Із кожним днем технології стають дедалі продуктивнішими й більш розвиненими, тому графічні засоби відіграють усе більшу роль у формуванні сучасного тексту. Сучасне суспільство несвідомо відходить від звичних лінгвістичних підходів до процесу подачі інформації та дедалі більше орієнтується на графічні засоби комунікації. Процес актуалізації графічних засобів прояснили в компанії Хьюлетт-Паккард у 2004 році [12, с. 27]. Пояснення ґрунтується на тому факті, що людина запам’ятовує лише 10% з усього почутого, 20% - із прочитаного та 80% - із побаченого [12, с. 27]. Звичайно, графічні засоби досить давно репрезентували тексти. Зокрема, із XVII століття цей прийом використовувався в газетах. Сучасна актуалізація графічних компонентів зумовлюється посиленням інтересу науковців до них як до складових частин лінгвістики. Передача інформації за допомогою графічних компонентів відбувається двома шляхами: без використання вербальних засобів, коли значення графічного елемента є зрозумілим без пояснень, та з використанням вербальних засобів (окремі слова, словосполучення або роз’яснювальні речення) [12, с. 28].

Мультимодальний текст включає в себе два неоднорідні складники: вербальний і невербальний. Ступінь мультимодальності залежить від ідеологічного компонента тексту [10, с. 200].

Невербальні компоненти, які створюють мультимодальність тексту, є частиною візуальної комунікації [12, с. 26]. Зазвичай, коли йдеться про матеріал, який містить вербальні та невербальні компоненти, українські лінгвісти вживають термін «креолізований текст». Однак цей термін майже ніколи не вживається зарубіжними філологами, оскільки вони зазвичай використовують визначення «мультимодальність» (multimodality) [12, с. 27].

Існує багато нетекстуальних, тобто невербальних засобів «графічної гри», які є частиною мультимодальності тексту. До них належить власне графічний елемент, його розташування, міжрядковий інтервал, шрифт, колір, підкреслення, чіткість, прозорість [12, с. 28].

Сучасні лінгвісти вважають, що текст не просто складається з речень, а власне кодується в них [9]. До вербальної частини тексту належать слова, у той час як візуальний складник охоплює візуальні (фото, малюнки), колажовані або графічні елементи, які є актуальними для того, на кого скерований цей текст. Як вербальний, так і невербальний складник містить важливу інформацію, яку не можна просто ігнорувати. Візуальний складник є невід'ємною частиною мультимодальності. Однак для створення цілісного образу візуальна складова частина має бути поєднана в тексті з вербальною частиною. Ні візуальний, ні вербальний складник не можуть існувати окремо, тому що вони не є самодостатніми, а доповнюють один одний, цим самим створюючи загальний і логічний зміст тексту [2, с. 88−89].

Мультимодальність усіх текстів представлена на трьох рівнях: тексти з нульовою, частковою та повною мультимодальністю. Текст із нульовою мультимодальністю містить зображення, які не мають значення для його організації. Тексти з частковою та повною мультимодальністю містять зображення, які беруть участь у їхній організації. Як у частковій, так і в повній мультимодальності існує певний зв’язок між словесними та графічними компонентами. При частковій мультимодальності тексту вербальна частина є відносно автономною й не залежить від зображення, а між словесними та графічними компонентами існують семантичні відносини. У такому разі графічний елемент лише супроводжує вербальну частину тексту й не є обов’язковим для організації тексту. Повна мультимодальність тексту передбачає нерозривний зв’язок між вербальною частиною та графічним елементом. У такому разі словесні елементи не можуть існувати окремо від графічних, а між ними наявні тісні семантичні відношення. Словесна частина орієнтована на графічний компонент і відсилає до нього [5, с. 15].

У коміксах інформація сприймається візуально, тому графічний компонент є необхідним елементом організації коміксу, де вербальна частина супроводжує візуальну й навпаки. У коміксах присутні тільки два рівні мультимодальності: часткова й повна. Комікс не може бути текстом із нульовою мультимодальністю, оскільки графічний компонент завжди присутній і повністю або частково стосується вербальної частини. Читач може отримати інформацію з коміксу навіть якщо розглядати тільки картинки й не звертати уваги на вербальну частину. Картинки та слова в коміксах мають взаємну доповнюючу або супроводжуючу функцію — вербальна частина може доповнювати або супроводжувати картинки й навпаки.

У наведених нижче фрагментах коміксу «Captain America» простежується як повна, так і часткова мультимодальність тексту. У випусках коміксу Капітан Америка бореться зі своїми ворогами — нацистами, які становлять загрозу для його держави [CAGAM]. Для кращої передачі читачеві інформації про те, що відбувається в коміксі, застосовуються різні засоби, які доповнюють картину подій боротьби Капітана Америки з його ворогами. Одним із графічних елементів, які стосуються боротьби Капітана Америки з нацистами, є свастика (див. фрагмент № 1).

Свастика трапляється в коміксі безліч разів. Вона зображена й на одязі нацистів і їхніх створінь, таких, як the Red Skull (що є уособленням смерті) (рис. 1), і в їхніх документах, і на стінах їхньої штаб-квартири. Цей символ є власне вираженням мультимодальності тексту.

Рис. 1. фрагмент № 1 коміксу «Captain America»

У такій ситуації присутні два її рівні. Згідно з теорією цей приклад є проявом часткової мультимодальності, коли читач звертає увагу на символ і без вербальної частини тексту розуміє, що йдеться про нацистів. Повна мультимодальність проявляється тоді, коли слова, які супроводжують картинки, пояснюють, що нацисти є ворогом Капітана Америки. Такий випадок є прикладом повної мультимодальності, де текст має нерозривні семантичні зв’язки з візуальним компонентом, тобто текст супроводжує графічний елемент і доповнює його. мультимодальність інформація текст.

Іншим прикладом мультимодальності є герой Hurricane [CAGAM, с. 53] (див. фрагмент № 2). З кількох причин читач одразу розуміє, що цей герой, так само, як і Капітан Америка, буде боротися з ворогами.

Рис. 2. фрагмент № 2 коміксу «Captain america»

По-перше, його розташування на обкладинці відіграє важливу роль. Образ цього героя займає найбільше текстового простору в колажі зображень, завдяки цьому читач розуміє, що події будуть розгортатися саме довкола нього. По-друге, на обкладинці увагу читача привертає стіл, на якому стоїть табличка «Murder Ltd.», тож імовірно, що саме це ворог героя Харрікейн (див. рис. 2). У такій ситуації проявляється повна мультимодальність, коли читачеві не потрібна словесна частина, щоб зрозуміти героя та його цілі загалом. Однак тут присутня й часткова мультимодальність.

Для того, щоб читач пізнав героя детальніше, подається його опис, який і супроводжує зображення. У фрагменті № 2 йдеться про те, що Харрікейн — «…son of Thor, god of thunder, and the last descendent of the ancient Greek immortals, returns to earth to fight his ancestral enemy, Pluto, the devil whose horrible crimes have almost ruined civilization» (див. рис. 2). Тому без вербальної частини картинка, де зображений Hurricane, може існувати, але вона не є повноцінним елементом інформації.

Окреме місце посідає слово автора, яке часто супроводжує картинки. Автор переважно подає свої слова на кольоровому фоні, тоді як слова героїв — на білому. У випуску про Харрікейна автор часто описує події, які зображені на картинках. Так, наприклад, на рис. № 3 зображений Харрікейн, який маскується під звичайного смертного та їде в таксі до місця, де перебуває його ворог. Таксі їде повільно, тому Харрікейн дає автомобілю крила, щоб пришвидшити його рух (див. фрагмент № 3).

Рис. 3. фрагмент № 3 коміксу «Captain America»

У фрагменті № 3 коміксу «Captain America» зображене таксі, яке з крилами з обох сторін їде з надзвичайною швидкістю. Саме цей невербальний компонент автор доповнює словами «…while the driver keeps his eyes on the road, his immortal passenger removes two silver wings from their concealment in his person and attaches them to either side of the taxi» [CAGAM, с. 54] (див. рис. 3). У цій ситуації спостерігається часткова мультимодальність, тому що зображення не може існувати незалежно від тексту, оскільки саме вербальний елемент супроводжує графічний.

Слова автора на кольоровому фоні є необхідним елементом для кращого сприйняття коміксу, оскільки найчастіше саме вони супроводжують події, які подаються в зображенні. Так, наприклад, після ще одного успішного завдання Капітан Америка, він же Стів Роджерс, уже зображений у формі солдата у військовому таборі (див. фрагмент № 4).

Рис. 4. фрагмент № 4 коміксу «Captain America»

Невербальна частина супроводжується словами автора: «the next day… Captain America once more becomes private Steve Rogers…», «- Private Rogers-fall in!» [CAGAM, с. 44] (див. рис. 4). Читач розуміє, що наступного дня, після ще одного успішно виконаного завдання, Капітан Америка знову став звичайним солдатом, якого звати Стів Роджерс.

Слова автора у фрагменті № 5 «Like an angry tornado Captain America bursts into the room» [CAGAM, с. 47] (див. рис. 5) супроводжують дії Капітана, коли він вривається в кімнату до свого ворога, який ховається за маскою смерті.

Рис. 5. фрагмент № 5 коміксу «Captain america»

В одному з випусків коміксу в Капітана та його друга Баккі з’являються нові вороги — гіганти Ageless Orientals [CAGAM, с. 71], які становлять загрозу для всієї Америки, тому що вони дуже сильні, убивають людей, руйнують усе на своєму шляху, але їх неможливо вбити.

Обкладинка цього випуску містить як вербальні, так і невербальні компоненти. Графічні елементи супроводжують вербальні та навпаки. На обкладинці зображений страшний гігант, який тримає жінку (імовірно, хоче її вбити), і Капітан Америка разом із Баккі (див. рис. 6).

У фрагменті № 6 коміксу «Captain America» автор повідомляє читачам про те, що Капітан Америка та Баккі знову готові боротися з ворогом: «They (безсмертні гіганти — М. І.) can't be killed! Betty Ross (розвідник уряду США — М. І.) was swiftly plunged into a horrifying mystery that involved a nation’s life blood — that challenged the might of miraculous Captain America and his young friend Bucky! What was the secret of the Oriental Giants?» [CAGAM, с. 71] (див. рис. 6).

Зі слів автора читач розуміє, що ця жінка в руці створіння — Бетті Росс, а Капітан Америка й Баккі мають зупинити та подолати цього гіганта. Вербальні компоненти на цій обкладинці доповнюють зображення, що є прикладом часткової мультимодальності.

Рис. 6. фрагмент № 6 коміксу «Captain america»