Деца с аутизъм, увреден слух и говор и езиков дефицит вече ще могат да общуват по-лесно благодарение на новите технологии. Вместо да обясняват с жестове на лекаря къде ги боли или в магазина какво искат да си купят, те ще използват съответните катринки и думи на своя таблет или мобилен телефон. С няколко клика на устройството ще могат да съставят цели изречения, които им е трудно да произнесат. Базата със символи ще се попълва от родители, учители, експерти и от самите деца.

Софтуерът е разработен в рамките на международен проект „TESI“ по програма „Еразъм+”, който бе представен официално в Пловдив. Той се координира от ПУ „Паисий Хилендарски“, в партньорство с университети и училища от Испания, Румъния, Полша, Гърция, Хърватия и България, сред които и пловдивското Специално училище за ученици с увреден слух „Проф. д-р Стоян Белинов”.

Докторантът към ПУ Теодора Гарджева заедно с Димитър Николов и ръководителя на проекта Николай Павлов разработват уеб базираната част на приложението TESI Tool, таргетирана към професионалистите и родителите. Четвъртокурсникът в специалност Софтуерни технологии и дизайн Илия Митвичин пък работи по мобилното приложение - продуктът, използван от децата.

Деца с аутизъм и увреден слух общуват чрез таблетиСъздателите на проекта смятат, че той ще е в помощ и на хора с езиков дефицит – бежанци или младежи, чийто роден език не е български

- Как дете с аутизъм или увреден слух може да използва това приложение в ежедневието си?

Теодора: В днешно време технологиите грабват вниманието на всички хора, независимо на каква възраст са. Съответно и на хората, които изпитват някакви ежедневни затруднения в комуникацията. В технологиите всичко е цветно, то те привлича. Знаете как 2-годишните деца вече са на таблетите. Затова и идеята на хората, които са измислили тази концепция, е, че можем да използваме технологиите, за да обучаваме и да помагаме, а не просто да си губим времето в интернет. Съответно затова е създадено и мобилното приложение, което се използва от крайния потребител – а именно човека, който има нужда да му се помогне. Важно е да подчертаем, че приложението е напълно безплатно и всеки може да си го свали и да използва и уеб базираната, и мобилната част.

Чрез визуални обекти детето може да изрази какво изпитва, какво мисли, да каже своите нужди, но освен това и да приема от другите. Защото много по-ясно за такъв тип хора е да видят визуално едно изображение, отколкото да разбират вербално какво им се казва. Съответно виждайки например картинка на човек, който се храни, детето разпознава действието от ежедневието и може да посочи „Аз искам да ям”. Може също така да се използва от преподавателите, за да обяснят някаква информация. Например, когато искат да кажат на детето да си сложи якето, му показват съответната картинка. И то разбира, че е време да се облече. Това е цялата идея на мобилното приложение – чрез визуални обекти да се изпълняват ежедневни комуникационни процеси, които за някои хора са по-трудни. Когато натиснете избрания бутон, се чува и начинът, по който съответният визуален обект се произнася. И детето се учи как звучи „Облечи се”. Така след някакъв период от време това „Обличам се” се наслагва в съзнанието и в един момент то ще може да разбере, когато някой му каже да се облече и това изображение дори няма да му трябва.

Приложението може да се приложи там, където има нужда от него. То може да се прилага при глухонеми хора, аутисти, хора със Синдром на Даун – те имат различни затруднения, но всеки го конфигурира по такъв начин, който ще бъде полезен за него.

Илия: Мобилното приложение има две концепции. Едната е за изрази, другата – за инструкции. Логически представляват едно и също нещо. Инструкциите се създават от преподавателите. Когато един преподавател иска да каже на детето да отиде да се измие или да се приготви за лягане, предварително подготвя тази инструкция и му я задава. Има една стартираща картинка, на която стрелка сочи към банята. След като се избере, се отварят последователно други картинки, показващи следващите стъпки – когато отиде в банята, как да си измие ръцете, лицето, да вземе четката за зъби, да сложи паста, да я доближи до устата, да си изплакне устата. Но всичко зависи как е конфигурирана инструкцията в зависимост от нуждите на самото дете. С времето чрез картинките се създават асоциации, наслагват се когнитивни модели в съзнанието на този човек, които той ще може да използва. И реално сам се учи на тези модели. Не е нещо, което някой се опитва да ти набие в главата, а се случва несъзнателно и с времето се научаваш да ги използваш. А и както казахме, технологиите впечатляват всеки човек – и млади, и възрастни. И винаги може да стане по-интересно. Има опция за добавяне на нови цветове и картинки.

Изразите като функция са сходни с инструкциите, но те се използват от децата. Работят по същия начин. Има един начален израз и след като го натиснат, излизат различните опции, които са били конфигурирани от родителите. И така може да изрази своите мисли и чувства.

Теодора: Разликата между инструкция и израз е, че инструкцията е последователност от елементарни стъпки за изпълняване на дадено действие и постигане на краен резултат от рода на това как да си измия зъбите. Това са ежедневни действия, които изпълняваме. Инструкцията е предвидима – винаги си мием зъбите по един и същ начин. Докато изразът е непредвидим. Това е начин да изразим себе си, да кажем какво желаем. Например мога да кажа „Гладна съм”. Мога обаче да бъда и по-конкретна и да кажа „Искам да ям плодове”, или още по-конкретно „Искам да ям портокал”. И това се конфигурира в зависимост от възможността на детето да работи с по-сложни концепции. Всичко това отново го виждаме като визуални обекти. Не говорим за текст, тъй като в повечето случаи потребителите на мобилното приложение все още не могат да четат. Тук работим с идеята да ги научим да разбират елементарни действия от ежедневието и да им помогнем вербално да ги изразяват чрез звука, който се чува, впоследствие и да го разбират.

- Всеки ли може да създава образи в приложението?

Теодора: Да. И когато създадем определен образ, ние го записваме с описваща го ключова дума на родния ни език. Съответно, ако искам да добавя визуален образ банан, за да може човек да избере, че иска да яде банан, добавям като описание как се изписва на български. Системата се саморазширява постоянно. Тя е споделена между всички преподаватели, които я използват по целия свят. Има едно споделено хранилище от данни и в него се записва всеки ресурс, който добавяме. Оттам-нататък може да бъде използван от всички други хора. За да е възможно това да се случи, ние трябва да поддържаме различни езици. Затова автоматично, когато запазя на български този ресурс банан, има една услуга, която превежда на всички 7 поддържани езици. Така че той вече е достъпен за всички хора по света.

- Запознахте ли се вече с деца, които използват приложението?

Теодора: Все още не сме имали тази възможност. До момента проектът се представяше от нашия ръководител. Той взе участие в няколко конференции, на които участваха учители от различни страни. Показа им как да работят със системата и да я използват в своите страни. Имаше също финансиране по този проект, което позволяваше да бъдат закупени таблети за децата. За да могат те да тестват системата и при нужда от редакции, ние да реагираме навреме. Така че докато я разработвахме, тя се тестваше в реална среда от учителите и децата.

- Какви са отзивите?

Теодора: Съпругата на нашия ръководител е учител по музика. Работи и с деца с комуникативни проблеми. Тя сподели, че прилага TESI Tool с едно дете и то започна да ходи само до тоалетната. Това много ни зарадва, защото сме направили нещо. На едно дете да сме помогнали, си е заслужавало труда. Но вярвам, че ще помогнем и на други хора. По време на презентациите имаше добри отзиви как са го прилагали в другите страни.

- Какво ви мотивира да си занимавате с този проект?

Теодора: Когато ми казаха за проекта, изключително много се зарадвах, защото преди време си мислех за някоя от дипломните си работи да напарвя нещо подобно. Дори вече бях потърсила материали, но идеята, която имах тогава в главата си, оказа се, беше вече реализирана. Съответно, когато разбрах, че мога да участвам в този проект, много се зарадвах. Защото беше в насоката, която исках – да помогна на хора с проблеми в комуникацията.

Илия: Аз малко по-късно се запознах с проекта. Уеб частта, върху която работеше главно Теди, вече беше завършена. От доста време си казвах, че искам повече да помагам на хората. И когато ръководителят Николай Павлов ми предложи да се включа, с радост приех. За мен това беше добра възможност. Научих много, докато работех по проекта. Притеснявах се дали ще има добър резултат и ще помага наистина на хората, но за наша радост всичко се оказа както трябва и децата наистина имат полза от него.

- Какво научихте за децата с проблеми в комуникацията?

Теодора: Никога не се бях замисляла, че изображенията са толкова важни. Не съм се замисляла, че това, което запомняме, е толкова важно и може да бъде прилагано по някакъв начин. Мислила съм, че хората, които имат комуникативни проблеми, трябва да отидат на логопед, че няма как вкъщи да се развият. А TESI Tool е направен да може да се използва и вкъщи. Не е задължително да има преподавател. Достатъчен е един телефон или таблет, влизате в сайта, конфигурирате го веднъж и оттам-нататък може да го използвате със собственото си дете. Научих, че родителите могат да бъдат много полезни за децата си.

Илия: Споделям мнението на Теди. Ежедневно ние не се сблъскваме с такива хора. Да, знаеш, че те съществуват, че имат проблеми, но не се замисляш. Благодарение на проекта се замислих за много неща, научих много и се радвам, че съм част от него.