SISTEM MULTI SENSOR

A.    Pengertian Sistem Bersensor Ganda (Sistem Multi Sensor)

Sistem multi sensor merupakan sistem yang menggunakan lebih dari satu chanel sensor dalam interaksinya.

Kegunaan dari sistem multi sensor ini adalah sebagai berikut:

a.Penggunaan saluran sensor secara bersamaan akan meningkatkan bandwith interaksi antara manusia dan computer.

b.Membuat interaksi manusia-komputer menjadi seperti interaksi antara amnesia dan lingkungannya.

Contoh : suara , teks, hypertext, animasi, video, gerak isyarat, penglihatan (lewat mata), dan lain-lain. Digunakan dalam berbagai aplikasi yang umumnya bekerja baik untuk pengguna dengan kebutuhan spesial. Dan juga untuk kenyataan buatan (virtual reality).

2. Usable sensory inputs, Multi modal & multimedia system

1.      Usable Sensory Inputs

Ada lima sensor input yang dimiliki manusia yaitu berkenaan dengan penglihatan (visual), merupakan sensor yang paling utama digunakan dalam komunikasi. Suara (sound) digunakan terbatas pada beberapa interface. Misal, suara “beep” digunakan sebagai “warning”. Pendengaran (hearing), digunakan dalam kehidupan sehari-hari sehingga perluasan aplikasi ke interface dapat bermanfaat. Rasa (taste) dan bau (smell) merupakan sensor yang paling sedikit digunakan. Kedua sensor ini lebih digunakan untuk komunikasi. Karena hanya ada sedikit cara mengimplementasikan device yang dapat me-generate keduanya, maka kedua sensor ini tidak dikembangkan.

2.      Multi-Modal Dan Multimedia System

Sistem multi-modal dikembangkan untuk mengambil keuntungan atas indra alami manusia. Sistem multi-modal menggunakan lebih dari satu indra atau mode komunikasi. Sistem ini lebih memberdayakan penggunaan auditory channel. Contoh: indra visual dan aural : suatu text processor dapat mengucapkan kata-kata sebagaimana ia menampilkan kata-kata tadi ke layar. Sistem multi-media menggunakan sejumlah media yang berbeda untuk mengkomunikasikan informasi seperti sound, video, text, grafik, icon, animasi. Sistem multimedia sering disebut sistem multi-modal, tapi tidak selalu. Contoh : sistem pengajaran berbasis computer yang menggunakan video, animasi, teks dan juga citra diam.

C.   Perkataan (Speech) Di Interface dan Non-speech sound

1.      Perkataan (Speech) Di Interface

Perkataan (speech) di interface berguna untuk keadaan :Tangan si pembicara sibuk, dinginkan mobilitas, mata si pembicara harus memperhatikan sesuatu, kondisi yang keras atau terkungkung yang tidak memungkinkan penggunaan keyboard.

Speech pada interface terdapat 4 bagian yaitu:

1.      Struktur perkataan (structure of speech)

2.      Pengenalan perkataan (speech recognition)

3.      Perkataan buatan (speech synthesis)

2.    Non-speech sound (suara bukan ucapan)

Digunakan sebagai alarm dan warning, atau status information. Penampilan informasi yang redundan dapat meningkatkan kinerja user. Contohnya, user dapat mengingat suara yang mencerminkan icon tertentu, tapi bukan tampilan visualnya.

Ketidak jelasan satu mode dapat dipecahkan dengan mengunakan informasi yang ditampilkan melalui media lain. Misal: speech recognition sistem juga menggunakan kamera untuk merekam gerakan bibir. Katakata yang tidak jelas atau frase datap dipecahkan lebih akurat dengan menggunakan informasi visual.

Perbedaan speech dan non-speech

Speech	Non-Speech
·         Serial dan user harus mendengarkan seluruh kalimat sebelum mengerti maksudnya, sehingga membutuhkan waktu yang panjang. ·         Kita perlu memahami dan menerjemahkan untuk mengetahui bahasa yang digunakan	·         Dapat diasosiasikan, dibutuhkan waktu lebih pendek ·         Universal (mempunyai arti yang sama di belahan bumi manapun. ·         Menyediakan informasi status. ·         Navigasi system.

Non-speech sound (suara bukan ucapan) terbagi atas 3 bagian yaitu:

a.      Sountrack adalah suatu word-processor dengan sebuah interface auditory yang didesain untuk user yang bermasalah dengan alat visualnya. Sountrack menyediakan solusi untuk hal-hal yang berhubungan dengan pendengaran untuk menampilkan word-processor secara visual, walaupun hasilnya tidak semua dapat divisualisasilan di interface.

b.      Ikon Auditori (auditory icon) menggunakan suara alami untuk merepresentasikan tipe objek dan aksi yang berbeda di interface, misalnya pada Sonic Finder, suara benturan digunakan untuk aksi membuang sesuatu  ke keranjang sampah.

Permasalahan ikon auditori adalah bahwa beberapa objek dan aksi tidak memiliki kejelasan suara untuk mengidentifikasikannya, Pada SharedARK, sound digunakan dalam 3 hal, yaitu :

·         Konfirmasi aksi

·         Informasi status

·         Petunjuk navigasi

Suara penegasan (confirmatory sound) menyediakan informasi yang redundan yang akan meningkatkan umpan balik. Proses dan state information sound ada dalam 2 level, yaitu :

·         Global sound : merepresentasikan state ke seluruh system dan dapat didengar dari mana saja.

·         Local sound : spesifik untuk eksperimen khusus dan berubah saat user mengubah 1 eksperimen ke eksperimen lain.

Informasi navigasional diletakkan di mana saja di dalam system, yang akan terdengar keras jika user bergerak mendekat. Volumenya akan semakin pelan bilamana user menjauh.

c.       Earcons Sebuah alternatif penggunaan suara alami adalah untuk merancang synthetic sounds. Earcons menggunakan kombinasi terstruktur dari not/nada, yang disebut motives, untuk merepresentasikan aksi dan objek.

Ada 2 tipe kombinasi earcons:

·         Compound earcons : menggabungkan motive yang berbeda untukmembuat sebuah aksi yang spesifik. Contoh: mengkombinasikan motives "create" dan "file"

·         Family earcons : menampilkan coumpund earcon yang setipe. Contoh: operating system error dan syntax error berada dalam "error" family.

Dengan cara ini earcon dapat dibuat terstruktur secara hirarki, untuk merepresentasikan menu. Earcon dengan mudah dapat dikelompokkan dan diperbaiki sesuai dengan komposisi dan hirarkinya. Tapi earcon susah untuk dihubungkan dengan tugas yang spesifik di dalam interface karena ada mapping yang tidak beraturan.

D.    Pengenalan Tulisan Tangan (Handwriting Recognition)

Tulisan tangan orang per orang sangatlah bervariasi, dan tiap orang berubah-ubah tulisan tangannya dari hari ke hari. Hal ini akan menimbulkan kesulitan untuk sistem pengenalan, yang bekerja dengan mencoba mengidentifikasikan baris-baris yang berisi teks, dan kemudian memilah-milah image yg di digitasi ke dalam karakter-karakter yang terpisah.

Walaupun demikian, ketika tulisan ditulis secara individual, dengan sedikit pemisahan, kesuksesan sistem mejadi lebih layak, walaupun sistem harus dilatih untuk mengenali karakterisitk bermacam-macam user. Banyak solusi-solusi yang diusahakan pada speech recognition juga dicoba pada handwriting recognition system, dan begitu pula sebaliknya. Seperti, pengenalan keseluruhan kata, penggunaan conteks untuk karakter-karakter yang yang memiliki banyak arti, dan neural networks, yang dipelajari dengan contoh.

Seperti speech, tulisan tangan merupakan bentuk alami dari komunikasi. Tulisan tangan menawarkan input tekstual dan input grafik dengan menggunakan alat yang sama.

Teknologi yang digunakan adalah digitizing tablet. Coretan yang dibuat dengan pena akan ditransformasikan ke dalam seri koordinat, kira-kira 1 dalam 1/50 detik. Gerakan-gerakan yang cepat akan menghasilkan titik-titik yang lebih jarang dibandingkan dengan gerakan-gerakan lambat.

Digitizing tablet telah diperbaiki dengan menggabungkan sebuah screen tipis untuk menampilkan informasi, yang akan membentuk kertas elektronik (electronic paper). Informasi yang ditulis di digitizer dapat dengan mudah di tampilkan kembali (re-display), atau disimpan dan di re-display untuk referensi lebih jauh. Sistem akan bermanfaat jika dapat menginterpretasikan coretan yang diberikan dan menghasilkan text.

E.     Text, Hypertext Dan Hypermedia

Text adalah format umum untuk output dan sangat berguna dalam berbagai situasi. Output tekstual ditampilkan dalam bentuk sebuah blok teks, atau sebagai suatu urutan halaman yang harus dibaca. Bagaimanapun menampilan teks dalam gaya berurut, seperti halaman per halaman, adalah tidak cocok untuk browsing, karena hal ini memaksa pembaca untuk mengikuti alur berpikir penulis. Hal ini menimbulkan kesulitan. Misalnya ketika pembaca sedang membaca buku manual. Jika pembaca tersebut tidak mengerti akan satu istilah dalam halam itu, ia harus mencari keterangan atas istilahtersebut dalam halaman-halaman yang lain. Setelah itu dia baru bisa kembali ke halaman yang tadi dan melanjutkan kegiatan membacanya.

Hypertext adalah menstrukturkan blok teks dalam pertautan atau jaringan yang dapat ditelusuri dalam berbagai cara yang berbeda.Hypertext mencoba membatasi keterbatasan-keterbatasan pada text dengan cara membentuk ke dalam web screen dari pada secara baris. Cara ini membolehkan halaman-halaman yang berbeda diakses dari halaman yang sedang aktif, dan jika didisain dengan baik, user akan merasa lebih mudah untuk mengikuti suatu pokok bahasan yang diingininya.

Seperti text, hypertext juga mengandung diagram, photo dan media lainnya. Sistem seperti ini dikenal sebagai hypermedia system. Hypertext terdiri dari beberapa halaman, dan satu set links yang digunakan untuk menghubungkan halaman-halaman menjadi satu. Hal yang perlu digaris bawahi adalah bahwa user dapat membaca dokumen dengan cara yang dirasa paling baik untuknya.

Hypertext dan hypermedia adalah satu jaringan simpul (disebut artikel, dokumen, file, kartu, halaman, frame, layar) yang berisi informasi ( dalam bentuk teks, grafik, video, sound, dll) yang dihubungkan dengan link (disebut juga cross-reference, citation). Hypertext umumnya diterapkan untuk aplikasi teks. Hypermedia umumnya digunakan untuk sistem yang meliputi media lainnya, terutama sound dan video.

a.      Aplikasi Hipermedia

contoh aplikasi ini adalah Hypercard yaitu dengan carameniru sebuah kartu indeks, sehingga user dapat mencari sesuatu. Masing-masing kartu dapat menyimpan teks, diagram, photograph, bitmap dan lain-lain. Selain itu pada kartu-kartu ini juga terdapat tombol forward dan backward dan sebuah ikon home untuk membolehkan user bergerak secara sekuensial.

b.      Masalah pada Hipermedia

Sangatlah sulit memutuskan dengan pasti posisi seseorang di dalam hiperteks web. Solusi untuk masalah dengan menyediakan peta dokumen hiperteks yang mengidentifikasikan posisi seseorang. Jika informasi disajikan dalam struktur yang lebih kompleks, terdapat kemungkinan terlewatkannya halaman-halaman tertentu atau item-item atau informasi.

F.     Animasi Dan Video

1.      Animasi

Animasi menjadi elemen yang paling biasa / lazim pada sebuah sistem. Dengan animasi dapat membuat suatu image berpindah, berubah (alter) dan berganti pada waktu yang bersamaan.

Contoh:

·         Animasi kursor

·         Jam

·         Icon jam gelas untuk menunjukkan suatu pekerjaan sedang berlangsung.

·         Kartun

2.      Video Dan Digital Video

Penggunaan video akan memperluas potensi interface dan memberikan designer tool/alat lain, dan cara lain untuk menampilkan informasi. Media penyimpanan digital salah satunya adalah dalam bentuk Compact Disk (CD).

Macam-macam CD :

1.      CD-I

·         Mempunyai video yang terbatas dan kapasitas still image.

·         Ditujukan untuk pasar domestic

·         Baik untuk full screen animation daripada untuk video work.

2.      CD-XA (extended Architecture)

·         Pengembangan dari CD-I

·         Lebih mendukung audio digital dan still image

3.      DVI ( Digital Video Interactive)

·         Menampilkan full motion video, bersaing dengan UVC (Universal Video Communications )

·         Dapat menempatkan full motion video ke dalam single CD lebih dari 1 jam, dan teknologinya meningkatkan kompresi dan kapasitas penyimpanan sepanjang waktu.

G.    Pengenalan gerak & komputer vision

1.      Pengenalan Gerak

Gerakan adalah komponen IMK yang menjadi pusat perhatian dalam Multimodal system. Dengan beberapa gerakan untuk mengkontrol komputer, adalah merupakan suatu keuntungan pada situasi dimana tidak ada kemungkinan untuk melakukan pengetikan atau ketika panca indera lainnya tidak bisa digunakan.

2.      Komputer vision

Sistem visi yang baik memungkinkan komputer mengenali user dan membentuk sistem yang sesuai permintaan. Salah satu aplikasi komputer visi adalah Argus. Argus adalah salah satu aplikasi dari komputer visi yang berfungsi sebagai penjaga pintu digital. Argus bekerja sama dengan mendeteksi wajah para tamu dan mencocokkannya dengan data yang ada. Argus bekerja secara otomatis. Jika wajah yang akan memasuki pintu tidak dikenal maka pintu tidak akan terbuka, kecuali sistem keamanan telah diberi perintah terlebih dahulu. Argus biasanya dipakai pada kantor-kantor atau apartemen mewah.

Computer vision sistem cenderung berdasar pada pendekatan “bottomup” dimana image-image diperlakukan sebagai satu set pixel yang secara progresif dianalisa untuk mengambil inti dari artinya. Satu set tertentu dari proses akan dapat mengambil input image dan memprosesnya untuk menghilangkan noise.

H.    Aplikasi Multi-Media System

1.      Interface Untuk User Dengan Kebutuhan Khusus

Penelititan interface untuk user dengan kebutuhan-kebutuhan khusus terfokus pada penyediaan sistem interaksi bagi mereka yang kebutuhannya tidak disediakan oleh komputer standard. Biasanya hal ini karena interface menggunakan saluran input atau ouput yang tidak dapat digunakan dengan efektif oleh user. Berkembangnya penggunaan graphical interface mengurangi kemungkinan bagi user yang mengalami kerusakan visual/penglihatan.

Standard interface saat ini adalah graphical interface. Karena interface yang berkembang saat ini banyak menggunakan gambar-gambar/grafik, maka akses ke komputer bagi user yang mengalami kesulitan penglihatan malah berkurang. Hal ini disebabkan output dalam bentuk Braille tidak dapat digunakan untuk merepresentasikan gambar. Beberapa sistem mencoba untuk menyediakan akses ke graphical interface untuk kelompok user ini, dengan cara menambahkan suara ke interface. Sistem seperti ini telah sukses, tapi memiliki kekurangan ketika menghadapi banyak data yang harus direpresentasikan.

Untuk user yang mengalami gangguan bicara dan pendengaran, multimedia sistem menyediakan beberapa alat komunikasi, termasuk synthetic speech dan komunikasi berdasarkan teks dan conferencing sistem.

Speech input dan output adalah salah satu pilihan bagi yang tidak mengalami gangguan bicara. Alternatif lain adalah sistem Eyegaze yang mengikuti gerakan mata untuk mengontrol kursor, atau driver keyboard yang dipasang di kepala user. Jika user tidak dapat mengontrol gerakan kepala, gerakan isyarat dan movement tracking dapat gunakan oleh user sebagai alat kontrol. Jika user mempunyai keterbatasan menggunakan keyboard, sebuah sistem yang dapat memprediksi (predictive system) seperti Reactive keyboard, dapat menolong, dengan cara mengantisipasi command-command yang aka diketik dan menawarkan perintah itu untuk dieksekusi. Ini dapat menyingkat pengetikan kata. Perkiraan itu didasarkan atas apa yang telah user ketik sebelumnya, seperti dalam Excel.

2.      Virtual Reality

Virtual reality berhubungan dengan simulasi yang diciptakan computer atas suatu situasi dimana user seolah-olah berada dalam situasi itu. VR ini merupakan seni dalam Multi-Media System tapi lebih ditekankan pada sensasi visual.

Sebagai input, digunakan sarung tangan yang dapat memberikan informasi berdasarkan gerakan. Umpan balik dapat disertakan ke sarung tangan tersebut, sehingga seolah-olah user dapat merasakan hentakan ketika menggenggam sesuatu objek. speech recognition system dapat juga diikutsertakan dan secara umum VR-system dilengkapi oleh audio feedback.

Salah satu aplikasi dari VR adalah :

1.      Permainan 3 dimensi.

2.      Data visualization, umumnya digunakan pada bidang kimia protein.

3.      Simulasi penerbangan (merupakan aplikasi VR secra interaktif ) : yang menunjukkan dunia di luar, pada saat yang bersama, komplit direproduksi secara tepat di dalam kotak animasi yang menggunakan  system hidrolik.

Hologram juga merupakan salah satu wujud dari realitas virtual. Hologram dibuat beranekaragam, dari bentuk manusiia, benda-benda lain, yang divisualkan dengan menggunakan suatu alat yang menampilkan hologram tersebut. Begitu juga dengan permainan 3 dimensi.