Medientransf.

Semantische Medien

- Vom Medium zur Bedeutung -

Wir Menschen können Bildern und Tönen Bedeutungen zuweisen. Diese Identifikation basiert auf unserem schon vorhandenen und erlerntem Wissen und Erfahrungen. Die Frage, wie man dieses Identifikationsproblem im Web löst, ist schon bekannt. In der digitalen Welt gibt es kein schon vorhandenes Wissen, also wie können diese Vorgehensweise, die uns von uns Menschen bekannt ist, in die digitale Welt übertragen. 
Semantik: Wie können wir in der digitalen Welt dem Medium die Bedeutung zuweisen?

In general, machines don't care (...), since they don't actually understand anything beyond the knowledge we are formally expressing.

Die Semantik von Medien / Bildern

http://www.iti.gr/SCHEMA/ - hier finden wir u.a interessante Artikel/Vorträge der Tagung WIAMIS 2003 wie

  • Markov Chain Model for Semantic Indexing of Sport Program Sequences by R. Leonardi, P. Migliorati and M. Prandini

  • An Attention Based Similarity Measure for Fingerprint Retrieval by F. W. M. Stentiford

  • Automatic Video Summarization System Based on MPEG-7 Descriptions byP. M. Fonseca and F. Pereira

  • Video Shot Boundary Detection Using Singular Value Decomposition by Z. Cernekova, C. Kotropoulos and I. Pitas

  • Image Segmentation Using Heuristic Weights on EXIF Data by A. Larsen and K. Holmqvist

  • Hierarchical Image Browsing System with Embedded Relevance Feedback byT. Meiers, I. Keller and T. Sikora

  • Classification of Change Detection Algorithms for Object-Based Applications by A. Cavallaro and T. Ebrahimi

  •  Eye Tracking for Viewpoint Adaptive Video Systems in Living Room Situations by B de Liefde, A. Redert and E. Hendriks 

  • A Proposal for the Classification of Video Segmentation Application Scenarios by P. L. Correira and F. Pereira

  •  QIMERA: A Software Platform for Video Object Segmentation and Tracking by N. O'Connor, T. Adamek, S. Sav, N. Murphy and S. Marlow

  • Multiresolution Segmentation and Pattern Matching for Sensing People Applications by R. Brothuh and K. Chantelau

  • Segmentation and Tracking for Interactive Sport Scenes Using Region Space Analysis and A Priori Information by J.C. Woods, E.L. Andrade, E. Khan and M. Ghanbari

Semantikproblem

Automatische Extraktion und Generierung von semantischen Daten

Forschergruppen bei Microsoft widmen sich u.a. diesem Themenbereich http://research.microsoft.com/vision/ImageBasedRealities/InteractiveExperiences/

Für C++ kenner ist hier noch die vision SDK von microsoft: http://research.microsoft.com/projects/VisSDK/
damit kann man sich selbst Anwendungen bauen, die Analyse und Manipulation von Bildern / Filmen ermöglichen. es ist aber wirklich nur was für Programmierer. nix fertiges, was man nehmen kann.

Starting Point zu Semantic Media in Entwicklung: Ermittlung und Transformation der akustischen "Bedeutung" von Räumen

Auralisation: Ein aktueller Forschungsschwerpunkt (Dipl.-Ing. Christoph Moldrzyk, Forschungsgruppe Prof. Dr. Rebensburg) ist die Ermittlung komplexer akustischer Parameter von Räumen (Konzertsäle, Reichstag, Audimax, Präsentationsräume), die vorhandene, bekannte geometrische Raumdaten erweitern um die "Bedeutung" des Raumes hinsichtlich seines akustischen Verhaltens, indem man sie messtechnisch erfasst und entsprechend annotiert. Hierzu sind Softwarewerkzeuge erweitert und Datenbibliotheken entwickelt worden. Ergebnis ist ein Modell. Innerhalb des bekannten Kontextes ist dieses Modell Ausgangspunkt für Medien-Transformationen, z.B. können beliebige akustische Ereignisse (Konzert, Ansprache, Geräusche) auf der Bühne generiert werden und real angehört werden bei beliebig simulierter Variation der Positionen der Zuhörer und virtuellen Veränderungen von Eigenschaften des Raumes wie Oberflächen, Wandpositionen, Bestuhlung. Siehe http://wwwpc.prz.tu-berlin.de/prz/b/multimedia_anwendungen/teleser14.htm . Der Gestalter (z. B. Architekt) arbeitet beim Entwurf im Mixed Media Bereich, das heißt er hört in Realität (Raumklang mit Pegel- und Lokalisationsreferenzierung) die aus einer anderen Realität (Konfiguration) in Simulation aus dem Modell erzeugten Werte (Musikstücke, Klänge, Geräusche). Nach Manipulationen im Informationsraum des Modells wird die Realität neu entworfen, gestaltet, verändert. Wir sprechen auch hier von der Transformation der Semantik über Medien (das akustische Abbild eines Raumes) und mit Medien (Orchesteraufnahmen), die in verschiedenen (simulierten) Umgebungen an verschiedenen (simulierten) Orten real gehört werden können. Dieses Spiel mit Bedeutungen hat einen ernsthaften wirtschaftlichen Aspekt: Ein Entwurfswerkzeug dieser Art für meist sehr kostspielige Gebäude verhindert Irrtümer bei deren Planung und Gestaltung. Eine Reife dieser Software/Hardware/Methode ist in etwa 3 Jahren abzusehen. Erste Nachweise der Wirksamkeit dieser Methode erfolgen zur Zeit (2003) in einer Dissertation. Hier 2 akustische Kostproben, Simulation des Geräusches bei verschiedenen Raumparametern: 1. trockenes Signal Ton1.wav  2. trockenes Signal mit Raumimpulsantwort gefaltet  Ton2.wav.  (über Kopfhörer anhören!) Bilder oben von links nach rechts: Drehbarer Kunstkopf, Kopie aus der Realität mit präzise nachgebildeter Ohrmuschel mit hochwertigen Mikrofonen in den Gehörgängen. Rumpf/Kopf Kopie einer realen Person im reflexionsarmen Raum (Eichung). Signalgenerator zur 3D-Referenzmessung im reflexionsarmen Raum. Reale Nachbildung einer Person in realer Position und Umgebung mit realer Kopfdrehung generiert über die (elektronischen) Ohren virtuelle für das Raummodell mediale akustische Repräsentationen eines realen akustischen Ereignisses auf der Bühne. Das Modell bildet sich aus dem Vergleich zu den Referenzmessungen und den bereits erstellten Referenz-Datenbibliotheken.

Das weitere Bild (demnächst) zeigt einen Architekten im Entwurfsprozess neuer Art, der eine berechnete Raumakustik hört, den Raum oder die Position von Zuhörern variiert, die Änderung hört und Schlüsse daraus zieht. 

 

Zurück Nach oben Weiter