Oculus Rift

[Starscream]

Denke auch nicht, dass sich mit dem OR plötzlich alles ändert und alle Gamer mit dem Ding durchs Wohnzimmer hüpfen.
Es wird eine interessante Alternative für Neugierige und ausgewählte Games darstellen.
Der Vorreiter zum massenmarkttauglichen Holodeck
Ich hoffe wir erleben das noch.

[wynk]

Im maniac Forum hat sich jemand die Muehe gemacht die neuen Techniken der Oculus Rift genauer zu erklaeren. Liest sich sehr gut muss ich sagen:

"Positional Tracking"


Das Oculus Rift (DK1) unterstützt bisher nur 3 Freiheitsgrade (3DOF) und zwar die Blickrichtung des Users:

[ externes Bild ]

Translational bzw. Positional Tracking bedeutet, es wird nicht nur die Blickrichtung erfasst, sondern jetzt auch die relative Position. Dadurch erhöht sich die Anzahl der Freiheitsgrade um weitere 3 (oben/unten, rechts/links, vorne/hinten). Das Bild hier zeigt es eigentlich recht gut:



Das ist vor allem wichtig, weil wir diese Bewegungen praktisch die ganze Zeit mehr oder weniger unterbewusst machen, also nicht nur durch eine extreme, bewusste Verschiebung des Kopfes um irgend etwas besser erkennen zu können. Das Gehirn benutzt die kleinen Parallaxenverschiebungen vor allem, um mehr Tiefeninformation aus dem Bildern zu berechnen. Außerdem wirkt das Tracking der gefürchteten Simulator Sickness entgegen die uns immer dann befällt, wenn unserer visueller Eindruck nicht mit den realen Bewegungen zusammenfallen (für freies Umherlaufen nützt das aber AFAIK auch nur wenig).

Der neue Prototyp nützt dafür eine Serie von Infrarot-LEDs an der Außenseite des Gehäuses die von einer Kamera getrackt werden:

[ externes Bild ]

Das ist ein ziemlich simpler Ansatz und funktioniert recht gut wenn die Kamera schnell genug ist (120 fps aufwärts sollten es mindestens ein). Da die absolute Helligkeit der LEDs bekannt ist, kann die Enfernung aus der gemessenen Helligkeit recht simpel berechnet werden. Wenn man jetzt noch leicht verschiedene Lichtfarben einsetzt dann ist auch die Trennung der LEDs nicht mehr so aufwändig. Leider braucht das Ding dann auch zwingend LEDs auf der Rückseite sonst verliert man das Positonal Tracking wenn man den Kopf zu sehr wendet. Bin nicht so ganz glücklich mit dieser Lösung muss ich zugeben. Allerdings kann sich das bis zur Consumer Version noch ändern.


"Low Persistance"

Das hier ist deutlich schwerer zu erklären. Schaut euch am besten mal das hier an:

http://testufo.com/#test=framerates

Während das obere UFO flüssig läuft (60 fps), ruckelt das untere Ufo deutlich (30 fps). Das Ruckeln ist hier aber gar nicht mal das eigentliche Problem. Man sieht es nämlich eigentlich sogar doppelt und sehr unscharf. Selbst die 60 fps UFO beheben das Problem nicht vollständig. Das UFO bewegt sich jetzt zwar flüssig, allerdings wirkt es immer noch unschärfer als eine stillstehende Grafik.

Oft denken jetzt viele, das hätte irgendwas mit der Schaltzeit des Displays zu tun, also die Zeit die benötigt wird um die Farbe der einzelnen Pixel zu ändern. In erster Linie entsteht aber diese Unschärfe erst in den Augen. Auch hier mal eine passende Demo:

http://testufo.com/#test=eyetracking&pa ... eckerboard

Sieht man das stillstehende Ufo an, so besteht der Hintergrund nur aus weißen Streifen vor schwarzem Hintergrund. Folgt man aber der Bewegung des zweiten Ufos mit den Augen so sieht man ein Schachbrettmuster. Spätestens jetzt ist klar, dass hier etwas nicht stimmt (Erklärung folgt unten).

Dafür gibt es zwei Lösungsansätze:

a) Synthetische Zwischenbilder. Man steuert das Display mit einer viel höhrere Frequenz an (bspw. 120 Hz) und erzeugt die fehlenden Bilder per Software:

[ externes Bild ]

Das funktioniert bei hochwertigen Beamern oder TVs recht gut, wenn die Algorithmen mitspielen (je kleiner der Unterschied zwischen den "echten" Bildern, umso besser natürlich). Bei Computerspielen würde das aber zusätzliche Latenz verursachen.

b) Black Frame Insertion

[ externes Bild ]

Hier wird das Bild nur für die Hälfte der Zeit angezeigt und dazwischen auf schwarz geschaltet. Dafür braucht man nicht unbedingt ein passendes Signal sondern es reicht, wenn man einfach die LED-Hintergrundbeleuchtung des Panels an- und wieder ausschaltet. Die Helligkeit wird während der AN-Phasen verdoppelt, damit wirkt das Bild insgesamt wieder gleich hell.

Dafür braucht man natürlich ebenfalls ein 120 Hz Display. Trotzdem hier mal eine Demo die auch auf einem 60 Hz Display das Prinzip zeigt:

http://testufo.com/#test=blackframes&co ... qualizer=1

Beide Ufos ruckeln wie gehabt mit 30 fps. Das untere Ufo wirkt allerdings nicht so unscharf wie das obere durch die eingefügten Schwarzbilder. Mit 60 fps wirkt der Effekt noch dramatischer, allerdings bräuchte man dann eben ein 120 Hz Display zur Demonstation.

Der neue Oculus Prototyp geht noch einen Schritt weiter. Er fügt nicht einfach nur schwarze Frames ein sondern zeigt fast nur schwarz. Das eigentliche Bild wird nur für weniger als 1 ms (!) kurz sehr hell angezeigt. So kann das Auge der Bewegung über das Display folgen, es "verschmiert" aber nicht über die Netzhaut wie bei einem normalen "sample-and-hold"-Display das einen Frame über die gesamten 16 ms anzeigt.

Bei VR ist das deshalb so dramatisch, weil man sich ja ständig umschaut. Wenn man nun z.B. diesen Punkt hier • betrachtet und den Kopf gleichzeitig bewegt dann haben unsere Augen keine Schwierigkeiten, den Punkt trotzdem zu fixieren und bewegen sich automatisch exakt gegenläufig der Bewegung - und zwar abhängig von der Entfernung des fixierten Punkts (was an sich schon krass ist). Bewegt man nun den Kopf mit einem Display davor, dann bedeutet das, dass ein "eigentlich" fester Punkt in der Szene sich über das Display bewegen muss weil in Bewegungsrichtung des Kopfes neue Bildbereiche ins Display "geschoben" werden - genau die gleiche Situation wie bei den UFOs im Test also.

Kurz gesagt: Ein Frame ist eigentlich nur einen unendlich kurzen Zeitabschnitt wirklich "gültig". Die gesamte Zeit danach bis zum nächsten Frame ist das aktuelle Bild veraltet und damit "an der falschen Stelle". Weil das Auge aber jeder Bewegung folgt, schmiert das Bild über die Netzhaut. Deshalb sollte man es nur extrem kurz anzeigen. Macht man das oft genug, nimmt man auch kein Flimmern mehr wahr.

Wer sich noch mehr für die Hintergründe interessiert, Michael Abrash (Valve) hat dazu vor einiger Zeit mal einen exzellenten Artikel verfasst: http://blogs.valvesoftware.com/abrash/d ... ng-judder/

Quelle: http://www.maniac-forum.de/forum/pxmboa ... id=3410411

[Starscream]

Kurzes Video mit der neuen Version

[Osa-chan]

Aber wie kommt ihr darauf, dass eine fette Brille die Zukunft des Zockens wird?

Aufgrund der massiven Immersion, die diese Geräte bieten.

Du formulierst natürlich auch wieder sehr geschickt, das muss man dir lassen. Eine "fette" Brille wird natürlich nur der Anfang der Zukunft sein, weitere technologische Fortschritte werden die heute noch aktuelle Frage des Tragekomforts völlig hinfällig machen.

Imo wird das Ding nur ein Nischendasein für Enthusiasten führen.

Wieder so eine Formulierung. Konkret "das" Ding wird natürlich nicht sofort sämtliche konventionellen Bildschirme ersetzen, so wie die ersten Automobile ja auch nicht gleich mit ihren ersten Modellreihen die Pferdekutschen verdrängt haben. Aber Weiterentwicklungen des Konzepts der VR (unterschiedliche Bilder für beide Augen bei gleichzeitiger Berücksichtung der Körper-/Kopf-/Augenbewegungen) wird das Gaming revolutionieren.

Aber geh doch jetzt mal raus in die Stadt, und sag mir, wie viele Pferdekutschen du noch siehst und wie viele Autos du siehst.

[Osa-chan]

Noch ein kleiner Nachtrag mit zwei Videos, zwei GIFs und ein paar Überlegungen:


http://www.youtube.com/watch?v=VQ7KFJLVJyQ

http://www.youtube.com/watch?v=KfjVafZfmDw

[ externes Bild ]

[ externes Bild ]

Ich bin überzeugt davon, dass der Begeisterungseffekt, der gefühlte Sprung in der Immersion, durch die VR-Brillen gleich groß, wenn nicht sogar größer sein wird, als der Sprung von 2D auf 3D. Ich kann mich noch gut an das Weihnachten erinnern, an dem ich mein N64 geschenkt bekommen habe und wie unglaublich begeistert ich damals zum ersten Mal Super Mario 64 gespielt habe. Zuvor war ich vom Super Nintendo sehr wohl auch exzellente Jump&Runs (Super Mario World, Donkey Kong County 1-3) gewohnt, aber Super Mario 64 war durch die 3D-Welt tatsächlich eine völlig neue Dimension.

Ein völlig neues, begeisterndes Spielerlebnis, welches alles zuvor gekannte in den Schatten stellt. Nicht weniger ist meiner Ansicht nach von VR-Brillen zu erwarten.

Dabei wünsche ich mir, für das perfekte Erlebnis, aber einige wichtige Dinge, welche in der Entwicklung der zukünfitgen VR-Brillen möglichst schnell erreicht werden sollten:

1.) Das komplette Sichtfeld muss ausgefüllt werden. Dies ist für ein komplettes Eintauchen in das Spiel und für volle Immersion absolut notwendig. Dies wird von Oculus Rift wohl bereits (fast) erreicht. Es wird sich herausstellen, ob das Display noch leicht vergrößert werden muss.

2.) Möglichst hohe Auflösung des Bildes (zumindest UHDTV). Selbst bei Full HD Auflösung ist das Bild welches man in der Brille sieht keineswegs perfekt, was daran liegt, dass eine Auflösung die auf einem TV der nur einen sehr kleinen Teil des Sichtfeldes eines Menschen einnimmt ausreichend ist, eben nicht mehr ausreicht, wenn das gesamte Sichtfeld eines Menschen ausgefüllt werden soll. Hier gibt es endlich eine sinnvolle Anwendung für Auflösungen wie UHDTV 4k und UHDTV 8k, bzw. Displays welche eine derartige Auflösung auf kleiner Fläche erreichen können.

3.) Möglichst wenig Verzögerung bei der Übertragung / Darstellung / Reaktion des / durch das Gerät/s. Hier waren ja erste Modells des Rift bei 50-60 Millisekunden, nun ist man mit dem Crystal Cove Prototypen bereits bei ca. 20 Millisekunden angelangt. Es ist zu erwarten, dass auch hier schnell weitere Fortschritte gemacht werden.

4.) Präzise Bewegungserkennung in allen Dimensionen. Dies ist auch absolut notwendig für die Immersion. Auch hier scheint Oculus Rift bereits sehr weit entwickelt zu sein.


Insgesamt muss man sagen, dass ich sehr zuversichtlich bin, dass bald eine bereits sehr gute Consumer Version von Oculus Rift auf dem Markt sein wird. Bei dem großen Potential, welches dieses Konzept bietet, wären Sony und MS absolut verrückt, nicht ebenso auf diesen Zug aufzuspringen. Gerade bei Sony, die im Konzern durch ihre VR-Brillen bereits entsprechende Technologie und Kompetenzen haben, wäre ein Ignorieren dieses neuen Trends geradezu selbstmörderisch fahrlässig.

Und ob Microsoft es sich leisten kann, im Gegensatz zu PC und PS4 nicht über eine VR-Brille für die XBOX ONE zu verfügen, wird man dann sehen müssen.

Sollte jedenfalls die Consumer Version von Oculus Rift erscheinen, bevor eine ebenso gute VR-Brille für die Konsolen erscheint, so werde ich dies zum Anlass nehmen, mir neben Oculus Rift auch einen entsprechend starken Gaming-PC zu leisten. Denn den Anfang dieser Revolution im Gaming möchte ich ganz bestimmt nicht versäumen.

[wynk]

Kann dir da nur in allen Punkten beipflichten

Das mit der Latenz von 20ms stimmt so aber nicht ganz. In dem Video wird erzaehlt, dass der aktuelle Crystal Cove Prototyp bei ca 30 ms
pendelt und, dass versucht wird die Consumer Version in den Bereich von 20ms (oder drunter) zu bekommen. Da warte ich natuerlich
erstmal ab ob die das wirklich hinbekommen, denn das Latenz Problem haben schon so viele Firmen bei unterschiedlichen Dingen nicht
perfekt in den Griff bekommen.

Ansonsten aber alles Top! Freue mich sehr auf das Teil! Ich wuerds so gerne mal ausprobieren

[Osa-chan]

Ja, richtig, das mit der Latenz hatte ich verwechselt.

[wynk]

Und wieder ein paar Neuigkeiten zur Rift. Text stammt aus einem anderen Forum (Quelle ganz unten):



1.) Oculus wird auf der GDC 2014 wahrscheinlich das DevKit 2 zeigen. Man hält dort einen Vortrag mit folgender Beschreibung:

Since the debut of the original Oculus Rift development kit at GDC 2013, we’ve shown off a set of critical improvements including a high-definition display, positional tracking, and low-persistence support. Likewise, behind the scenes we’ve also been making critical improvements to the core Oculus SDK like new feature support, optimizations (particularly around latency), and overall simplicity. In this talk, we’ll discuss everything you need to know to get started integrating the latest Oculus Rift hardware with your VR game or experience. The talk will be split into an overview of the latest hardware, a technical breakdown for engineers, an a game design discussion relevant to the new features. We’ll also talk about our vision for future development hardware leading to the consumer Rift and what that path might look like.


2.) Cliff Bleszinski (früher Epic Games) zeigt sich auf Twitter sehr beeindruckt von den Entwicklungen nach dem Crystal Cove Prototypen von der CES:

[ externes Bild ]

[ externes Bild ]

Auf seinem Blog klingt das so:

"The effort of putting on the headset leads to an overwhelmingly fantastic result. When you put on the latest demo and you crouch and lean around the new world around you your brain adapts, adjusts, and you’re there. I have memories of the places I visited in the latest demos. I felt like I could have reached out and touched things. It was the most magical experience I’ve had with technology since the first time I saw an Atari 2600 joystick manipulate pixels on my friend’s TV in their basement many, many years ago and decided then that I wanted to make games."


Ein gewisser Dave Oshry, Director of Marketing bei "Gunnar Optiks" (?) durfte sich diese Woche wohl ebenfalls einen neuen Prototypen ansehen. Seine Reaktion:

[ externes Bild ]

[ externes Bild ]

In einem Thread unter dem Tweet schreibt er:

"I’m under NDA obviously, but the tech that Oculus is preparing for the final consumer version is the best VR I have ever seen. I wanted to stay in it and walk around, but the room was only so big and I only had so much time. Everything was perfect. The fidelity, the latency, the scale, the presence. It was the first time I truly felt like I was in VR.
(...)
I’m as excited as you guys are. Which is why I’m making an Oculus-ready game."

Quelle: RoadToVr.com


3.) Hier sind (etwas verspätet) die CES-Talks.

Michael Abrash (Valve): What VR Could, Should, and Almost Certainly Will Be within Two Years:

http://www.youtube.com/watch?v=G-2dQoeqVVo


Palmer Luckey (Oculus VR): Porting games to Virtual Reality

http://www.youtube.com/watch?v=-YCBadIVro8


Joe Ludwig (Valve): Virtual Reality and Steam

http://www.youtube.com/watch?v=_vqNpZqnl1o


Devin Reimer and Alex Schwartz (Owlchemy Labs): Wild West of VR – Discovering the Rules of Oculus Rift Development

http://www.youtube.com/watch?v=DqZZKi4UHuo



4.) Jemand hat einen witzigen Oculus Rift "Simulator" gebaut:

http://vr.mkeblx.net/oculus-sim/

Es ging ihm vor allem um die Demonstration des Screen-Door-Effekts bei verschiedenen Auflösungen (Tasten 1-4) und dem Effekt von Low Persistance (P).

-------------

Quelle: http://www.maniac-forum.de/forum/pxmboa ... id=3442004


Ganz ehrlich Leute, so gehyped war ich noch nie bei einer Hardware Ankuendigung. Ich wuerde soviel dafuer geben, bei einem
der Dev Studios heute direkt das Teil aufsetzen und aus austesten zu koennen!

[That Guy]

Ich hab ja die normale Oculus Dev Variante getestet und die war schon ziemlich geil. Aber so gehyped wie du, ist etwas übertrieben. ²

[Osa-chan]

Also mir geht es wie da_rula. Ich bin gehyped ohne Ende, was die ganze VR-Sache betrifft.

[wynk]

Ich hab ja die normale Oculus Dev Variante getestet und die war schon ziemlich geil. Aber so gehyped wie du, ist etwas übertrieben. ²

Und um die geht es ja schon gar nicht mehr.

Der aktuelle Prototyp hat eine deutlich hoehere Aufloesung, eine deutlich geringere Latenz, Headtracking (was dem Uebelkeits-
gefuehl deutlich entgegenkommt und das Erlebnis nochmal um eine Dimension erweitert) und vor allem viel geilere Software
als damals beim ersten Prototypen.

[Son-Gohan]

Wenn das Teil irgendwann völlig perfektioniert worden ist und ein Spiel im Stil von Sword Art Online rauskommt kündige ich meinen Job und zocke 5 Jahre am Stück.

[gunman]

Aber so gehyped wie du, ist etwas übertrieben. ²

[wynk]

Dafuer lassen mich halt Power Rangers kalt

[gunman]

Ich weiß irgendwie nicht ob ich mich wirklich aktiv in einer VR Bewegen will, das mach ich dann doch lieber in echt.
Wenn dann muss schon mein komplettes Hirn eingespeist sein.