Kommentare zu: ● [REC]

Von: Ben

Ben — Sun, 23 Mar 2014 11:40:25 +0000

xkcd hat das schon mal schoen rechechiert: http://what-if.xkcd.com/63/
Ist zwar google und nicht NSA aber ich denke man kann davon ausgehen das die NSA das uebertrifft oder zumindest mithalten kann.

Also alles kein Problem…nicht mal annaehernd.

Von: LostInTranslation

LostInTranslation — Sat, 22 Mar 2014 16:41:15 +0000

Vatta: Wenn Du G**gle meinste, dann schreib das auch. Scroogle ist seit etwa 2 Jahren offline.

Von: Vatta

Vatta — Sat, 22 Mar 2014 10:13:27 +0000

@MajorNME: Aus dem Nähkästchen? Gut, aus dem Nähkästchen: Bei derartigen Geschichten ist “Big Blue” in der Preisgestaltung dermassen flexibel, da wird jedes Kaugummi zu einem Stück Kruppstahl…
Vorteil bei deiner Version: Die Datensätze die dem einem (NSA) fehlen, können mittels einem simplen SQL “UPDATE nsa-tab WHERE fehlt SELECT FROM scroogle-tab WHERE vorhanden” aktualisiert werden.
Wahrscheinlicher ist allerdings folgendes Szenario: Die NSA geht zu beiden (IBM, Scroogle) hin und verklickert denen: “Hört gut zu, wir spielen jetzt ein anderes Spiel: Wenn ihr beiden euch auf unserem Spielplatz nicht vertragt und die Förmchen untereinander austauscht, dann machen wir euch im Rahmen des Patriot-Act den Laden dicht.”
Paranoia oder Fiktion? Not these days…

p.s.: Und das Scroogle bezüglich der Zusammenarbeit mit der NSA bisher das Blaue vom Himmel runtergelogen hat, ging dieser Tage doch auch wieder durch die Medien. Zumindest auf netzpolitik.org (scheinen im Übrigen die einzigen zu sein, die mittlerweile noch ernsthaft an dem Thema dranbleiben).

Von: MajorNME

MajorNME — Fri, 21 Mar 2014 22:02:11 +0000

Man kann das mit teurer Hardware machen (s. oben) oder mit Hardwareschrott (Google).
Bei den Rechnzentrumskapazitäten die Google hat, würden die das Projekt NSA wohl – milde lächelnd – nebenbei hosten können.

Von: Vatta

Vatta — Fri, 21 Mar 2014 13:28:55 +0000

Fronti, du bist da nicht ganz auf dem Laufenden
Die Frage ist schon lange nicht mehr, *wie* die vielen Daten gespeichert werden können.
Die Frage ist vielmehr, *wo* bekomme ich noch mehr Daten her, um den zur Verfügung stehenden Platz halbwegs sinnvoll zu nutzen.

Das ganze Zeugs wird in RAID’s abgelegt, die kaum grösser als ein kleiner Kleiderschrank sind und für sich alleine eine Speicherkapazität bieten, die *du* niemals gefüllt bekommst.

zSeries: Es gibt keine wassergekühlten zSeries-Rechner. Das ganze ist in extrem stromsparender CMOS-Tech gebaut. Überhaupt stellen die “z”‘s keine grossen Anforderungen mehr an die Umgebung. Halbwegs stabile Raumtemperatur und Luftfeuchtigkeit reicht.

Die letzten “Big Irons” die wassergekühlt waren, waren die ganz grossen Modelle der Vorgängergeneration (“S/390″).

Und eine “z” als Frontend? Auch da liegst du falsch. Die “z”‘s sind nichts anders als gigantische Server, die ihre Daten “nach vorne” schaufeln.
Und dieses “vorne” besteht aus einer DC-Anwendung (Data Communication); in der Regel ein CICS/DC oder ein IMS/DC. Über eine CICS- oder IMS-”Connect”-Software stehen die Daten dann sogar auch auf den Workstations (IBM-Wort für Anwender-PC) zur Verfügung.
Die DC’s laufen auf dedizierten Rechnern innerhalb des Sysplex. Natürlich redundant.

Dann einer NSA “das Wasser abdrehen”? Die haben eine eigene Infrastruktur, mit der man eine Stadt wie Hannover dauerhaft und locker mit Strom und Wasser versorgen kann.
Steht doch alles in den bereits geleakten Doc’s drin.

Zu guter Letzt; und damit war’s das für mich auch zu diesem Thema: Ich habe nur 2 1/2 Jahrzehnte an und mit diesen Rechnern gearbeitet. Angefangen bei einer /370-158 aus den 1970ern bis hin zu einer “z” mittlerer Grösse aus early 2000 (genaues Modell mittlerweile vergessen und auch zu faul zum suchen).

Von: fronti

fronti — Fri, 21 Mar 2014 04:45:12 +0000

Vatta, klar kannste ne Z Nehmen zum verarbeiten, aber es geht um den Platz zum Speichern. Und der ist der Selbe, egal ob ich ZSeries als Frontend hab oder was anderes. Und das man die PBs in nen Halbes Fussballfeld reinbekommt, hab ich ja oben auch schon gezeigt..

Und, da der NSA ja das Wasser abgedreht werden soll, sind ZSeries ja auch nicht so gut, ohne das wasser werden die zu heiß:) SCNR

aber echt erschreckend ist, dass so Big Data gar net mehr so Big ist..

Von: Vatta

Vatta — Fri, 21 Mar 2014 00:28:33 +0000

Well, Max, die ganze Technik gibt’s seit locker 20 Jahren (natürlich über die Jahre immer weiter entwickelt), hervorgegangen aus “PR/SM”.
Damals war das eine relativ kostengünstige Möglichkeit, die Hardware untereinander zu koppeln und halbwegs ausfallsicher zu machen. Jetzt bitte nur verzweifelt lachen: Ausgesprochen wird das im IBM-Jargon als “prisom”.

Noch ein Beispiel, wie die Sysplex-Technik ganz real und für etwas andere Zwecke funktioniert?
Gab es Anfang/Mitte der 1980er Jahre noch für fast jede Sparkasse an fast jedem grösseren Ort ein eigenes (IBM-)Rechenzentrum, wurden die schon bald in den DVG’s (Datenverarbeitungsgesellschaften der Länder) zusammengefasst. Also wurden aus einigen Dutzend RZ’s nur noch acht.
Seit mindestens 10 Jahren gibt’s die auch nicht mehr, alles wird zentral in Nürnberg über die Sparkassen Informatik gerechnet.

Mit “alles” meine ich auch wirklich alles: Alle Kunden, alle Tochterunternehmen (Bausparkassen, Börsenzocker, etc. etc. etc.). Weltweit. Wirklich alles. Global. In Nürnberg.
Ausfallsicherheit: 99,9999999%. Datenredundanz 100%.
Antwortzeiten: max. 3 Sekunden im Durchschnitt für die “gängigen” Daten. Weltweit.

Benötigte Hardware und Software: Siehe mein erstes Posting, alles nur mehrere Nummern kleiner…

Von: da]v[ax

da]v[ax — Thu, 20 Mar 2014 22:39:26 +0000

So: ∞
Charmap.exe macht’s möglich

Du machst mir Angst

Von: Vatta

Vatta — Thu, 20 Mar 2014 21:17:49 +0000

Kinners, ihr müsst mal von eurer PC- und Tablet-Denke wegkommen
Für das bisschen an Datenmengen nimmt man: Ein knappes Dutzend IBM z/Series-Mainframes, als Betriebssystem z/OS, dazu jeweils ein gepflegtes DB/2; das alles wird in einem Sysplex gekoppelt und – fettich is die Laube.
Der ganze Krempel läuft selbst bei 100.000+ gleichzeitigen Zugriffen gerade mal im hellgrünen Bereich.
Platzbedarf für obiges? Etwas mehr als ein halbes Fussballfeld. Mit allem, auch den Massenspeichern.
Erweiterungsmöglichkeiten des Sysplex? Wie bekomme ich hier eine um 90 Grad gedrehte 8 rein

Von: fronti

fronti — Thu, 20 Mar 2014 08:52:24 +0000

Interessant ist wie Shannon das sieht
gut, bei der vertextung der sprache geht auch viel Information verloren, mehr als übertragungscodec und speicheränderungen.
Daher wird dsa schon was bringen, aber evtl will die NSA ja auch stimmungen und hintergrundgeräusche speichern. Ist ja schon wichtig ob ich am Bahnhof telefoniere oder in ner stillen Besenkammer (wenn Boris Becker die nicht gerade belegt)

ach ja.. lustige Diskussion die auch zu nix führt

Von: DasKleineTeilchen

DasKleineTeilchen — Wed, 19 Mar 2014 23:08:26 +0000

@lostintranslation: stimmt, auch noch ne möglichkeit der speicherbegrenzung; automatisches transkriptieren, wozu audio speichern, wenns der wortlaut auch tut? und wie du schon meintest, stabile spracherkennung ist mittlerweile, gerade für die sophisticated-military-technologie, wohl schon länger kein problem mehr.

Von: DasKleineTeilchen

DasKleineTeilchen — Wed, 19 Mar 2014 23:03:37 +0000

“…ganzen Kohle Sinnvolles machen…”. ach mäx, “geld” ist doch illusion. es gibt kein geld. es gibt nur schuld und notenpresse und nullen und einsen im rechner. nicht das geld, daß für diesen scheiss rausgehauen wird, ist das problem, sondern die konzentrierung und verschwendung der ressourcen (in jeder beziehung) auf eben diesen überflüssigen scheissdreck. blah. du weisst schon was ich meine. nächtle.

Von: fronti

fronti — Wed, 19 Mar 2014 22:41:45 +0000

13,2 kBit/s das ist die GSM Übertragungsrate. Die Reicht ja den meisten (wenn man sich an Bahnhöfen oder in der Innenstadt umsieht ja aus zum quatschen)
also unter 1 MB/min
also pro tag dauerquasseln 1 TB
30 TB / Person und Monat
also nur 45 Petabyte für die 300 Millioen die miteinander einen ganzen Monat 24×7 h telefonieren..

hab ich mich verrechnet?

Ich sollte lieber schaukeln gehen!

Von: LostInTranslation

LostInTranslation — Wed, 19 Mar 2014 22:31:35 +0000

Es sind vielleicht ein paar falsche Annahmen dabei.

Die guten alten Modems konnten schon ganz fröhlich in Echtzeit auf die Festplatte speichern (etwa 500kb pro Minute, kann auf 33% bzw. 25% reduziert werden). Wenn man davon ausgeht, daß die Daten da nicht in Rohform vorliegen, sondern direkt codiert werden, kann man von einem deutlich geringeren Volumen ausgehen. Spracherkennung gibt’s ja ausreichend gute.

Von: Michi

Michi — Wed, 19 Mar 2014 20:08:10 +0000

Bedenke: zu jedem Telefongespräch gehören zwei Leute. Wenn du also zwei Stunden pro Tag am Telefon hängst, gibt es ein paar andere Leute, die ebenfalls insgesamt zwei Stunden pro Tag mit dir telefonieren. Daraus ergeben sich aber nicht 4 Stunden Audio, sondern nur zwei. Du müsstest also die Gesprächszeit durch 2 teilen, ansonsten zählst du doppelt.

Nichtsdestotrotz bleibt da natürlich immer noch eine ganze Menge übrig.

Von: Chris

Chris — Wed, 19 Mar 2014 16:26:12 +0000

Google mal “Utah Data Center” und schau dir die Lagerhallen an. Und das ist nur EIN Datacenter,… das passt schon, die bauen ja auch unterirdisch…

Von: mt

mt — Wed, 19 Mar 2014 14:10:41 +0000

Ich finde die Zahlen jetzt nicht sooo weltbewegend für einen Geheimdienst mit quasi unendlichem Budget.

Um die Speichermengen mal einzuordnen: ebay z.B. unterhält (laut http://gigaom.com/2013/03/27/why-apple-ebay-and-walmart-have-some-of-the-biggest-data-warehouses-youve-ever-seen/ ) ein > 50 PB Storagesystem.

Es lohnt sich auch, mal z.B. bei Teradata vorbei zu schauen, was im “Big Data”-Umfeld aktuell so “state of the art” ist… http://www.teradata.com

-mt

Von: fronti

fronti — Wed, 19 Mar 2014 14:03:11 +0000

Und die Telefondaten muss man ja auch nicht auf Platte Speichern. Der Inhalt geht ja schöhn auf Band zu SPeichern und nur Metadaten mit Gespräche wer mit wem wann und au welchem band auf platte.
Dann Reichen schon weniger festplatten, die Strom brauchen..
Aber ich denke auch Strom ist für das NSA kein Problem (eher wasser)

so nen Spectralogic T-finity kann ganz schön viel speichern und das kostengünstig..

Von: Chris

Chris — Wed, 19 Mar 2014 13:17:03 +0000

@einLeser: Würde ich auch vermuten. Jedenfalls nicht so etwas ineffizientes wie MP3. Und da Audio ja sowieso meist nur mit reduzierter Bandbreite (ca. 400Hz bis 4kHz) übertragen wird, reduziert sich die Datenrate noch mal gewaltig. Ich würde also auch sagen, dass die 64kBit/s um eine Größenordnung zu hoch angesetzt sind.

@meinerzh: Ich fände es dabei durchaus realistisch, wenn die NSA 1%-5% des Weltmarktes kauft. Jedes Jahr.

Damit wären wir dann bei mehr als 100EiB Kapazität, die allein im Jahr in den Datacenters der NSA 2012 dazu gekommen sind. Das reicht etwa, um alle Telefongespräche der Welt abzuspeichern:

7 Mrd Einwohner * 2h/Tag * 3MB * 356Tage = 210E18 B = 210 Exabyte

(Ok, Einschränkungen: die NSA wird wohl nicht alle Telefongespräche der Welt abgreifen können, vor allem nicht in Russland und China. Außerdem speichern sie ja auch noch andere Daten. Dafür wird in den Entwicklungsländern bestimmt auch weniger als 2h/Tag telefoniert.)

Von: ein leser

ein leser — Wed, 19 Mar 2014 11:45:33 +0000

die werden/würden wohl eher G.729 oder einen anderen Telefoniecodec nutzen also 1kb / sec … kommt natürlich trotzdem eine menge bei raus ….

Von: da/Y\ax

da/Y\ax — Wed, 19 Mar 2014 09:55:56 +0000

buhuhu das ist alles so furchtbar. Wenn man mal überlegt, was man mit der ganzen Kohle Sinnvolles machen könnte. Windkraft- und Solarstrom für die ganze Welt. Den Hunger in der Welt abschaffen. Eine Marskolonie gründen. Hoverboards bauen. Es ist zum Heulen.

Von: JoyntSoft

JoyntSoft — Wed, 19 Mar 2014 09:48:40 +0000

Ich denke nicht, dass grundsätzlich alle Gespräche mit Inhalten gespeichert werden, sondern wer mit wem telefoniert, wann das geschieht und wo die jeweiligen Gesprächspartner sich aufhalten. Das Speichern der Inhalte wird sicher auf “wichtige” Leute begrenzt, wie Industrielle, Politiker und “auffällige” Personen, wie Regierungsgegner oder Aktivisten.
Dabei fallen immer noch viele Daten an, aber schon sehr viel weniger, als wenn alles gespeichert würde.
Genauso müsste es bei e-Mails sein, wo dann noch ein Vorteil zum Tragen kommt, dass man diese direkt auf einfachem Wege filtern und nur die wichtigsten Inhalte speichern kann; die Daten wer mit wem, wann, von wo, nach wo, mit welchem Gerät werden natürlich immer gespeichert.
Aber selbst wenn es so sein sollte, dass die NSA alles speichern will, sollten wir davon ausgehen, dass sie es tun.
Ich könnte mir auch denken, dass sie, falls sie Magnetbänder benutzten, Systeme hätten, die einen quasi wahlfreien Zugriff gestatten. Bedenke immer, dass wir es hier mit der NSA zu tun haben.
Selbstverständlich brauchen solche Rechenzentren Platz und Infrastruktur und Strom und so Zeuch, die USA sind aber recht groß und weitläufig und hier gilt ganz gewiss auch.
Geheimdienste, gleich welcher Couleur, werden alles (technisch) machbare unternehmen, um an Informationen zu gelangen, die ihrem Zugriff normalerweise entzogen sind; was immer man sich vorstellen kann, was möglich wäre, man darf man sicher sein, dass es ausprobiert wird, egal wie absurd oder teuer die Sache zu Beginn auch scheinen mag.
Fazit: Wenn die NSA der Meinung ist, dass sie alles speichern will, kannst du davon ausgehen, dass sie das tun, egal wie irrwitzig hoch der Speicherbedarf ist.

Von: da]v[ax

da]v[ax — Wed, 19 Mar 2014 09:06:13 +0000

@meinerzh: Holy storage device, Batman! Krass.

Von: meinerzh

meinerzh — Wed, 19 Mar 2014 08:53:46 +0000

Alleine WD hat lt. eigenem Geschäftsbericht 2012 600 Exabyte (!) HDD verkauft. Sooo groß sind solche Zahlen gar nicht

Von: da]v[ax

da]v[ax — Wed, 19 Mar 2014 08:50:53 +0000

@Daniel: ja aber ein wahlfreier Zugriff ist doch notwendig. Zusammen mit einer Ablage der beteiligten Telefonnummern. Sonst bringt das ganze doch nix. Oder? Ich meine, die Telefonate fallen ja oft gleichzeitig an. Die kannste nicht einfach nur mitschneiden, da musste schon für eine korrekte Indexierung sorgen sonst findest du doch in dem ganzen Wust nix mehr.

Das soll mir mal jemand erklären, der sich mit sowas auskennt

Von: Daniel

Daniel — Wed, 19 Mar 2014 08:43:05 +0000

Danke! Du spricht mir mal wieder aus der Seele. Ich kann manche Enthüllung nämlich auch nicht so ganz “glauben”, weil es da um so krasse Datenmengen geht. Aber du denkst da noch zu sehr an “klassische” Speicherung, wie man es privat machen würde. Für das reine Wegspeichern ohne wahlfreien Zugriff würden sich aber auch Magnetbänder sehr gut eignen und die gibts schon in Größenordnungen bis 35TB. Man muss halt nur ein bisschen Platz zum Cachen der Daten haben, bevor sie auf das Band kommen. Also machbar ist das schon.

Gibt zum Thema Magnetbänder übrigens eine lustige Rechnung: Die Bandbreite beim Versand einer LKW-Ladung per FedEx quer durch die USA wäre deutlich höher als bei einer Glasfaserleitung

Von: da]v[ax

da]v[ax — Wed, 19 Mar 2014 08:30:08 +0000

Wie groß kann so eine Festplatte werden? 10 TB? Macht immer noch 54.000 Stück. Denk mal, wieviel PLATZ die brauchen…

Von: derjo

derjo — Wed, 19 Mar 2014 08:17:52 +0000

ich glaube man kann davon ausgehen, dass die geheimdienste ihre festplatten nicht im fachhandel kaufen, sondern etwas weiter sind mit der technik..