Software-Experimente mit Linux

Fortepianus
Aktiver Hersteller
Beiträge: 3692
Registriert: 17.12.2008, 12:41
Wohnort: Stuttgart

Beitrag von Fortepianus »

Hallo Jürgen,
h0e hat geschrieben: 10.01.2024, 13:26 Dazu kommt das SLC nur 1 Bit (quasi 0 oder 1) und moderne QLC sogar 4 Zustände in einer Zelle speichern, man hat also 4 Spannungslevel, die sauber geschrieben und gelesen werden müssen.
noch schlimmer, 4bit, wozu man 16 Spannungslevel in einer Zelle braucht. So ist es in meiner Samsung 870 QVO mit 8TB. Dass man da überhaupt in erstaunlicher Lese-Schreibgeschwindigkeit noch Daten sauber gespeichert und ausgelesen kriegt, erstaunt mich immer wieder. Deshalb habe auch ich mir für die Einsame-Insel-Alben eine 64GB-SLC (gebraucht) gekauft - danke nochmal an Bernd Peter für den Tipp, auf die ich ein paar Alben improved habe. Wobei wohl der Hit die SLC-Speicherkarten sein sollen, auf die dann aber leider nur max. 1GB passt. Das reicht noch nicht mal für ein Highres-Album. Bevor ich das Improven allerdings mehrmals hintereinander in Superslowmotion auf die SLC-SSD mache, warte ich mal noch ein bisschen, was hier noch so passiert - Linux kann ich nämlich nur gerade so notdürftig bedienen, und das eigentlich auch nur, wenn mir Harald dabei hilft.

Viele Grüße
Gert
Bild
uli.brueggemann
Aktiver Hersteller
Beiträge: 4663
Registriert: 23.03.2009, 15:58
Wohnort: 33649
Kontaktdaten:

Beitrag von uli.brueggemann »

Hallo Gert,

nun, 8 TB bedeutet ja erst einmal ziemlich viel Platz. Wenn aber jemand dann 10x improved gibt es für diesselbe Datei dann eben 10x mehr Speicherplatzbedarf. Nun werden ja die Varianten 1 bis 9 nicht gebraucht, das Skript bzw. der Anwender löschen diese dann. Das schafft Platz (wenn dann der SSD-Controller diesen irgenbdwann wieder freigibt) und dort kommen dann später die nächsten verbesserten Dateien rein. Möglicherweise reichlich später. Irgendwann aber ist die volle Fragmentierung im Gang. Wenn es dann nicht mehr klingt ...

Grüsse
Uli
Bild
Fortepianus
Aktiver Hersteller
Beiträge: 3692
Registriert: 17.12.2008, 12:41
Wohnort: Stuttgart

Beitrag von Fortepianus »

Hallo Uli,
uli.brueggemann hat geschrieben: 10.01.2024, 16:51 nun, 8 TB bedeutet ja erst einmal ziemlich viel Platz. Wenn aber jemand dann 10x improved gibt es für diesselbe Datei dann eben 10x mehr Speicherplatzbedarf. Nun werden ja die Varianten 1 bis 9 nicht gebraucht, das Skript bzw. der Anwender löschen diese dann. Das schafft Platz (wenn dann der SSD-Controller diesen irgenbdwann wieder freigibt) und dort kommen dann später die nächsten verbesserten Dateien rein.
das mehrfache Improven habe ich noch nicht ausprobiert, aber wenn ich Harald richtig verstanden habe, würde das mit seinem nscn.sh-Skript so ablaufen, dass er auch bei 10mal improven nur den doppelten Platz braucht, und zwar nur den doppelten eines Tracks. Nehmen wir an, das zu improvende Album liegt z. B. auf einem Stick im Improve-Rechner. Er durchläuft zwei Schleifen. Zunächst holt er den originalen Track a vom Stick (Tao) und improved ihn auf die SLC-SSD (Ta1). Dann holt er Ta1, macht daraus Ta2 und löscht im Anschluss Ta1. Die Schleife läuft im 10er-Beispiel bis Ta10 und er löscht Ta9. Übrig ist Ta10. Dann macht er sich in Schleife 2 an Track b, Tbo, und wie bei Track a wid daraus am Ende der inneren Schleife Tb10. Hat das Album z. B. 6 Tracks, läuft das bis Tf10. Und dann hat's noch eine dritte Schleife, die mehrere Alben hintereinander abarbeitet. So habe ich ihn zumindest verstanden. Sonst könnte ich bei meiner 64TB-SLC nicht viel draufpacken.
uli.brueggemann hat geschrieben: 10.01.2024, 16:51 Irgendwann aber ist die volle Fragmentierung im Gang. Wenn es dann nicht mehr klingt ...
Ob Improvefile etwas mit Fragmentierung zu tun hat, ist ja nun noch nicht klar. Ich bin jedenfalls gespannt, was da noch alles rauskommt. Dir jedenfalls vielen Dank für Dein Engagement und Deine Neugier in dieser Sache.

Viele Grüße
Gert
Bild
uli.brueggemann
Aktiver Hersteller
Beiträge: 4663
Registriert: 23.03.2009, 15:58
Wohnort: 33649
Kontaktdaten:

Beitrag von uli.brueggemann »

Hallo Gert,

das Löschen einer Datei auf einer SSD bewirkt erst einmal kein Löschen. Die nächste Datei wird woanders hingeschrieben. Stichwort wear leveling. Demzufolge belegen die Ta1 bis Ta10 den Platz, auch wenn am Ende nur Ta10 sichtbar ist (ich bleib mal nur bei iener Datei, also kein Tb etc.). Irgenwann macht der Controller ein internes Löschen (trim?) umd gibt den Platz frei, damit die nächsten Daten drauf geschrieben werden können. Die aber von der Größe her nicht mit dem Platz zwingend zusammenpassen und dann wird gestückelt.

Grüsse
Uli
Bild
Bernd Peter
Aktiver Hörer
Beiträge: 4007
Registriert: 04.05.2010, 19:37

Beitrag von Bernd Peter »

Hallo,

ich mache das Mehrfachimproven schon einige Tage.

Es wird immer nur ein Musikfile in den Tempordner geladen und dann auf dem entgültigen Improveordner später abgelegt, im Improvebetrieb befindet sich also nur eine weitere Datei im Umlauf, die zum Schluß gelöscht wird.

SLC CF Cards habe ich mit 1, 4 und 16GB.

Es grüßt

Bernd Peter

PS: Zur Zeit improve ich mit 2fach und recht langsamen Loops 2 Alben pro Tag. Heute waren es das Hadouk Trio mit Shamanimal und die Eroica, dirigiert von Bernstein.
https://www.amazon.de/Symphonie-No-Eroi ... B00000E2WK
Einfach fabelhaft, was man da hören kann und darf.
Bild
Trinnov
Aktiver Hörer
Beiträge: 977
Registriert: 13.11.2009, 19:02

Beitrag von Trinnov »

Hallo Bernd,

improve mal nicht zu viel auf einmal. :mrgreen:
Wenn du mit deinen bevorzugten Alben durch bist, wirst du vielleicht alles nochmal machen müssen aufgrund der aktuellen Weiterentwicklung.

Was würdest du sagen, wenn 2-fach Improve nach dem neusten Stand der Weiterentwicklung klanglich deutlich besser ist, als das bisherige 5-fach Improve. :D


Viele Grüße
Horst
Bild
Trinnov
Aktiver Hörer
Beiträge: 977
Registriert: 13.11.2009, 19:02

Beitrag von Trinnov »

Hallo,

da ich gebeten wurde das vorher geschriebene etwas klarzustellen.

Die Veränderung / Verbesserung bezieht sich nicht auf eine andere Software, sondern den Einsatz von konsequenter Core Isolation.
Es wird weiterhin DietPi (ohne GUI) verwendet. Linux löst die Core Isolation / Core Zuteilung für mein Verständnis wirklich perfekt und puristisch.

System = Core 0
Improve Software = Core 1
Die anderen Kerne sind aktuell ungenutzt.
CPU Zeit und CPU Last sind äußerst gering.

Beim Hören hat man den Eindruck, dass sich die Zeitrichtigkeit nochmal deutlich verbessert hat.

Beim verwendeten Improve Rechner sollte Hyperthreading (soweit unterstützt) im BIOS deaktiviert sein.
Wir verwenden also nur physikalische Kerne und keine logischen.


Viele Grüße
Horst
Bild
nihil.sine.causa
Aktiver Hörer
Beiträge: 1507
Registriert: 28.07.2011, 12:31
Wohnort: Bonn

Beitrag von nihil.sine.causa »

Hallo zusammen,

Horst und ich haben (mit Franks Hilfe) das improvefile-Verfahren etwas leichter anwendbar gemacht.

Dazu lassen sich ein oder zwei externe Datenträger an ein Linux-System anbinden. Albumverzeichnisse samt Inhalt (Leerzeichen sind erlaubt), die sich auf einem der Datenträger im Ordner "_A_SOURCE" befinden, lassen sich mit einem einzigen Linux-Aufruf "nsc.sh" komplett improven. Die resultierenden Dateien landen im Ordner "_IMPROVED". Alle Einstellungen über die Parameter lassen sich über eine Konfigurationsdatei einstellen, die sich unter "_B_ETC\_config.txt" befindet. Damit lässt sich alles auf Windows- oder Mac-Ebene vorbereiten und man braucht kaum Linux-Kenntnisse.

Es gibt zwei Zielgruppen:
  • Wer selbst ein Linux-System betreibt, kann sich das Scriptset über diesen Link herunterladen:
    https://github.com/nihilsinecausa/nsc
  • Wer nicht so tief in Linux einsteigen möchte, aber einen Intel-Rechner zur Verfügung hat, kann von mir ein Image für einen USB Stick bekommen. Mit einem solchen Stick lässt kann man den Intel-Rechner booten und erhält ein Arch Live-Linux System, das ausschließlich im RAM arbeitet (sog. RamRoot Modus). Der Vorteil ist, dass die gesamte Verarbeitung dann in RAM stattfindet. Horst hat dieses RamRoot System aufgebaut und dabei auch eine Rechenkernisolation und - Optimierung vorgenommen. Das Image beinhaltet sämtliche benötigte SW von Frank (improvefile-Verfahren) sowie das Scriptset von mir.
Wer an einem solchen Arch Linux Image interessiert ist, sollte mir bitte eine PN schicken.

Viele Grüße
Harald
Bild
Bernd Peter
Aktiver Hörer
Beiträge: 4007
Registriert: 04.05.2010, 19:37

Beitrag von Bernd Peter »

Hallo,

von den Anfängen bis heute hat sich auch an der Bedienbarkeit der Software einiges getan.

3 Ordner auf ein oder zwei Festplatten anzulegen schafft jeder, der mit einer Tastatur umgehen kann.

In den ersten Ordner (_A_SOURCE) kommen dann die Musikfiles, die man bearbeiten möchte. Das macht man unter Windows, danach wird der Rechner runtergefahren.

Den vorbereiteten USB Stick einstecken, PC starten und über eine der F Tasten (die richtige Taste wird beim Booten unten angezeigt, meist F6, F10 oder F12) die Auswahl der vorhandenen Datenträger im PC aufrufen, in dem erscheinenden Menü den USB Stick wählen und schon bootet die Linuxsoftware auf dem USB Stick bis zur Anmeldung.

Dort 2 Kennwörter eingeben und danach den einfachen Befehl: nsc.sh

Der PC legt nun los - die angelegten Ordner sucht er sich selbstständig - und am Schluß liegen im dritten Ordner (_IMPROVED) die improvden Musikfiles vom ersten Ordner _A_SOURCE.

Der zweite Ordner (_B_ETC) enthält lediglich eine kleine Textdatei mit Namen config.txt, in der man mit dem Notepad bei Bedarf die Parameter des Improvevorgangs verändern kann. In der Regel dürften die dort vorhandenen default Werte aber genügen. Da der Ordner _B_ETC zudem nicht auf dem USB Stick sondern auf einer Festplatte im oder am PC liegt, bewegt man sich in der Windowswelt und muss keinerlei Linuxkenntnisse besitzen.

Das zur Handhabung.

Was technisch seit der Erstversion mit Ubuntu alles geändert wurde, ist eine überragende Leistung von Harald und Horst.

Die verwendete Software so zu steuern, dass die darin enthaltenen Rechenvorgänge möglichst fließend - und damit ungestört durch zeitlich parallele Aktionen des Betriebssystems - stattfinden, ist Entwicklungsarbeit von Grund auf.

Einfach nur erstaunlich, was hier selbst im DIY Bereich möglich ist, wenn sich 2 oder 3 ehrgeizige Leute für solch einem Projekt zusammenfinden.

Es grüßt

Bernd Peter
Bild
SolidCore
Aktiver Hersteller
Beiträge: 1889
Registriert: 12.12.2014, 10:38
Wohnort: NRW / Moers

Improven

Beitrag von SolidCore »

Hallo Bernd-Peter
Bernd Peter hat geschrieben: 27.02.2024, 09:13Einfach nur erstaunlich, was hier selbst im DIY Bereich möglich ist, wenn sich 2 oder 3 ehrgeizige Leute für solch einem Projekt zusammenfinden...
Ich empfinde dies genau anders herum. Grade dann ist es fast schon abwegig, das die genannten (oder generell Ehrgeizige, mit etwas bis sehr viel Wissen) keine Verbesserungen finden. Irgendwas geht doch so gut wie immer, auch bei anderen Themen, die mit DiY zu tun haben.

Vielen Dank an alle für die Mühen und Erklärungen zum Thema. Lade mir jetzt grade diesen Bootstick.

Gruß
Stephan
Bild
Trinnov
Aktiver Hörer
Beiträge: 977
Registriert: 13.11.2009, 19:02

Beitrag von Trinnov »

Stehphan, sorry, aber deine Meinung verstehe ich nicht.
Vielleicht bin ich auch einfach zu dumm dazu.

Horst
Bild
music is my escape
Aktiver Hörer
Beiträge: 1534
Registriert: 03.07.2012, 10:56
Wohnort: Leipzig

Beitrag von music is my escape »

Hallo Horst,

Ich verstehe das so, dass es für Stephan alles andere als überraschend ist, zu was zwei bis drei ehrgeizige Leute, zumindest wenn diese von gewissem Kaliber sind, in der Lage sein können.

Ein vielleicht nicht gänzlich passender Vergleich:

Um so ein Projekt wie das Eure bspw. im kommerziellen Bereich auch nur anzugehen, sind unter Umständen ganz andere und in der Realität aufgrund von Marktmechanismen nur sehr selten darstellbare Größenordnungen an Invest vonnöten, was aber aufgrund vieler auch weicher Faktoren noch lange keine Garantie auf Erfolg gibt, selbst wenn man es anschieben könnte.

Ein mir diesbezüglich in Erinnerung gebliebenes, weil für mich prägend gewesenes Beispiel war seinerzeit die Entwicklung einer alternativen Firmware für portable Musikplayer, vorrangig den einmal sehr beliebten Sansa Clip+ von Sandisk, wo ein kleines sich zufällig in den Weiten des Netzes zusammengefundenes Entwicklerkollektiv binnen kurzer Zeit ein die eigentlich sehr anständige Originalfirmware des Herstellers in jedweder, besonders aber funktionsumfänglicher und klangqualitativer Beziehung absolut alt aussehen lassendes Produkt entwickelt und kostenlos zur Verfügung gestellt hat, was den Gebrauchswert des Players in den Augen vieler Nutzer vervielfacht hat und zudem auch wegweisend für eine ganze Branche war.

Etwas Vergleichbares von einem mit Gewinnerzielungsabsicht wirtschaftenden Unternehmen entwickeln zu lassen, wäre zumindest zu diesem Zeitpunkt vermutlich niemals gelungen, unter anderem weil es aufgrund der dabei zu veranschlagenden Kosten den Endpreis des Players in für viele Käuferschichten uninteressante Regionen gehoben hätte.

Auch insofern ist das, was Ihr hier macht, imho einerseits von den von Euch zur Verfügung gestellten Ressourcen nicht zu unterschätzen und andererseits insgesamt betrachtet auch garnicht hoch genug einzuschätzen, denn vermutlich würde nix davon überhaupt entstehen, würdet Ihr das nicht bewerkstelligen.

Und dass das, was dabei letztendlich an Gutem herauskommt, für den einen oder anderen eben garnicht sooo sonderlich überraschend ist, stellt meiner Wahrnehmung nix anderes als ein realistisches Kompliment, einen ehrlichen Respekt für Eure Arbeit dar.

Freundliche Grüße,
Thomas
:cheers:
Bild
SolidCore
Aktiver Hersteller
Beiträge: 1889
Registriert: 12.12.2014, 10:38
Wohnort: NRW / Moers

Improven

Beitrag von SolidCore »

Hallo zusammen

Thomas hat das schon gut erklärt. Sprich: Mit kurzen Worten: Ein großes Kompliment.

Und dem Glauben, das es in etlichen Thematiken immer irgend etwas zu verbessern gibt, durch unermüdlichen Einsatz, Gehirnschmalz und Testreihen. Was in diesem Faden auch erkennbar ist. Und ich kurz als: "Wundert mich nicht" (Das dann tatsächlich eine Verbesserung stattfindet) umschrieb.

Gruß
Stephan
Bild
rpaul
Aktiver Hörer
Beiträge: 401
Registriert: 21.07.2014, 08:41

Beitrag von rpaul »

uli.brueggemann hat geschrieben: 10.01.2024, 18:05 Hallo Gert,

das Löschen einer Datei auf einer SSD bewirkt erst einmal kein Löschen. Die nächste Datei wird woanders hingeschrieben. Stichwort wear leveling. Demzufolge belegen die Ta1 bis Ta10 den Platz, auch wenn am Ende nur Ta10 sichtbar ist (ich bleib mal nur bei iener Datei, also kein Tb etc.). Irgenwann macht der Controller ein internes Löschen (trim?) umd gibt den Platz frei, damit die nächsten Daten drauf geschrieben werden können. Die aber von der Größe her nicht mit dem Platz zwingend zusammenpassen und dann wird gestückelt.

Grüsse
Uli
Hallo,

Abhilfe gegen das von Uli Beschriebene verschaffen Programme, die die Anwendung der "ATA Secure Erase” bzw. „ATA Sanitize” Befehle ermöglichen. Siehe z. B. hier: https://www.heise.de/tipps-tricks/SSDs- ... artedmagic

Bin mir aber grad nicht sicher, ob mein Beitrag hier hilfreich ist...

Viele Grüße
Robert
Bild
jazzjazzjazz
Aktiver Hörer
Beiträge: 25
Registriert: 10.11.2020, 16:00
Wohnort: Bayern/Schwaben

Beitrag von jazzjazzjazz »

Hallo zusammen,

nachdem ich in den letzten 3 Wochen einige Vergleiche und Tests mit eigenen, selbst improvten Audiofiles angestellt habe, kann ich jedem nur empfehlen, sich mit dem Thema Improven zu beschäftigen.

Das von Horst erstellte Arch RamRoot Linux-Image 1.3 erspart Linux-Laien (wie mir) wirklich jegliche Notwendigkeit, sich tiefergehend mit dem Betriebsystem zu beschäftigen. Die Anmeldung im vom USB-Stick automatisch startenden RamRoot Linux-System, das Aufrufen des Improve-scripts und das Herunterfahren sind so einfach, dass ich die Bedienung des eigens dafür angeschaften NUC mittlerweile "blind" über eine usb-Tastatur erledige.

Das Ergebnis lässt mich bei jedem neuen Musikstück wieder staunen.

Vielen Dank an euch, Horst und Harald, für das selbstlose Teilen eures Wissens, eurer Erfahrung und der ganzen Arbeit, die Ihr in die weitere Verbesserung und die benutzterfreundliche Umsetzung von Franks Improveverfahren investiert habt.

Viele Grüße

Manfred
Bild
Antworten