Projektergebnisse
Einleitung
Hier präsentieren wir die Ergebnisse des praktischen Teils des Projekts. Insbesondere werden die Messungen der untersuchten Entwicklungsumgebungen, die dafür notwendigen Infrastruktur und Testsysteme, und die Ergebnisse dieser Messungen beschrieben. Um die Entwicklungsumgebungen auch in Bezug zu den Anforderungen und Möglichkeiten der Studierenden zu setzen wurde eine Umfrage bei Studierenden der Informatikstudiengänge durchgeführt. Auch diese Ergebnisse werden hier dargestellt.
Inhalt
Test-Infrastruktur
Im Rahmen des Informatik- und Wirtschaftsinformatikstudiums in Bremerhaven erfolgt zu Beginn des Studiums die Einführung der Studierenden in eine eigens eingerichtete Linux-Server-Infrastruktur. Diese Infrastruktur steht allen Studierenden über Secure Shell (SSH) zur Verfügung und zielt darauf ab, einen nachhaltigen, fertig konfigurierten und kollektiv nutzbaren Unix-Workspace bereitzustellen. Das Ziel besteht darin, einen niedrigschwelligen Zugang zu einer Lehr- und Lernumgebung zu schaffen, die von allen frei genutzt werden kann.
Zur Untersuchung der These des Projekts wird eine eigene Infrastruktur in Anlehnung an das Infrastrukturkonzept der Informatikstudiengänge aufgebaut und gemessen. Insbesondere haben sich 4 Fragen ergeben, die mit den Messungen beantwortet werden sollen:
- Wie verhält sich der Ressourcenverbrauch von Vim vs. VSCodium auf dem Endgerät und auf dem Server?
- Wie viele Ressourcen können am Endgerät gespart werden, wenn der Workspace auf dem Server ausgelagert wird?
- Wie viele Ressourcen werden im Vergleich zu den eingesparten Ressourcen am Endgerät auf dem Server verbraucht?
- Wie ressourcenintensiv sind Erweiterungen wie der Language-Server?
Um diese Fragen zu beantworten, wird der Energiebedarf des Workspace-Servers und eines
Laptops gemessen, während Entwicklungsvorgänge mit verschiedenen Editorkonfigurationen
simuliert werden.
In der Konfiguration Vim wird komplett im Terminal gearbeitet, und alle Dateien mit Vim
geschrieben.
In der Konfiguration VSCodium Light wird komplett in VSCodium und dem dort integrierten
Terminal gearbeitet. VSCodium wird hier nur als Texteditor genutzt und übernimmt keine
Funktionen die sonst typisch für eine IDE sind.
In der letzten Konfiguration VSCodium Full wird zusätzlich ein Extension-Pack für Java
installiert, in dem auch ein Language-Server enthalten ist.
Um die Reproduzierbarkeit und Automatisierbarkeit der durchgeführten Tests zu gewährleisten, wird ein Automation-Server erstellt. Dieser steuert über die Automation-Container die systematische Entwicklung einer Web-Anwendung, wie sie Lehrinhalt im Studium ist.
Die Kommunikation zwischen den Automation-Containern und Workspace-Containern erfolgt über ein dediziertes, privates Netzwerk. Der Workspace-Container stellt eine Entwicklungsumgebung bereit, die mit einem Texteditor, Compiler, Web- und Tomcat-Server sowie einem Reverse-Proxy ausgestattet ist und auf dem Workspace der Informatik-Infrastruktur der Hochschule basiert.
Der Energiebedarf des Workspace-Servers wird mittels eines Messgeräts ermittelt. Hierbei handelt es sich um eine smarte Steckdose des Herstellers Shelly, welche den aktuellen Energiebedarf des angeschlossenen Geräts ermittelt. Dieser kann mittels einer HTTP-API abgefragt werden. Der aktuelle Bedarf und der aktuelle Zählerstand wird einmal pro Sekunde abgefragt und in einer Datenbank gespeichert.
Privates Netzwerk
Die Kommunikation zwischen den Automation-Containern und ihren jeweiligen Workspace-Containern erfolgt über die Einrichtung eines neuen Docker-IPvlan-Netzwerks. Dieses ist direkt mit dem Layer 2 (Data Link Layer - ISO/OSI-Schichtenmodell) des Hostservers verbunden. Über das geteilte Layer 2 wird ein gemeinsames IPv4-Netzwerk 172.20.0.0/16 erstellt, in dem jeder Container eine IP-Adresse erhält, siehe Abbildung 2 rotes Netzwerk.
Aufgrund von Einschränkungen des Linux-Kernels ist beim Docker-IPvlan-Netzwerk der Docker-Host nicht in der Lage, mit den eigenen Containern zu kommunizieren. Daher wird pro Host jeweils ein zweites Bridge-Netzwerk mit dem IPv4-Netzwerk 172.19.0.0/16 hinzugefügt, siehe Abbildung 2, grünes Netzwerk.
Auf dem Workspace-Server leitet ein HAProxy HTTP-Anfragen an die Workspace-Container weiter, sodass der Apache- und Tomcat-Server der Container aus dem Internet erreichbar sind. Dabei übernimmt der HAProxy auch die TLS-termination. Darüber hinaus fungiert der Workspace-Server als SSH Jump Host, was die Arbeit in den Containern per SSH ermöglicht.
Automatisierter Testablauf
Im Rahmen der Testreihe erfolgt die Messung des Energiebedarfs des System-under-Test (SuT), während zeitgleich automatisierte Entwicklungsprozesse simuliert werden. Die Wiederhol- und Vergleichbarkeit der Ergebnisse wird durch die Automatisierung der Tests gewährleistet. Zudem ermöglicht der automatisierte Ansatz eine beliebig skalierbare Anzahl zeitlich simultan arbeitender Entwickler:innen.
Für die Automatisierung der Entwicklung der Webapp im Codeeditor VSCodium wurde eine Extension in TypeScript entwickelt. Diese automatisiert die Erstellung und das Tippen der notwendigen Dateien sowie das Schreiben und Ausführen verschiedener Build- und Deployskripte mittels der VSCodium-API. Die Ausführung sämtlicher Aktionen wird in einer Log-Datei dokumentiert, die außerhalb des SuT gesammelt, angezeigt und ausgewertet werden kann.
Für die Simulation des Vim wurde eine Python-Anwendung entwickelt, die mittels der Bibliothek PyAutoGUI Tastendrücke simuliert. Der gesamte Entwicklungsprozess findet in diesem Test im Terminal statt. Sowohl das Erstellen der Ordner und Dateien, als auch die Build- und Deployvorgänge erfolgen über die bash, die Webapp wird ausschließlich im Vim geschrieben.
Für beide Simulationsansätze wurde ein gemeinsames Template-Format entwickelt, sodass der Entwicklungsvorgang mit beiden Tools vergleichbar ist. Die Templates enthalten sämtliche Anweisungen, wie Code zu tippen, Fehler zu beheben oder Denkpausen einzulegen (beispielsweise zum Lesen der Vorschläge des Language-Servers). Um die Verarbeitung der Templates zu gewährleisten, wurde für beide Ansätze jeweils ein Parser implementiert, der die Simulation in der jeweiligen Entwicklungsumgebung umsetzt.
Eine kurze Demonstration beider Testumgebungen ist im folgenden Video zu sehen.
Messergebnisse
Die Messergebnisse der Testreihen bestätigen die eingangs aufgestellten Vermutungen über den Energiebedarf der einzelnen Editorkonfigurationen. Daraus wurde eine Einschätzung zum Ressourcenverbrauch der Remote-Entwicklungsumgebung entwickelt. Um den Energiebedarf der einzelnen Testfälle vergleichbar zu machen, wird aus dem Gesamtverbrauch während eines Tests die durchschnittliche Leistungsaufnahme in Watt berechnet und verglichen. Zudem wird die momentane Leistungsaufnahme jeder Sekunde gemessen und grafisch dargestellt. Hierdurch können Größe und Länge von Leistungsspitzen zu ausgeführten Aktion während des Entwicklungsvorganges zugeordnet werden.
1. Wie verhält sich der Ressourcenverbrauch von Vim vs. VSCodium auf dem Endgerät und auf dem Server?
Die Ergebnisse bestätigen die eingangs aufgestellten Vermutungen, dass der Entwicklungsvorgang mit Vim im Vergleich zu VSCodium eine geringere Last erzeugt. Die Tests mit VSCodium erfordern auf dem Laptop im Durchschnitt 11 Watt, während die Tests mit Vim nur 9,7 Watt benötigten. VSCodium benötigt demnach 13,4 % mehr Energie für einen vergleichbaren Entwicklungsvorgang.
Auf dem Server fällt der Unterschied zwischen Vim und VSCodium geringer aus als erwartet. Die VSCodium-Tests haben im Durchschnitt nur ca. 10,6 % mehr Energie benötigt. Der VSCodium-Server scheint, verglichen mit der Electron-Oberfläche von VSCodium, kaum CPU-Ressourcen zu benötigen.
Der nachfolgende Graph veranschaulicht die während eines Testdurchlaufs vom Workspace-Server aufgenommene Leistung in Watt. Aus der Abbildung geht hervor, dass der Grundenergiebedarf während der VSCodium-Test leicht erhöht ist und sehr ähnliche Spitzen während der Build- und Deployvorgänge auftreten.
Die etwas höheren und schmaleren Leistungsspitzen im Vim-Graphen resultieren aus der pünktlicheren Abwicklung des Vim-Entwicklungsvorgangs. Die Abbildung veranschaulicht die Auslastung, die durch 16 simultane Entwicklungsprozesse erzeugt werden. Es wird ersichtlich, dass die Auslastung sich signifikant unterscheidet, je nachdem, ob alle Container zeitgleich einen Build-Aufruf starten oder ob eine geringere Anzahl von Containern einige Sekunden zurückbleiben und den Befehl erst starten, nachdem die ersten Build-Aufrufe abgeschlossen sind.
Der Vim-Entwicklungsprozess zeichnet sich durch eine hohe zeitliche Konstanz aus, da das Beenden von Befehlen nicht abgewartet wird und stattdessen sleep-Timer zum Einsatz kommen. In der VSCodium-Automatisierung wird jedoch auf eine asynchrone Aktion gewartet, was zu zeitlichen Verschiebungen führt.
2. Wie viele Ressourcen können am Endgerät gespart werden, wenn der Workspace auf dem Server ausgelagert wird?
Insbesondere in einem Entwicklungsprozess, der die Nutzung eines Language-Serves einschließt, kann die Auslagerung der Rechenlast eine effiziente Maßnahme sein, um die Ressourcen auf dem Endgerät zu schonen. Infolgedessen kann der Energiebedarf des Laptops um 20 % reduziert werden. Dies wiederum erhöht die zu erwartende Akkulaufzeit um 24,6 % und ermöglicht die Verwendung von älterer und leistungsschwächerer Hardware
Das Einsparpotenzial ist bei kleineren Softwareprojekten wie sie in der Testreihe entwickelt wurden, geringer, sofern kein Language-Server zum Einsatz kommt. Selbst die als nachhaltigere Alternative von der Hochschule empfohlene, leistungsschwächerer Hardware, kann ohne Probleme die für die lokale Entwicklung ohne Language-Server benötigte Rechenleistung aufbringen und mit beiden Codeeditoren im Studium verwendet werden.
3. Wie viele Ressourcen werden im Vergleich zu den eingesparten Ressourcen am Endgerät auf dem Server verbraucht?
Im Rahmen des Entwicklungsprozesses unter Einsatz von Language-Servern besteht die Möglichkeit durch die Auslagerung der Rechenleistung auf den Remote-Workspace eine Energieeinsparung von 2,7 Watt auf dem Laptop zu erzielen. Der gleiche Test mit 16 zeitgleichen Entwicklungsprozessen führt zu einem Verbrauch von insgesamt 108,5 Watt am Server.
Unter der Prämisse, dass die Grundlast des Servers unberücksichtigt bleibt, würde der Remote-Workspace einen um 12 % erhöhten Energiebedarf aufweisen, als auf dem Laptop eingespart wird. Unter Berücksichtigung der Grundlast ergibt sich ein Bedarf von ca. 6,7 Watt pro Container auf dem Server. Damit ergibt sich ein Leistungsbedarf des Containers auf dem Server, der 150 % über der auf dem Laptop erzielten Energieeinsparung liegt.
Diese Diskrepanz steht im Widerspruch zu der These der Energieeinsparung. Allerdings ermöglicht die Auslagerung der Rechenleistung auf den Server die längere Verwendung älterer und leistungsschwächerer Laptops, wodurch der Energiebedarf für die Neuproduktion länger vermieden werden kann.
4. Wie ressourcenintensiv sind Erweiterungen wie der Language-Server?
Zur Einschätzung des Ressourcenbedarfs eines Language-Servers wird die Leistungsaufnahme des Workspace-Servers während eines Entwicklungsvorgangs von VSCodium ohne und mit Language-Server verglichen.
Der Graph "vsc-full" veranschaulicht den Energiebedarf des Workspace-Servers bei 16 parallel laufenden Entwicklungsprozessen mit VSCodium und einem Java-Language-Server. Der Graph "vsc-light" veranschaulicht den gleichen Test mit VSCodium ohne Language-Server.
Nach einer Minute wird erstmals eine Java Datei erstellt und geöffnet. Der dadurch gestartete Language-Server benötigt beim Initialisieren signifikante Ressourcen. Die CPU des Workspace-Servers ist währenddessen für ca. eine Minute voll ausgelastet.
Nach der Initialisierung ist der Grundbedarf des Servers deutlich erhöht und schwankt stark. Selbst während Nicht-Java Dateien geschrieben werden, die nicht vom Language-Server analysiert werden müssen, ist der Leistungsbedarf des Workspace-Servers deutlich erhöht.
Interaktiver Graph
Die folgende Grafik zeigt den Energiebedarf des SuT während der
verschiedenen Tests. Neben den oben bereits gezeigten Graphen des Energieverbrauchs des Servers
lassen sich hier auch die Graphen des Laptops anzeigen.
Die Anzeige der verschiedenen Testdurchläufe (Vim/VSCodium,
Remote/Local) können ein- und ausgeblendet werden.
An den Graphen lässt sich erkennen, dass die Remote-Tests auf dem Laptop weniger Energie
benötigten als die entsprechenden lokalen Tests.
An der Ähnlichkeit der Graphen remote-codium-full und remote-codium-light ist außerdem gut zu
erkennen, dass die Nutzung eines Language-Servers im Remote-Workspace keine Auswirkung auf
den Energiebedarfs des Laptops hat.
Im Gegensatz zu dem Energiebedarf auf dem Server gibt es hier einen
deutlichen Unterschied zwischen VSCodium und Vim, was auf die
Electron-Oberfläche von VSCodium zurückzuführen ist.
Ergebnisse Umfrage
Im Rahmen des Projekts wurde eine Umfrage konzipiert, um die Eigenschaften zu ermitteln, die den Studierenden der Hochschule Bremerhaven an ihrem Laptop besonders wichtig sind.
Die Umfrage wurde von insgesamt 84 Studierenden beantwortet, davon 40 im Studiengang Informatik und 23 im Studiengang Wirtschaftsinformatik. Knapp die Hälfte der Teilnehmenden (39) befinden sich im ersten oder zweiten Semester. Die Umfrageergebnisse spiegeln demnach insbesondere die Perspektive von Studienanfänger:innen wieder.
Verteilung der Betriebssysteme
Zunächst wurde untersucht, welches Betriebssystem von Studierenden im Studium genutzt wird. Es zeigt sich, dass sich der Anteil der Betriebssysteme Linux, Windows und macOS relativ ausgeglichen verteilen.
Bemerkenswert ist der hohe Anteil, der dem Betriebssystem Linux zugeschrieben ist (18), sowie die Tatsache, dass sich alle davon bewusst für dieses Betriebssystem entschieden haben.
Software, die für das Studium genutzt wird
Des Weiteren wurde erhoben, welche Software von Studierenden im Rahmen des Studiums genutzt wird. Die Ergebnisse werden im Folgenden dargestellt.
| Programm | Anzahl |
|---|---|
| LaTeX | 39 |
| Vim | 37 |
| Discord | 36 |
| GitHub | 28 |
| LibreOffice / OpenOffice | 24 |
| VSCode | 24 |
| PowerPoint | 23 |
| Jitsi | 22 |
| Word | 20 |
| GitLab | 18 |
| Goodnotes | 15 |
| HedgeDoc | 15 |
| JetBrains/IntelliJ | 15 |
| BigBlueButton | 13 |
| Dropbox | 10 |
| VSCodium | 10 |
| Excel | 9 |
| iCloud | 9 |
| Notion | 9 |
| NextCloud | 8 |
| Teams | 6 |
| Zoom | 5 |
| Jupyter | 4 |
| Prezi | 3 |
| AsciiDoc | 1 |
| Evernote | 1 |
Der signifikante Anteil von Vim und LaTeX lässt sich durch die Integration dieser Programme im Lehrplan des ersten Semesters erklären. Darüber hinaus ist festzuhalten, dass die Anwendungen Discord, LibreOffice und Github von einer Vielzahl der Studierenden genannt wurde.
Anforderungen an Laptops
Die Teilnehmenden wurden gebeten, die Eigenschaften zu benennen, die ihnen beim Kauf eines Laptops besonders wichtig waren. Die Akkulaufzeit wurde von den meisten Befragten als wichtigstes Kriterium genannt. Es folgen Arbeitsspeicher und der Preis. Demgegenüber wurden Speicherplatz und Betriebssystem als weniger relevante Faktoren identifiziert. Die Grafikleistung und Reparaturmöglichkeiten wurden von den Befragten am wenigsten relevant bewertet.
Die Antworten der verwendeten Marken zeigen ein deutliches Bild. Lenovo liegt mit 38 Prozent an erster Stelle, gefolgt von Apple mit 30 Prozent. Es folgt ein breites Feld aus HP, MSI, Microsoft, Samsung un einigen weniger verbreiteten Marken wie Framework, Huawei oder Omen. Die Präsenz von Herstellen wie Framework veranschaulicht, dass Aspekte der Nachhaltigkeit und Reparierbarkeit von einigen Studierenden berücksichtigt werden, wenngleich dies für die Mehrheit von nachrangiger Bedeutung ist.
Für das Kaufverhalten wurden zwei Fragen zum Preis der Geräte gestellt. Einerseits wurde erfragt, welche Summe die Teilnehmer:innen für ihren Laptop ausgegeben haben, andererseits welche Summe sie zu zahlen bereit wären.
Der tatsächlich ausgegebene Betrag lag meistens zwischen 700 und 1.000 € (13),
am zweithäufigsten mehr als 1.000 € (11).
Acht Personen gaben an, ein Gerät, das unter 300 € gekostet hat erworben zu haben,
jeweils sieben Personen gaben zwischen 300 und 500 € bzw. 500 und 700 €.
Die Frage zur Bereitschaft wurde insgesamt weniger beantwortet. Am häufigsten wurde die Preiskategorie zwischen 700 und 1.000 € genannt (14), gefolgt von der Kategorie über 1.000 € (11). Die Kategorien unter 300 € (4), zwischen 300 und 500 € (7) sowie 500 bis 700 € (6) wurden hingegen weniger häufig genannt.
Beratung
Des Weiteren wurde erfasst, ob und in welchem Ausmaß Studierende bei der Wahl eines Laptops oder Betriebssystems Beratung in Anspruch genommen haben und wie sie die Qualität dieser Beratung einschätzen. Insgesamt 19 Personen ließen sich zur Wahl ihres Laptops beraten, 16 Personen zur Wahl des Betriebssystems. Die Aufteilung der Beratungsorte und die durchschnittliche Bewertung (höhere Bewertung ist besser) wird in der Tabelle 2 dargestellt.
Laptop
| Beratungsort | Anzahl | Durchschnittliche Bewertung |
|---|---|---|
| Arbeitsumfeld | 2 | 2,5 von 5 |
| Fachhandel | 2 | 3 von 5 |
| Hochschule | 9 | 3,5 von 5 |
| Online | 16 | 3,7 von 5 |
| Persönliches Umfeld | 8 | 4 von 5 |
| Selber | 2 | 4,5 von 5 |
Betriebssystem
| Beratungsort | Anzahl | Durchschnittliche Bewertung |
|---|---|---|
| Arbeitsumfeld | 4 | 4,8 von 5 |
| Fachhandel | 4 | 5 von 5 |
| Hochschule | 9 | 4,6 von 5 |
| Online | 12 | 3,7 von 5 |
| Persönliches Umfeld | 11 | 4,4 von 5 |
| Selber | 2 | 4,5 von 5 |
Die Mehrheit der Studierenden ließ sich online beraten, einige im persönlichen Umfeld oder an der Hochschule. Die Auswertung der Beratung ergab, dass die Qualität der Beratung an der Hochschule im Durchschnitt als gut bewertet wurde. Wie auch allgemein an allen Beratungsorten fiel die Bewertung der Beratung zum Betriebssystem höher oder gleich aus wie die Bewertung der Beratung zum Laptop.
Auf die Frage, welche Aspekte der Beratung zum Laptop als besonders hilfreich empfunden wurden, wurde von mehreren Personen die Möglichkeit einer Akkulaufzeit von mehr als 20 Stunden genannt. Auch Rezensionen wurden von mehreren Personen als hilfreich empfunden. Darüber hinaus wurden die Erfahrung der beratenden Person, YouTube-Videos, Gebraucht-Hardware und der Preis als hilfreich empfunden.
Im Rahmen der abschließenden Bewertung wurden verschiedene Aspekte genannt, die nach Ansicht der Befragten verbessert werden könnten. Dazu zählen das Nennen von genauen Websites, die Erhörung der Akkulaufzeit, die Beantwortung von Rezensionen sowie die Vermeidung manuellen Suche nach dem Laptop.
Im Hinblick auf die Beratung zum Betriebssystem wurde hingegen Fachwissen und Erfahrung sowie die Nutzung von UNIX-basierten Betriebssystemen als besonders hilfreich empfunden. Darüber hinaus wurden Vorschläge zur Integration von mehr Open-Source-Software in macOS sowie einer größeren Offenheit gegenüber alternativen Betriebssystemen gemacht.