Zum Inhalt springen
Installieren

Tests

Wie Volant gegen ansible-core geprüft wird, die Arten aufgezeichneter Antworten und wie Sie ein Szenario hinzufügen.

Volant muss sich wie ansible-core 2.19.12 verhalten. Der größte Teil der Testsuite ist deshalb ein Vergleich: ansible-core hat einmal etwas ausgeführt, seine Antwort wurde im Repository aufgezeichnet, und der Test führt Volant mit derselben Eingabe aus und vergleicht.

Jede Art von Aufzeichnung hat einen Namen, und just golden <kind> erzeugt sie neu.

Art Was aufgezeichnet wurde Wo sie läuft
template Das Ergebnis beim Rendern jedes Ausdrucks in crates/volant/tests/golden/cases.yml In jedem Job, mit reference.rs
inventory Hosts, Variablen und Gruppen eines Inventorys sowie die Hosts, die jedes Muster auswählt In jedem Job, mit reference.rs
scenario Ein Playbook-Lauf: der Exit-Code und die gesamte Standardausgabe In jedem Job, mit reference.rs
shadow Ein Lauf eines ausgewählten Szenarios durch den Callback volant.compat.record, komprimiert in crates/volant/tests/golden/shadow; das eigene Beispiel des Callbacks wird zusätzlich unter jeder unterstützten ansible-core-Version geprüft (just compat-matrix) Jeder Job, mit shadow_golden.rs, das jede Aufzeichnung wiederholt und keine Abweichung erwartet
module Was jedes native Modul auf einem echten Rechner geantwortet hat Im Job ssh und mit just test-reference, mit reference_modules.rs
galaxy Ein ansible-galaxy-Befehl gegen einen falschen Galaxy-Server (golden/reference/galaxy_server.py): Exit-Code, Standardausgabe und -fehler, die Anfragen, die der Server gesehen hat, und die hinterlassenen Dateien mit ihrem SHA-256, in crates/volant/tests/golden/galaxy/<case>/expected.json Jeder Job, mit galaxy_golden.rs, das für den Server Python 3 braucht
command-names Die Ausgabe der Skripte in tests/command-names, die ansible, ansible-playbook, ansible-vault, ansible-inventory, ansible-doc, ansible-config, ansible-galaxy, ansible-pull und ansible-console aufrufen Der Job command-names

Nichts in einer Aufzeichnung wird von Hand bearbeitet. Ändern Sie die Eingabe, führen Sie just golden <kind> mit installiertem ansible-core 2.19.12 aus und lesen Sie den Diff. Auf einem unveränderten Baum ausgeführt, lässt es die Dateien genau so, wie sie waren. Die Art module braucht außerdem sudo, systemd, apt und cron, weil sie auf dem Rechner ein Konto und eine Unit anlegt.

Ein galaxy-Fall ist eine case.yml mit args, den Argumenten nach ansible-galaxy, in denen <golden-server> für die URL des Servers und <golden-tmp> für das Arbeitsverzeichnis des Laufs steht. Der Server baut seine Collections und Rollen selbst, mit festen Zeiten und Besitzern, damit ein Archiv überall denselben SHA-256 hat. In einer Aufzeichnung steht für das Arbeitsverzeichnis <golden-tmp> und für den Port <golden-port>. Jede andere Datei im Verzeichnis des Falls wird in das Arbeitsverzeichnis kopiert, in dem der Befehl läuft, sodass -r requirements.yml eine davon nennen kann. galaxy_golden.rs spielt jede aufgezeichnete Anfrage gegen den Server ab und führt volant galaxy für jeden Fall aus, dessen Unterbefehl nativ ist.

Der Job command-names läuft in einem Container debian:stable-slim ohne ansible und ohne Python. Er verlinkt die Namen ansible-* mit volant shims install auf das statische volant und führt dann die Skripte aus tests/command-names genau so aus, wie ein Benutzer sie für ansible schreiben würde. Jedes Skript schreibt seine Ausgabe in eine Datei und vergleicht sie mit tests/command-names/expected/<script>.out, einer Aufzeichnung von ansible-core 2.19.12, die just golden command-names erstellt hat. Der Job lädt die Ausgabedateien hoch, wenn ein Skript fehlschlägt.

Ein Szenario ist ein Verzeichnis unter crates/volant/tests/scenarios:

  1. Legen Sie crates/volant/tests/scenarios/<name>/ an und legen Sie darin das Playbook, das Inventory und alle Dateien ab, die das Playbook liest.
  2. Schreiben Sie case.yml daneben. Ein einzelner Lauf ist args: [-i, inv.ini, site.yml]. Mehrere Läufe desselben Verzeichnisses sind runs:, eine Liste von {args: [...]}.
  3. Führen Sie just golden scenario aus. Es schreibt expected.json ins Verzeichnis.
  4. Führen Sie touch crates/volant/tests/reference.rs und danach die Tests aus. Die Liste der Szenarien steht fest, wenn diese Datei kompiliert wird, sodass ein neues Verzeichnis erst nach einem Neubau erkannt wird.

Jeder Volant-Lauf geschieht in einer frischen Kopie des Verzeichnisses, mit --forks 1, sofern der Fall nichts anderes sagt. Der Test vergleicht den Exit-Code und die vollständige Standardausgabe, mit maskierten Zeiten. Außer args und runs nimmt case.yml sechs weitere Schlüssel:

  • modes listet check, check-diff und diff auf. Jeder Lauf geschieht dann pro Modus einmal mehr, mit --check, --check --diff oder --diff zusätzlich, in dieser festen Reihenfolge, und jeder Lauf wird aufgezeichnet.
  • env setzt Umgebungsvariablen für den Lauf.
  • program: ansible zeichnet die Läufe mit ansible statt ansible-playbook auf und führt volant adhoc statt volant playbook aus.
  • forks erhöht die Zahl der Forks über eins. Hosts geben dann möglicherweise in anderer Reihenfolge aus, führen Sie also die Zeilen, deren Reihenfolge abweichen darf, als reguläre Ausdrücke in unordered auf. unordered ohne forks wird abgelehnt.
  • needs nennt, was der Rechner haben muss: ansible-core, sudo oder systemd. Ein Fall, dessen Voraussetzungen nicht erfüllt sind, wird übersprungen, außer wenn VOLANT_PYTHON oder VOLANT_REQUIRE_REFERENCE=1 gesetzt ist, was das Überspringen in einen Fehlschlag verwandelt: nextest zeigt das Überspringen eines bestandenen Tests nicht an, sodass ein Rechner ohne ansible-core grün melden würde. Die ssh-test-Rezepte setzen VOLANT_REQUIRE_REFERENCE=1.
  • links ordnet einem Pfad das Ziel eines Links zu, den jede Kopie unter diesem Pfad erhält. Nutzen Sie es für einen Link, den git oder cargo nicht halten können, etwa einen Link auf eine Datei, die nicht existiert: cargo package lehnt einen versionierten Link dieser Art ab.

crates/volant/tests/parity.rs vergleicht jeden Namen, den ansible-core 2.19.12 und die Collections des festgelegten ansible-Pakets kennen (Keywords, Module, Filter, Tests, Lookups und die anderen Plugin-Arten), mit dem, was die Engine damit macht. just parity-reference erzeugt die Referenzseite neu, crates/volant/tests/parity/reference.json. Die Seiten Parität, Keywords und Module werden von just docs-parity, just docs-keywords und just docs-modules aus den eigenen Tabellen der Engine erzeugt, und ein Test schlägt fehl, wenn eine davon veraltet ist.

just yaml-corpus lädt jede YAML-Datei eines fest gepinnten Korpus mit Volants Loader und mit dem von ansible-core und vergleicht die Werte. Der Korpus besteht aus den Collections des gepinnten ansible-Pakets, dem test/-Baum von ansible-core selbst und öffentlichen Repositories zu den Commits, die crates/volant/tests/parity/yaml_corpus.yml nennt: kubespray, debops, ceph-ansible, openstack-ansible und weitere, rund elftausend Dateien. Das Beispiel yaml_dump gibt Volants Seite aus, ohne Volants eigene Kodierungen, und crates/volant/tests/parity/yaml_corpus.py gibt die abweichenden Dateien nach Ursache gruppiert aus. Ein Datum liest Volant als Text, dieser Unterschied zählt nicht.

crates/volant/tests/parity/yaml_corpus_known.txt führt jeden bekannten Unterschied mit dem Issue, das ihn verfolgt. Bei jedem anderen schlägt das Rezept fehl. Der Workflow YAML corpus führt es jede Woche und bei jeder Änderung am Loader aus. Ein Eintrag wird entfernt, sobald sein Issue behoben ist.

just integration-targets führt die Integrationsziele von ansible-core aus, aus seinen Quellen am Tag des Referenz-ansible-core, unter ansible-core und unter Volant. Es sind Playbooks voller assert, die das Verhalten von ansible-core selbst prüfen: Ein Ziel, das unter ansible-core besteht und unter Volant scheitert, ist ein Unterschied, auch ohne Ausgabe zum Vergleichen. Jedes Ziel läuft so, wie ansible-test integration es ausführt: ein Rollenziel als Play auf testhost mit ansible_connection=local, ein Skriptziel als sein runme.sh, mit den ansible-*-Befehlsnamen von Volant vorn im PATH. Die Ziele, die die Maschine verändern (destructive, needs/root), und jedes Skriptziel laufen jeweils in einem Wegwerf-Container, als root. Ziele, die ssh, einen HTTP-Testserver, einen privilegierten Container, eine Cloud, Windows oder ein Netzwerkgerät brauchen, werden übersprungen. Das Rezept gibt eine Zeile pro Ziel aus und bewahrt das Log jedes Laufs unter target/integration/work/ auf.

crates/volant/tests/parity/integration_targets_known.txt listet jedes abweichende Ziel mit dem Issue, das es verfolgt. Das Rezept scheitert an jedem anderen abweichenden Ziel und an einem gelisteten, das jetzt besteht, damit die Liste aktuell bleibt. --only <ziel>... führt einige Ziele aus, --no-container überspringt die, die einen Container brauchen, und --jobs legt fest, wie viele gleichzeitig laufen. Der Workflow Integration targets führt es jede Woche aus.

just check-touched ist die Prüfung, die Sie vor einem Pull Request ausführen. Sie formatiert, führt clippy und die Ratsche für Dateigrößen aus, führt die Tests der Module aus, die der Branch ändert, und prüft die Rechtschreibung. just check-local tut dasselbe mit jedem Test. CI führt jeden Test aus.

just test führt alles aus, was keinen Host braucht. just test-reference führt die Modulaufzeichnungen auf dem Rechner aus, auf dem Sie sind, was ansible-core, sudo und systemd braucht. just ssh-test ist das, was der Job ssh ausführt: Er startet von einem sshd auf localhost aus und deckt auch die End-to-End-Tests ab. Bevorzugen Sie ein Szenario oder eine Tabellenzeile in einem vorhandenen Test gegenüber einer neuen Testfunktion.