Tests
Wie Volant gegen ansible-core geprüft wird, die Arten aufgezeichneter Antworten und wie Sie ein Szenario hinzufügen.
Volant muss sich wie ansible-core 2.19.12 verhalten. Der größte Teil der Testsuite ist deshalb ein Vergleich: ansible-core hat einmal etwas ausgeführt, seine Antwort wurde im Repository aufgezeichnet, und der Test führt Volant mit derselben Eingabe aus und vergleicht.
Die Arten
Abschnitt betitelt „Die Arten“Jede Art von Aufzeichnung hat einen Namen, und just golden <kind> erzeugt sie neu.
| Art | Was aufgezeichnet wurde | Wo sie läuft |
|---|---|---|
template |
Das Ergebnis beim Rendern jedes Ausdrucks in crates/volant/tests/golden/cases.yml |
In jedem Job, mit reference.rs |
inventory |
Hosts, Variablen und Gruppen eines Inventorys sowie die Hosts, die jedes Muster auswählt | In jedem Job, mit reference.rs |
scenario |
Ein Playbook-Lauf: der Exit-Code und die gesamte Standardausgabe | In jedem Job, mit reference.rs |
shadow |
Ein Lauf eines ausgewählten Szenarios durch den Callback volant.compat.record, komprimiert in crates/volant/tests/golden/shadow; das eigene Beispiel des Callbacks wird zusätzlich unter jeder unterstützten ansible-core-Version geprüft (just compat-matrix) |
Jeder Job, mit shadow_golden.rs, das jede Aufzeichnung wiederholt und keine Abweichung erwartet |
module |
Was jedes native Modul auf einem echten Rechner geantwortet hat | Im Job ssh und mit just test-reference, mit reference_modules.rs |
galaxy |
Ein ansible-galaxy-Befehl gegen einen falschen Galaxy-Server (golden/reference/galaxy_server.py): Exit-Code, Standardausgabe und -fehler, die Anfragen, die der Server gesehen hat, und die hinterlassenen Dateien mit ihrem SHA-256, in crates/volant/tests/golden/galaxy/<case>/expected.json |
Jeder Job, mit galaxy_golden.rs, das für den Server Python 3 braucht |
command-names |
Die Ausgabe der Skripte in tests/command-names, die ansible, ansible-playbook, ansible-vault, ansible-inventory, ansible-doc, ansible-config, ansible-galaxy, ansible-pull und ansible-console aufrufen |
Der Job command-names |
Nichts in einer Aufzeichnung wird von Hand bearbeitet. Ändern Sie die Eingabe, führen Sie just golden <kind> mit installiertem ansible-core 2.19.12 aus und lesen Sie den Diff. Auf einem unveränderten Baum ausgeführt, lässt es die Dateien genau so, wie sie waren. Die Art module braucht außerdem sudo, systemd, apt und cron, weil sie auf dem Rechner ein Konto und eine Unit anlegt.
Ein galaxy-Fall ist eine case.yml mit args, den Argumenten nach ansible-galaxy, in denen <golden-server> für die URL des Servers und <golden-tmp> für das Arbeitsverzeichnis des Laufs steht. Der Server baut seine Collections und Rollen selbst, mit festen Zeiten und Besitzern, damit ein Archiv überall denselben SHA-256 hat. In einer Aufzeichnung steht für das Arbeitsverzeichnis <golden-tmp> und für den Port <golden-port>. Jede andere Datei im Verzeichnis des Falls wird in das Arbeitsverzeichnis kopiert, in dem der Befehl läuft, sodass -r requirements.yml eine davon nennen kann. galaxy_golden.rs spielt jede aufgezeichnete Anfrage gegen den Server ab und führt volant galaxy für jeden Fall aus, dessen Unterbefehl nativ ist.
Der Job command-names
Abschnitt betitelt „Der Job command-names“Der Job command-names läuft in einem Container debian:stable-slim ohne ansible und ohne Python. Er verlinkt die Namen ansible-* mit volant shims install auf das statische volant und führt dann die Skripte aus tests/command-names genau so aus, wie ein Benutzer sie für ansible schreiben würde. Jedes Skript schreibt seine Ausgabe in eine Datei und vergleicht sie mit tests/command-names/expected/<script>.out, einer Aufzeichnung von ansible-core 2.19.12, die just golden command-names erstellt hat. Der Job lädt die Ausgabedateien hoch, wenn ein Skript fehlschlägt.
Ein Szenario hinzufügen
Abschnitt betitelt „Ein Szenario hinzufügen“Ein Szenario ist ein Verzeichnis unter crates/volant/tests/scenarios:
- Legen Sie
crates/volant/tests/scenarios/<name>/an und legen Sie darin das Playbook, das Inventory und alle Dateien ab, die das Playbook liest. - Schreiben Sie
case.ymldaneben. Ein einzelner Lauf istargs: [-i, inv.ini, site.yml]. Mehrere Läufe desselben Verzeichnisses sindruns:, eine Liste von{args: [...]}. - Führen Sie
just golden scenarioaus. Es schreibtexpected.jsonins Verzeichnis. - Führen Sie
touch crates/volant/tests/reference.rsund danach die Tests aus. Die Liste der Szenarien steht fest, wenn diese Datei kompiliert wird, sodass ein neues Verzeichnis erst nach einem Neubau erkannt wird.
Jeder Volant-Lauf geschieht in einer frischen Kopie des Verzeichnisses, mit --forks 1, sofern der Fall nichts anderes sagt. Der Test vergleicht den Exit-Code und die vollständige Standardausgabe, mit maskierten Zeiten. Außer args und runs nimmt case.yml sechs weitere Schlüssel:
modeslistetcheck,check-diffunddiffauf. Jeder Lauf geschieht dann pro Modus einmal mehr, mit--check,--check --diffoder--diffzusätzlich, in dieser festen Reihenfolge, und jeder Lauf wird aufgezeichnet.envsetzt Umgebungsvariablen für den Lauf.program: ansiblezeichnet die Läufe mitansiblestattansible-playbookauf und führtvolant adhocstattvolant playbookaus.forkserhöht die Zahl der Forks über eins. Hosts geben dann möglicherweise in anderer Reihenfolge aus, führen Sie also die Zeilen, deren Reihenfolge abweichen darf, als reguläre Ausdrücke inunorderedauf.unorderedohneforkswird abgelehnt.needsnennt, was der Rechner haben muss:ansible-core,sudoodersystemd. Ein Fall, dessen Voraussetzungen nicht erfüllt sind, wird übersprungen, außer wennVOLANT_PYTHONoderVOLANT_REQUIRE_REFERENCE=1gesetzt ist, was das Überspringen in einen Fehlschlag verwandelt: nextest zeigt das Überspringen eines bestandenen Tests nicht an, sodass ein Rechner ohne ansible-core grün melden würde. Diessh-test-Rezepte setzenVOLANT_REQUIRE_REFERENCE=1.linksordnet einem Pfad das Ziel eines Links zu, den jede Kopie unter diesem Pfad erhält. Nutzen Sie es für einen Link, den git oder cargo nicht halten können, etwa einen Link auf eine Datei, die nicht existiert:cargo packagelehnt einen versionierten Link dieser Art ab.
Die Paritätsmatrix
Abschnitt betitelt „Die Paritätsmatrix“crates/volant/tests/parity.rs vergleicht jeden Namen, den ansible-core 2.19.12 und die Collections des festgelegten ansible-Pakets kennen (Keywords, Module, Filter, Tests, Lookups und die anderen Plugin-Arten), mit dem, was die Engine damit macht. just parity-reference erzeugt die Referenzseite neu, crates/volant/tests/parity/reference.json. Die Seiten Parität, Keywords und Module werden von just docs-parity, just docs-keywords und just docs-modules aus den eigenen Tabellen der Engine erzeugt, und ein Test schlägt fehl, wenn eine davon veraltet ist.
Der YAML-Korpus
Abschnitt betitelt „Der YAML-Korpus“just yaml-corpus lädt jede YAML-Datei eines fest gepinnten Korpus mit Volants Loader und mit dem von ansible-core und vergleicht die Werte. Der Korpus besteht aus den Collections des gepinnten ansible-Pakets, dem test/-Baum von ansible-core selbst und öffentlichen Repositories zu den Commits, die crates/volant/tests/parity/yaml_corpus.yml nennt: kubespray, debops, ceph-ansible, openstack-ansible und weitere, rund elftausend Dateien. Das Beispiel yaml_dump gibt Volants Seite aus, ohne Volants eigene Kodierungen, und crates/volant/tests/parity/yaml_corpus.py gibt die abweichenden Dateien nach Ursache gruppiert aus. Ein Datum liest Volant als Text, dieser Unterschied zählt nicht.
crates/volant/tests/parity/yaml_corpus_known.txt führt jeden bekannten Unterschied mit dem Issue, das ihn verfolgt. Bei jedem anderen schlägt das Rezept fehl. Der Workflow YAML corpus führt es jede Woche und bei jeder Änderung am Loader aus. Ein Eintrag wird entfernt, sobald sein Issue behoben ist.
Die Integrationsziele von ansible-core
Abschnitt betitelt „Die Integrationsziele von ansible-core“just integration-targets führt die Integrationsziele von ansible-core aus, aus seinen Quellen am Tag des Referenz-ansible-core, unter ansible-core und unter Volant. Es sind Playbooks voller assert, die das Verhalten von ansible-core selbst prüfen: Ein Ziel, das unter ansible-core besteht und unter Volant scheitert, ist ein Unterschied, auch ohne Ausgabe zum Vergleichen. Jedes Ziel läuft so, wie ansible-test integration es ausführt: ein Rollenziel als Play auf testhost mit ansible_connection=local, ein Skriptziel als sein runme.sh, mit den ansible-*-Befehlsnamen von Volant vorn im PATH. Die Ziele, die die Maschine verändern (destructive, needs/root), und jedes Skriptziel laufen jeweils in einem Wegwerf-Container, als root. Ziele, die ssh, einen HTTP-Testserver, einen privilegierten Container, eine Cloud, Windows oder ein Netzwerkgerät brauchen, werden übersprungen. Das Rezept gibt eine Zeile pro Ziel aus und bewahrt das Log jedes Laufs unter target/integration/work/ auf.
crates/volant/tests/parity/integration_targets_known.txt listet jedes abweichende Ziel mit dem Issue, das es verfolgt. Das Rezept scheitert an jedem anderen abweichenden Ziel und an einem gelisteten, das jetzt besteht, damit die Liste aktuell bleibt. --only <ziel>... führt einige Ziele aus, --no-container überspringt die, die einen Container brauchen, und --jobs legt fest, wie viele gleichzeitig laufen. Der Workflow Integration targets führt es jede Woche aus.
Ausführen
Abschnitt betitelt „Ausführen“just check-touched ist die Prüfung, die Sie vor einem Pull Request ausführen. Sie formatiert, führt clippy und die Ratsche für Dateigrößen aus, führt die Tests der Module aus, die der Branch ändert, und prüft die Rechtschreibung. just check-local tut dasselbe mit jedem Test. CI führt jeden Test aus.
just test führt alles aus, was keinen Host braucht. just test-reference führt die Modulaufzeichnungen auf dem Rechner aus, auf dem Sie sind, was ansible-core, sudo und systemd braucht. just ssh-test ist das, was der Job ssh ausführt: Er startet von einem sshd auf localhost aus und deckt auch die End-to-End-Tests ab. Bevorzugen Sie ein Szenario oder eine Tabellenzeile in einem vorhandenen Test gegenüber einer neuen Testfunktion.