Commit 36e185d3 authored by Wohlgemuth, Jason's avatar Wohlgemuth, Jason
Browse files

feat: Add checksum capability

parent 28ecbe7b
Loading
Loading
Loading
Loading
Loading
+12 −0
Original line number Diff line number Diff line
@@ -1899,6 +1899,7 @@ dependencies = [
 "serde",
 "serde_json",
 "serde_yml",
 "sha2",
 "tokio",
 "tracing",
 "tracing-log",
@@ -2244,6 +2245,17 @@ dependencies = [
 "digest",
]

[[package]]
name = "sha2"
version = "0.10.8"
source = "registry+https://github.com/rust-lang/crates.io-index"
checksum = "793db75ad2bcafc3ffa7c68b215fee268f537982cd901d132f89c6343f3a3dc8"
dependencies = [
 "cfg-if 1.0.0",
 "cpufeatures",
 "digest",
]

[[package]]
name = "sharded-slab"
version = "0.1.7"
+321 −339
Original line number Diff line number Diff line
@@ -362,70 +362,61 @@ LH:0
end_of_record
TN:
SF:/root/dev/command/pipe-lib/src/lib.rs
FN:386,Command::test
FN:413,Config::read
FN:437,Config::read_json
FN:458,Config::read_yaml
FN:475,Config::set_environment_variables
FN:489,<impl PartialEq for Details>::eq
FN:496,EnvironmentValue::from_string
FN:499,EnvironmentValue::from_value
FN:507,EnvironmentValue::prepend_prefix
FN:511,EnvironmentValue::trim_prefix
FN:515,EnvironmentValue::get_from_config
FN:522,EnvironmentValue::get_from_serde
FN:536,EnvironmentValue::get_all
FN:546,EnvironmentValue::print_all
FN:551,EnvironmentValue::set_variable
FN:561,EnvironmentValue::set_variables
FN:568,Extension::from_string
FN:577,Label::dry_run
FN:581,Label::fail
FN:585,Label::found
FN:589,Label::not_found
FN:593,Label::output
FN:597,Label::read
FN:601,Label::rejected
FN:605,Label::run
FN:609,Label::using
FN:615,ModuleUri<'_>::from
FN:625,ModuleUri<'_>::hash
FN:649,ModuleUri<'_>::get_whitelist
FN:652,ModuleUri<'_>::is_allowed
FN:655,ModuleUri<'_>::test
FN:656,ModuleUri<'_>::test::check
FN:673,ModuleUri<'_>::working_directory
FN:685,SemanticVersion::from_string
FN:708,Script::expand_arguments
FN:743,Script::expand_arguments_from
FN:778,Script::from_module
FN:836,Script::from_path
FN:859,Script::from_template
FN:876,Script::get_command
FN:882,Script::get_arguments
FN:893,Script::maybe_create_conda_environment
FN:926,Script::maybe_git_clone
FN:933,Script::python_default
FN:947,Script::run
FN:1018,Script::with_current_dir
FN:1056,Script::with_environment
FN:1061,Script::with_envs
FN:1070,StringTemplate::new
FN:1079,StringTemplate::expand
FN:1086,StringTemplate::get_variable
FN:1116,StringTemplate::is_handlebars
FN:1151,StringTemplate::remove_spaces
FN:1161,add_forward_slash
FN:1169,get_conda_environment_list
FN:1211,get_conda_environment_name
FN:1243,get_extension
FN:1247,get_parent
FN:1260,has_extension
FN:1264,is_stdin_piped
FN:1272,is_stdout_piped
FN:1290,read_file
FN:1304,to_string
FNF:63
FN:387,Command::test
FN:414,Config::read
FN:438,Config::read_json
FN:459,Config::read_yaml
FN:476,Config::set_environment_variables
FN:490,<impl PartialEq for Details>::eq
FN:497,EnvironmentValue::from_string
FN:500,EnvironmentValue::from_value
FN:508,EnvironmentValue::prepend_prefix
FN:512,EnvironmentValue::trim_prefix
FN:516,EnvironmentValue::get_from_config
FN:523,EnvironmentValue::get_from_serde
FN:537,EnvironmentValue::get_all
FN:547,EnvironmentValue::print_all
FN:552,EnvironmentValue::set_variable
FN:562,EnvironmentValue::set_variables
FN:569,Extension::from_string
FN:578,Label::dry_run
FN:582,Label::fail
FN:586,Label::found
FN:590,Label::not_found
FN:594,Label::output
FN:598,Label::read
FN:602,Label::rejected
FN:606,Label::run
FN:610,Label::using
FN:616,ModuleUri<'_>::from
FN:626,ModuleUri<'_>::hash
FN:650,ModuleUri<'_>::get_whitelist
FN:653,ModuleUri<'_>::is_allowed
FN:656,ModuleUri<'_>::test
FN:657,ModuleUri<'_>::test::check
FN:674,ModuleUri<'_>::working_directory
FN:686,SemanticVersion::from_string
FN:709,Script::expand_arguments
FN:744,Script::expand_arguments_from
FN:779,Script::from_module
FN:837,Script::from_path
FN:860,Script::from_template
FN:877,Script::get_command
FN:883,Script::get_arguments
FN:894,Script::maybe_create_conda_environment
FN:927,Script::maybe_git_clone
FN:934,Script::python_default
FN:948,Script::run
FN:1019,Script::with_current_dir
FN:1057,Script::with_environment
FN:1062,Script::with_envs
FN:1071,StringTemplate::new
FN:1080,StringTemplate::expand
FN:1087,StringTemplate::get_variable
FN:1117,StringTemplate::is_handlebars
FN:1152,StringTemplate::remove_spaces
FN:1162,add_forward_slash
FNF:54
FNDA:1,Command::test
FNDA:1,Config::read
FNDA:1,Config::read_json
@@ -452,7 +443,7 @@ FNDA:0,Label::read
FNDA:0,Label::rejected
FNDA:0,Label::run
FNDA:0,Label::using
FNDA:1,ModuleUri<'_>::from
FNDA:2,ModuleUri<'_>::from
FNDA:1,ModuleUri<'_>::hash
FNDA:0,ModuleUri<'_>::get_whitelist
FNDA:0,ModuleUri<'_>::is_allowed
@@ -466,103 +457,93 @@ FNDA:0,Script::from_module
FNDA:1,Script::from_path
FNDA:1,Script::from_template
FNDA:1,Script::get_command
FNDA:2,Script::get_arguments
FNDA:1,Script::get_arguments
FNDA:0,Script::maybe_create_conda_environment
FNDA:1,Script::maybe_git_clone
FNDA:0,Script::python_default
FNDA:1,Script::run
FNDA:1,Script::with_current_dir
FNDA:2,Script::with_environment
FNDA:1,Script::with_environment
FNDA:0,Script::with_envs
FNDA:2,StringTemplate::new
FNDA:1,StringTemplate::new
FNDA:1,StringTemplate::expand
FNDA:1,StringTemplate::get_variable
FNDA:1,StringTemplate::is_handlebars
FNDA:1,StringTemplate::remove_spaces
FNDA:1,add_forward_slash
FNDA:1,get_conda_environment_list
FNDA:1,get_conda_environment_name
FNDA:1,get_extension
FNDA:1,get_parent
FNDA:1,has_extension
FNDA:0,is_stdin_piped
FNDA:0,is_stdout_piped
FNDA:1,read_file
FNDA:1,to_string
DA:386,1
DA:387,1
DA:391,2
DA:394,1
DA:388,1
DA:392,2
DA:395,1
DA:397,2
DA:398,1
DA:399,2
DA:400,4
DA:402,6
DA:403,2
DA:406,3
DA:407,1
DA:413,1
DA:414,2
DA:396,1
DA:398,2
DA:399,1
DA:400,2
DA:401,4
DA:403,6
DA:404,2
DA:407,3
DA:408,1
DA:414,1
DA:415,2
DA:416,1
DA:418,0
DA:416,2
DA:417,1
DA:419,0
DA:422,2
DA:423,1
DA:425,0
DA:420,0
DA:423,2
DA:424,1
DA:426,0
DA:437,1
DA:438,2
DA:439,4
DA:441,0
DA:427,0
DA:438,1
DA:439,2
DA:440,2
DA:442,0
DA:445,4
DA:443,0
DA:446,2
DA:447,4
DA:448,0
DA:450,6
DA:451,2
DA:458,1
DA:459,2
DA:460,1
DA:462,0
DA:447,2
DA:448,4
DA:449,0
DA:451,6
DA:452,2
DA:459,1
DA:460,2
DA:461,1
DA:463,0
DA:466,2
DA:467,1
DA:468,2
DA:469,0
DA:471,3
DA:472,1
DA:475,0
DA:464,0
DA:467,2
DA:468,1
DA:469,2
DA:470,0
DA:472,3
DA:473,1
DA:476,0
DA:477,0
DA:478,0
DA:479,0
DA:480,0
DA:485,0
DA:489,1
DA:481,0
DA:486,0
DA:490,1
DA:496,0
DA:491,1
DA:497,0
DA:499,0
DA:498,0
DA:500,0
DA:501,0
DA:502,0
DA:503,0
DA:504,0
DA:507,0
DA:505,0
DA:508,0
DA:511,1
DA:509,0
DA:512,1
DA:513,2
DA:515,0
DA:513,1
DA:514,2
DA:516,0
DA:517,0
DA:518,0
DA:519,0
DA:520,0
DA:522,0
DA:521,0
DA:523,0
DA:524,0
DA:525,0
@@ -571,338 +552,339 @@ DA:527,0
DA:528,0
DA:529,0
DA:530,0
DA:532,0
DA:534,0
DA:536,1
DA:531,0
DA:533,0
DA:535,0
DA:537,1
DA:538,2
DA:538,1
DA:539,2
DA:540,2
DA:541,2
DA:542,1
DA:546,0
DA:542,2
DA:543,1
DA:547,0
DA:548,0
DA:551,0
DA:549,0
DA:552,0
DA:553,0
DA:554,0
DA:555,0
DA:556,0
DA:557,0
DA:561,0
DA:558,0
DA:562,0
DA:564,0
DA:568,1
DA:569,2
DA:563,0
DA:565,0
DA:569,1
DA:570,2
DA:571,3
DA:572,0
DA:577,0
DA:571,2
DA:572,3
DA:573,0
DA:578,0
DA:579,0
DA:581,0
DA:580,0
DA:582,0
DA:583,0
DA:585,0
DA:584,0
DA:586,0
DA:587,0
DA:589,0
DA:588,0
DA:590,0
DA:591,0
DA:593,1
DA:594,3
DA:595,3
DA:597,0
DA:592,0
DA:594,1
DA:595,2
DA:596,1
DA:598,0
DA:599,0
DA:601,0
DA:600,0
DA:602,0
DA:603,0
DA:605,0
DA:604,0
DA:606,0
DA:607,0
DA:609,0
DA:608,0
DA:610,0
DA:611,0
DA:615,1
DA:616,1
DA:612,0
DA:616,2
DA:617,2
DA:618,1
DA:618,5
DA:619,2
DA:620,0
DA:622,1
DA:625,1
DA:620,2
DA:621,0
DA:623,1
DA:626,1
DA:627,1
DA:628,1
DA:629,1
DA:630,0
DA:632,3
DA:636,4
DA:630,2
DA:631,0
DA:633,4
DA:637,4
DA:639,4
DA:640,2
DA:642,2
DA:645,0
DA:649,0
DA:638,4
DA:640,4
DA:641,2
DA:643,2
DA:646,0
DA:650,0
DA:652,0
DA:651,0
DA:653,0
DA:655,0
DA:654,0
DA:656,0
DA:657,0
DA:659,0
DA:658,0
DA:660,0
DA:661,0
DA:662,0
DA:663,0
DA:664,0
DA:665,0
DA:667,0
DA:669,0
DA:673,0
DA:666,0
DA:668,0
DA:670,0
DA:674,0
DA:675,0
DA:676,0
DA:677,0
DA:679,0
DA:678,0
DA:680,0
DA:685,1
DA:681,0
DA:686,1
DA:687,3
DA:687,1
DA:688,3
DA:689,3
DA:708,1
DA:709,2
DA:712,2
DA:713,1
DA:714,2
DA:715,1
DA:690,3
DA:709,1
DA:710,2
DA:713,2
DA:714,1
DA:715,2
DA:716,1
DA:718,2
DA:722,1
DA:717,1
DA:719,2
DA:723,1
DA:743,1
DA:744,2
DA:747,2
DA:748,1
DA:749,2
DA:724,1
DA:744,1
DA:745,2
DA:748,2
DA:749,1
DA:750,2
DA:753,2
DA:755,1
DA:757,2
DA:761,1
DA:751,2
DA:754,2
DA:756,1
DA:758,2
DA:762,1
DA:778,0
DA:780,0
DA:763,1
DA:779,0
DA:781,0
DA:782,0
DA:785,0
DA:783,0
DA:786,0
DA:787,0
DA:788,0
DA:789,0
DA:791,0
DA:790,0
DA:792,0
DA:793,0
DA:796,0
DA:794,0
DA:797,0
DA:798,0
DA:799,0
DA:802,0
DA:800,0
DA:803,0
DA:804,0
DA:807,0
DA:809,0
DA:805,0
DA:808,0
DA:810,0
DA:813,0
DA:819,0
DA:811,0
DA:814,0
DA:820,0
DA:836,1
DA:837,2
DA:838,1
DA:840,0
DA:821,0
DA:837,1
DA:838,2
DA:839,1
DA:841,0
DA:844,2
DA:845,1
DA:842,0
DA:845,2
DA:846,1
DA:859,1
DA:847,1
DA:860,1
DA:861,3
DA:865,2
DA:867,2
DA:869,2
DA:872,1
DA:873,2
DA:874,3
DA:876,1
DA:877,2
DA:861,1
DA:862,3
DA:866,2
DA:868,2
DA:870,2
DA:873,1
DA:874,2
DA:875,3
DA:877,1
DA:878,1
DA:879,2
DA:882,2
DA:883,2
DA:879,1
DA:880,1
DA:883,1
DA:884,1
DA:885,1
DA:886,3
DA:887,2
DA:889,2
DA:893,0
DA:885,2
DA:886,2
DA:887,4
DA:888,2
DA:890,1
DA:894,0
DA:895,0
DA:896,0
DA:898,0
DA:897,0
DA:899,0
DA:900,0
DA:901,0
DA:902,0
DA:903,0
DA:905,0
DA:904,0
DA:906,0
DA:907,0
DA:908,0
DA:909,0
DA:910,0
DA:911,0
DA:913,0
DA:912,0
DA:914,0
DA:917,0
DA:921,0
DA:915,0
DA:918,0
DA:922,0
DA:926,1
DA:927,2
DA:923,0
DA:927,1
DA:928,2
DA:929,2
DA:930,3
DA:931,1
DA:933,0
DA:930,2
DA:931,3
DA:932,1
DA:934,0
DA:935,0
DA:943,0
DA:947,1
DA:936,0
DA:944,0
DA:948,1
DA:949,2
DA:950,4
DA:951,4
DA:952,6
DA:953,2
DA:954,12
DA:955,3
DA:956,2
DA:957,2
DA:958,2
DA:959,2
DA:964,4
DA:965,2
DA:967,0
DA:949,1
DA:950,1
DA:951,2
DA:952,2
DA:953,3
DA:954,1
DA:955,8
DA:956,3
DA:957,1
DA:958,1
DA:959,1
DA:960,1
DA:965,4
DA:966,2
DA:968,0
DA:971,2
DA:969,0
DA:972,2
DA:973,4
DA:974,6
DA:975,4
DA:978,4
DA:979,2
DA:981,0
DA:973,2
DA:974,4
DA:975,6
DA:976,4
DA:979,4
DA:980,2
DA:982,0
DA:985,2
DA:983,0
DA:986,2
DA:987,4
DA:988,0
DA:987,2
DA:988,4
DA:989,0
DA:992,4
DA:993,2
DA:994,6
DA:995,2
DA:996,6
DA:990,0
DA:993,4
DA:994,2
DA:995,6
DA:996,2
DA:997,6
DA:998,2
DA:1000,3
DA:998,6
DA:999,2
DA:1001,3
DA:1002,2
DA:1005,0
DA:1002,3
DA:1003,2
DA:1006,0
DA:1007,0
DA:1011,0
DA:1008,0
DA:1012,0
DA:1018,1
DA:1019,2
DA:1020,1
DA:1056,2
DA:1057,2
DA:1058,2
DA:1061,0
DA:1013,0
DA:1019,1
DA:1020,2
DA:1021,1
DA:1057,1
DA:1058,1
DA:1059,1
DA:1062,0
DA:1063,0
DA:1070,2
DA:1072,2
DA:1079,1
DA:1080,4
DA:1081,3
DA:1086,1
DA:1087,2
DA:1064,0
DA:1071,1
DA:1073,1
DA:1080,1
DA:1081,4
DA:1082,3
DA:1087,1
DA:1088,2
DA:1089,1
DA:1090,2
DA:1092,0
DA:1116,1
DA:1117,2
DA:1089,2
DA:1090,1
DA:1091,2
DA:1093,0
DA:1117,1
DA:1118,2
DA:1119,1
DA:1120,0
DA:1122,0
DA:1151,1
DA:1152,2
DA:1153,1
DA:1154,0
DA:1156,3
DA:1157,1
DA:1161,1
DA:1162,2
DA:1163,0
DA:1165,2
DA:1169,1
DA:1170,2
DA:1171,2
DA:1172,2
DA:1173,2
DA:1174,5
DA:1177,1
DA:1179,2
DA:1181,4
DA:1184,0
DA:1211,1
DA:1212,1
DA:1213,1
DA:1214,6
DA:1226,1
DA:1228,0
DA:1243,1
DA:1244,1
DA:1247,1
DA:1248,3
DA:1260,1
DA:1261,1
DA:1264,0
DA:1265,0
DA:1266,0
DA:1268,0
DA:1272,0
DA:1273,0
DA:1119,2
DA:1120,1
DA:1121,0
DA:1123,0
DA:1152,1
DA:1153,2
DA:1154,1
DA:1155,0
DA:1157,3
DA:1158,1
DA:1162,1
DA:1163,2
DA:1164,0
DA:1166,2
DA:1179,1
DA:1180,2
DA:1181,2
DA:1182,2
DA:1183,2
DA:1184,5
DA:1187,1
DA:1189,2
DA:1191,4
DA:1194,0
DA:1221,1
DA:1222,1
DA:1223,1
DA:1224,6
DA:1236,1
DA:1238,0
DA:1253,1
DA:1254,1
DA:1257,1
DA:1258,3
DA:1270,1
DA:1271,1
DA:1274,0
DA:1275,0
DA:1276,0
DA:1290,1
DA:1291,1
DA:1292,6
DA:1293,3
DA:1294,9
DA:1295,7
DA:1297,1
DA:1298,3
DA:1299,1
DA:1302,4
DA:1304,1
DA:1278,0
DA:1282,0
DA:1283,0
DA:1284,0
DA:1286,0
DA:1300,2
DA:1301,2
DA:1302,6
DA:1303,3
DA:1304,5
DA:1305,4
DA:1307,1
DA:1308,3
DA:1309,1
DA:1312,3
DA:1314,1
DA:1315,4
LF:414
LH:224
end_of_record
+0 −16
Original line number Diff line number Diff line
%% Cell type:code id: tags:

``` rust
:dep pipe-lib = { path = "../pipe-lib" }
```

%% Cell type:code id: tags:

``` rust
:dep uriparse

use uriparse::URI;

let uri = URI::try_from("file:///path/to/file").unwrap();
let path = uri.path().clone();
println!("URI: {}", path);
```

%% Output

    URI: /path/to/file

%% Cell type:code id: tags:

``` rust
```
+2 −2
Original line number Diff line number Diff line
@@ -60,7 +60,7 @@ pub fn run(
            }
            // Prepare modules
            cfg.modules.par_iter().for_each(|module| match &module.module_type {
                | ModuleType::Binary { uri } => match ModuleUri::from(uri) {
                | ModuleType::Binary { uri, .. } => match ModuleUri::from(uri) {
                    | ModuleUri::Url(value) if !offline => match value.scheme() {
                        | Scheme::HTTP | Scheme::HTTPS | Scheme::SSH => {
                            let url = value.to_string();
@@ -187,7 +187,7 @@ pub fn run(
            });
            // Run workflow
            cfg.modules.iter().for_each(|module| match &module.module_type {
                | ModuleType::Binary { ref uri } => {
                | ModuleType::Binary { ref uri, .. } => {
                    let envs = EnvironmentValue::get_from_config(&cfg, Some(module.clone()));
                    let parent = PathBuf::from(uri).parent().unwrap().to_string_lossy().to_string();
                    let working_dir = URI::try_from(parent.as_str()).unwrap().clone().path().to_string();
+2 −1
Original line number Diff line number Diff line
@@ -28,3 +28,4 @@ tracing = { workspace = true }
tracing-log = { workspace = true }
tracing-subscriber = { workspace = true }
uriparse = { workspace = true }
sha2 = "0.10.8"
Loading