Skip to content

Commit b52c47a

Browse files
viren-nadkarniviren-nadkarni
committed
Use exclusion list across all test sessions
1 parent 0b9d371 commit b52c47a

1 file changed

Lines changed: 107 additions & 107 deletions

File tree

‎Makefile‎

Lines changed: 107 additions & 107 deletions
Original file line numberDiff line numberDiff line change
@@ -7,115 +7,115 @@ ifeq ($(TEST_SERVER_MODE), true)
77
# Exclude parallel tests
88
TEST_EXCLUDE := --ignore tests/test_acm --ignore tests/test_amp --ignore tests/test_awslambda --ignore tests/test_batch --ignore tests/test_dynamodb --ignore tests/test_ec2 --ignore tests/test_s3/ --ignore tests/test_sqs
99
# Parallel tests will be run separate
10-
PARALLEL_TESTS := ./tests/test_acm/ ./tests/test_acmpca/ ./tests/test_amp/ ./tests/test_awslambda ./tests/test_batch ./tests/test_dynamodb ./tests/test_ec2 ./tests/test_s3/ ./tests/test_sqs
10+
PARALLEL_TESTS := ./tests/test_acm/ ./tests/test_acmpca/ ./tests/test_amp/ ./tests/test_awslambda ./tests/test_dynamodb ./tests/test_ec2 ./tests/test_s3/ ./tests/test_sqs
1111
else
1212
TEST_EXCLUDE := --ignore tests/test_batch --ignore tests/test_dynamodb --ignore tests/test_ec2 --ignore tests/test_s3/ --ignore tests/test_sqs
13-
PARALLEL_TESTS := ./tests/test_batch ./tests/test_dynamodb ./tests/test_ec2 tests/test_s3/ ./tests/test_sqs
13+
PARALLEL_TESTS := ./tests/test_dynamodb ./tests/test_ec2 tests/test_s3/ ./tests/test_sqs
1414
endif
1515

1616
# Skip testing services that are not whitelisted for LocalStack
17-
TEST_EXCLUDE += --ignore tests/test_amp
18-
TEST_EXCLUDE += --ignore tests/test_apigatewaymanagementapi
19-
TEST_EXCLUDE += --ignore tests/test_appconfig
20-
TEST_EXCLUDE += --ignore tests/test_appmesh
21-
TEST_EXCLUDE += --ignore tests/test_appsync
22-
TEST_EXCLUDE += --ignore tests/test_athena
23-
TEST_EXCLUDE += --ignore tests/test_backup
24-
TEST_EXCLUDE += --ignore tests/test_batch
25-
TEST_EXCLUDE += --ignore tests/test_batch_simple
26-
TEST_EXCLUDE += --ignore tests/test_bedrock
27-
TEST_EXCLUDE += --ignore tests/test_bedrockagent
28-
TEST_EXCLUDE += --ignore tests/test_budgets
29-
TEST_EXCLUDE += --ignore tests/test_clouddirectory
30-
TEST_EXCLUDE += --ignore tests/test_cloudfront
31-
TEST_EXCLUDE += --ignore tests/test_cloudhsmv2
32-
TEST_EXCLUDE += --ignore tests/test_cloudtrail
33-
TEST_EXCLUDE += --ignore tests/test_comprehend
34-
TEST_EXCLUDE += --ignore tests/test_connect
35-
TEST_EXCLUDE += --ignore tests/test_connectcampaigns
36-
TEST_EXCLUDE += --ignore tests/test_databrew
37-
TEST_EXCLUDE += --ignore tests/test_datapipeline
38-
TEST_EXCLUDE += --ignore tests/test_datasync
39-
TEST_EXCLUDE += --ignore tests/test_dax
40-
TEST_EXCLUDE += --ignore tests/test_directconnect
41-
TEST_EXCLUDE += --ignore tests/test_dms
42-
TEST_EXCLUDE += --ignore tests/test_ds
43-
TEST_EXCLUDE += --ignore tests/test_dsql
44-
TEST_EXCLUDE += --ignore tests/test_dynamodbstreams
45-
TEST_EXCLUDE += --ignore tests/test_dynamodb_v20111205
46-
TEST_EXCLUDE += --ignore tests/test_ebs
47-
TEST_EXCLUDE += --ignore tests/test_ec2instanceconnect
48-
TEST_EXCLUDE += --ignore tests/test_efs
49-
TEST_EXCLUDE += --ignore tests/test_eks
50-
TEST_EXCLUDE += --ignore tests/test_elasticache
51-
TEST_EXCLUDE += --ignore tests/test_elasticbeanstalk
52-
TEST_EXCLUDE += --ignore tests/test_emrcontainers
53-
TEST_EXCLUDE += --ignore tests/test_emrserverless
54-
TEST_EXCLUDE += --ignore tests/test_es
55-
TEST_EXCLUDE += --ignore tests/test_firehose
56-
TEST_EXCLUDE += --ignore tests/test_forecast
57-
TEST_EXCLUDE += --ignore tests/test_fsx
58-
TEST_EXCLUDE += --ignore tests/test_glue
59-
TEST_EXCLUDE += --ignore tests/test_greengrass
60-
TEST_EXCLUDE += --ignore tests/test_guardduty
61-
TEST_EXCLUDE += --ignore tests/test_inspector2
62-
TEST_EXCLUDE += --ignore tests/test_ivs
63-
TEST_EXCLUDE += --ignore tests/test_kafka
64-
TEST_EXCLUDE += --ignore tests/test_kinesis
65-
TEST_EXCLUDE += --ignore tests/test_kinesisanalyticsv2
66-
TEST_EXCLUDE += --ignore tests/test_kinesisvideo
67-
TEST_EXCLUDE += --ignore tests/test_kinesisvideoarchivedmedia
68-
TEST_EXCLUDE += --ignore tests/test_lakeformation
69-
TEST_EXCLUDE += --ignore tests/test_lexv2models
70-
TEST_EXCLUDE += --ignore tests/test_macie
71-
TEST_EXCLUDE += --ignore tests/test_mediaconnect
72-
TEST_EXCLUDE += --ignore tests/test_medialive
73-
TEST_EXCLUDE += --ignore tests/test_mediapackage
74-
TEST_EXCLUDE += --ignore tests/test_mediapackagev2
75-
TEST_EXCLUDE += --ignore tests/test_mediastore
76-
TEST_EXCLUDE += --ignore tests/test_mediastoredata
77-
TEST_EXCLUDE += --ignore tests/test_memorydb
78-
TEST_EXCLUDE += --ignore tests/test_meteringmarketplace
79-
TEST_EXCLUDE += --ignore tests/test_mq
80-
TEST_EXCLUDE += --ignore tests/test_neptune
81-
TEST_EXCLUDE += --ignore tests/test_networkfirewall
82-
TEST_EXCLUDE += --ignore tests/test_networkmanager
83-
TEST_EXCLUDE += --ignore tests/test_opensearch
84-
TEST_EXCLUDE += --ignore tests/test_opensearchserverless
85-
TEST_EXCLUDE += --ignore tests/test_osis
86-
TEST_EXCLUDE += --ignore tests/test_panorama
87-
TEST_EXCLUDE += --ignore tests/test_personalize
88-
TEST_EXCLUDE += --ignore tests/test_pipes
89-
TEST_EXCLUDE += --ignore tests/test_polly
90-
TEST_EXCLUDE += --ignore tests/test_quicksight
91-
TEST_EXCLUDE += --ignore tests/test_rdsdata
92-
TEST_EXCLUDE += --ignore tests/test_redshiftdata
93-
TEST_EXCLUDE += --ignore tests/test_rekognition
94-
TEST_EXCLUDE += --ignore tests/test_resiliencehub
95-
TEST_EXCLUDE += --ignore tests/test_resourcegroupstaggingapi
96-
TEST_EXCLUDE += --ignore tests/test_route53domains
97-
TEST_EXCLUDE += --ignore tests/test_s3bucket_path
98-
TEST_EXCLUDE += --ignore tests/test_s3tables
99-
TEST_EXCLUDE += --ignore tests/test_s3vectors
100-
TEST_EXCLUDE += --ignore tests/test_sagemakermetrics
101-
TEST_EXCLUDE += --ignore tests/test_sagemakerruntime
102-
TEST_EXCLUDE += --ignore tests/test_sdb
103-
TEST_EXCLUDE += --ignore tests/test_securityhub
104-
TEST_EXCLUDE += --ignore tests/test_servicecatalog
105-
TEST_EXCLUDE += --ignore tests/test_servicecatalogappregistry
106-
TEST_EXCLUDE += --ignore tests/test_servicediscovery
107-
TEST_EXCLUDE += --ignore tests/test_servicequotas
108-
TEST_EXCLUDE += --ignore tests/test_sesv2
109-
TEST_EXCLUDE += --ignore tests/test_signer
110-
TEST_EXCLUDE += --ignore tests/test_stepfunctions
111-
TEST_EXCLUDE += --ignore tests/test_synthetics
112-
TEST_EXCLUDE += --ignore tests/test_timestreaminfluxdb
113-
TEST_EXCLUDE += --ignore tests/test_timestreamquery
114-
TEST_EXCLUDE += --ignore tests/test_timestreamwrite
115-
TEST_EXCLUDE += --ignore tests/test_transfer
116-
TEST_EXCLUDE += --ignore tests/test_vpclattice
117-
TEST_EXCLUDE += --ignore tests/test_workspaces
118-
TEST_EXCLUDE += --ignore tests/test_workspacesweb
17+
WHITELIST_EXCLUDE := --ignore tests/test_amp
18+
WHITELIST_EXCLUDE += --ignore tests/test_apigatewaymanagementapi
19+
WHITELIST_EXCLUDE += --ignore tests/test_appconfig
20+
WHITELIST_EXCLUDE += --ignore tests/test_appmesh
21+
WHITELIST_EXCLUDE += --ignore tests/test_appsync
22+
WHITELIST_EXCLUDE += --ignore tests/test_athena
23+
WHITELIST_EXCLUDE += --ignore tests/test_backup
24+
WHITELIST_EXCLUDE += --ignore tests/test_batch
25+
WHITELIST_EXCLUDE += --ignore tests/test_batch_simple
26+
WHITELIST_EXCLUDE += --ignore tests/test_bedrock
27+
WHITELIST_EXCLUDE += --ignore tests/test_bedrockagent
28+
WHITELIST_EXCLUDE += --ignore tests/test_budgets
29+
WHITELIST_EXCLUDE += --ignore tests/test_clouddirectory
30+
WHITELIST_EXCLUDE += --ignore tests/test_cloudfront
31+
WHITELIST_EXCLUDE += --ignore tests/test_cloudhsmv2
32+
WHITELIST_EXCLUDE += --ignore tests/test_cloudtrail
33+
WHITELIST_EXCLUDE += --ignore tests/test_comprehend
34+
WHITELIST_EXCLUDE += --ignore tests/test_connect
35+
WHITELIST_EXCLUDE += --ignore tests/test_connectcampaigns
36+
WHITELIST_EXCLUDE += --ignore tests/test_databrew
37+
WHITELIST_EXCLUDE += --ignore tests/test_datapipeline
38+
WHITELIST_EXCLUDE += --ignore tests/test_datasync
39+
WHITELIST_EXCLUDE += --ignore tests/test_dax
40+
WHITELIST_EXCLUDE += --ignore tests/test_directconnect
41+
WHITELIST_EXCLUDE += --ignore tests/test_dms
42+
WHITELIST_EXCLUDE += --ignore tests/test_ds
43+
WHITELIST_EXCLUDE += --ignore tests/test_dsql
44+
WHITELIST_EXCLUDE += --ignore tests/test_dynamodbstreams
45+
WHITELIST_EXCLUDE += --ignore tests/test_dynamodb_v20111205
46+
WHITELIST_EXCLUDE += --ignore tests/test_ebs
47+
WHITELIST_EXCLUDE += --ignore tests/test_ec2instanceconnect
48+
WHITELIST_EXCLUDE += --ignore tests/test_efs
49+
WHITELIST_EXCLUDE += --ignore tests/test_eks
50+
WHITELIST_EXCLUDE += --ignore tests/test_elasticache
51+
WHITELIST_EXCLUDE += --ignore tests/test_elasticbeanstalk
52+
WHITELIST_EXCLUDE += --ignore tests/test_emrcontainers
53+
WHITELIST_EXCLUDE += --ignore tests/test_emrserverless
54+
WHITELIST_EXCLUDE += --ignore tests/test_es
55+
WHITELIST_EXCLUDE += --ignore tests/test_firehose
56+
WHITELIST_EXCLUDE += --ignore tests/test_forecast
57+
WHITELIST_EXCLUDE += --ignore tests/test_fsx
58+
WHITELIST_EXCLUDE += --ignore tests/test_glue
59+
WHITELIST_EXCLUDE += --ignore tests/test_greengrass
60+
WHITELIST_EXCLUDE += --ignore tests/test_guardduty
61+
WHITELIST_EXCLUDE += --ignore tests/test_inspector2
62+
WHITELIST_EXCLUDE += --ignore tests/test_ivs
63+
WHITELIST_EXCLUDE += --ignore tests/test_kafka
64+
WHITELIST_EXCLUDE += --ignore tests/test_kinesis
65+
WHITELIST_EXCLUDE += --ignore tests/test_kinesisanalyticsv2
66+
WHITELIST_EXCLUDE += --ignore tests/test_kinesisvideo
67+
WHITELIST_EXCLUDE += --ignore tests/test_kinesisvideoarchivedmedia
68+
WHITELIST_EXCLUDE += --ignore tests/test_lakeformation
69+
WHITELIST_EXCLUDE += --ignore tests/test_lexv2models
70+
WHITELIST_EXCLUDE += --ignore tests/test_macie
71+
WHITELIST_EXCLUDE += --ignore tests/test_mediaconnect
72+
WHITELIST_EXCLUDE += --ignore tests/test_medialive
73+
WHITELIST_EXCLUDE += --ignore tests/test_mediapackage
74+
WHITELIST_EXCLUDE += --ignore tests/test_mediapackagev2
75+
WHITELIST_EXCLUDE += --ignore tests/test_mediastore
76+
WHITELIST_EXCLUDE += --ignore tests/test_mediastoredata
77+
WHITELIST_EXCLUDE += --ignore tests/test_memorydb
78+
WHITELIST_EXCLUDE += --ignore tests/test_meteringmarketplace
79+
WHITELIST_EXCLUDE += --ignore tests/test_mq
80+
WHITELIST_EXCLUDE += --ignore tests/test_neptune
81+
WHITELIST_EXCLUDE += --ignore tests/test_networkfirewall
82+
WHITELIST_EXCLUDE += --ignore tests/test_networkmanager
83+
WHITELIST_EXCLUDE += --ignore tests/test_opensearch
84+
WHITELIST_EXCLUDE += --ignore tests/test_opensearchserverless
85+
WHITELIST_EXCLUDE += --ignore tests/test_osis
86+
WHITELIST_EXCLUDE += --ignore tests/test_panorama
87+
WHITELIST_EXCLUDE += --ignore tests/test_personalize
88+
WHITELIST_EXCLUDE += --ignore tests/test_pipes
89+
WHITELIST_EXCLUDE += --ignore tests/test_polly
90+
WHITELIST_EXCLUDE += --ignore tests/test_quicksight
91+
WHITELIST_EXCLUDE += --ignore tests/test_rdsdata
92+
WHITELIST_EXCLUDE += --ignore tests/test_redshiftdata
93+
WHITELIST_EXCLUDE += --ignore tests/test_rekognition
94+
WHITELIST_EXCLUDE += --ignore tests/test_resiliencehub
95+
WHITELIST_EXCLUDE += --ignore tests/test_resourcegroupstaggingapi
96+
WHITELIST_EXCLUDE += --ignore tests/test_route53domains
97+
WHITELIST_EXCLUDE += --ignore tests/test_s3bucket_path
98+
WHITELIST_EXCLUDE += --ignore tests/test_s3tables
99+
WHITELIST_EXCLUDE += --ignore tests/test_s3vectors
100+
WHITELIST_EXCLUDE += --ignore tests/test_sagemakermetrics
101+
WHITELIST_EXCLUDE += --ignore tests/test_sagemakerruntime
102+
WHITELIST_EXCLUDE += --ignore tests/test_sdb
103+
WHITELIST_EXCLUDE += --ignore tests/test_securityhub
104+
WHITELIST_EXCLUDE += --ignore tests/test_servicecatalog
105+
WHITELIST_EXCLUDE += --ignore tests/test_servicecatalogappregistry
106+
WHITELIST_EXCLUDE += --ignore tests/test_servicediscovery
107+
WHITELIST_EXCLUDE += --ignore tests/test_servicequotas
108+
WHITELIST_EXCLUDE += --ignore tests/test_sesv2
109+
WHITELIST_EXCLUDE += --ignore tests/test_signer
110+
WHITELIST_EXCLUDE += --ignore tests/test_stepfunctions
111+
WHITELIST_EXCLUDE += --ignore tests/test_synthetics
112+
WHITELIST_EXCLUDE += --ignore tests/test_timestreaminfluxdb
113+
WHITELIST_EXCLUDE += --ignore tests/test_timestreamquery
114+
WHITELIST_EXCLUDE += --ignore tests/test_timestreamwrite
115+
WHITELIST_EXCLUDE += --ignore tests/test_transfer
116+
WHITELIST_EXCLUDE += --ignore tests/test_vpclattice
117+
WHITELIST_EXCLUDE += --ignore tests/test_workspaces
118+
WHITELIST_EXCLUDE += --ignore tests/test_workspacesweb
119119

120120
init:
121121
@pip install -e .
@@ -135,13 +135,13 @@ format:
135135
test-only:
136136
rm -f .coverage
137137
rm -rf cover
138-
pytest -sv -rs --cov=moto --cov-report xml ./tests/ $(TEST_EXCLUDE)
138+
pytest -sv -rs --cov=moto --cov-report xml ./tests/ $(TEST_EXCLUDE) $(WHITELIST_EXCLUDE)
139139
# https://github.com/aws/aws-xray-sdk-python/issues/196 - Run these tests separately without Coverage enabled
140140
pytest -sv -rs ./tests/test_xray
141141
# Run tests that require a clean slate
142-
pytest -sv --cov=moto --cov-report xml --cov-append ./tests/ -m requires_clean_slate
142+
pytest -sv --cov=moto --cov-report xml --cov-append ./tests/ $(WHITELIST_EXCLUDE) -m requires_clean_slate
143143
# Run parallel tests - except those that require a clean slate
144-
MOTO_CALL_RESET_API=false pytest -sv --cov=moto --cov-report xml --cov-append -n 4 $(PARALLEL_TESTS) --dist loadscope -m "not requires_clean_slate"
144+
MOTO_CALL_RESET_API=false pytest -sv --cov=moto --cov-report xml --cov-append -n 4 $(PARALLEL_TESTS) $(WHITELIST_EXCLUDE) --dist loadscope -m "not requires_clean_slate"
145145

146146
test: lint test-only
147147

0 commit comments

Comments
 (0)