被告应在法定期间内提供与被诉行政行为合法性相关的所有证据。一般而言，被告若要证明行政行为的合法性，应从以下五个方面来提供证据：

1.有关主体的证据材料，如果原告对行政主体的职权存在争议的，应该提出有关其职权依据的证据。

2.有关行政程序的证据材料。

3.有关被诉行政行为认定所认定事实的证据材料。

4.自由裁量合理性的证据材料。

5.有关被诉行政行为所依据的规范性文件。

【法律依据】

《行政诉讼法》第三十四条，被告对作出的行政行为负有举证责任，应当提供作出该行政行为的证据和所依据的规范性文件。被告不提供或者无正当理由逾期提供证据，视为没有相应证据。但是，被诉行政行为涉及第三人合法权益，第三人提供证据的除外。