哪个激活函数保持恒定的导数？

Which activation function maintains constant derivatives?

Question

哪个激活函数保持恒定的导数？

Which activation function maintains constant derivatives?

BlackTom AI · Accepted Answer

题目要求在给定的选项中选择一个保持恒定导数的激活函数。先逐个分析选项的导数特性，以判断是否满足“恒定导数”的条件。

选项 SoftMax：SoftMax 不是单一输入的逐点激活函数，而是对一组输入向量的分布进行归一化的函数。它在不同输入值处的雅可比矩阵（导数）并不是常数，而是依赖于输入向量的具体值，因此不保持恒定导数。

选项 流形 Manifold：这里明显不是一个常见的激活函数名称，可能是混淆或翻译错误。既然它不是一个已知的激活函数，其导数是否恒定就无法成立，因此不能作为“保持恒定导数”的候选。

选项 Sigmoid：Sigmoid 曲线的导数与输入值有关，表达式为 s(x) * (1 - s(x))，其中 s(x) 在输入变化时也在变化，因此导数并非恒定不变，而是随着输入改变而变化。

选项 ReLu：ReLU 的导数在输入 x < 0 时为 0，在 x > 0 时为 1，属于分段常数型导数。虽然在不同区间内导数是常数，但整体上对所有输入并不是“恒定的单一导数值”，而是取决于输入是否落在负区间还是正区间，且在 0 点未定义，因此也不能视为“保持恒定导数”的函数。

综合来看，四个选项中没有一个在所有输入条件下都具有一个固定的导数值。SoftMax、Sigmoid 的导数随输入变化而变化；ReLU 的导数在不同输入区间呈现两种不同的常数值（0 或 1），但不是对所有输入都恒定相同；Manifold 不是一个明确的激活函数。若题目要严格回答“保持恒定导数”的激活函数，常见答案应为线性激活等单一常数导数的情况，但在给出的选项里并不存在。

2025FallB-X-CSE571-78760 期末考试 Final Exam

哪个激活函数保持恒定的导数？ Which activation function maintains constant derivatives?

查看解析

登录即可查看完整答案

类似问题

What of the following are commonly used activation functions for neural networks? I Exponential function. II Rectified Linear Unit (ReLU) function. III Sigmoid function. IV Logarithm function.

Which of these plots represents a ReLU activation function?

Question at position 22 What is the purpose of the activation function in an MLP?It determines the loss function used in the MLP. It controls the learning rate of the MLP algorithm.It provides the non-linearity of the MLP network. It determines the number of hidden layers in the MLP.

Question at position 7 What activation functions are commonly used in hidden layers of neural networks? (Select all possible answers)SigmoidReLUSoftmaxTanhLinearUnit Step

Which of the following is the advantage of Leaky ReLU compared to ReLU?

What does the ReLU activation function do?

更多留学生实用工具

考试浏览器助手

风格化写作助手

论文查重助手

文献引用助手

课堂转译助手

课堂笔记助手

Quiz搜索助手

学校历年真题

智能刷题助手

智能匹配练习

希望你的学习变得更简单