38、支持向量机与热门微博预测算法研究

支持向量机与热门微博预测算法研究

支持向量机相关算法改进

在支持向量机的研究中，有对 SUPDA 算法的改进。与以往的优化技术不同，改进后的 ISUPDA 算法在每次迭代中，以概率 $\alpha = \frac{2\eta G \log T}{\log n}$ 执行 SUPDA 的原始步骤。以下是 ISUPDA 算法的伪代码：

Algorithm 3. ISUPDA
Input: ε > 0.
Output: ¯z = 1/T * Σt zt.
1: Let T ← 1002ε−2 log n, η ← √(log n / T), q1 ← 1n, p1 ← q1 / ∥q1∥1, α ← 2ηG log T / log n.
2: Replace line 4 of SUPDA by: With probability α, zt ← SGD(zt, ci).

对 ISUPDA 算法的分析包括时间复杂度分析和后悔分析：
- 时间复杂度分析 ：SUPDA 和 ISUPDA 的迭代次数均为 $T = O(\varepsilon^{-2} \log n)$。SUPDA 每次迭代中，原始解 $z_t$ 通过 SGD 算法更新，时间为 $O(d)$；分布 $p_t$ 通过 MW 算法更新，时间为 $O(n)$，总运行时间为 $O(\varepsilon^{-2}(n + d) \log n)$。而 ISUPDA 由于原始步骤以概率 $\alpha$ 执行，总预期运行时间改进为 $O(\alpha Td + Tn) = O(\varepsilon^{