博客

DeepSeek-V2中的MLA详解
DeepSeek-V2是DeepSeek团队最新发布的MoE（Mixture of Experts）架构的LLM（大型语言模型）底座。该模型拥有236B的总参数量和21B的每个token激活参数量，支持128K tokens的上下文长度。DeepSeek-V2的一个核心创新点就是Multi-head Latent Attention（MLA）。

Multi-head Latent Attention（MLA）简介

MLA对传统Transformer中的多头注意力机制（MHA）进行了改进，主要目标是：
1. 降低推理时KV Cache的存储开销；
2. 缓解GQA（Grouped-Query Attention）和MQA（Multi-Query Attention）等方法导致的模型性能损耗。
标准的MHA结构

在标准的MHA结构中，每个token的query、key和value通过参数矩阵映射得到，并分割成多个注意力头。每个头独立计算注意力权重并得到输出，这个过程虽然能捕捉丰富的上下文信息，但在推理时需要缓存大量的KV Cache。

MLA如何改进？

MLA通过对keys和values进行低秩联合压缩来降低KV Cache：
1. 低秩Key-Value联合压缩：
  [
  \mathbf{c}_t^{KV} = W^{DKV} \mathbf{h}_t
  ]
  [
  \mathbf{k}_t^C = W^{UK} \mathbf{c}_t^{KV}
  ]
  [
  \mathbf{v}_t^C = W^{UV} \mathbf{c}_t^{KV}
  ]
  其中，(\mathbf{c}_t^{KV})表示压缩后的隐向量，(W^{DKV})是降维映射矩阵，(W^{UK})和(W^{UV})是升维映射矩阵。在推理时，只需要缓存隐向量(\mathbf{c}_t^{KV})，显著减少了KV Cache的容量。
2. Queries的低秩压缩：
  [
  \mathbf{c}_t^Q = W^{DQ} \mathbf{h}_t
  ]
  [
  \mathbf{q}_t^C = W^{UQ} \mathbf{c}_t^Q
  ]
  这样即便不能减少KV Cache，但可以降低训练过程中的激活内存。
代码实现

以下是MLA在DeepSeek-V2中的Python代码实现片段：

class DeepSeekV2Attention(nn.Module): def init(self, config: DeepSeekV2Config, layer_idx: Optional[int] = None): … self.w_dq = nn.Linear(self.hidden_size, config.q_lora_rank, bias=config.attention_bias) self.w_uq = nn.Linear(config.q_lora_rank, self.num_heads * self.q_head_dim, bias=False) self.w_dkv = nn.Linear(self.hidden_size, self.dc, bias=config.attention_bias) self.w_uk = nn.Linear(self.dc, self.num_heads * self.q_head_dim, bias=False) self.w_uv = nn.Linear(self.dc, self.num_heads * self.q_head_dim, bias=False)
```
def forward(self, hidden_states: torch.Tensor, attention_mask: Optional[torch.Tensor] = None, 
            position_ids: Optional[torch.LongTensor] = None, past_key_value: Optional[Cache] = None, 
            output_attentions: bool = False, use_cache: bool = False, **kwargs):
    bsz, q_len, _ = hidden_states.size()

    q = self.w_uq(self.q_a_layernorm(self.w_dq(hidden_states))).view(bsz, q_len, self.num_heads, self.q_head_dim).transpose(1, 2)
    kv_seq_len = q.size(-2)
    if past_key_value is not None:
        kv_seq_len += past_key_value.get_usable_length(kv_seq_len, self.layer_idx)

    compressed_kv = self.w_dkv(hidden_states)
    if past_key_value is not None:
        compressed_kv = past_key_value.update(compressed_kv)

    k = self.w_uk(compressed_kv).view(bsz, -1, self.num_heads, self.q_head_dim).transpose(1, 2)
        v = self.w_uv(compressed_kv).view(bsz, -1, self.num_heads, self.q_head_dim).transpose(1, 2)

        attn_weights = torch.matmul(q, k.transpose(2, 3)) * self.softmax_scale
        attn_weights = nn.functional.softmax(attn_weights, dim=-1)

        if output_attentions:
            outputs = (attn_weights,)
        else:
            outputs = ()

        attn_output = torch.matmul(attn_weights, v)
        attn_output = attn_output.transpose(1, 2).contiguous().view(bsz, q_len, self.hidden_size)

        attn_output = self.out_proj(attn_output)
        outputs = (attn_output,) + outputs

        if use_cache:
            outputs = outputs + (past_key_value,)

        return outputs
```
```
结论
DeepSeek-V2通过引入Multi-head Latent Attention（MLA）结构，成功优化了传统的多头注意力机制（MHA），在保证模型性能的同时，显著降低了推理时KV Cache的存储开销。这不仅提高了模型的效率，也为未来的大模型架构设计提供了新的思路。

MLA的实现通过对queries、keys和values进行低秩压缩，减少了存储需求，缓解了因GQA和MQA方法导致的性能损耗。这种创新在深度学习模型的设计中具有重要的参考价值。

如果你对于DeepSeek-V2的MLA结构有更多的兴趣，建议查看其开源代码和详细文档，以便深入理解其工作机制和实现细节。
2024 年 5 月 24 日

整体调整Android App的UI亮度

要在夜间模式下整体降低 Android 应用的亮度，以实现车内环境中舒适的视觉效果，你可以使用以下几种方法：

使用主题和样式降低亮度：调整应用的主题和颜色资源，使夜间模式的颜色更暗、更柔和。
使用屏幕亮度调整：在代码中动态调整屏幕亮度。

下面详细介绍这两种方法：

方法一：调整主题和样式

创建夜间模式资源文件：在 res/values-night 文件夹中创建 styles.xml 文件，并定义夜间模式的颜色。

   <resources>
       <!-- Base application theme for Night mode -->
       <style name="AppTheme" parent="Theme.AppCompat.DayNight">
           <!-- Customize your theme here. -->
           <item name="colorPrimary">@color/colorPrimaryNight</item>
           <item name="colorPrimaryDark">@color/colorPrimaryDarkNight</item>
           <item name="colorAccent">@color/colorAccentNight</item>
           <!-- Add more customizations if needed -->
       </style>
   </resources>

定义夜间模式的颜色：在 res/values-night/colors.xml 文件中定义较暗的颜色。

   <resources>
       <color name="colorPrimary">#121212</color> <!-- A dark gray color -->
       <color name="colorPrimaryDark">#000000</color> <!-- Black color -->
       <color name="colorAccent">#BB86FC</color> <!-- A soft purple for accents -->
       <!-- Define more colors if needed -->
   </resources>

启用夜间模式：在代码中启用夜间模式。例如，在 MainActivity 中：

   import android.os.Bundle;
   import androidx.appcompat.app.AppCompatActivity;
   import androidx.appcompat.app.AppCompatDelegate;

   public class MainActivity extends AppCompatActivity {
       @Override
       protected void onCreate(Bundle savedInstanceState) {
           super.onCreate(savedInstanceState);
           setContentView(R.layout.activity_main);

           // Enable night mode
           AppCompatDelegate.setDefaultNightMode(AppCompatDelegate.MODE_NIGHT_YES);
       }
   }

方法二：动态调整屏幕亮度

你可以使用代码动态调整屏幕的亮度，以适应车内环境的需求。

调整屏幕亮度：你可以在 Activity 中使用以下代码来调整屏幕亮度：

import android.os.Bundle;
import android.provider.Settings;
import android.view.Window;
import android.view.WindowManager;
import androidx.appcompat.app.AppCompatActivity;

public class MainActivity extends AppCompatActivity {
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        // Enable night mode
        AppCompatDelegate.setDefaultNightMode(AppCompatDelegate.MODE_NIGHT_YES);

        // Set screen brightness to a lower value
        setScreenBrightness(0.1f);  // Value between 0.0 (dark) and 1.0 (bright)
    }

    private void setScreenBrightness(float brightnessValue) {
        Window window = getWindow();
        WindowManager.LayoutParams layoutParams = window.getAttributes();
        layoutParams.screenBrightness = brightnessValue;
        window.setAttributes(layoutParams);
    }
}

请求系统权限（如果需要）：

如果你需要全局调整系统亮度，你可能需要请求系统权限。在 AndroidManifest.xml 中添加权限：

<uses-permission android:name="android.permission.WRITE_SETTINGS"/>

然后在代码中请求权限：

import android.content.Intent;
import android.os.Bundle;
import android.provider.Settings;
import androidx.appcompat.app.AppCompatActivity;

public class MainActivity extends AppCompatActivity {
    private static final int REQUEST_CODE_WRITE_SETTINGS = 1;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        if (Settings.System.canWrite(this)) {
            // Set screen brightness to a lower value
            setScreenBrightness(0.1f);
        } else {
            Intent intent = new Intent(Settings.ACTION_MANAGE_WRITE_SETTINGS);
            intent.setData(Uri.parse("package:" + getPackageName()));
            startActivityForResult(intent, REQUEST_CODE_WRITE_SETTINGS);
        }
    }

在 onActivityResult 中处理权限请求的结果：

   @Override
   protected void onActivityResult(int requestCode, int resultCode, Intent data) {
       super.onActivityResult(requestCode, resultCode, data);
       if (requestCode == REQUEST_CODE_WRITE_SETTINGS) {
           if (Settings.System.canWrite(this)) {
               // 权限已授予，设置屏幕亮度
               setScreenBrightness(0.1f);
           } else {
               // 权限被拒绝，处理相应的逻辑
               Toast.makeText(this, "需要系统写入权限来调整屏幕亮度", Toast.LENGTH_SHORT).show();
           }
       }
   }

   private void setScreenBrightness(float brightnessValue) {
       // 检查权限是否已授予
       if (Settings.System.canWrite(this)) {
           Window window = getWindow();
           WindowManager.LayoutParams layoutParams = window.getAttributes();
           layoutParams.screenBrightness = brightnessValue;
           window.setAttributes(layoutParams);

           // 设置系统全局的屏幕亮度
           Settings.System.putInt(getContentResolver(), Settings.System.SCREEN_BRIGHTNESS, (int) (brightnessValue * 255));
       } else {
           Toast.makeText(this, "没有系统写入权限", Toast.LENGTH_SHORT).show();
       }
   }

结合两种方法

你可以结合上述两种方法，既调整应用的主题颜色，又动态调整屏幕亮度，以达到最佳的夜间模式效果。

总结

调整应用主题和样式：使用 Android 的 DayNight 主题和夜间模式资源文件，定义较暗的颜色来适应夜间模式。
动态调整屏幕亮度：在代码中动态调整屏幕亮度，使屏幕整体亮度降低，从而在车内环境中提供更舒适的视觉效果。

通过这两种方法的结合，你可以为用户提供一个更好的夜间使用体验。希望这些方法能够帮助你实现应用的夜间模式功能。

如果不想调整屏幕亮度，你可以通过调整应用的整体 UI 亮度来实现夜间模式效果。以下是几种简单的方法：

方法一：使用半透明的暗色覆盖层

为整个应用添加一个半透明的暗色覆盖层，以降低整体亮度。

在 XML 布局文件中添加覆盖层：在你的主布局文件中添加一个 View，并将其设置为半透明的黑色。

   <FrameLayout xmlns:android="http://schemas.android.com/apk/res/android"
       android:layout_width="match_parent"
       android:layout_height="match_parent">

       <!-- 其他布局组件 -->

       <!-- 覆盖层 -->
       <View
           android:id="@+id/overlay"
           android:layout_width="match_parent"
           android:layout_height="match_parent"
           android:background="#80000000" /> <!-- 50% 透明度的黑色 -->
   </FrameLayout>

在代码中控制覆盖层的可见性：在代码中动态控制覆盖层的可见性，以便在需要时启用或禁用夜间模式。

   import android.os.Bundle;
   import android.view.View;
   import androidx.appcompat.app.AppCompatActivity;

   public class MainActivity extends AppCompatActivity {
       private View overlay;

       @Override
       protected void onCreate(Bundle savedInstanceState) {
           super.onCreate(savedInstanceState);
           setContentView(R.layout.activity_main);

           overlay = findViewById(R.id.overlay);

           // 启用夜间模式
           enableNightMode(true);
       }

       private void enableNightMode(boolean enable) {
           if (enable) {
               overlay.setVisibility(View.VISIBLE);
           } else {
               overlay.setVisibility(View.GONE);
           }
       }
   }

方法二：调整应用的主题颜色

使用 DayNight 主题，并为夜间模式定义较暗的颜色。

创建夜间模式的颜色资源：在 res/values-night/colors.xml 文件中定义较暗的颜色。

   <resources>
       <color name="colorPrimary">#121212</color>
       <color name="colorPrimaryDark">#000000</color>
       <color name="colorAccent">#BB86FC</color>
       <!-- 其他颜色定义 -->
   </resources>

在 styles.xml 中定义夜间模式主题：在 res/values-night/styles.xml 文件中定义夜间模式的主题。

   <resources>
       <style name="AppTheme" parent="Theme.AppCompat.DayNight">
           <item name="colorPrimary">@color/colorPrimaryNight</item>
           <item name="colorPrimaryDark">@color/colorPrimaryDarkNight</item>
           <item name="colorAccent">@color/colorAccentNight</item>
           <!-- 其他主题属性 -->
       </style>
   </resources>

启用夜间模式：在代码中启用夜间模式。

   import android.os.Bundle;
   import androidx.appcompat.app.AppCompatActivity;
   import androidx.appcompat.app.AppCompatDelegate;

   public class MainActivity extends AppCompatActivity {
       @Override
       protected void onCreate(Bundle savedInstanceState) {
           super.onCreate(savedInstanceState);
           setContentView(R.layout.activity_main);

           // 启用夜间模式
           AppCompatDelegate.setDefaultNightMode(AppCompatDelegate.MODE_NIGHT_YES);
       }
   }

方法三：动态调整各个 UI 组件的亮度

可以通过编程方式调整各个 UI 组件的亮度，例如背景色和文本色。

遍历并调整视图树中的每个视图： “`java
import android.os.Bundle;
import android.view.View;
import android.view.ViewGroup;
import android.widget.TextView;
import androidx.appcompat.app.AppCompatActivity; public class MainActivity extends AppCompatActivity {
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main); // 调整每个视图的亮度 View rootView = findViewById(android.R.id.content); adjustBrightness(rootView, 0.5f); // 0.5 表示 50% 亮度 } private void adjustBrightness(View view, float brightnessFactor) {
if (view instanceof ViewGroup) {
ViewGroup viewGroup = (ViewGroup) view;
for (int i = 0; i < viewGroup.getChildCount(); i++) {
adjustBrightness(viewGroup.getChildAt(。。。。。。

递归调整视图树中的每个视图：下面的代码示例演示了如何递归遍历视图树，并调整每个视图的亮度。该方法适用于 TextView、ImageView 等常见视图组件。

   import android.graphics.Color;
   import android.os.Bundle;
   import android.view.View;
   import android.view.ViewGroup;
   import android.widget.TextView;
   import androidx.appcompat.app.AppCompatActivity;

   public class MainActivity extends AppCompatActivity {
       @Override
       protected void onCreate(Bundle savedInstanceState) {
           super.onCreate(savedInstanceState);
           setContentView(R.layout.activity_main);

           // 调整每个视图的亮度
           View rootView = findViewById(android.R.id.content);
           adjustBrightness(rootView, 0.5f);  // 0.5 表示 50% 亮度
       }

       private void adjustBrightness(View view, float brightnessFactor) {
           // 调整 TextView 的文本颜色
           if (view instanceof TextView) {
               TextView textView = (TextView) view;
               int color = textView.getCurrentTextColor();
               textView.setTextColor(adjustColorBrightness(color, brightnessFactor));
           }

           // 对于其他视图类型，可以在这里添加类似的处理逻辑
           // 例如：调整 ImageView 的图像亮度

           // 如果视图是 ViewGroup，递归调整子视图
           if (view instanceof ViewGroup) {
               ViewGroup viewGroup = (ViewGroup) view;
               for (int i = 0; i < viewGroup.getChildCount(); i++) {
                   adjustBrightness(viewGroup.getChildAt(i), brightnessFactor);
               }
           }
       }

       private int adjustColorBrightness(int color, float brightnessFactor) {
           int alpha = Color.alpha(color);
           int red = (int) (Color.red(color) * brightnessFactor);
           int green = (int) (Color.green(color) * brightnessFactor);
           int blue = (int) (Color.blue(color) * brightnessFactor);
           return Color.argb(alpha, red, green, blue);
       }
   }

方法四：使用自定义的主题属性

你可以创建自定义的主题属性来定义较暗的颜色，并在应用的各个组件中使用这些属性。

定义自定义主题属性：在 res/values/attrs.xml 文件中定义自定义属性。

   <resources>
       <attr name="nightModeBackgroundColor" format="color"/>
       <attr name="nightModeTextColor" format="color"/>
   </resources>

在主题中设置这些属性：在 res/values/styles.xml 和 res/values-night/styles.xml 文件中分别设置这些属性。

   <!-- res/values/styles.xml -->
   <resources>
       <style name="AppTheme" parent="Theme.AppCompat.DayNight">
           <item name="nightModeBackgroundColor">@color/lightBackground</item>
           <item name="nightModeTextColor">@color/lightText</item>
       </style>
   </resources>

   <!-- res/values-night/styles.xml -->
   <resources>
       <style name="AppTheme" parent="Theme.AppCompat.DayNight">
           <item name="nightModeBackgroundColor">@color/darkBackground</item>
           <item name="nightModeTextColor">@color/darkText</item>
       </style>
   </resources>

在布局文件中使用这些属性：在布局文件中使用这些自定义属性。

   <TextView
       android:layout_width="wrap_content"
       android:layout_height="wrap_content"
       android:background="?attr/nightModeBackgroundColor"
       android:textColor="?attr/nightModeTextColor"
       android:text="Hello, World!" />

结论

通过以上几种方法，你可以在不调整屏幕亮度的情况下，实现 Android 应用整体 UI 亮度的降低：

使用半透明的暗色覆盖层：简单直接，可以快速实现整体亮度降低。
调整应用的主题颜色：使用 DayNight 主题，实现更加规范的夜间模式。
动态调整各个 UI 组件的亮度：细粒度控制每个组件的亮度，适用于需要精细调整的场景。
使用自定义的主题属性：通过自定义属性，灵活定义和应用夜间模式

为实现使用半透明的暗色覆盖层且不影响触摸点击操作，你可以使用 FrameLayout 来添加一个透明的覆盖层，并将它设置为不接收触摸事件。这样可以确保覆盖层不会干扰用户的点击操作。

实现步骤

在 XML 布局文件中添加覆盖层：在你的主布局文件中添加一个 View，并将其设置为半透明的黑色。将这个 View 放在布局的最上层，并设置 android:clickable 属性为 false。

   <FrameLayout xmlns:android="http://schemas.android.com/apk/res/android"
       android:layout_width="match_parent"
       android:layout_height="match_parent">

       <!-- 其他布局组件 -->

       <!-- 覆盖层 -->
       <View
           android:id="@+id/overlay"
           android:layout_width="match_parent"
           android:layout_height="match_parent"
           android:background="#80000000" <!-- 50% 透明度的黑色 -->
           android:clickable="false"
           android:focusable="false" />
   </FrameLayout>

在代码中控制覆盖层的可见性：在代码中动态控制覆盖层的可见性，以便在需要时启用或禁用夜间模式。

   import android.os.Bundle;
   import android.view.View;
   import androidx.appcompat.app.AppCompatActivity;

   public class MainActivity extends AppCompatActivity {
       private View overlay;

       @Override
       protected void onCreate(Bundle savedInstanceState) {
           super.onCreate(savedInstanceState);
           setContentView(R.layout.activity_main);

           overlay = findViewById(R.id.overlay);

           // 启用夜间模式
           enableNightMode(true);
       }

       private void enableNightMode(boolean enable) {
           if (enable) {
               overlay.setVisibility(View.VISIBLE);
           } else {
               overlay.setVisibility(View.GONE);
           }
       }
   }

确保覆盖层不影响触摸事件

为了确保覆盖层不影响触摸事件，你还可以使用 setOnTouchListener 方法，返回 false，表示覆盖层不处理触摸事件，将它们传递给下面的视图。

import android.os.Bundle;
import android.view.View;
import android.view.MotionEvent;
import androidx.appcompat.app.AppCompatActivity;

public class MainActivity extends AppCompatActivity {
    private View overlay;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        overlay = findViewById(R.id.overlay);

        // 设置覆盖层的触摸监听器，确保不拦截触摸事件
        overlay.setOnTouchListener((v, event) -> false);

        // 启用夜间模式
        enableNightMode(true);
    }

    private void enableNightMode(boolean enable) {
        if (enable) {
            overlay.setVisibility(View.VISIBLE);
        } else {
            overlay.setVisibility(View.GONE);
        }
    }
}

结论

通过上述方法，你可以使用半透明的暗色覆盖层来降低 Android 应用的整体亮度，同时确保覆盖层不会影响用户的触摸和点击操作。这种方法简单且高效，适用于需要快速实现夜间模式效果的场景。

2024 年 5 月 23 日

博客

DeepSeek-V2中的MLA详解

Multi-head Latent Attention（MLA）简介

标准的MHA结构

MLA如何改进？

代码实现