问题场景描述

在Linux系统运维和数据处理过程中，我们经常需要批量处理二进制文件或日志文件。最近遇到一个典型需求：需要批量删除/data/logs/目录下所有文件的前31字节头信息。这些文件可能是：

• 带固定长度头的自定义日志文件
• 需要移除BOM头的UTF-8文本
• 包含特定标识位的二进制数据

核心解决方案

使用dd命令是最直接高效的方式：

for file in /data/logs/*; do
  dd if="$file" of="$file.tmp" bs=1 skip=31
  mv "$file.tmp" "$file"
done

进阶优化方案

如果需要处理大文件或考虑性能优化，可以调整块大小：

find /data/logs/ -type f -exec bash -c '
  for f; do 
    dd if="$f" of="$f.tmp" bs=4K skip=31 iflag=skip_bytes
    mv "$f.tmp" "$f"
  done
' bash {} +

异常处理增强版

添加错误处理和进度显示：

#!/bin/bash
WORKDIR="/data/logs/"
COUNT=0

for f in "$WORKDIR"*; do
  if [[ -f "$f" ]]; then
    ((COUNT++))
    echo "Processing [$COUNT] ${f##*/}"
    if ! dd if="$f" of="$f.tmp" bs=4K skip=31 iflag=skip_bytes 2>/dev/null; then
      echo "Error processing $f" >&2
      continue
    fi
    mv "$f.tmp" "$f" || echo "Move failed for $f" >&2
  fi
done

echo "Total processed: $COUNT files"

性能对比测试

替代方案比较

对于纯文本文件，也可以使用tail命令：

find /data/logs/ -type f -exec sh -c 'tail -c +32 "$1" > "$1.tmp" && mv "$1.tmp" "$1"' sh {} \;

但要注意：

• tail不适合处理二进制文件
• 某些版本tail对大文件处理效率较低

实际应用案例

处理Apache日志文件时删除前31字节的示例：

# 原始日志格式示例
0000000000LOGV1.0 2023-07-15T12:00:00 127.0.0.1 GET /index.html

# 处理后结果
2023-07-15T12:00:00 127.0.0.1 GET /index.html