下单快发货慢:一个 JOIN SQL 引起 SqlClient 读取数据慢的奇特问题

  • 时间:
  • 浏览:15
  • 来源:极速快3_快3客户端下载_极速快3客户端下载

更新:你你是什么 哪几种的难题是 System.Data.SqlClient 的两个 bug 引起的,详见 坑暗花明:又遇 .NET Core 中 System.Data.SqlClient 查询缓慢的哪几种的难题

最近遇到两个非常奇特的哪几种的难题,在两个 ASP.NET Core 项目中从 SQL Server 308 R2 中查询获取 30 条记录竟然耗时 10 多秒,机会是查询并有无生活慢,那到都在哪几种奇特的哪几种的难题。

说它非常奇特是机会耗时主要地处在 SqlDataReader 读取数据时

2019-04-04 21:31:58.546 [Information] Executed DbCommand ("2,656"ms)
...
2019-04-04 21:32:10.690 [Debug] A data reader was disposed.

进一步测试发现

查询获取 1 条数据库记录,耗时在 230ms 左右  
查询获取 10 条数据库记录,耗时在 1.6s-2s 之间
查询获取 30 条数据库记录,耗时在 12s-22s 之间

开始英语 怀疑是 EF Core 的哪几种的难题,通过在 EF Core 源码中打点,定位到耗时地处在 _dataReader.ReadAsync 处

while (await _dataReader.ReadAsync(cancellationToken))
{
    _buffer.Enqueue(_valueBufferFactory.Create(_dbDataReader));
}

_dataReader.ReadAsync 实际调用的是 System.Data.SqlClient 中的 SqlDataReader.ReadAsync 辦法 。

一次 ReadAsync 读取一行记录,通过在 SqlClient 的源代码中打点记录时间戳发现,在 30 次一行一行读取中,其所含有十几个 读取会经常老出延迟,比如某一次 13 秒延迟,30 次读取中经常老出了 5 次读取延迟 —— 2s + 3s + 3s + 2s + 3s = 13s 。

经过在 System.Data.SqlClient 源代码中无数次打点记录时间戳最终定位到延迟地处在  SNIPacket.ReadFromStreamAsync()  辦法 中  stream.ReadAsync()  时

Console.WriteLine($"Entering stream.ReadAsync() at {DateTime.Now}");
stream.ReadAsync(_data, 0, _capacity, CancellationToken.None).ContinueWith(t =>
{
    Console.WriteLine($"stream.ReadAsync().ContinueWith at {DateTime.Now}");
    //...
}

stream 对应的是 NetworkStream ,延迟地处在网络传输过程中,与 SqlClient 没关系。

TCP 抓包发现 SQL Server 服务器发送的数据到达就延迟了。

于是只能将怀疑对象锁定在 SQL Server 数据库层面。

对应的 SQL 查询说说涉及 4 张表,FROM 一张表(表A), JOIN 三张表(LEFT JOIN 表B,LEFT JOIN 表C ,INNER JOIN 表D),表A有30多万条记录,表C有30多万条记录,查询时按表A的主键排序,表A的聚集索引建在时间字段上,比较慢 建在主键上。

SELECT ...
FROM TableA
LEFT JOIN TableB ON [TableA].[Id] = [TableB].[EntryID]
LEFT JOIN TableC ON [TableA].[Id] = [TableC].[EntryID]
INNER JOIN TableD  ON [TableA].[BlogID] = [TableD].[BlogID]
WHERE ([TableA].[Id] >= @__startId_0)

并都在所有查询都经常老出你你是什么 哪几种的难题,当 @__startId_0 小于一定值都在经常老出。

就让 尝试将  LEFT JOIN TableC 改为 INNER JOIN TableC ,哪几种的难题竟然消失了,但进一步测试发现当  @__startId_0  再小到一定值哪几种的难题又会经常老出。

既然哪几种的难题与 JOIN TableC 有关,那干脆不进行 JOIN ,单独查询 TableC ,而且将在 C# 代码中将查询的结果合并进行,从前改进了,查询获取 30 条记录只需 30 多毫秒。

你你是什么 奇特的哪几种的难题就从前用两个简单粗暴有效的辦法 临时出理 了。

对于你你是什么 哪几种的难题的根本原因,怀疑与 TableA 比较慢 把聚集索引建在 Id 字段上有关,但目前比较慢 修改聚集索引进行验证,就让 再找机会验证。