C#Linq的三种去重⽅式（Distinct）
前⾔
关于C#中默认的Distinct⽅法在什么情况下才能去重，这个就不⽤我再多讲，针对集合对象去重默认实现将不再满⾜，于是乎我们需要⾃定义实现来解决这个问题，接下来我们详细讲解⼏种常见去重⽅案，孰好孰⽍⾃⾏判之。
⾸先给出我们需要⽤到的对象，如下：
public class Person
{
public string Name { get; set; }
public int Age { get; set; }
}
接下来我们添加100万条数据到集合中，如下：
var list = new List<Person>();
for (int i = 0; i < 1000000; i++)
{
list.Add(new Person() { Age = 18, Name = "迷恋⾃留地" });
}
for (int i = 0; i < 1000; i++)
{
list.Add(new Person() { Age = 19, Name = "迷恋⾃留地" });
}
第⼀种分组去重
年龄和名称进⾏分组，然后取第⼀条即可达到去重，如下：
var  list1 = list.GroupBy(d => new { d.Age, d.Name })
.Select(d => d.FirstOrDefault())
.ToList();
第⼆种 HashSet去重（扩展⽅法）
C#中HashSet对于重复元素会进⾏过滤筛选，所以我们写下如下扩展⽅法（在静态函数中定义），遍历集合元素，最后利⽤HashSet进⾏过滤达到去重⽬的，如下：
public static IEnumerable<TSource> Distinct<TSource, TKey>(
this IEnumerable<TSource> source,
Func<TSource, TKey> keySelector)
{
var hashSet = new HashSet<TKey>();
foreach (TSource element in source)
{
if (hashSet.Add(keySelector(element)))
{
yield return element;
}
}
}
述扩展⽅法即可去重，如下：
var  list2 = list.Distinct(d => new { d.Age, d.Name }).ToList();
第三种 IEqualityComparer去重（扩展⽅法）
在实际项⽬中有很多通过具体实现类实现该接⼝，通过重写Equals和HashCode⽐较属性值来达到去重
⽬的，因为对于每⼀个类都得实现对应⽐较器，所以并不通⽤，反⽽利⽤上述⽅式才是最佳，其实我们⼤可借助该⽐较接⼝实现通⽤解决⽅案，对于每⼀个类都得实现⼀个⽐较器的原因在于，我们将属性⽐较放在类该接⼝内部，如果我们将属性⽐较放在外围呢，这个时候就达到了通⽤解决⽅案，那么我们怎么实现呢，通过委托来实现，实现该接⼝的本质⽆⾮就是⽐较HashCode，然后通过Equals⽐较其值，当⽐较HashCode时，我们强制其值为⼀个常量（⽐如0），当重写Equals⽅法我们调⽤委托即可，如下
public static class Extensions
equals()方法
{
public static IEnumerable<T> Distinct<T>(
this IEnumerable<T> source, Func<T, T, bool> comparer)
where T : class
=> source.Distinct(new DynamicEqualityComparer<T>(comparer));
private sealed class DynamicEqualityComparer<T> : IEqualityComparer<T>
where T : class
{
private readonly Func<T, T, bool> _func;
public DynamicEqualityComparer(Func<T, T, bool> func)
{
_func = func;
}
public bool Equals(T x, T y) => _func(x, y);
public int GetHashCode(T obj) => 0;
}
}
最终通过指定属性进⾏⽐较即可去重，如下：
list = list.Distinct((a, b) => a.Age == b.Age && a.Name == b.Name).ToList();
性能⽐较
以上3种常见⽅式我们已经介绍完毕了，当数据量⽐较⼩时，我们⼤可忽略对集合进⾏各种操作所带来的性能，但是⼀旦数据量很⼤时，我们可能需要考虑性能，能节省⼀点时间或许有必要，于是乎，在上述100万条数据前提下，我们来分析其耗时情况，如下：
var list = new List<Person>();
for (int i = 0; i < 1000000; i++)
{
list.Add(new Person() { Age = 18, Name = "jeffcky" });
}
var time1 = Time(() =>
{
list.GroupBy(d => new { d.Age, d.Name })
.Select(d => d.FirstOrDefault())
.ToList();
});
Console.WriteLine($"分组耗时：{time1}");
var time2 = Time(() =>
{
list.Distinct(d => new { d.Age, d.Name }).ToList();
});
Console.WriteLine($"HashSet耗时：{time2}");
var time3 = Time(() =>
{
list.Distinct((a, b) => a.Age == b.Age && a.Name == b.Name).ToList();
});
Console.WriteLine($"委托耗时：{time3}");
static long Time(Action action)
{
var stopwatch = new Stopwatch();
stopwatch.Start();
action();
stopwatch.Stop();
return stopwatch.ElapsedMilliseconds;
}
为了⽅便⼤家在移动端也能看到我分享的博⽂，现已注册个⼈，扫描上⽅左边⼆维码即可，或者搜索（net分享），欢迎⼤家关注，有时间会及时分享相关技术博⽂。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。